]> Git Repo - secp256k1.git/blob - src/ecmult_impl.h
Merge #522: parameterize ecmult_const over input size
[secp256k1.git] / src / ecmult_impl.h
1 /*****************************************************************************
2  * Copyright (c) 2013, 2014, 2017 Pieter Wuille, Andrew Poelstra, Jonas Nick *
3  * Distributed under the MIT software license, see the accompanying          *
4  * file COPYING or http://www.opensource.org/licenses/mit-license.php.       *
5  *****************************************************************************/
6
7 #ifndef SECP256K1_ECMULT_IMPL_H
8 #define SECP256K1_ECMULT_IMPL_H
9
10 #include <string.h>
11 #include <stdint.h>
12
13 #include "group.h"
14 #include "scalar.h"
15 #include "ecmult.h"
16
17 #if defined(EXHAUSTIVE_TEST_ORDER)
18 /* We need to lower these values for exhaustive tests because
19  * the tables cannot have infinities in them (this breaks the
20  * affine-isomorphism stuff which tracks z-ratios) */
21 #  if EXHAUSTIVE_TEST_ORDER > 128
22 #    define WINDOW_A 5
23 #    define WINDOW_G 8
24 #  elif EXHAUSTIVE_TEST_ORDER > 8
25 #    define WINDOW_A 4
26 #    define WINDOW_G 4
27 #  else
28 #    define WINDOW_A 2
29 #    define WINDOW_G 2
30 #  endif
31 #else
32 /* optimal for 128-bit and 256-bit exponents. */
33 #define WINDOW_A 5
34 /** larger numbers may result in slightly better performance, at the cost of
35     exponentially larger precomputed tables. */
36 #ifdef USE_ENDOMORPHISM
37 /** Two tables for window size 15: 1.375 MiB. */
38 #define WINDOW_G 15
39 #else
40 /** One table for window size 16: 1.375 MiB. */
41 #define WINDOW_G 16
42 #endif
43 #endif
44
45 #ifdef USE_ENDOMORPHISM
46     #define WNAF_BITS 128
47 #else
48     #define WNAF_BITS 256
49 #endif
50 #define WNAF_SIZE_BITS(bits, w) (((bits) + (w) - 1) / (w))
51 #define WNAF_SIZE(w) WNAF_SIZE_BITS(WNAF_BITS, w)
52
53 /** The number of entries a table with precomputed multiples needs to have. */
54 #define ECMULT_TABLE_SIZE(w) (1 << ((w)-2))
55
56 /* The number of objects allocated on the scratch space for ecmult_multi algorithms */
57 #define PIPPENGER_SCRATCH_OBJECTS 6
58 #define STRAUSS_SCRATCH_OBJECTS 6
59
60 #define PIPPENGER_MAX_BUCKET_WINDOW 12
61
62 /* Minimum number of points for which pippenger_wnaf is faster than strauss wnaf */
63 #ifdef USE_ENDOMORPHISM
64     #define ECMULT_PIPPENGER_THRESHOLD 88
65 #else
66     #define ECMULT_PIPPENGER_THRESHOLD 160
67 #endif
68
69 #ifdef USE_ENDOMORPHISM
70     #define ECMULT_MAX_POINTS_PER_BATCH 5000000
71 #else
72     #define ECMULT_MAX_POINTS_PER_BATCH 10000000
73 #endif
74
75 /** Fill a table 'prej' with precomputed odd multiples of a. Prej will contain
76  *  the values [1*a,3*a,...,(2*n-1)*a], so it space for n values. zr[0] will
77  *  contain prej[0].z / a.z. The other zr[i] values = prej[i].z / prej[i-1].z.
78  *  Prej's Z values are undefined, except for the last value.
79  */
80 static void secp256k1_ecmult_odd_multiples_table(int n, secp256k1_gej *prej, secp256k1_fe *zr, const secp256k1_gej *a) {
81     secp256k1_gej d;
82     secp256k1_ge a_ge, d_ge;
83     int i;
84
85     VERIFY_CHECK(!a->infinity);
86
87     secp256k1_gej_double_var(&d, a, NULL);
88
89     /*
90      * Perform the additions on an isomorphism where 'd' is affine: drop the z coordinate
91      * of 'd', and scale the 1P starting value's x/y coordinates without changing its z.
92      */
93     d_ge.x = d.x;
94     d_ge.y = d.y;
95     d_ge.infinity = 0;
96
97     secp256k1_ge_set_gej_zinv(&a_ge, a, &d.z);
98     prej[0].x = a_ge.x;
99     prej[0].y = a_ge.y;
100     prej[0].z = a->z;
101     prej[0].infinity = 0;
102
103     zr[0] = d.z;
104     for (i = 1; i < n; i++) {
105         secp256k1_gej_add_ge_var(&prej[i], &prej[i-1], &d_ge, &zr[i]);
106     }
107
108     /*
109      * Each point in 'prej' has a z coordinate too small by a factor of 'd.z'. Only
110      * the final point's z coordinate is actually used though, so just update that.
111      */
112     secp256k1_fe_mul(&prej[n-1].z, &prej[n-1].z, &d.z);
113 }
114
115 /** Fill a table 'pre' with precomputed odd multiples of a.
116  *
117  *  There are two versions of this function:
118  *  - secp256k1_ecmult_odd_multiples_table_globalz_windowa which brings its
119  *    resulting point set to a single constant Z denominator, stores the X and Y
120  *    coordinates as ge_storage points in pre, and stores the global Z in rz.
121  *    It only operates on tables sized for WINDOW_A wnaf multiples.
122  *  - secp256k1_ecmult_odd_multiples_table_storage_var, which converts its
123  *    resulting point set to actually affine points, and stores those in pre.
124  *    It operates on tables of any size, but uses heap-allocated temporaries.
125  *
126  *  To compute a*P + b*G, we compute a table for P using the first function,
127  *  and for G using the second (which requires an inverse, but it only needs to
128  *  happen once).
129  */
130 static void secp256k1_ecmult_odd_multiples_table_globalz_windowa(secp256k1_ge *pre, secp256k1_fe *globalz, const secp256k1_gej *a) {
131     secp256k1_gej prej[ECMULT_TABLE_SIZE(WINDOW_A)];
132     secp256k1_fe zr[ECMULT_TABLE_SIZE(WINDOW_A)];
133
134     /* Compute the odd multiples in Jacobian form. */
135     secp256k1_ecmult_odd_multiples_table(ECMULT_TABLE_SIZE(WINDOW_A), prej, zr, a);
136     /* Bring them to the same Z denominator. */
137     secp256k1_ge_globalz_set_table_gej(ECMULT_TABLE_SIZE(WINDOW_A), pre, globalz, prej, zr);
138 }
139
140 static void secp256k1_ecmult_odd_multiples_table_storage_var(int n, secp256k1_ge_storage *pre, const secp256k1_gej *a, const secp256k1_callback *cb) {
141     secp256k1_gej *prej = (secp256k1_gej*)checked_malloc(cb, sizeof(secp256k1_gej) * n);
142     secp256k1_ge *prea = (secp256k1_ge*)checked_malloc(cb, sizeof(secp256k1_ge) * n);
143     secp256k1_fe *zr = (secp256k1_fe*)checked_malloc(cb, sizeof(secp256k1_fe) * n);
144     int i;
145
146     /* Compute the odd multiples in Jacobian form. */
147     secp256k1_ecmult_odd_multiples_table(n, prej, zr, a);
148     /* Convert them in batch to affine coordinates. */
149     secp256k1_ge_set_table_gej_var(prea, prej, zr, n);
150     /* Convert them to compact storage form. */
151     for (i = 0; i < n; i++) {
152         secp256k1_ge_to_storage(&pre[i], &prea[i]);
153     }
154
155     free(prea);
156     free(prej);
157     free(zr);
158 }
159
160 /** The following two macro retrieves a particular odd multiple from a table
161  *  of precomputed multiples. */
162 #define ECMULT_TABLE_GET_GE(r,pre,n,w) do { \
163     VERIFY_CHECK(((n) & 1) == 1); \
164     VERIFY_CHECK((n) >= -((1 << ((w)-1)) - 1)); \
165     VERIFY_CHECK((n) <=  ((1 << ((w)-1)) - 1)); \
166     if ((n) > 0) { \
167         *(r) = (pre)[((n)-1)/2]; \
168     } else { \
169         secp256k1_ge_neg((r), &(pre)[(-(n)-1)/2]); \
170     } \
171 } while(0)
172
173 #define ECMULT_TABLE_GET_GE_STORAGE(r,pre,n,w) do { \
174     VERIFY_CHECK(((n) & 1) == 1); \
175     VERIFY_CHECK((n) >= -((1 << ((w)-1)) - 1)); \
176     VERIFY_CHECK((n) <=  ((1 << ((w)-1)) - 1)); \
177     if ((n) > 0) { \
178         secp256k1_ge_from_storage((r), &(pre)[((n)-1)/2]); \
179     } else { \
180         secp256k1_ge_from_storage((r), &(pre)[(-(n)-1)/2]); \
181         secp256k1_ge_neg((r), (r)); \
182     } \
183 } while(0)
184
185 static void secp256k1_ecmult_context_init(secp256k1_ecmult_context *ctx) {
186     ctx->pre_g = NULL;
187 #ifdef USE_ENDOMORPHISM
188     ctx->pre_g_128 = NULL;
189 #endif
190 }
191
192 static void secp256k1_ecmult_context_build(secp256k1_ecmult_context *ctx, const secp256k1_callback *cb) {
193     secp256k1_gej gj;
194
195     if (ctx->pre_g != NULL) {
196         return;
197     }
198
199     /* get the generator */
200     secp256k1_gej_set_ge(&gj, &secp256k1_ge_const_g);
201
202     ctx->pre_g = (secp256k1_ge_storage (*)[])checked_malloc(cb, sizeof((*ctx->pre_g)[0]) * ECMULT_TABLE_SIZE(WINDOW_G));
203
204     /* precompute the tables with odd multiples */
205     secp256k1_ecmult_odd_multiples_table_storage_var(ECMULT_TABLE_SIZE(WINDOW_G), *ctx->pre_g, &gj, cb);
206
207 #ifdef USE_ENDOMORPHISM
208     {
209         secp256k1_gej g_128j;
210         int i;
211
212         ctx->pre_g_128 = (secp256k1_ge_storage (*)[])checked_malloc(cb, sizeof((*ctx->pre_g_128)[0]) * ECMULT_TABLE_SIZE(WINDOW_G));
213
214         /* calculate 2^128*generator */
215         g_128j = gj;
216         for (i = 0; i < 128; i++) {
217             secp256k1_gej_double_var(&g_128j, &g_128j, NULL);
218         }
219         secp256k1_ecmult_odd_multiples_table_storage_var(ECMULT_TABLE_SIZE(WINDOW_G), *ctx->pre_g_128, &g_128j, cb);
220     }
221 #endif
222 }
223
224 static void secp256k1_ecmult_context_clone(secp256k1_ecmult_context *dst,
225                                            const secp256k1_ecmult_context *src, const secp256k1_callback *cb) {
226     if (src->pre_g == NULL) {
227         dst->pre_g = NULL;
228     } else {
229         size_t size = sizeof((*dst->pre_g)[0]) * ECMULT_TABLE_SIZE(WINDOW_G);
230         dst->pre_g = (secp256k1_ge_storage (*)[])checked_malloc(cb, size);
231         memcpy(dst->pre_g, src->pre_g, size);
232     }
233 #ifdef USE_ENDOMORPHISM
234     if (src->pre_g_128 == NULL) {
235         dst->pre_g_128 = NULL;
236     } else {
237         size_t size = sizeof((*dst->pre_g_128)[0]) * ECMULT_TABLE_SIZE(WINDOW_G);
238         dst->pre_g_128 = (secp256k1_ge_storage (*)[])checked_malloc(cb, size);
239         memcpy(dst->pre_g_128, src->pre_g_128, size);
240     }
241 #endif
242 }
243
244 static int secp256k1_ecmult_context_is_built(const secp256k1_ecmult_context *ctx) {
245     return ctx->pre_g != NULL;
246 }
247
248 static void secp256k1_ecmult_context_clear(secp256k1_ecmult_context *ctx) {
249     free(ctx->pre_g);
250 #ifdef USE_ENDOMORPHISM
251     free(ctx->pre_g_128);
252 #endif
253     secp256k1_ecmult_context_init(ctx);
254 }
255
256 /** Convert a number to WNAF notation. The number becomes represented by sum(2^i * wnaf[i], i=0..bits),
257  *  with the following guarantees:
258  *  - each wnaf[i] is either 0, or an odd integer between -(1<<(w-1) - 1) and (1<<(w-1) - 1)
259  *  - two non-zero entries in wnaf are separated by at least w-1 zeroes.
260  *  - the number of set values in wnaf is returned. This number is at most 256, and at most one more
261  *    than the number of bits in the (absolute value) of the input.
262  */
263 static int secp256k1_ecmult_wnaf(int *wnaf, int len, const secp256k1_scalar *a, int w) {
264     secp256k1_scalar s = *a;
265     int last_set_bit = -1;
266     int bit = 0;
267     int sign = 1;
268     int carry = 0;
269
270     VERIFY_CHECK(wnaf != NULL);
271     VERIFY_CHECK(0 <= len && len <= 256);
272     VERIFY_CHECK(a != NULL);
273     VERIFY_CHECK(2 <= w && w <= 31);
274
275     memset(wnaf, 0, len * sizeof(wnaf[0]));
276
277     if (secp256k1_scalar_get_bits(&s, 255, 1)) {
278         secp256k1_scalar_negate(&s, &s);
279         sign = -1;
280     }
281
282     while (bit < len) {
283         int now;
284         int word;
285         if (secp256k1_scalar_get_bits(&s, bit, 1) == (unsigned int)carry) {
286             bit++;
287             continue;
288         }
289
290         now = w;
291         if (now > len - bit) {
292             now = len - bit;
293         }
294
295         word = secp256k1_scalar_get_bits_var(&s, bit, now) + carry;
296
297         carry = (word >> (w-1)) & 1;
298         word -= carry << w;
299
300         wnaf[bit] = sign * word;
301         last_set_bit = bit;
302
303         bit += now;
304     }
305 #ifdef VERIFY
306     CHECK(carry == 0);
307     while (bit < 256) {
308         CHECK(secp256k1_scalar_get_bits(&s, bit++, 1) == 0);
309     } 
310 #endif
311     return last_set_bit + 1;
312 }
313
314 struct secp256k1_strauss_point_state {
315 #ifdef USE_ENDOMORPHISM
316     secp256k1_scalar na_1, na_lam;
317     int wnaf_na_1[130];
318     int wnaf_na_lam[130];
319     int bits_na_1;
320     int bits_na_lam;
321 #else
322     int wnaf_na[256];
323     int bits_na;
324 #endif
325     size_t input_pos;
326 };
327
328 struct secp256k1_strauss_state {
329     secp256k1_gej* prej;
330     secp256k1_fe* zr;
331     secp256k1_ge* pre_a;
332 #ifdef USE_ENDOMORPHISM
333     secp256k1_ge* pre_a_lam;
334 #endif
335     struct secp256k1_strauss_point_state* ps;
336 };
337
338 static void secp256k1_ecmult_strauss_wnaf(const secp256k1_ecmult_context *ctx, const struct secp256k1_strauss_state *state, secp256k1_gej *r, int num, const secp256k1_gej *a, const secp256k1_scalar *na, const secp256k1_scalar *ng) {
339     secp256k1_ge tmpa;
340     secp256k1_fe Z;
341 #ifdef USE_ENDOMORPHISM
342     /* Splitted G factors. */
343     secp256k1_scalar ng_1, ng_128;
344     int wnaf_ng_1[129];
345     int bits_ng_1 = 0;
346     int wnaf_ng_128[129];
347     int bits_ng_128 = 0;
348 #else
349     int wnaf_ng[256];
350     int bits_ng = 0;
351 #endif
352     int i;
353     int bits = 0;
354     int np;
355     int no = 0;
356
357     for (np = 0; np < num; ++np) {
358         if (secp256k1_scalar_is_zero(&na[np]) || secp256k1_gej_is_infinity(&a[np])) {
359             continue;
360         }
361         state->ps[no].input_pos = np;
362 #ifdef USE_ENDOMORPHISM
363         /* split na into na_1 and na_lam (where na = na_1 + na_lam*lambda, and na_1 and na_lam are ~128 bit) */
364         secp256k1_scalar_split_lambda(&state->ps[no].na_1, &state->ps[no].na_lam, &na[np]);
365
366         /* build wnaf representation for na_1 and na_lam. */
367         state->ps[no].bits_na_1   = secp256k1_ecmult_wnaf(state->ps[no].wnaf_na_1,   130, &state->ps[no].na_1,   WINDOW_A);
368         state->ps[no].bits_na_lam = secp256k1_ecmult_wnaf(state->ps[no].wnaf_na_lam, 130, &state->ps[no].na_lam, WINDOW_A);
369         VERIFY_CHECK(state->ps[no].bits_na_1 <= 130);
370         VERIFY_CHECK(state->ps[no].bits_na_lam <= 130);
371         if (state->ps[no].bits_na_1 > bits) {
372             bits = state->ps[no].bits_na_1;
373         }
374         if (state->ps[no].bits_na_lam > bits) {
375             bits = state->ps[no].bits_na_lam;
376         }
377 #else
378         /* build wnaf representation for na. */
379         state->ps[no].bits_na     = secp256k1_ecmult_wnaf(state->ps[no].wnaf_na,     256, &na[np],      WINDOW_A);
380         if (state->ps[no].bits_na > bits) {
381             bits = state->ps[no].bits_na;
382         }
383 #endif
384         ++no;
385     }
386
387     /* Calculate odd multiples of a.
388      * All multiples are brought to the same Z 'denominator', which is stored
389      * in Z. Due to secp256k1' isomorphism we can do all operations pretending
390      * that the Z coordinate was 1, use affine addition formulae, and correct
391      * the Z coordinate of the result once at the end.
392      * The exception is the precomputed G table points, which are actually
393      * affine. Compared to the base used for other points, they have a Z ratio
394      * of 1/Z, so we can use secp256k1_gej_add_zinv_var, which uses the same
395      * isomorphism to efficiently add with a known Z inverse.
396      */
397     if (no > 0) {
398         /* Compute the odd multiples in Jacobian form. */
399         secp256k1_ecmult_odd_multiples_table(ECMULT_TABLE_SIZE(WINDOW_A), state->prej, state->zr, &a[state->ps[0].input_pos]);
400         for (np = 1; np < no; ++np) {
401             secp256k1_gej tmp = a[state->ps[np].input_pos];
402 #ifdef VERIFY
403             secp256k1_fe_normalize_var(&(state->prej[(np - 1) * ECMULT_TABLE_SIZE(WINDOW_A) + ECMULT_TABLE_SIZE(WINDOW_A) - 1].z));
404 #endif
405             secp256k1_gej_rescale(&tmp, &(state->prej[(np - 1) * ECMULT_TABLE_SIZE(WINDOW_A) + ECMULT_TABLE_SIZE(WINDOW_A) - 1].z));
406             secp256k1_ecmult_odd_multiples_table(ECMULT_TABLE_SIZE(WINDOW_A), state->prej + np * ECMULT_TABLE_SIZE(WINDOW_A), state->zr + np * ECMULT_TABLE_SIZE(WINDOW_A), &tmp);
407             secp256k1_fe_mul(state->zr + np * ECMULT_TABLE_SIZE(WINDOW_A), state->zr + np * ECMULT_TABLE_SIZE(WINDOW_A), &(a[state->ps[np].input_pos].z));
408         }
409         /* Bring them to the same Z denominator. */
410         secp256k1_ge_globalz_set_table_gej(ECMULT_TABLE_SIZE(WINDOW_A) * no, state->pre_a, &Z, state->prej, state->zr);
411     } else {
412         secp256k1_fe_set_int(&Z, 1);
413     }
414
415 #ifdef USE_ENDOMORPHISM
416     for (np = 0; np < no; ++np) {
417         for (i = 0; i < ECMULT_TABLE_SIZE(WINDOW_A); i++) {
418             secp256k1_ge_mul_lambda(&state->pre_a_lam[np * ECMULT_TABLE_SIZE(WINDOW_A) + i], &state->pre_a[np * ECMULT_TABLE_SIZE(WINDOW_A) + i]);
419         }
420     }
421
422     if (ng) {
423         /* split ng into ng_1 and ng_128 (where gn = gn_1 + gn_128*2^128, and gn_1 and gn_128 are ~128 bit) */
424         secp256k1_scalar_split_128(&ng_1, &ng_128, ng);
425
426         /* Build wnaf representation for ng_1 and ng_128 */
427         bits_ng_1   = secp256k1_ecmult_wnaf(wnaf_ng_1,   129, &ng_1,   WINDOW_G);
428         bits_ng_128 = secp256k1_ecmult_wnaf(wnaf_ng_128, 129, &ng_128, WINDOW_G);
429         if (bits_ng_1 > bits) {
430             bits = bits_ng_1;
431         }
432         if (bits_ng_128 > bits) {
433             bits = bits_ng_128;
434         }
435     }
436 #else
437     if (ng) {
438         bits_ng     = secp256k1_ecmult_wnaf(wnaf_ng,     256, ng,      WINDOW_G);
439         if (bits_ng > bits) {
440             bits = bits_ng;
441         }
442     }
443 #endif
444
445     secp256k1_gej_set_infinity(r);
446
447     for (i = bits - 1; i >= 0; i--) {
448         int n;
449         secp256k1_gej_double_var(r, r, NULL);
450 #ifdef USE_ENDOMORPHISM
451         for (np = 0; np < no; ++np) {
452             if (i < state->ps[np].bits_na_1 && (n = state->ps[np].wnaf_na_1[i])) {
453                 ECMULT_TABLE_GET_GE(&tmpa, state->pre_a + np * ECMULT_TABLE_SIZE(WINDOW_A), n, WINDOW_A);
454                 secp256k1_gej_add_ge_var(r, r, &tmpa, NULL);
455             }
456             if (i < state->ps[np].bits_na_lam && (n = state->ps[np].wnaf_na_lam[i])) {
457                 ECMULT_TABLE_GET_GE(&tmpa, state->pre_a_lam + np * ECMULT_TABLE_SIZE(WINDOW_A), n, WINDOW_A);
458                 secp256k1_gej_add_ge_var(r, r, &tmpa, NULL);
459             }
460         }
461         if (i < bits_ng_1 && (n = wnaf_ng_1[i])) {
462             ECMULT_TABLE_GET_GE_STORAGE(&tmpa, *ctx->pre_g, n, WINDOW_G);
463             secp256k1_gej_add_zinv_var(r, r, &tmpa, &Z);
464         }
465         if (i < bits_ng_128 && (n = wnaf_ng_128[i])) {
466             ECMULT_TABLE_GET_GE_STORAGE(&tmpa, *ctx->pre_g_128, n, WINDOW_G);
467             secp256k1_gej_add_zinv_var(r, r, &tmpa, &Z);
468         }
469 #else
470         for (np = 0; np < no; ++np) {
471             if (i < state->ps[np].bits_na && (n = state->ps[np].wnaf_na[i])) {
472                 ECMULT_TABLE_GET_GE(&tmpa, state->pre_a + np * ECMULT_TABLE_SIZE(WINDOW_A), n, WINDOW_A);
473                 secp256k1_gej_add_ge_var(r, r, &tmpa, NULL);
474             }
475         }
476         if (i < bits_ng && (n = wnaf_ng[i])) {
477             ECMULT_TABLE_GET_GE_STORAGE(&tmpa, *ctx->pre_g, n, WINDOW_G);
478             secp256k1_gej_add_zinv_var(r, r, &tmpa, &Z);
479         }
480 #endif
481     }
482
483     if (!r->infinity) {
484         secp256k1_fe_mul(&r->z, &r->z, &Z);
485     }
486 }
487
488 static void secp256k1_ecmult(const secp256k1_ecmult_context *ctx, secp256k1_gej *r, const secp256k1_gej *a, const secp256k1_scalar *na, const secp256k1_scalar *ng) {
489     secp256k1_gej prej[ECMULT_TABLE_SIZE(WINDOW_A)];
490     secp256k1_fe zr[ECMULT_TABLE_SIZE(WINDOW_A)];
491     secp256k1_ge pre_a[ECMULT_TABLE_SIZE(WINDOW_A)];
492     struct secp256k1_strauss_point_state ps[1];
493 #ifdef USE_ENDOMORPHISM
494     secp256k1_ge pre_a_lam[ECMULT_TABLE_SIZE(WINDOW_A)];
495 #endif
496     struct secp256k1_strauss_state state;
497
498     state.prej = prej;
499     state.zr = zr;
500     state.pre_a = pre_a;
501 #ifdef USE_ENDOMORPHISM
502     state.pre_a_lam = pre_a_lam;
503 #endif
504     state.ps = ps;
505     secp256k1_ecmult_strauss_wnaf(ctx, &state, r, 1, a, na, ng);
506 }
507
508 static size_t secp256k1_strauss_scratch_size(size_t n_points) {
509 #ifdef USE_ENDOMORPHISM
510     static const size_t point_size = (2 * sizeof(secp256k1_ge) + sizeof(secp256k1_gej) + sizeof(secp256k1_fe)) * ECMULT_TABLE_SIZE(WINDOW_A) + sizeof(struct secp256k1_strauss_point_state) + sizeof(secp256k1_gej) + sizeof(secp256k1_scalar);
511 #else
512     static const size_t point_size = (sizeof(secp256k1_ge) + sizeof(secp256k1_gej) + sizeof(secp256k1_fe)) * ECMULT_TABLE_SIZE(WINDOW_A) + sizeof(struct secp256k1_strauss_point_state) + sizeof(secp256k1_gej) + sizeof(secp256k1_scalar);
513 #endif
514     return n_points*point_size;
515 }
516
517 static int secp256k1_ecmult_strauss_batch(const secp256k1_ecmult_context *ctx, secp256k1_scratch *scratch, secp256k1_gej *r, const secp256k1_scalar *inp_g_sc, secp256k1_ecmult_multi_callback cb, void *cbdata, size_t n_points, size_t cb_offset) {
518     secp256k1_gej* points;
519     secp256k1_scalar* scalars;
520     struct secp256k1_strauss_state state;
521     size_t i;
522
523     secp256k1_gej_set_infinity(r);
524     if (inp_g_sc == NULL && n_points == 0) {
525         return 1;
526     }
527
528     if (!secp256k1_scratch_resize(scratch, secp256k1_strauss_scratch_size(n_points), STRAUSS_SCRATCH_OBJECTS)) {
529         return 0;
530     }
531     secp256k1_scratch_reset(scratch);
532     points = (secp256k1_gej*)secp256k1_scratch_alloc(scratch, n_points * sizeof(secp256k1_gej));
533     scalars = (secp256k1_scalar*)secp256k1_scratch_alloc(scratch, n_points * sizeof(secp256k1_scalar));
534     state.prej = (secp256k1_gej*)secp256k1_scratch_alloc(scratch, n_points * ECMULT_TABLE_SIZE(WINDOW_A) * sizeof(secp256k1_gej));
535     state.zr = (secp256k1_fe*)secp256k1_scratch_alloc(scratch, n_points * ECMULT_TABLE_SIZE(WINDOW_A) * sizeof(secp256k1_fe));
536 #ifdef USE_ENDOMORPHISM
537     state.pre_a = (secp256k1_ge*)secp256k1_scratch_alloc(scratch, n_points * 2 * ECMULT_TABLE_SIZE(WINDOW_A) * sizeof(secp256k1_ge));
538     state.pre_a_lam = state.pre_a + n_points * ECMULT_TABLE_SIZE(WINDOW_A);
539 #else
540     state.pre_a = (secp256k1_ge*)secp256k1_scratch_alloc(scratch, n_points * ECMULT_TABLE_SIZE(WINDOW_A) * sizeof(secp256k1_ge));
541 #endif
542     state.ps = (struct secp256k1_strauss_point_state*)secp256k1_scratch_alloc(scratch, n_points * sizeof(struct secp256k1_strauss_point_state));
543
544     for (i = 0; i < n_points; i++) {
545         secp256k1_ge point;
546         if (!cb(&scalars[i], &point, i+cb_offset, cbdata)) return 0;
547         secp256k1_gej_set_ge(&points[i], &point);
548     }
549     secp256k1_ecmult_strauss_wnaf(ctx, &state, r, n_points, points, scalars, inp_g_sc);
550     return 1;
551 }
552
553 /* Wrapper for secp256k1_ecmult_multi_func interface */
554 static int secp256k1_ecmult_strauss_batch_single(const secp256k1_ecmult_context *actx, secp256k1_scratch *scratch, secp256k1_gej *r, const secp256k1_scalar *inp_g_sc, secp256k1_ecmult_multi_callback cb, void *cbdata, size_t n) {
555     return secp256k1_ecmult_strauss_batch(actx, scratch, r, inp_g_sc, cb, cbdata, n, 0);
556 }
557
558 static size_t secp256k1_strauss_max_points(secp256k1_scratch *scratch) {
559     return secp256k1_scratch_max_allocation(scratch, STRAUSS_SCRATCH_OBJECTS) / secp256k1_strauss_scratch_size(1);
560 }
561
562 /** Convert a number to WNAF notation.
563  *  The number becomes represented by sum(2^{wi} * wnaf[i], i=0..WNAF_SIZE(w)+1) - return_val.
564  *  It has the following guarantees:
565  *  - each wnaf[i] is either 0 or an odd integer between -(1 << w) and (1 << w)
566  *  - the number of words set is always WNAF_SIZE(w)
567  *  - the returned skew is 0 or 1
568  */
569 static int secp256k1_wnaf_fixed(int *wnaf, const secp256k1_scalar *s, int w) {
570     int skew = 0;
571     int pos;
572     int max_pos;
573     int last_w;
574     const secp256k1_scalar *work = s;
575
576     if (secp256k1_scalar_is_zero(s)) {
577         for (pos = 0; pos < WNAF_SIZE(w); pos++) {
578             wnaf[pos] = 0;
579         }
580         return 0;
581     }
582
583     if (secp256k1_scalar_is_even(s)) {
584         skew = 1;
585     }
586
587     wnaf[0] = secp256k1_scalar_get_bits_var(work, 0, w) + skew;
588     /* Compute last window size. Relevant when window size doesn't divide the
589      * number of bits in the scalar */
590     last_w = WNAF_BITS - (WNAF_SIZE(w) - 1) * w;
591
592     /* Store the position of the first nonzero word in max_pos to allow
593      * skipping leading zeros when calculating the wnaf. */
594     for (pos = WNAF_SIZE(w) - 1; pos > 0; pos--) {
595         int val = secp256k1_scalar_get_bits_var(work, pos * w, pos == WNAF_SIZE(w)-1 ? last_w : w);
596         if(val != 0) {
597             break;
598         }
599         wnaf[pos] = 0;
600     }
601     max_pos = pos;
602     pos = 1;
603
604     while (pos <= max_pos) {
605         int val = secp256k1_scalar_get_bits_var(work, pos * w, pos == WNAF_SIZE(w)-1 ? last_w : w);
606         if ((val & 1) == 0) {
607             wnaf[pos - 1] -= (1 << w);
608             wnaf[pos] = (val + 1);
609         } else {
610             wnaf[pos] = val;
611         }
612         /* Set a coefficient to zero if it is 1 or -1 and the proceeding digit
613          * is strictly negative or strictly positive respectively. Only change
614          * coefficients at previous positions because above code assumes that
615          * wnaf[pos - 1] is odd.
616          */
617         if (pos >= 2 && ((wnaf[pos - 1] == 1 && wnaf[pos - 2] < 0) || (wnaf[pos - 1] == -1 && wnaf[pos - 2] > 0))) {
618             if (wnaf[pos - 1] == 1) {
619                 wnaf[pos - 2] += 1 << w;
620             } else {
621                 wnaf[pos - 2] -= 1 << w;
622             }
623             wnaf[pos - 1] = 0;
624         }
625         ++pos;
626     }
627
628     return skew;
629 }
630
631 struct secp256k1_pippenger_point_state {
632     int skew_na;
633     size_t input_pos;
634 };
635
636 struct secp256k1_pippenger_state {
637     int *wnaf_na;
638     struct secp256k1_pippenger_point_state* ps;
639 };
640
641 /*
642  * pippenger_wnaf computes the result of a multi-point multiplication as
643  * follows: The scalars are brought into wnaf with n_wnaf elements each. Then
644  * for every i < n_wnaf, first each point is added to a "bucket" corresponding
645  * to the point's wnaf[i]. Second, the buckets are added together such that
646  * r += 1*bucket[0] + 3*bucket[1] + 5*bucket[2] + ...
647  */
648 static int secp256k1_ecmult_pippenger_wnaf(secp256k1_gej *buckets, int bucket_window, struct secp256k1_pippenger_state *state, secp256k1_gej *r, const secp256k1_scalar *sc, const secp256k1_ge *pt, size_t num) {
649     size_t n_wnaf = WNAF_SIZE(bucket_window+1);
650     size_t np;
651     size_t no = 0;
652     int i;
653     int j;
654
655     for (np = 0; np < num; ++np) {
656         if (secp256k1_scalar_is_zero(&sc[np]) || secp256k1_ge_is_infinity(&pt[np])) {
657             continue;
658         }
659         state->ps[no].input_pos = np;
660         state->ps[no].skew_na = secp256k1_wnaf_fixed(&state->wnaf_na[no*n_wnaf], &sc[np], bucket_window+1);
661         no++;
662     }
663     secp256k1_gej_set_infinity(r);
664
665     if (no == 0) {
666         return 1;
667     }
668
669     for (i = n_wnaf - 1; i >= 0; i--) {
670         secp256k1_gej running_sum;
671
672         for(j = 0; j < ECMULT_TABLE_SIZE(bucket_window+2); j++) {
673             secp256k1_gej_set_infinity(&buckets[j]);
674         }
675
676         for (np = 0; np < no; ++np) {
677             int n = state->wnaf_na[np*n_wnaf + i];
678             struct secp256k1_pippenger_point_state point_state = state->ps[np];
679             secp256k1_ge tmp;
680             int idx;
681
682             if (i == 0) {
683                 /* correct for wnaf skew */
684                 int skew = point_state.skew_na;
685                 if (skew) {
686                     secp256k1_ge_neg(&tmp, &pt[point_state.input_pos]);
687                     secp256k1_gej_add_ge_var(&buckets[0], &buckets[0], &tmp, NULL);
688                 }
689             }
690             if (n > 0) {
691                 idx = (n - 1)/2;
692                 secp256k1_gej_add_ge_var(&buckets[idx], &buckets[idx], &pt[point_state.input_pos], NULL);
693             } else if (n < 0) {
694                 idx = -(n + 1)/2;
695                 secp256k1_ge_neg(&tmp, &pt[point_state.input_pos]);
696                 secp256k1_gej_add_ge_var(&buckets[idx], &buckets[idx], &tmp, NULL);
697             }
698         }
699
700         for(j = 0; j < bucket_window; j++) {
701             secp256k1_gej_double_var(r, r, NULL);
702         }
703
704         secp256k1_gej_set_infinity(&running_sum);
705         /* Accumulate the sum: bucket[0] + 3*bucket[1] + 5*bucket[2] + 7*bucket[3] + ...
706          *                   = bucket[0] +   bucket[1] +   bucket[2] +   bucket[3] + ...
707          *                   +         2 *  (bucket[1] + 2*bucket[2] + 3*bucket[3] + ...)
708          * using an intermediate running sum:
709          * running_sum = bucket[0] +   bucket[1] +   bucket[2] + ...
710          *
711          * The doubling is done implicitly by deferring the final window doubling (of 'r').
712          */
713         for(j = ECMULT_TABLE_SIZE(bucket_window+2) - 1; j > 0; j--) {
714             secp256k1_gej_add_var(&running_sum, &running_sum, &buckets[j], NULL);
715             secp256k1_gej_add_var(r, r, &running_sum, NULL);
716         }
717
718         secp256k1_gej_add_var(&running_sum, &running_sum, &buckets[0], NULL);
719         secp256k1_gej_double_var(r, r, NULL);
720         secp256k1_gej_add_var(r, r, &running_sum, NULL);
721     }
722     return 1;
723 }
724
725 /**
726  * Returns optimal bucket_window (number of bits of a scalar represented by a
727  * set of buckets) for a given number of points.
728  */
729 static int secp256k1_pippenger_bucket_window(size_t n) {
730 #ifdef USE_ENDOMORPHISM
731     if (n <= 1) {
732         return 1;
733     } else if (n <= 4) {
734         return 2;
735     } else if (n <= 20) {
736         return 3;
737     } else if (n <= 57) {
738         return 4;
739     } else if (n <= 136) {
740         return 5;
741     } else if (n <= 235) {
742         return 6;
743     } else if (n <= 1260) {
744         return 7;
745     } else if (n <= 4420) {
746         return 9;
747     } else if (n <= 7880) {
748         return 10;
749     } else if (n <= 16050) {
750         return 11;
751     } else {
752         return PIPPENGER_MAX_BUCKET_WINDOW;
753     }
754 #else
755     if (n <= 1) {
756         return 1;
757     } else if (n <= 11) {
758         return 2;
759     } else if (n <= 45) {
760         return 3;
761     } else if (n <= 100) {
762         return 4;
763     } else if (n <= 275) {
764         return 5;
765     } else if (n <= 625) {
766         return 6;
767     } else if (n <= 1850) {
768         return 7;
769     } else if (n <= 3400) {
770         return 8;
771     } else if (n <= 9630) {
772         return 9;
773     } else if (n <= 17900) {
774         return 10;
775     } else if (n <= 32800) {
776         return 11;
777     } else {
778         return PIPPENGER_MAX_BUCKET_WINDOW;
779     }
780 #endif
781 }
782
783 /**
784  * Returns the maximum optimal number of points for a bucket_window.
785  */
786 static size_t secp256k1_pippenger_bucket_window_inv(int bucket_window) {
787     switch(bucket_window) {
788 #ifdef USE_ENDOMORPHISM
789         case 1: return 1;
790         case 2: return 4;
791         case 3: return 20;
792         case 4: return 57;
793         case 5: return 136;
794         case 6: return 235;
795         case 7: return 1260;
796         case 8: return 1260;
797         case 9: return 4420;
798         case 10: return 7880;
799         case 11: return 16050;
800         case PIPPENGER_MAX_BUCKET_WINDOW: return SIZE_MAX;
801 #else
802         case 1: return 1;
803         case 2: return 11;
804         case 3: return 45;
805         case 4: return 100;
806         case 5: return 275;
807         case 6: return 625;
808         case 7: return 1850;
809         case 8: return 3400;
810         case 9: return 9630;
811         case 10: return 17900;
812         case 11: return 32800;
813         case PIPPENGER_MAX_BUCKET_WINDOW: return SIZE_MAX;
814 #endif
815     }
816     return 0;
817 }
818
819
820 #ifdef USE_ENDOMORPHISM
821 SECP256K1_INLINE static void secp256k1_ecmult_endo_split(secp256k1_scalar *s1, secp256k1_scalar *s2, secp256k1_ge *p1, secp256k1_ge *p2) {
822     secp256k1_scalar tmp = *s1;
823     secp256k1_scalar_split_lambda(s1, s2, &tmp);
824     secp256k1_ge_mul_lambda(p2, p1);
825
826     if (secp256k1_scalar_is_high(s1)) {
827         secp256k1_scalar_negate(s1, s1);
828         secp256k1_ge_neg(p1, p1);
829     }
830     if (secp256k1_scalar_is_high(s2)) {
831         secp256k1_scalar_negate(s2, s2);
832         secp256k1_ge_neg(p2, p2);
833     }
834 }
835 #endif
836
837 /**
838  * Returns the scratch size required for a given number of points (excluding
839  * base point G) without considering alignment.
840  */
841 static size_t secp256k1_pippenger_scratch_size(size_t n_points, int bucket_window) {
842 #ifdef USE_ENDOMORPHISM
843     size_t entries = 2*n_points + 2;
844 #else
845     size_t entries = n_points + 1;
846 #endif
847     size_t entry_size = sizeof(secp256k1_ge) + sizeof(secp256k1_scalar) + sizeof(struct secp256k1_pippenger_point_state) + (WNAF_SIZE(bucket_window+1)+1)*sizeof(int);
848     return ((1<<bucket_window) * sizeof(secp256k1_gej) + sizeof(struct secp256k1_pippenger_state) + entries * entry_size);
849 }
850
851 static int secp256k1_ecmult_pippenger_batch(const secp256k1_ecmult_context *ctx, secp256k1_scratch *scratch, secp256k1_gej *r, const secp256k1_scalar *inp_g_sc, secp256k1_ecmult_multi_callback cb, void *cbdata, size_t n_points, size_t cb_offset) {
852     /* Use 2(n+1) with the endomorphism, n+1 without, when calculating batch
853      * sizes. The reason for +1 is that we add the G scalar to the list of
854      * other scalars. */
855 #ifdef USE_ENDOMORPHISM
856     size_t entries = 2*n_points + 2;
857 #else
858     size_t entries = n_points + 1;
859 #endif
860     secp256k1_ge *points;
861     secp256k1_scalar *scalars;
862     secp256k1_gej *buckets;
863     struct secp256k1_pippenger_state *state_space;
864     size_t idx = 0;
865     size_t point_idx = 0;
866     int i, j;
867     int bucket_window;
868
869     (void)ctx;
870     secp256k1_gej_set_infinity(r);
871     if (inp_g_sc == NULL && n_points == 0) {
872         return 1;
873     }
874
875     bucket_window = secp256k1_pippenger_bucket_window(n_points);
876     if (!secp256k1_scratch_resize(scratch, secp256k1_pippenger_scratch_size(n_points, bucket_window), PIPPENGER_SCRATCH_OBJECTS)) {
877         return 0;
878     }
879     secp256k1_scratch_reset(scratch);
880     points = (secp256k1_ge *) secp256k1_scratch_alloc(scratch, entries * sizeof(*points));
881     scalars = (secp256k1_scalar *) secp256k1_scratch_alloc(scratch, entries * sizeof(*scalars));
882     state_space = (struct secp256k1_pippenger_state *) secp256k1_scratch_alloc(scratch, sizeof(*state_space));
883     state_space->ps = (struct secp256k1_pippenger_point_state *) secp256k1_scratch_alloc(scratch, entries * sizeof(*state_space->ps));
884     state_space->wnaf_na = (int *) secp256k1_scratch_alloc(scratch, entries*(WNAF_SIZE(bucket_window+1)) * sizeof(int));
885     buckets = (secp256k1_gej *) secp256k1_scratch_alloc(scratch, (1<<bucket_window) * sizeof(*buckets));
886
887     if (inp_g_sc != NULL) {
888         scalars[0] = *inp_g_sc;
889         points[0] = secp256k1_ge_const_g;
890         idx++;
891 #ifdef USE_ENDOMORPHISM
892         secp256k1_ecmult_endo_split(&scalars[0], &scalars[1], &points[0], &points[1]);
893         idx++;
894 #endif
895     }
896
897     while (point_idx < n_points) {
898         if (!cb(&scalars[idx], &points[idx], point_idx + cb_offset, cbdata)) {
899             return 0;
900         }
901         idx++;
902 #ifdef USE_ENDOMORPHISM
903         secp256k1_ecmult_endo_split(&scalars[idx - 1], &scalars[idx], &points[idx - 1], &points[idx]);
904         idx++;
905 #endif
906         point_idx++;
907     }
908
909     secp256k1_ecmult_pippenger_wnaf(buckets, bucket_window, state_space, r, scalars, points, idx);
910
911     /* Clear data */
912     for(i = 0; (size_t)i < idx; i++) {
913         secp256k1_scalar_clear(&scalars[i]);
914         state_space->ps[i].skew_na = 0;
915         for(j = 0; j < WNAF_SIZE(bucket_window+1); j++) {
916             state_space->wnaf_na[i * WNAF_SIZE(bucket_window+1) + j] = 0;
917         }
918     }
919     for(i = 0; i < 1<<bucket_window; i++) {
920         secp256k1_gej_clear(&buckets[i]);
921     }
922     return 1;
923 }
924
925 /* Wrapper for secp256k1_ecmult_multi_func interface */
926 static int secp256k1_ecmult_pippenger_batch_single(const secp256k1_ecmult_context *actx, secp256k1_scratch *scratch, secp256k1_gej *r, const secp256k1_scalar *inp_g_sc, secp256k1_ecmult_multi_callback cb, void *cbdata, size_t n) {
927     return secp256k1_ecmult_pippenger_batch(actx, scratch, r, inp_g_sc, cb, cbdata, n, 0);
928 }
929
930 /**
931  * Returns the maximum number of points in addition to G that can be used with
932  * a given scratch space. The function ensures that fewer points may also be
933  * used.
934  */
935 static size_t secp256k1_pippenger_max_points(secp256k1_scratch *scratch) {
936     size_t max_alloc = secp256k1_scratch_max_allocation(scratch, PIPPENGER_SCRATCH_OBJECTS);
937     int bucket_window;
938     size_t res = 0;
939
940     for (bucket_window = 1; bucket_window <= PIPPENGER_MAX_BUCKET_WINDOW; bucket_window++) {
941         size_t n_points;
942         size_t max_points = secp256k1_pippenger_bucket_window_inv(bucket_window);
943         size_t space_for_points;
944         size_t space_overhead;
945         size_t entry_size = sizeof(secp256k1_ge) + sizeof(secp256k1_scalar) + sizeof(struct secp256k1_pippenger_point_state) + (WNAF_SIZE(bucket_window+1)+1)*sizeof(int);
946
947 #ifdef USE_ENDOMORPHISM
948         entry_size = 2*entry_size;
949 #endif
950         space_overhead = ((1<<bucket_window) * sizeof(secp256k1_gej) + entry_size + sizeof(struct secp256k1_pippenger_state));
951         if (space_overhead > max_alloc) {
952             break;
953         }
954         space_for_points = max_alloc - space_overhead;
955
956         n_points = space_for_points/entry_size;
957         n_points = n_points > max_points ? max_points : n_points;
958         if (n_points > res) {
959             res = n_points;
960         }
961         if (n_points < max_points) {
962             /* A larger bucket_window may support even more points. But if we
963              * would choose that then the caller couldn't safely use any number
964              * smaller than what this function returns */
965             break;
966         }
967     }
968     return res;
969 }
970
971 typedef int (*secp256k1_ecmult_multi_func)(const secp256k1_ecmult_context*, secp256k1_scratch*, secp256k1_gej*, const secp256k1_scalar*, secp256k1_ecmult_multi_callback cb, void*, size_t);
972 static int secp256k1_ecmult_multi_var(const secp256k1_ecmult_context *ctx, secp256k1_scratch *scratch, secp256k1_gej *r, const secp256k1_scalar *inp_g_sc, secp256k1_ecmult_multi_callback cb, void *cbdata, size_t n) {
973     size_t i;
974
975     int (*f)(const secp256k1_ecmult_context*, secp256k1_scratch*, secp256k1_gej*, const secp256k1_scalar*, secp256k1_ecmult_multi_callback cb, void*, size_t, size_t);
976     size_t max_points;
977     size_t n_batches;
978     size_t n_batch_points;
979
980     secp256k1_gej_set_infinity(r);
981     if (inp_g_sc == NULL && n == 0) {
982         return 1;
983     } else if (n == 0) {
984         secp256k1_scalar szero;
985         secp256k1_scalar_set_int(&szero, 0);
986         secp256k1_ecmult(ctx, r, r, &szero, inp_g_sc);
987         return 1;
988     }
989
990     max_points = secp256k1_pippenger_max_points(scratch);
991     if (max_points == 0) {
992         return 0;
993     } else if (max_points > ECMULT_MAX_POINTS_PER_BATCH) {
994         max_points = ECMULT_MAX_POINTS_PER_BATCH;
995     }
996     n_batches = (n+max_points-1)/max_points;
997     n_batch_points = (n+n_batches-1)/n_batches;
998
999     if (n_batch_points >= ECMULT_PIPPENGER_THRESHOLD) {
1000         f = secp256k1_ecmult_pippenger_batch;
1001     } else {
1002         max_points = secp256k1_strauss_max_points(scratch);
1003         if (max_points == 0) {
1004             return 0;
1005         }
1006         n_batches = (n+max_points-1)/max_points;
1007         n_batch_points = (n+n_batches-1)/n_batches;
1008         f = secp256k1_ecmult_strauss_batch;
1009     }
1010     for(i = 0; i < n_batches; i++) {
1011         size_t nbp = n < n_batch_points ? n : n_batch_points;
1012         size_t offset = n_batch_points*i;
1013         secp256k1_gej tmp;
1014         if (!f(ctx, scratch, &tmp, i == 0 ? inp_g_sc : NULL, cb, cbdata, nbp, offset)) {
1015             return 0;
1016         }
1017         secp256k1_gej_add_var(r, r, &tmp, NULL);
1018         n -= nbp;
1019     }
1020     return 1;
1021 }
1022
1023 #endif /* SECP256K1_ECMULT_IMPL_H */
This page took 0.081233 seconds and 4 git commands to generate.