]> Git Repo - secp256k1.git/blob - src/ecmult_impl.h
Merge #592: Use trivial algorithm in ecmult_multi if scratch space is small
[secp256k1.git] / src / ecmult_impl.h
1 /*****************************************************************************
2  * Copyright (c) 2013, 2014, 2017 Pieter Wuille, Andrew Poelstra, Jonas Nick *
3  * Distributed under the MIT software license, see the accompanying          *
4  * file COPYING or http://www.opensource.org/licenses/mit-license.php.       *
5  *****************************************************************************/
6
7 #ifndef SECP256K1_ECMULT_IMPL_H
8 #define SECP256K1_ECMULT_IMPL_H
9
10 #include <string.h>
11 #include <stdint.h>
12
13 #include "util.h"
14 #include "group.h"
15 #include "scalar.h"
16 #include "ecmult.h"
17
18 #if defined(EXHAUSTIVE_TEST_ORDER)
19 /* We need to lower these values for exhaustive tests because
20  * the tables cannot have infinities in them (this breaks the
21  * affine-isomorphism stuff which tracks z-ratios) */
22 #  if EXHAUSTIVE_TEST_ORDER > 128
23 #    define WINDOW_A 5
24 #    define WINDOW_G 8
25 #  elif EXHAUSTIVE_TEST_ORDER > 8
26 #    define WINDOW_A 4
27 #    define WINDOW_G 4
28 #  else
29 #    define WINDOW_A 2
30 #    define WINDOW_G 2
31 #  endif
32 #else
33 /* optimal for 128-bit and 256-bit exponents. */
34 #  define WINDOW_A 5
35 /** Larger values for ECMULT_WINDOW_SIZE result in possibly better
36  *  performance at the cost of an exponentially larger precomputed
37  *  table. The exact table size is
38  *      (1 << (WINDOW_G - 2)) * sizeof(secp256k1_ge_storage)  bytes,
39  *  where sizeof(secp256k1_ge_storage) is typically 64 bytes but can
40  *  be larger due to platform-specific padding and alignment.
41  *  If the endomorphism optimization is enabled (USE_ENDOMORMPHSIM)
42  *  two tables of this size are used instead of only one.
43  */
44 #  define WINDOW_G ECMULT_WINDOW_SIZE
45 #endif
46
47 /* Noone will ever need more than a window size of 24. The code might
48  * be correct for larger values of ECMULT_WINDOW_SIZE but this is not
49  * not tested.
50  *
51  * The following limitations are known, and there are probably more:
52  * If WINDOW_G > 27 and size_t has 32 bits, then the code is incorrect
53  * because the size of the memory object that we allocate (in bytes)
54  * will not fit in a size_t.
55  * If WINDOW_G > 31 and int has 32 bits, then the code is incorrect
56  * because certain expressions will overflow.
57  */
58 #if ECMULT_WINDOW_SIZE < 2 || ECMULT_WINDOW_SIZE > 24
59 #  error Set ECMULT_WINDOW_SIZE to an integer in range [2..24].
60 #endif
61
62 #ifdef USE_ENDOMORPHISM
63     #define WNAF_BITS 128
64 #else
65     #define WNAF_BITS 256
66 #endif
67 #define WNAF_SIZE_BITS(bits, w) (((bits) + (w) - 1) / (w))
68 #define WNAF_SIZE(w) WNAF_SIZE_BITS(WNAF_BITS, w)
69
70 /** The number of entries a table with precomputed multiples needs to have. */
71 #define ECMULT_TABLE_SIZE(w) (1 << ((w)-2))
72
73 /* The number of objects allocated on the scratch space for ecmult_multi algorithms */
74 #define PIPPENGER_SCRATCH_OBJECTS 6
75 #define STRAUSS_SCRATCH_OBJECTS 6
76
77 #define PIPPENGER_MAX_BUCKET_WINDOW 12
78
79 /* Minimum number of points for which pippenger_wnaf is faster than strauss wnaf */
80 #ifdef USE_ENDOMORPHISM
81     #define ECMULT_PIPPENGER_THRESHOLD 88
82 #else
83     #define ECMULT_PIPPENGER_THRESHOLD 160
84 #endif
85
86 #ifdef USE_ENDOMORPHISM
87     #define ECMULT_MAX_POINTS_PER_BATCH 5000000
88 #else
89     #define ECMULT_MAX_POINTS_PER_BATCH 10000000
90 #endif
91
92 /** Fill a table 'prej' with precomputed odd multiples of a. Prej will contain
93  *  the values [1*a,3*a,...,(2*n-1)*a], so it space for n values. zr[0] will
94  *  contain prej[0].z / a.z. The other zr[i] values = prej[i].z / prej[i-1].z.
95  *  Prej's Z values are undefined, except for the last value.
96  */
97 static void secp256k1_ecmult_odd_multiples_table(int n, secp256k1_gej *prej, secp256k1_fe *zr, const secp256k1_gej *a) {
98     secp256k1_gej d;
99     secp256k1_ge a_ge, d_ge;
100     int i;
101
102     VERIFY_CHECK(!a->infinity);
103
104     secp256k1_gej_double_var(&d, a, NULL);
105
106     /*
107      * Perform the additions on an isomorphism where 'd' is affine: drop the z coordinate
108      * of 'd', and scale the 1P starting value's x/y coordinates without changing its z.
109      */
110     d_ge.x = d.x;
111     d_ge.y = d.y;
112     d_ge.infinity = 0;
113
114     secp256k1_ge_set_gej_zinv(&a_ge, a, &d.z);
115     prej[0].x = a_ge.x;
116     prej[0].y = a_ge.y;
117     prej[0].z = a->z;
118     prej[0].infinity = 0;
119
120     zr[0] = d.z;
121     for (i = 1; i < n; i++) {
122         secp256k1_gej_add_ge_var(&prej[i], &prej[i-1], &d_ge, &zr[i]);
123     }
124
125     /*
126      * Each point in 'prej' has a z coordinate too small by a factor of 'd.z'. Only
127      * the final point's z coordinate is actually used though, so just update that.
128      */
129     secp256k1_fe_mul(&prej[n-1].z, &prej[n-1].z, &d.z);
130 }
131
132 /** Fill a table 'pre' with precomputed odd multiples of a.
133  *
134  *  There are two versions of this function:
135  *  - secp256k1_ecmult_odd_multiples_table_globalz_windowa which brings its
136  *    resulting point set to a single constant Z denominator, stores the X and Y
137  *    coordinates as ge_storage points in pre, and stores the global Z in rz.
138  *    It only operates on tables sized for WINDOW_A wnaf multiples.
139  *  - secp256k1_ecmult_odd_multiples_table_storage_var, which converts its
140  *    resulting point set to actually affine points, and stores those in pre.
141  *    It operates on tables of any size, but uses heap-allocated temporaries.
142  *
143  *  To compute a*P + b*G, we compute a table for P using the first function,
144  *  and for G using the second (which requires an inverse, but it only needs to
145  *  happen once).
146  */
147 static void secp256k1_ecmult_odd_multiples_table_globalz_windowa(secp256k1_ge *pre, secp256k1_fe *globalz, const secp256k1_gej *a) {
148     secp256k1_gej prej[ECMULT_TABLE_SIZE(WINDOW_A)];
149     secp256k1_fe zr[ECMULT_TABLE_SIZE(WINDOW_A)];
150
151     /* Compute the odd multiples in Jacobian form. */
152     secp256k1_ecmult_odd_multiples_table(ECMULT_TABLE_SIZE(WINDOW_A), prej, zr, a);
153     /* Bring them to the same Z denominator. */
154     secp256k1_ge_globalz_set_table_gej(ECMULT_TABLE_SIZE(WINDOW_A), pre, globalz, prej, zr);
155 }
156
157 static void secp256k1_ecmult_odd_multiples_table_storage_var(const int n, secp256k1_ge_storage *pre, const secp256k1_gej *a) {
158     secp256k1_gej d;
159     secp256k1_ge d_ge, p_ge;
160     secp256k1_gej pj;
161     secp256k1_fe zi;
162     secp256k1_fe zr;
163     secp256k1_fe dx_over_dz_squared;
164     int i;
165
166     VERIFY_CHECK(!a->infinity);
167
168     secp256k1_gej_double_var(&d, a, NULL);
169
170     /* First, we perform all the additions in an isomorphic curve obtained by multiplying
171      * all `z` coordinates by 1/`d.z`. In these coordinates `d` is affine so we can use
172      * `secp256k1_gej_add_ge_var` to perform the additions. For each addition, we store
173      * the resulting y-coordinate and the z-ratio, since we only have enough memory to
174      * store two field elements. These are sufficient to efficiently undo the isomorphism
175      * and recompute all the `x`s.
176      */
177     d_ge.x = d.x;
178     d_ge.y = d.y;
179     d_ge.infinity = 0;
180
181     secp256k1_ge_set_gej_zinv(&p_ge, a, &d.z);
182     pj.x = p_ge.x;
183     pj.y = p_ge.y;
184     pj.z = a->z;
185     pj.infinity = 0;
186
187     for (i = 0; i < (n - 1); i++) {
188         secp256k1_fe_normalize_var(&pj.y);
189         secp256k1_fe_to_storage(&pre[i].y, &pj.y);
190         secp256k1_gej_add_ge_var(&pj, &pj, &d_ge, &zr);
191         secp256k1_fe_normalize_var(&zr);
192         secp256k1_fe_to_storage(&pre[i].x, &zr);
193     }
194
195     /* Invert d.z in the same batch, preserving pj.z so we can extract 1/d.z */
196     secp256k1_fe_mul(&zi, &pj.z, &d.z);
197     secp256k1_fe_inv_var(&zi, &zi);
198
199     /* Directly set `pre[n - 1]` to `pj`, saving the inverted z-coordinate so
200      * that we can combine it with the saved z-ratios to compute the other zs
201      * without any more inversions. */
202     secp256k1_ge_set_gej_zinv(&p_ge, &pj, &zi);
203     secp256k1_ge_to_storage(&pre[n - 1], &p_ge);
204
205     /* Compute the actual x-coordinate of D, which will be needed below. */
206     secp256k1_fe_mul(&d.z, &zi, &pj.z);  /* d.z = 1/d.z */
207     secp256k1_fe_sqr(&dx_over_dz_squared, &d.z);
208     secp256k1_fe_mul(&dx_over_dz_squared, &dx_over_dz_squared, &d.x);
209
210     /* Going into the second loop, we have set `pre[n-1]` to its final affine
211      * form, but still need to set `pre[i]` for `i` in 0 through `n-2`. We
212      * have `zi = (p.z * d.z)^-1`, where
213      *
214      *     `p.z` is the z-coordinate of the point on the isomorphic curve
215      *           which was ultimately assigned to `pre[n-1]`.
216      *     `d.z` is the multiplier that must be applied to all z-coordinates
217      *           to move from our isomorphic curve back to secp256k1; so the
218      *           product `p.z * d.z` is the z-coordinate of the secp256k1
219      *           point assigned to `pre[n-1]`.
220      *
221      * All subsequent inverse-z-coordinates can be obtained by multiplying this
222      * factor by successive z-ratios, which is much more efficient than directly
223      * computing each one.
224      *
225      * Importantly, these inverse-zs will be coordinates of points on secp256k1,
226      * while our other stored values come from computations on the isomorphic
227      * curve. So in the below loop, we will take care not to actually use `zi`
228      * or any derived values until we're back on secp256k1.
229      */
230     i = n - 1;
231     while (i > 0) {
232         secp256k1_fe zi2, zi3;
233         const secp256k1_fe *rzr;
234         i--;
235
236         secp256k1_ge_from_storage(&p_ge, &pre[i]);
237
238         /* For each remaining point, we extract the z-ratio from the stored
239          * x-coordinate, compute its z^-1 from that, and compute the full
240          * point from that. */
241         rzr = &p_ge.x;
242         secp256k1_fe_mul(&zi, &zi, rzr);
243         secp256k1_fe_sqr(&zi2, &zi);
244         secp256k1_fe_mul(&zi3, &zi2, &zi);
245         /* To compute the actual x-coordinate, we use the stored z ratio and
246          * y-coordinate, which we obtained from `secp256k1_gej_add_ge_var`
247          * in the loop above, as well as the inverse of the square of its
248          * z-coordinate. We store the latter in the `zi2` variable, which is
249          * computed iteratively starting from the overall Z inverse then
250          * multiplying by each z-ratio in turn.
251          *
252          * Denoting the z-ratio as `rzr`, we observe that it is equal to `h`
253          * from the inside of the above `gej_add_ge_var` call. This satisfies
254          *
255          *    rzr = d_x * z^2 - x * d_z^2
256          *
257          * where (`d_x`, `d_z`) are Jacobian coordinates of `D` and `(x, z)`
258          * are Jacobian coordinates of our desired point -- except both are on
259          * the isomorphic curve that we were using when we called `gej_add_ge_var`.
260          * To get back to secp256k1, we must multiply both `z`s by `d_z`, or
261          * equivalently divide both `x`s by `d_z^2`. Our equation then becomes
262          *
263          *    rzr = d_x * z^2 / d_z^2 - x
264          *
265          * (The left-hand-side, being a ratio of z-coordinates, is unaffected
266          * by the isomorphism.)
267          *
268          * Rearranging to solve for `x`, we have
269          *
270          *     x = d_x * z^2 / d_z^2 - rzr
271          *
272          * But what we actually want is the affine coordinate `X = x/z^2`,
273          * which will satisfy
274          *
275          *     X = d_x / d_z^2 - rzr / z^2
276          *       = dx_over_dz_squared - rzr * zi2
277          */
278         secp256k1_fe_mul(&p_ge.x, rzr, &zi2);
279         secp256k1_fe_negate(&p_ge.x, &p_ge.x, 1);
280         secp256k1_fe_add(&p_ge.x, &dx_over_dz_squared);
281         /* y is stored_y/z^3, as we expect */
282         secp256k1_fe_mul(&p_ge.y, &p_ge.y, &zi3);
283         /* Store */
284         secp256k1_ge_to_storage(&pre[i], &p_ge);
285     }
286 }
287
288 /** The following two macro retrieves a particular odd multiple from a table
289  *  of precomputed multiples. */
290 #define ECMULT_TABLE_GET_GE(r,pre,n,w) do { \
291     VERIFY_CHECK(((n) & 1) == 1); \
292     VERIFY_CHECK((n) >= -((1 << ((w)-1)) - 1)); \
293     VERIFY_CHECK((n) <=  ((1 << ((w)-1)) - 1)); \
294     if ((n) > 0) { \
295         *(r) = (pre)[((n)-1)/2]; \
296     } else { \
297         *(r) = (pre)[(-(n)-1)/2]; \
298         secp256k1_fe_negate(&((r)->y), &((r)->y), 1); \
299     } \
300 } while(0)
301
302 #define ECMULT_TABLE_GET_GE_STORAGE(r,pre,n,w) do { \
303     VERIFY_CHECK(((n) & 1) == 1); \
304     VERIFY_CHECK((n) >= -((1 << ((w)-1)) - 1)); \
305     VERIFY_CHECK((n) <=  ((1 << ((w)-1)) - 1)); \
306     if ((n) > 0) { \
307         secp256k1_ge_from_storage((r), &(pre)[((n)-1)/2]); \
308     } else { \
309         secp256k1_ge_from_storage((r), &(pre)[(-(n)-1)/2]); \
310         secp256k1_fe_negate(&((r)->y), &((r)->y), 1); \
311     } \
312 } while(0)
313
314 static const size_t SECP256K1_ECMULT_CONTEXT_PREALLOCATED_SIZE =
315     ROUND_TO_ALIGN(sizeof((*((secp256k1_ecmult_context*) NULL)->pre_g)[0]) * ECMULT_TABLE_SIZE(WINDOW_G))
316 #ifdef USE_ENDOMORPHISM
317     + ROUND_TO_ALIGN(sizeof((*((secp256k1_ecmult_context*) NULL)->pre_g_128)[0]) * ECMULT_TABLE_SIZE(WINDOW_G))
318 #endif
319     ;
320
321 static void secp256k1_ecmult_context_init(secp256k1_ecmult_context *ctx) {
322     ctx->pre_g = NULL;
323 #ifdef USE_ENDOMORPHISM
324     ctx->pre_g_128 = NULL;
325 #endif
326 }
327
328 static void secp256k1_ecmult_context_build(secp256k1_ecmult_context *ctx, void **prealloc) {
329     secp256k1_gej gj;
330     void* const base = *prealloc;
331     size_t const prealloc_size = SECP256K1_ECMULT_CONTEXT_PREALLOCATED_SIZE;
332
333     if (ctx->pre_g != NULL) {
334         return;
335     }
336
337     /* get the generator */
338     secp256k1_gej_set_ge(&gj, &secp256k1_ge_const_g);
339
340     {
341         size_t size = sizeof((*ctx->pre_g)[0]) * ((size_t)ECMULT_TABLE_SIZE(WINDOW_G));
342         /* check for overflow */
343         VERIFY_CHECK(size / sizeof((*ctx->pre_g)[0]) == ((size_t)ECMULT_TABLE_SIZE(WINDOW_G)));
344         ctx->pre_g = (secp256k1_ge_storage (*)[])manual_alloc(prealloc, sizeof((*ctx->pre_g)[0]) * ECMULT_TABLE_SIZE(WINDOW_G), base, prealloc_size);
345     }
346
347     /* precompute the tables with odd multiples */
348     secp256k1_ecmult_odd_multiples_table_storage_var(ECMULT_TABLE_SIZE(WINDOW_G), *ctx->pre_g, &gj);
349
350 #ifdef USE_ENDOMORPHISM
351     {
352         secp256k1_gej g_128j;
353         int i;
354
355         size_t size = sizeof((*ctx->pre_g_128)[0]) * ((size_t) ECMULT_TABLE_SIZE(WINDOW_G));
356         /* check for overflow */
357         VERIFY_CHECK(size / sizeof((*ctx->pre_g_128)[0]) == ((size_t)ECMULT_TABLE_SIZE(WINDOW_G)));
358         ctx->pre_g_128 = (secp256k1_ge_storage (*)[])manual_alloc(prealloc, sizeof((*ctx->pre_g_128)[0]) * ECMULT_TABLE_SIZE(WINDOW_G), base, prealloc_size);
359
360         /* calculate 2^128*generator */
361         g_128j = gj;
362         for (i = 0; i < 128; i++) {
363             secp256k1_gej_double_var(&g_128j, &g_128j, NULL);
364         }
365         secp256k1_ecmult_odd_multiples_table_storage_var(ECMULT_TABLE_SIZE(WINDOW_G), *ctx->pre_g_128, &g_128j);
366     }
367 #endif
368 }
369
370 static void secp256k1_ecmult_context_finalize_memcpy(secp256k1_ecmult_context *dst, const secp256k1_ecmult_context *src) {
371     if (src->pre_g != NULL) {
372         /* We cast to void* first to suppress a -Wcast-align warning. */
373         dst->pre_g = (secp256k1_ge_storage (*)[])(void*)((unsigned char*)dst + ((unsigned char*)(src->pre_g) - (unsigned char*)src));
374     }
375 #ifdef USE_ENDOMORPHISM
376     if (src->pre_g_128 != NULL) {
377         dst->pre_g_128 = (secp256k1_ge_storage (*)[])(void*)((unsigned char*)dst + ((unsigned char*)(src->pre_g_128) - (unsigned char*)src));
378     }
379 #endif
380 }
381
382 static int secp256k1_ecmult_context_is_built(const secp256k1_ecmult_context *ctx) {
383     return ctx->pre_g != NULL;
384 }
385
386 static void secp256k1_ecmult_context_clear(secp256k1_ecmult_context *ctx) {
387     secp256k1_ecmult_context_init(ctx);
388 }
389
390 /** Convert a number to WNAF notation. The number becomes represented by sum(2^i * wnaf[i], i=0..bits),
391  *  with the following guarantees:
392  *  - each wnaf[i] is either 0, or an odd integer between -(1<<(w-1) - 1) and (1<<(w-1) - 1)
393  *  - two non-zero entries in wnaf are separated by at least w-1 zeroes.
394  *  - the number of set values in wnaf is returned. This number is at most 256, and at most one more
395  *    than the number of bits in the (absolute value) of the input.
396  */
397 static int secp256k1_ecmult_wnaf(int *wnaf, int len, const secp256k1_scalar *a, int w) {
398     secp256k1_scalar s = *a;
399     int last_set_bit = -1;
400     int bit = 0;
401     int sign = 1;
402     int carry = 0;
403
404     VERIFY_CHECK(wnaf != NULL);
405     VERIFY_CHECK(0 <= len && len <= 256);
406     VERIFY_CHECK(a != NULL);
407     VERIFY_CHECK(2 <= w && w <= 31);
408
409     memset(wnaf, 0, len * sizeof(wnaf[0]));
410
411     if (secp256k1_scalar_get_bits(&s, 255, 1)) {
412         secp256k1_scalar_negate(&s, &s);
413         sign = -1;
414     }
415
416     while (bit < len) {
417         int now;
418         int word;
419         if (secp256k1_scalar_get_bits(&s, bit, 1) == (unsigned int)carry) {
420             bit++;
421             continue;
422         }
423
424         now = w;
425         if (now > len - bit) {
426             now = len - bit;
427         }
428
429         word = secp256k1_scalar_get_bits_var(&s, bit, now) + carry;
430
431         carry = (word >> (w-1)) & 1;
432         word -= carry << w;
433
434         wnaf[bit] = sign * word;
435         last_set_bit = bit;
436
437         bit += now;
438     }
439 #ifdef VERIFY
440     CHECK(carry == 0);
441     while (bit < 256) {
442         CHECK(secp256k1_scalar_get_bits(&s, bit++, 1) == 0);
443     }
444 #endif
445     return last_set_bit + 1;
446 }
447
448 struct secp256k1_strauss_point_state {
449 #ifdef USE_ENDOMORPHISM
450     secp256k1_scalar na_1, na_lam;
451     int wnaf_na_1[130];
452     int wnaf_na_lam[130];
453     int bits_na_1;
454     int bits_na_lam;
455 #else
456     int wnaf_na[256];
457     int bits_na;
458 #endif
459     size_t input_pos;
460 };
461
462 struct secp256k1_strauss_state {
463     secp256k1_gej* prej;
464     secp256k1_fe* zr;
465     secp256k1_ge* pre_a;
466 #ifdef USE_ENDOMORPHISM
467     secp256k1_ge* pre_a_lam;
468 #endif
469     struct secp256k1_strauss_point_state* ps;
470 };
471
472 static void secp256k1_ecmult_strauss_wnaf(const secp256k1_ecmult_context *ctx, const struct secp256k1_strauss_state *state, secp256k1_gej *r, int num, const secp256k1_gej *a, const secp256k1_scalar *na, const secp256k1_scalar *ng) {
473     secp256k1_ge tmpa;
474     secp256k1_fe Z;
475 #ifdef USE_ENDOMORPHISM
476     /* Splitted G factors. */
477     secp256k1_scalar ng_1, ng_128;
478     int wnaf_ng_1[129];
479     int bits_ng_1 = 0;
480     int wnaf_ng_128[129];
481     int bits_ng_128 = 0;
482 #else
483     int wnaf_ng[256];
484     int bits_ng = 0;
485 #endif
486     int i;
487     int bits = 0;
488     int np;
489     int no = 0;
490
491     for (np = 0; np < num; ++np) {
492         if (secp256k1_scalar_is_zero(&na[np]) || secp256k1_gej_is_infinity(&a[np])) {
493             continue;
494         }
495         state->ps[no].input_pos = np;
496 #ifdef USE_ENDOMORPHISM
497         /* split na into na_1 and na_lam (where na = na_1 + na_lam*lambda, and na_1 and na_lam are ~128 bit) */
498         secp256k1_scalar_split_lambda(&state->ps[no].na_1, &state->ps[no].na_lam, &na[np]);
499
500         /* build wnaf representation for na_1 and na_lam. */
501         state->ps[no].bits_na_1   = secp256k1_ecmult_wnaf(state->ps[no].wnaf_na_1,   130, &state->ps[no].na_1,   WINDOW_A);
502         state->ps[no].bits_na_lam = secp256k1_ecmult_wnaf(state->ps[no].wnaf_na_lam, 130, &state->ps[no].na_lam, WINDOW_A);
503         VERIFY_CHECK(state->ps[no].bits_na_1 <= 130);
504         VERIFY_CHECK(state->ps[no].bits_na_lam <= 130);
505         if (state->ps[no].bits_na_1 > bits) {
506             bits = state->ps[no].bits_na_1;
507         }
508         if (state->ps[no].bits_na_lam > bits) {
509             bits = state->ps[no].bits_na_lam;
510         }
511 #else
512         /* build wnaf representation for na. */
513         state->ps[no].bits_na     = secp256k1_ecmult_wnaf(state->ps[no].wnaf_na,     256, &na[np],      WINDOW_A);
514         if (state->ps[no].bits_na > bits) {
515             bits = state->ps[no].bits_na;
516         }
517 #endif
518         ++no;
519     }
520
521     /* Calculate odd multiples of a.
522      * All multiples are brought to the same Z 'denominator', which is stored
523      * in Z. Due to secp256k1' isomorphism we can do all operations pretending
524      * that the Z coordinate was 1, use affine addition formulae, and correct
525      * the Z coordinate of the result once at the end.
526      * The exception is the precomputed G table points, which are actually
527      * affine. Compared to the base used for other points, they have a Z ratio
528      * of 1/Z, so we can use secp256k1_gej_add_zinv_var, which uses the same
529      * isomorphism to efficiently add with a known Z inverse.
530      */
531     if (no > 0) {
532         /* Compute the odd multiples in Jacobian form. */
533         secp256k1_ecmult_odd_multiples_table(ECMULT_TABLE_SIZE(WINDOW_A), state->prej, state->zr, &a[state->ps[0].input_pos]);
534         for (np = 1; np < no; ++np) {
535             secp256k1_gej tmp = a[state->ps[np].input_pos];
536 #ifdef VERIFY
537             secp256k1_fe_normalize_var(&(state->prej[(np - 1) * ECMULT_TABLE_SIZE(WINDOW_A) + ECMULT_TABLE_SIZE(WINDOW_A) - 1].z));
538 #endif
539             secp256k1_gej_rescale(&tmp, &(state->prej[(np - 1) * ECMULT_TABLE_SIZE(WINDOW_A) + ECMULT_TABLE_SIZE(WINDOW_A) - 1].z));
540             secp256k1_ecmult_odd_multiples_table(ECMULT_TABLE_SIZE(WINDOW_A), state->prej + np * ECMULT_TABLE_SIZE(WINDOW_A), state->zr + np * ECMULT_TABLE_SIZE(WINDOW_A), &tmp);
541             secp256k1_fe_mul(state->zr + np * ECMULT_TABLE_SIZE(WINDOW_A), state->zr + np * ECMULT_TABLE_SIZE(WINDOW_A), &(a[state->ps[np].input_pos].z));
542         }
543         /* Bring them to the same Z denominator. */
544         secp256k1_ge_globalz_set_table_gej(ECMULT_TABLE_SIZE(WINDOW_A) * no, state->pre_a, &Z, state->prej, state->zr);
545     } else {
546         secp256k1_fe_set_int(&Z, 1);
547     }
548
549 #ifdef USE_ENDOMORPHISM
550     for (np = 0; np < no; ++np) {
551         for (i = 0; i < ECMULT_TABLE_SIZE(WINDOW_A); i++) {
552             secp256k1_ge_mul_lambda(&state->pre_a_lam[np * ECMULT_TABLE_SIZE(WINDOW_A) + i], &state->pre_a[np * ECMULT_TABLE_SIZE(WINDOW_A) + i]);
553         }
554     }
555
556     if (ng) {
557         /* split ng into ng_1 and ng_128 (where gn = gn_1 + gn_128*2^128, and gn_1 and gn_128 are ~128 bit) */
558         secp256k1_scalar_split_128(&ng_1, &ng_128, ng);
559
560         /* Build wnaf representation for ng_1 and ng_128 */
561         bits_ng_1   = secp256k1_ecmult_wnaf(wnaf_ng_1,   129, &ng_1,   WINDOW_G);
562         bits_ng_128 = secp256k1_ecmult_wnaf(wnaf_ng_128, 129, &ng_128, WINDOW_G);
563         if (bits_ng_1 > bits) {
564             bits = bits_ng_1;
565         }
566         if (bits_ng_128 > bits) {
567             bits = bits_ng_128;
568         }
569     }
570 #else
571     if (ng) {
572         bits_ng     = secp256k1_ecmult_wnaf(wnaf_ng,     256, ng,      WINDOW_G);
573         if (bits_ng > bits) {
574             bits = bits_ng;
575         }
576     }
577 #endif
578
579     secp256k1_gej_set_infinity(r);
580
581     for (i = bits - 1; i >= 0; i--) {
582         int n;
583         secp256k1_gej_double_var(r, r, NULL);
584 #ifdef USE_ENDOMORPHISM
585         for (np = 0; np < no; ++np) {
586             if (i < state->ps[np].bits_na_1 && (n = state->ps[np].wnaf_na_1[i])) {
587                 ECMULT_TABLE_GET_GE(&tmpa, state->pre_a + np * ECMULT_TABLE_SIZE(WINDOW_A), n, WINDOW_A);
588                 secp256k1_gej_add_ge_var(r, r, &tmpa, NULL);
589             }
590             if (i < state->ps[np].bits_na_lam && (n = state->ps[np].wnaf_na_lam[i])) {
591                 ECMULT_TABLE_GET_GE(&tmpa, state->pre_a_lam + np * ECMULT_TABLE_SIZE(WINDOW_A), n, WINDOW_A);
592                 secp256k1_gej_add_ge_var(r, r, &tmpa, NULL);
593             }
594         }
595         if (i < bits_ng_1 && (n = wnaf_ng_1[i])) {
596             ECMULT_TABLE_GET_GE_STORAGE(&tmpa, *ctx->pre_g, n, WINDOW_G);
597             secp256k1_gej_add_zinv_var(r, r, &tmpa, &Z);
598         }
599         if (i < bits_ng_128 && (n = wnaf_ng_128[i])) {
600             ECMULT_TABLE_GET_GE_STORAGE(&tmpa, *ctx->pre_g_128, n, WINDOW_G);
601             secp256k1_gej_add_zinv_var(r, r, &tmpa, &Z);
602         }
603 #else
604         for (np = 0; np < no; ++np) {
605             if (i < state->ps[np].bits_na && (n = state->ps[np].wnaf_na[i])) {
606                 ECMULT_TABLE_GET_GE(&tmpa, state->pre_a + np * ECMULT_TABLE_SIZE(WINDOW_A), n, WINDOW_A);
607                 secp256k1_gej_add_ge_var(r, r, &tmpa, NULL);
608             }
609         }
610         if (i < bits_ng && (n = wnaf_ng[i])) {
611             ECMULT_TABLE_GET_GE_STORAGE(&tmpa, *ctx->pre_g, n, WINDOW_G);
612             secp256k1_gej_add_zinv_var(r, r, &tmpa, &Z);
613         }
614 #endif
615     }
616
617     if (!r->infinity) {
618         secp256k1_fe_mul(&r->z, &r->z, &Z);
619     }
620 }
621
622 static void secp256k1_ecmult(const secp256k1_ecmult_context *ctx, secp256k1_gej *r, const secp256k1_gej *a, const secp256k1_scalar *na, const secp256k1_scalar *ng) {
623     secp256k1_gej prej[ECMULT_TABLE_SIZE(WINDOW_A)];
624     secp256k1_fe zr[ECMULT_TABLE_SIZE(WINDOW_A)];
625     secp256k1_ge pre_a[ECMULT_TABLE_SIZE(WINDOW_A)];
626     struct secp256k1_strauss_point_state ps[1];
627 #ifdef USE_ENDOMORPHISM
628     secp256k1_ge pre_a_lam[ECMULT_TABLE_SIZE(WINDOW_A)];
629 #endif
630     struct secp256k1_strauss_state state;
631
632     state.prej = prej;
633     state.zr = zr;
634     state.pre_a = pre_a;
635 #ifdef USE_ENDOMORPHISM
636     state.pre_a_lam = pre_a_lam;
637 #endif
638     state.ps = ps;
639     secp256k1_ecmult_strauss_wnaf(ctx, &state, r, 1, a, na, ng);
640 }
641
642 static size_t secp256k1_strauss_scratch_size(size_t n_points) {
643 #ifdef USE_ENDOMORPHISM
644     static const size_t point_size = (2 * sizeof(secp256k1_ge) + sizeof(secp256k1_gej) + sizeof(secp256k1_fe)) * ECMULT_TABLE_SIZE(WINDOW_A) + sizeof(struct secp256k1_strauss_point_state) + sizeof(secp256k1_gej) + sizeof(secp256k1_scalar);
645 #else
646     static const size_t point_size = (sizeof(secp256k1_ge) + sizeof(secp256k1_gej) + sizeof(secp256k1_fe)) * ECMULT_TABLE_SIZE(WINDOW_A) + sizeof(struct secp256k1_strauss_point_state) + sizeof(secp256k1_gej) + sizeof(secp256k1_scalar);
647 #endif
648     return n_points*point_size;
649 }
650
651 static int secp256k1_ecmult_strauss_batch(const secp256k1_ecmult_context *ctx, secp256k1_scratch *scratch, secp256k1_gej *r, const secp256k1_scalar *inp_g_sc, secp256k1_ecmult_multi_callback cb, void *cbdata, size_t n_points, size_t cb_offset) {
652     secp256k1_gej* points;
653     secp256k1_scalar* scalars;
654     struct secp256k1_strauss_state state;
655     size_t i;
656
657     secp256k1_gej_set_infinity(r);
658     if (inp_g_sc == NULL && n_points == 0) {
659         return 1;
660     }
661
662     if (!secp256k1_scratch_allocate_frame(scratch, secp256k1_strauss_scratch_size(n_points), STRAUSS_SCRATCH_OBJECTS)) {
663         return 0;
664     }
665     points = (secp256k1_gej*)secp256k1_scratch_alloc(scratch, n_points * sizeof(secp256k1_gej));
666     scalars = (secp256k1_scalar*)secp256k1_scratch_alloc(scratch, n_points * sizeof(secp256k1_scalar));
667     state.prej = (secp256k1_gej*)secp256k1_scratch_alloc(scratch, n_points * ECMULT_TABLE_SIZE(WINDOW_A) * sizeof(secp256k1_gej));
668     state.zr = (secp256k1_fe*)secp256k1_scratch_alloc(scratch, n_points * ECMULT_TABLE_SIZE(WINDOW_A) * sizeof(secp256k1_fe));
669 #ifdef USE_ENDOMORPHISM
670     state.pre_a = (secp256k1_ge*)secp256k1_scratch_alloc(scratch, n_points * 2 * ECMULT_TABLE_SIZE(WINDOW_A) * sizeof(secp256k1_ge));
671     state.pre_a_lam = state.pre_a + n_points * ECMULT_TABLE_SIZE(WINDOW_A);
672 #else
673     state.pre_a = (secp256k1_ge*)secp256k1_scratch_alloc(scratch, n_points * ECMULT_TABLE_SIZE(WINDOW_A) * sizeof(secp256k1_ge));
674 #endif
675     state.ps = (struct secp256k1_strauss_point_state*)secp256k1_scratch_alloc(scratch, n_points * sizeof(struct secp256k1_strauss_point_state));
676
677     for (i = 0; i < n_points; i++) {
678         secp256k1_ge point;
679         if (!cb(&scalars[i], &point, i+cb_offset, cbdata)) {
680             secp256k1_scratch_deallocate_frame(scratch);
681             return 0;
682         }
683         secp256k1_gej_set_ge(&points[i], &point);
684     }
685     secp256k1_ecmult_strauss_wnaf(ctx, &state, r, n_points, points, scalars, inp_g_sc);
686     secp256k1_scratch_deallocate_frame(scratch);
687     return 1;
688 }
689
690 /* Wrapper for secp256k1_ecmult_multi_func interface */
691 static int secp256k1_ecmult_strauss_batch_single(const secp256k1_ecmult_context *actx, secp256k1_scratch *scratch, secp256k1_gej *r, const secp256k1_scalar *inp_g_sc, secp256k1_ecmult_multi_callback cb, void *cbdata, size_t n) {
692     return secp256k1_ecmult_strauss_batch(actx, scratch, r, inp_g_sc, cb, cbdata, n, 0);
693 }
694
695 static size_t secp256k1_strauss_max_points(secp256k1_scratch *scratch) {
696     return secp256k1_scratch_max_allocation(scratch, STRAUSS_SCRATCH_OBJECTS) / secp256k1_strauss_scratch_size(1);
697 }
698
699 /** Convert a number to WNAF notation.
700  *  The number becomes represented by sum(2^{wi} * wnaf[i], i=0..WNAF_SIZE(w)+1) - return_val.
701  *  It has the following guarantees:
702  *  - each wnaf[i] is either 0 or an odd integer between -(1 << w) and (1 << w)
703  *  - the number of words set is always WNAF_SIZE(w)
704  *  - the returned skew is 0 or 1
705  */
706 static int secp256k1_wnaf_fixed(int *wnaf, const secp256k1_scalar *s, int w) {
707     int skew = 0;
708     int pos;
709     int max_pos;
710     int last_w;
711     const secp256k1_scalar *work = s;
712
713     if (secp256k1_scalar_is_zero(s)) {
714         for (pos = 0; pos < WNAF_SIZE(w); pos++) {
715             wnaf[pos] = 0;
716         }
717         return 0;
718     }
719
720     if (secp256k1_scalar_is_even(s)) {
721         skew = 1;
722     }
723
724     wnaf[0] = secp256k1_scalar_get_bits_var(work, 0, w) + skew;
725     /* Compute last window size. Relevant when window size doesn't divide the
726      * number of bits in the scalar */
727     last_w = WNAF_BITS - (WNAF_SIZE(w) - 1) * w;
728
729     /* Store the position of the first nonzero word in max_pos to allow
730      * skipping leading zeros when calculating the wnaf. */
731     for (pos = WNAF_SIZE(w) - 1; pos > 0; pos--) {
732         int val = secp256k1_scalar_get_bits_var(work, pos * w, pos == WNAF_SIZE(w)-1 ? last_w : w);
733         if(val != 0) {
734             break;
735         }
736         wnaf[pos] = 0;
737     }
738     max_pos = pos;
739     pos = 1;
740
741     while (pos <= max_pos) {
742         int val = secp256k1_scalar_get_bits_var(work, pos * w, pos == WNAF_SIZE(w)-1 ? last_w : w);
743         if ((val & 1) == 0) {
744             wnaf[pos - 1] -= (1 << w);
745             wnaf[pos] = (val + 1);
746         } else {
747             wnaf[pos] = val;
748         }
749         /* Set a coefficient to zero if it is 1 or -1 and the proceeding digit
750          * is strictly negative or strictly positive respectively. Only change
751          * coefficients at previous positions because above code assumes that
752          * wnaf[pos - 1] is odd.
753          */
754         if (pos >= 2 && ((wnaf[pos - 1] == 1 && wnaf[pos - 2] < 0) || (wnaf[pos - 1] == -1 && wnaf[pos - 2] > 0))) {
755             if (wnaf[pos - 1] == 1) {
756                 wnaf[pos - 2] += 1 << w;
757             } else {
758                 wnaf[pos - 2] -= 1 << w;
759             }
760             wnaf[pos - 1] = 0;
761         }
762         ++pos;
763     }
764
765     return skew;
766 }
767
768 struct secp256k1_pippenger_point_state {
769     int skew_na;
770     size_t input_pos;
771 };
772
773 struct secp256k1_pippenger_state {
774     int *wnaf_na;
775     struct secp256k1_pippenger_point_state* ps;
776 };
777
778 /*
779  * pippenger_wnaf computes the result of a multi-point multiplication as
780  * follows: The scalars are brought into wnaf with n_wnaf elements each. Then
781  * for every i < n_wnaf, first each point is added to a "bucket" corresponding
782  * to the point's wnaf[i]. Second, the buckets are added together such that
783  * r += 1*bucket[0] + 3*bucket[1] + 5*bucket[2] + ...
784  */
785 static int secp256k1_ecmult_pippenger_wnaf(secp256k1_gej *buckets, int bucket_window, struct secp256k1_pippenger_state *state, secp256k1_gej *r, const secp256k1_scalar *sc, const secp256k1_ge *pt, size_t num) {
786     size_t n_wnaf = WNAF_SIZE(bucket_window+1);
787     size_t np;
788     size_t no = 0;
789     int i;
790     int j;
791
792     for (np = 0; np < num; ++np) {
793         if (secp256k1_scalar_is_zero(&sc[np]) || secp256k1_ge_is_infinity(&pt[np])) {
794             continue;
795         }
796         state->ps[no].input_pos = np;
797         state->ps[no].skew_na = secp256k1_wnaf_fixed(&state->wnaf_na[no*n_wnaf], &sc[np], bucket_window+1);
798         no++;
799     }
800     secp256k1_gej_set_infinity(r);
801
802     if (no == 0) {
803         return 1;
804     }
805
806     for (i = n_wnaf - 1; i >= 0; i--) {
807         secp256k1_gej running_sum;
808
809         for(j = 0; j < ECMULT_TABLE_SIZE(bucket_window+2); j++) {
810             secp256k1_gej_set_infinity(&buckets[j]);
811         }
812
813         for (np = 0; np < no; ++np) {
814             int n = state->wnaf_na[np*n_wnaf + i];
815             struct secp256k1_pippenger_point_state point_state = state->ps[np];
816             secp256k1_ge tmp;
817             int idx;
818
819             if (i == 0) {
820                 /* correct for wnaf skew */
821                 int skew = point_state.skew_na;
822                 if (skew) {
823                     secp256k1_ge_neg(&tmp, &pt[point_state.input_pos]);
824                     secp256k1_gej_add_ge_var(&buckets[0], &buckets[0], &tmp, NULL);
825                 }
826             }
827             if (n > 0) {
828                 idx = (n - 1)/2;
829                 secp256k1_gej_add_ge_var(&buckets[idx], &buckets[idx], &pt[point_state.input_pos], NULL);
830             } else if (n < 0) {
831                 idx = -(n + 1)/2;
832                 secp256k1_ge_neg(&tmp, &pt[point_state.input_pos]);
833                 secp256k1_gej_add_ge_var(&buckets[idx], &buckets[idx], &tmp, NULL);
834             }
835         }
836
837         for(j = 0; j < bucket_window; j++) {
838             secp256k1_gej_double_var(r, r, NULL);
839         }
840
841         secp256k1_gej_set_infinity(&running_sum);
842         /* Accumulate the sum: bucket[0] + 3*bucket[1] + 5*bucket[2] + 7*bucket[3] + ...
843          *                   = bucket[0] +   bucket[1] +   bucket[2] +   bucket[3] + ...
844          *                   +         2 *  (bucket[1] + 2*bucket[2] + 3*bucket[3] + ...)
845          * using an intermediate running sum:
846          * running_sum = bucket[0] +   bucket[1] +   bucket[2] + ...
847          *
848          * The doubling is done implicitly by deferring the final window doubling (of 'r').
849          */
850         for(j = ECMULT_TABLE_SIZE(bucket_window+2) - 1; j > 0; j--) {
851             secp256k1_gej_add_var(&running_sum, &running_sum, &buckets[j], NULL);
852             secp256k1_gej_add_var(r, r, &running_sum, NULL);
853         }
854
855         secp256k1_gej_add_var(&running_sum, &running_sum, &buckets[0], NULL);
856         secp256k1_gej_double_var(r, r, NULL);
857         secp256k1_gej_add_var(r, r, &running_sum, NULL);
858     }
859     return 1;
860 }
861
862 /**
863  * Returns optimal bucket_window (number of bits of a scalar represented by a
864  * set of buckets) for a given number of points.
865  */
866 static int secp256k1_pippenger_bucket_window(size_t n) {
867 #ifdef USE_ENDOMORPHISM
868     if (n <= 1) {
869         return 1;
870     } else if (n <= 4) {
871         return 2;
872     } else if (n <= 20) {
873         return 3;
874     } else if (n <= 57) {
875         return 4;
876     } else if (n <= 136) {
877         return 5;
878     } else if (n <= 235) {
879         return 6;
880     } else if (n <= 1260) {
881         return 7;
882     } else if (n <= 4420) {
883         return 9;
884     } else if (n <= 7880) {
885         return 10;
886     } else if (n <= 16050) {
887         return 11;
888     } else {
889         return PIPPENGER_MAX_BUCKET_WINDOW;
890     }
891 #else
892     if (n <= 1) {
893         return 1;
894     } else if (n <= 11) {
895         return 2;
896     } else if (n <= 45) {
897         return 3;
898     } else if (n <= 100) {
899         return 4;
900     } else if (n <= 275) {
901         return 5;
902     } else if (n <= 625) {
903         return 6;
904     } else if (n <= 1850) {
905         return 7;
906     } else if (n <= 3400) {
907         return 8;
908     } else if (n <= 9630) {
909         return 9;
910     } else if (n <= 17900) {
911         return 10;
912     } else if (n <= 32800) {
913         return 11;
914     } else {
915         return PIPPENGER_MAX_BUCKET_WINDOW;
916     }
917 #endif
918 }
919
920 /**
921  * Returns the maximum optimal number of points for a bucket_window.
922  */
923 static size_t secp256k1_pippenger_bucket_window_inv(int bucket_window) {
924     switch(bucket_window) {
925 #ifdef USE_ENDOMORPHISM
926         case 1: return 1;
927         case 2: return 4;
928         case 3: return 20;
929         case 4: return 57;
930         case 5: return 136;
931         case 6: return 235;
932         case 7: return 1260;
933         case 8: return 1260;
934         case 9: return 4420;
935         case 10: return 7880;
936         case 11: return 16050;
937         case PIPPENGER_MAX_BUCKET_WINDOW: return SIZE_MAX;
938 #else
939         case 1: return 1;
940         case 2: return 11;
941         case 3: return 45;
942         case 4: return 100;
943         case 5: return 275;
944         case 6: return 625;
945         case 7: return 1850;
946         case 8: return 3400;
947         case 9: return 9630;
948         case 10: return 17900;
949         case 11: return 32800;
950         case PIPPENGER_MAX_BUCKET_WINDOW: return SIZE_MAX;
951 #endif
952     }
953     return 0;
954 }
955
956
957 #ifdef USE_ENDOMORPHISM
958 SECP256K1_INLINE static void secp256k1_ecmult_endo_split(secp256k1_scalar *s1, secp256k1_scalar *s2, secp256k1_ge *p1, secp256k1_ge *p2) {
959     secp256k1_scalar tmp = *s1;
960     secp256k1_scalar_split_lambda(s1, s2, &tmp);
961     secp256k1_ge_mul_lambda(p2, p1);
962
963     if (secp256k1_scalar_is_high(s1)) {
964         secp256k1_scalar_negate(s1, s1);
965         secp256k1_ge_neg(p1, p1);
966     }
967     if (secp256k1_scalar_is_high(s2)) {
968         secp256k1_scalar_negate(s2, s2);
969         secp256k1_ge_neg(p2, p2);
970     }
971 }
972 #endif
973
974 /**
975  * Returns the scratch size required for a given number of points (excluding
976  * base point G) without considering alignment.
977  */
978 static size_t secp256k1_pippenger_scratch_size(size_t n_points, int bucket_window) {
979 #ifdef USE_ENDOMORPHISM
980     size_t entries = 2*n_points + 2;
981 #else
982     size_t entries = n_points + 1;
983 #endif
984     size_t entry_size = sizeof(secp256k1_ge) + sizeof(secp256k1_scalar) + sizeof(struct secp256k1_pippenger_point_state) + (WNAF_SIZE(bucket_window+1)+1)*sizeof(int);
985     return (sizeof(secp256k1_gej) << bucket_window) + sizeof(struct secp256k1_pippenger_state) + entries * entry_size;
986 }
987
988 static int secp256k1_ecmult_pippenger_batch(const secp256k1_ecmult_context *ctx, secp256k1_scratch *scratch, secp256k1_gej *r, const secp256k1_scalar *inp_g_sc, secp256k1_ecmult_multi_callback cb, void *cbdata, size_t n_points, size_t cb_offset) {
989     /* Use 2(n+1) with the endomorphism, n+1 without, when calculating batch
990      * sizes. The reason for +1 is that we add the G scalar to the list of
991      * other scalars. */
992 #ifdef USE_ENDOMORPHISM
993     size_t entries = 2*n_points + 2;
994 #else
995     size_t entries = n_points + 1;
996 #endif
997     secp256k1_ge *points;
998     secp256k1_scalar *scalars;
999     secp256k1_gej *buckets;
1000     struct secp256k1_pippenger_state *state_space;
1001     size_t idx = 0;
1002     size_t point_idx = 0;
1003     int i, j;
1004     int bucket_window;
1005
1006     (void)ctx;
1007     secp256k1_gej_set_infinity(r);
1008     if (inp_g_sc == NULL && n_points == 0) {
1009         return 1;
1010     }
1011
1012     bucket_window = secp256k1_pippenger_bucket_window(n_points);
1013     if (!secp256k1_scratch_allocate_frame(scratch, secp256k1_pippenger_scratch_size(n_points, bucket_window), PIPPENGER_SCRATCH_OBJECTS)) {
1014         return 0;
1015     }
1016     points = (secp256k1_ge *) secp256k1_scratch_alloc(scratch, entries * sizeof(*points));
1017     scalars = (secp256k1_scalar *) secp256k1_scratch_alloc(scratch, entries * sizeof(*scalars));
1018     state_space = (struct secp256k1_pippenger_state *) secp256k1_scratch_alloc(scratch, sizeof(*state_space));
1019     state_space->ps = (struct secp256k1_pippenger_point_state *) secp256k1_scratch_alloc(scratch, entries * sizeof(*state_space->ps));
1020     state_space->wnaf_na = (int *) secp256k1_scratch_alloc(scratch, entries*(WNAF_SIZE(bucket_window+1)) * sizeof(int));
1021     buckets = (secp256k1_gej *) secp256k1_scratch_alloc(scratch, sizeof(*buckets) << bucket_window);
1022
1023     if (inp_g_sc != NULL) {
1024         scalars[0] = *inp_g_sc;
1025         points[0] = secp256k1_ge_const_g;
1026         idx++;
1027 #ifdef USE_ENDOMORPHISM
1028         secp256k1_ecmult_endo_split(&scalars[0], &scalars[1], &points[0], &points[1]);
1029         idx++;
1030 #endif
1031     }
1032
1033     while (point_idx < n_points) {
1034         if (!cb(&scalars[idx], &points[idx], point_idx + cb_offset, cbdata)) {
1035             secp256k1_scratch_deallocate_frame(scratch);
1036             return 0;
1037         }
1038         idx++;
1039 #ifdef USE_ENDOMORPHISM
1040         secp256k1_ecmult_endo_split(&scalars[idx - 1], &scalars[idx], &points[idx - 1], &points[idx]);
1041         idx++;
1042 #endif
1043         point_idx++;
1044     }
1045
1046     secp256k1_ecmult_pippenger_wnaf(buckets, bucket_window, state_space, r, scalars, points, idx);
1047
1048     /* Clear data */
1049     for(i = 0; (size_t)i < idx; i++) {
1050         secp256k1_scalar_clear(&scalars[i]);
1051         state_space->ps[i].skew_na = 0;
1052         for(j = 0; j < WNAF_SIZE(bucket_window+1); j++) {
1053             state_space->wnaf_na[i * WNAF_SIZE(bucket_window+1) + j] = 0;
1054         }
1055     }
1056     for(i = 0; i < 1<<bucket_window; i++) {
1057         secp256k1_gej_clear(&buckets[i]);
1058     }
1059     secp256k1_scratch_deallocate_frame(scratch);
1060     return 1;
1061 }
1062
1063 /* Wrapper for secp256k1_ecmult_multi_func interface */
1064 static int secp256k1_ecmult_pippenger_batch_single(const secp256k1_ecmult_context *actx, secp256k1_scratch *scratch, secp256k1_gej *r, const secp256k1_scalar *inp_g_sc, secp256k1_ecmult_multi_callback cb, void *cbdata, size_t n) {
1065     return secp256k1_ecmult_pippenger_batch(actx, scratch, r, inp_g_sc, cb, cbdata, n, 0);
1066 }
1067
1068 /**
1069  * Returns the maximum number of points in addition to G that can be used with
1070  * a given scratch space. The function ensures that fewer points may also be
1071  * used.
1072  */
1073 static size_t secp256k1_pippenger_max_points(secp256k1_scratch *scratch) {
1074     size_t max_alloc = secp256k1_scratch_max_allocation(scratch, PIPPENGER_SCRATCH_OBJECTS);
1075     int bucket_window;
1076     size_t res = 0;
1077
1078     for (bucket_window = 1; bucket_window <= PIPPENGER_MAX_BUCKET_WINDOW; bucket_window++) {
1079         size_t n_points;
1080         size_t max_points = secp256k1_pippenger_bucket_window_inv(bucket_window);
1081         size_t space_for_points;
1082         size_t space_overhead;
1083         size_t entry_size = sizeof(secp256k1_ge) + sizeof(secp256k1_scalar) + sizeof(struct secp256k1_pippenger_point_state) + (WNAF_SIZE(bucket_window+1)+1)*sizeof(int);
1084
1085 #ifdef USE_ENDOMORPHISM
1086         entry_size = 2*entry_size;
1087 #endif
1088         space_overhead = (sizeof(secp256k1_gej) << bucket_window) + entry_size + sizeof(struct secp256k1_pippenger_state);
1089         if (space_overhead > max_alloc) {
1090             break;
1091         }
1092         space_for_points = max_alloc - space_overhead;
1093
1094         n_points = space_for_points/entry_size;
1095         n_points = n_points > max_points ? max_points : n_points;
1096         if (n_points > res) {
1097             res = n_points;
1098         }
1099         if (n_points < max_points) {
1100             /* A larger bucket_window may support even more points. But if we
1101              * would choose that then the caller couldn't safely use any number
1102              * smaller than what this function returns */
1103             break;
1104         }
1105     }
1106     return res;
1107 }
1108
1109 /* Computes ecmult_multi by simply multiplying and adding each point. Does not
1110  * require a scratch space */
1111 static int secp256k1_ecmult_multi_simple_var(const secp256k1_ecmult_context *ctx, secp256k1_gej *r, const secp256k1_scalar *inp_g_sc, secp256k1_ecmult_multi_callback cb, void *cbdata, size_t n_points) {
1112     size_t point_idx;
1113     secp256k1_scalar szero;
1114     secp256k1_gej tmpj;
1115
1116     secp256k1_scalar_set_int(&szero, 0);
1117     secp256k1_gej_set_infinity(r);
1118     secp256k1_gej_set_infinity(&tmpj);
1119     /* r = inp_g_sc*G */
1120     secp256k1_ecmult(ctx, r, &tmpj, &szero, inp_g_sc);
1121     for (point_idx = 0; point_idx < n_points; point_idx++) {
1122         secp256k1_ge point;
1123         secp256k1_gej pointj;
1124         secp256k1_scalar scalar;
1125         if (!cb(&scalar, &point, point_idx, cbdata)) {
1126             return 0;
1127         }
1128         /* r += scalar*point */
1129         secp256k1_gej_set_ge(&pointj, &point);
1130         secp256k1_ecmult(ctx, &tmpj, &pointj, &scalar, NULL);
1131         secp256k1_gej_add_var(r, r, &tmpj, NULL);
1132     }
1133     return 1;
1134 }
1135
1136 /* Compute the number of batches and the batch size given the maximum batch size and the
1137  * total number of points */
1138 static int secp256k1_ecmult_multi_batch_size_helper(size_t *n_batches, size_t *n_batch_points, size_t max_n_batch_points, size_t n) {
1139     if (max_n_batch_points == 0) {
1140         return 0;
1141     }
1142     if (max_n_batch_points > ECMULT_MAX_POINTS_PER_BATCH) {
1143         max_n_batch_points = ECMULT_MAX_POINTS_PER_BATCH;
1144     }
1145     if (n == 0) {
1146         *n_batches = 0;
1147         *n_batch_points = 0;
1148         return 1;
1149     }
1150     /* Compute ceil(n/max_n_batch_points) and ceil(n/n_batches) */
1151     *n_batches = 1 + (n - 1) / max_n_batch_points;
1152     *n_batch_points = 1 + (n - 1) / *n_batches;
1153     return 1;
1154 }
1155
1156 typedef int (*secp256k1_ecmult_multi_func)(const secp256k1_ecmult_context*, secp256k1_scratch*, secp256k1_gej*, const secp256k1_scalar*, secp256k1_ecmult_multi_callback cb, void*, size_t);
1157 static int secp256k1_ecmult_multi_var(const secp256k1_ecmult_context *ctx, secp256k1_scratch *scratch, secp256k1_gej *r, const secp256k1_scalar *inp_g_sc, secp256k1_ecmult_multi_callback cb, void *cbdata, size_t n) {
1158     size_t i;
1159
1160     int (*f)(const secp256k1_ecmult_context*, secp256k1_scratch*, secp256k1_gej*, const secp256k1_scalar*, secp256k1_ecmult_multi_callback cb, void*, size_t, size_t);
1161     size_t n_batches;
1162     size_t n_batch_points;
1163
1164     secp256k1_gej_set_infinity(r);
1165     if (inp_g_sc == NULL && n == 0) {
1166         return 1;
1167     } else if (n == 0) {
1168         secp256k1_scalar szero;
1169         secp256k1_scalar_set_int(&szero, 0);
1170         secp256k1_ecmult(ctx, r, r, &szero, inp_g_sc);
1171         return 1;
1172     }
1173     if (scratch == NULL) {
1174         return secp256k1_ecmult_multi_simple_var(ctx, r, inp_g_sc, cb, cbdata, n);
1175     }
1176
1177     /* Compute the batch sizes for Pippenger's algorithm given a scratch space. If it's greater than
1178      * a threshold use Pippenger's algorithm. Otherwise use Strauss' algorithm.
1179      * As a first step check if there's enough space for Pippenger's algo (which requires less space
1180      * than Strauss' algo) and if not, use the simple algorithm. */
1181     if (!secp256k1_ecmult_multi_batch_size_helper(&n_batches, &n_batch_points, secp256k1_pippenger_max_points(scratch), n)) {
1182         return secp256k1_ecmult_multi_simple_var(ctx, r, inp_g_sc, cb, cbdata, n);
1183     }
1184     if (n_batch_points >= ECMULT_PIPPENGER_THRESHOLD) {
1185         f = secp256k1_ecmult_pippenger_batch;
1186     } else {
1187         if (!secp256k1_ecmult_multi_batch_size_helper(&n_batches, &n_batch_points, secp256k1_strauss_max_points(scratch), n)) {
1188             return secp256k1_ecmult_multi_simple_var(ctx, r, inp_g_sc, cb, cbdata, n);
1189         }
1190         f = secp256k1_ecmult_strauss_batch;
1191     }
1192     for(i = 0; i < n_batches; i++) {
1193         size_t nbp = n < n_batch_points ? n : n_batch_points;
1194         size_t offset = n_batch_points*i;
1195         secp256k1_gej tmp;
1196         if (!f(ctx, scratch, &tmp, i == 0 ? inp_g_sc : NULL, cb, cbdata, nbp, offset)) {
1197             return 0;
1198         }
1199         secp256k1_gej_add_var(r, r, &tmp, NULL);
1200         n -= nbp;
1201     }
1202     return 1;
1203 }
1204
1205 #endif /* SECP256K1_ECMULT_IMPL_H */
This page took 0.091761 seconds and 4 git commands to generate.