Auto merge of #1978 - str4d:1941-scan-whole-chain-on-zkey-import, r=ebfull

Scan the whole chain whenever a z-key is imported

Closes #1941.

Add test for z_importkey rescanning from beginning of chain.

Auto merge of #1979 - str4d:1786-inform-users-to-fetch-params, r=bitcartel

Instruct users to run zcash-fetch-params if network params aren't available

Closes #1786.

Auto merge of #2007 - bitcartel:1097_copyright_notice_and_date, r=bitcartel

Closes #1097 so that zcash-cli displays license info like zcashd.

LicenseInfo is refactored from init.cpp to util.cpp so that the
bitcoin-cli makefile target does not need to be modified.

Increase timeout for z_sendmany transaction in wallet.py qa test

Auto merge of #2028 - bitcartel:std_numeric_gcc_620_compile_issue, r=ebfull

Add missing header

Closes #2027 where gcc 6.2.0 identified that `rpcwallet.cpp` was missing a header file `<numeric>` which is required due to usage of `std::accumulate`.

Add missing header required by std::accumulate

Auto merge of #2006 - bitcartel:1497_destination_path_validation_when_exporting, r=bitcartel

Fixes #1497 ZCA-009 by restricting export to a user defined folder and sanitizing filenames

Update walletbackup.py qa test to use -exportdir option

Auto merge of #1999 - str4d:1950-random-cookie-rpc-auth, r=ebfull

rpc: Implement random-cookie based authentication

Cherry-picked from bitcoin/bitcoin#6388.

Closes #1950.

Auto merge of #2025 - str4d:create-config-file-in-coverage-tests, r=str4d

Code coverage fixes

Coverage build system tweaks

Create empty zcash.conf during coverage checks

Fixes regression caused by #2013.

Auto merge of #2001 - bitcartel:1957_add_size_to_listtransactions, r=ebfull

Closes #1957 by adding tx serialization size to listtransactions output.

Auto merge of #2000 - str4d:1622-bdb-m4-rename, r=ebfull

Rename build-aux/m4/bitcoin_find_bdb48.m4 to remove version

Closes #1622.

Auto merge of #1982 - str4d:1954-update-debug-categories, r=ebfull

Update debug categories

Closes #1954.

Auto merge of #1980 - bitcartel:fix_z_sendmany_logging_bug_txid, r=ebfull

Fix bug where z_sendmany logged incorrect txid fragment when sending from taddr

Closes #1987.

Auto merge of #1977 - bitcartel:1967_z_sendmany_debug_age_of_notes, r=ebfull

Fixes #1967 by adding age of note to z_sendmany logging.

Auto merge of #1976 - bitcartel:1964_z_sendmany_exception_handling, r=ebfull

Fixes #1964 to catch general exception in z_sendmany and catch exceptions as reference-to-const.

Auto merge of #1974 - str4d:1948-debian-lint, r=ebfull

Fix Debian lintian warnings

Closes #1948.

Auto merge of #1973 - str4d:1943-remove-extraneous-bins-from-dist, r=ebfull

Exclude test binaries from make install

Closes #1943.

Auto merge of #1972 - str4d:1950-ensure-messages-are-rendered, r=ebfull

Ensure messages are rendered in the metrics UI

Part of #1950.

Auto merge of #1942 - str4d:1940-threaded-createjoinsplit, r=ebfull

Extend createjoinsplit to benchmark parallel JoinSplits

Closes #1940

Auto merge of #1935 - arcalinea:1934_user_followup_in_release_process, r=ebfull

Update release process to check in with users who opened resolved issues

Updates release-process.md to include a step to check in with users who opened `user support` issues resolved in the release.
Resolves #1934.

Auto merge of #1991 - bitcartel:1960_z_getoperation_include_call_details, r=ebfull

Fixes #1960: z_getoperationstatus/result now includes operation details.

Auto merge of #2016 - ioptio:issue-template, r=str4d

Create ISSUE_TEMPLATE.md

Auto merge of #2023 - str4d:create-config-file-in-perf-tests, r=str4d

Create empty zcash.conf during performance measurements

Fixes benchmarking regression caused by #2013.

Create empty zcash.conf during performance measurements

Auto merge of #2015 - bitcartel:1780_sort_getoperationstatus, r=ebfull

Closes #1780. Result of z_getoperationstatus now sorted by operation's creation time.

Generate Debian control file to fix shlibs lint

Debian package lint

- Tweak description synopsis to make Debian happy
- Put bash completion files in correct directory
- Add a manpage for zcash-fetch-params

Fixes #1960: z_getoperationstatus/result now includes operation details.

Auto merge of #2013 - str4d:2002-require-zcash-conf, r=ebfull

Require zcash.conf to start zcashd

Closes #2002.

Auto merge of #2021 - str4d:1539-fix-test-ordering-again, r=ebfull

Fix gtest ordering broken by #1949

Part of #1539

Fix gtest ordering broken by #1949

Part of #1539

Closes #1957 by adding tx serialization size to listtransactions output.

Fixes #1497 ZCA-009 by restricting data exporting to user defined folder.

Previously the RPC interface allowed z_exportwallet, backupwallet and
dumpwallet to write data to an arbitrary filename.  ZCA-009 demonstrates
how this is vulnerable.  The resolution is to only allow data to
written when the -exportdir has been configured.  Also filenames are
restricted to alphanumeric characters.

Closes #1097 so zcash-cli now displays license info like zcashd.

LicenseInfo is refactored from init.cpp to util.cpp so that the
bitcoin-cli makefile target does not need to be modified.

Auto merge of #2019 - bitcartel:remove-bom, r=ebfull

Remove UTF-8 BOM 0xefbbbf from zcash.conf to avoid problems with command line tools

Closes #2018

Remove UTF-8 BOM efbbbf from zcash.conf to avoid problems with command line tools

move template to subdirectory, fix typo, include prompt under describing issue section, include uploading file directly to github ticket as option for sharing logs

Create ISSUE_TEMPLATE.md

Closes #1780. Result of z_getoperationstatus now sorted by creation time of operation

Show a friendly message explaining why zcashd needs a zcash.conf

Throw an error if zcash.conf is missing

An empty zcash.conf is sufficient to bypass this error.

Auto merge of #2009 - bitcartel:2008_update_copyright_to_2017, r=str4d

Bump COPYRIGHT_YEAR from 2016 to 2017.

Closes #2008

Bump COPYRIGHT_YEAR from 2016 to 2017.

Rename build-aux/m4/bitcoin_find_bdb48.m4 to remove version

Closes #1622.

Auto merge of #1949 - str4d:1810-fix-disablewallet, r=str4d

Fix --disablewallet

Closes #1810.

rpc: Implement random-cookie based authentication

When no `-rpcpassword` is specified, use a special 'cookie' file for
authentication. This file is generated with random content when the
daemon starts, and deleted when it exits. Read access to this file
controls who can access through RPC. By default this file is stored in
the data directory but it be overriden with `-rpccookiefile`.

This is similar to Tor CookieAuthentication: see
https://www.torproject.org/docs/tor-manual.html.en

Alternative to #6258. Like that pull, this allows running bitcoind
without any manual configuration. However, daemons should ideally never write to
their configuration files, so I prefer this solution.

Auto merge of #1986 - tromer:createjoinsplit-startprofiling, r=ebfull

CreateJoinSplit: add start_profiling() call

This solves the problem of profiling output from the CreteJoinSplit benchmarking binary displaying nonsensical large time values.

CreateJoinSplit: add start_profiling() call

This solves the problem of profiling output displaying nonsensical large time values.

Update debug categories

Closes #1954.

Suggest ./zcutil/fetch-params.sh as well

Once we improve the from-source installation docs to use 'make install', we can
revert this commit.

Auto merge of #1981 - ebfull:fixing-homu-merge, r=ebfull

Add 'CreateJoinSplit' standalone utility to gitignore.

Closes #1926 (I'm going to use this little change to test the homu code change.)

Handle newlines in UI messages

Add 'CreateJoinSplit' standalone utility to gitignore.

Strip out the SECURE flag in metrics UI so message style is detected

Trigger metrics UI refresh on new messages

Fixes a bug where the unsigned transaction was logged by z_sendmany
after a successful sign and send, meaning that the logged hash fragment
would be different from the txid logged by "AddToWallet".  This issue
occured when sending from transparent addresses, as utxo inputs must be
signed.  It did not occur when sending from shielded addresses.

Instruct users to run zcash-fetch-params if network params aren't available

Closes #1786.

Scan the whole chain whenever a z-key is imported

Closes #1941.

Fixes #1967 by adding age of note to z_sendmany logging.

Fixes #1964 to catch general exception in z_sendmany and catch
exceptions as reference-to-const.

Exclude test binaries from make install

Closes #1943.

Auto merge of #1946 - str4d:blockchain-stats-num-commitments, r=ebfull

Add total number of commitments to getblockchaininfo

Add test for IncrementalMerkleTree::size().

Add a tool for profiling the creation of JoinSplits

Only run wallet tests when wallet is enabled

Only enable getblocktemplate when wallet is enabled

Release notes, authors, changelog

Update man pages

Update version to 1.0.4

Add total number of commitments to getblockchaininfo

Auto merge of #1939 - str4d:1933-fix-bug, r=str4d

Only increment new notes on reindex

Addresses another issue in #1904.

When an existing one of our notes was found again, its cache was reset and it was re-witnessed. This would cause encountered notes to get out-of-sync with the otherwise-ignored newer notes, which could be a problem if the wallet data happens to be written out during a reindex.

Update payment API docs to recommend -rescan for fixing witness errors

Extend createjoinsplit to benchmark parallel JoinSplits

Closes #1940

Auto merge of #1938 - ebfull:g2-subgroup-check, r=str4d

Additional well-formedness check for G2 elements

libsnark currently checks that G₁ and G₂ elements are well-formed by ensuring that they satisfy their respective curve equations, and although this is enough for G₁ (which is instantiated as an order r curve E/F_p: y^2 = x^3 + b), G₂ is the order r *subgroup* of the composite order r(2q-r) curve E'/Fp²: y^2 = x^3 + b/e constructed via a sextic twisting isomorphism. This means we need to ensure these points are order r as well.

None of the proofs on the Zcash blockchain violate this check, and it may not even be possible for them to violate this check (bilinearity is not preserved). Let's be cautious and do it anyway.

Auto merge of #1892 - str4d:1749-disable-js-verification-before-checkpoints, r=str4d

Skip JoinSplit verification before the last checkpoint

Part of #1749

Fix bug in IncrementNoteWitness()

Rewrite reindex test to check beyond the max witness cache size

Extract block-generation wallet test code into a function

Fix bug in wallet tests

Check that E' points are actually in G2 by ensuring they are of order r.

Update release process to check in with users who opened resolved issues

Only check cache validity for witnesses being incremented or decremented

Fixes the bug resulting from #1904.

Auto merge of #1904 - str4d:1749-write-witness-cache-with-best-block, r=ebfull

Write witness caches when writing the best block

For steady-state operation, this reduces the average time between wallet disk
writes from once per block to once per hour.

On -rescan, witness caches are only written out at the end along with the best
block, increasing speed while ensuring that on-disk state is kept consistent.

Witness caches are now never recreated during a -reindex, on the assumption that
the blocks themselves are not changing (the chain is just being reconstructed),
and so the witnesses will remain valid.

Part of #1749.

Make the test pass by fixing the bug!

Add a reindex test that fails because of a bug in decrementing witness caches

Ref: https://github.com/zcash/zcash/pull/1904#issuecomment-265992988

Auto merge of #1930 - arcalinea:revise-release-note-generation, r=str4d

Gather release notes from previous release to HEAD

Release-notes.py used to depend on release already being tagged--now gathers release notes from previous tagged release up to current HEAD.

Gather release notes from previous release to HEAD

Also update release-process.md to replace git shortlog command with
release-notes.py script.

Auto merge of #1918 - bitcartel:timeout_cpu_throttling, r=str4d

Increase timeout as laptops on battery power have cpu throttling.

Merge this last as other PRs also update the test file `wallet_protectcoinbase.py`.

Auto merge of #1895 - bitcartel:1857_tx_priority, r=str4d

Closes #1857. Fixes bug where a transaction sending from a zaddr would have a priority of zero.

Transactions sent from a zaddr should now be mined sooner as they no longer have a priority of zero

Skip JoinSplit verification before the last checkpoint

Part of #1749

Auto merge of #1870 - str4d:1749-benchmark-rescanning, r=str4d

Add benchmarks for rescan components

Part of #1749.

Auto merge of #1919 - ebfull:abstract-verification, r=str4d

Isolate verification to a ProofVerifier context object that allows verification behavior to be tuned by the caller.

This is an alternative foundation for #1892, i.e., #1892 will have to be changed if this PR is accepted.

I think this is a safer approach because it allows us to isolate verification behavior to a single object. This will come in handy when @arielgabizon finishes the batching code.

ASSERT_TRUE -> ASSERT_FALSE

Add JS to second block to ensure witnesses are incremented

Generate JS for trydecryptnotes, make number of addresses a variable

Fix indentation