Only check cache validity for witnesses being incremented or decremented

Fixes the bug resulting from #1904.

Auto merge of #1904 - str4d:1749-write-witness-cache-with-best-block, r=ebfull

Write witness caches when writing the best block

For steady-state operation, this reduces the average time between wallet disk
writes from once per block to once per hour.

On -rescan, witness caches are only written out at the end along with the best
block, increasing speed while ensuring that on-disk state is kept consistent.

Witness caches are now never recreated during a -reindex, on the assumption that
the blocks themselves are not changing (the chain is just being reconstructed),
and so the witnesses will remain valid.

Part of #1749.

Make the test pass by fixing the bug!

Add a reindex test that fails because of a bug in decrementing witness caches

Ref: https://github.com/zcash/zcash/pull/1904#issuecomment-265992988

Auto merge of #1930 - arcalinea:revise-release-note-generation, r=str4d

Gather release notes from previous release to HEAD

Release-notes.py used to depend on release already being tagged--now gathers release notes from previous tagged release up to current HEAD.

Gather release notes from previous release to HEAD

Also update release-process.md to replace git shortlog command with
release-notes.py script.

Auto merge of #1918 - bitcartel:timeout_cpu_throttling, r=str4d

Increase timeout as laptops on battery power have cpu throttling.

Merge this last as other PRs also update the test file `wallet_protectcoinbase.py`.

Auto merge of #1895 - bitcartel:1857_tx_priority, r=str4d

Closes #1857. Fixes bug where a transaction sending from a zaddr would have a priority of zero.

Transactions sent from a zaddr should now be mined sooner as they no longer have a priority of zero

Auto merge of #1870 - str4d:1749-benchmark-rescanning, r=str4d

Add benchmarks for rescan components

Part of #1749.

Auto merge of #1919 - ebfull:abstract-verification, r=str4d

Isolate verification to a ProofVerifier context object that allows verification behavior to be tuned by the caller.

This is an alternative foundation for #1892, i.e., #1892 will have to be changed if this PR is accepted.

I think this is a safer approach because it allows us to isolate verification behavior to a single object. This will come in handy when @arielgabizon finishes the batching code.

ASSERT_TRUE -> ASSERT_FALSE

Add JS to second block to ensure witnesses are incremented

Generate JS for trydecryptnotes, make number of addresses a variable

Fix indentation

Auto merge of #1642 - str4d:add-solver-rate-to-getmininginfo, r=str4d

Add getlocalsolps and getnetworksolps RPC calls, show them in getmininginfo

Auto merge of #1902 - bitcartel:1901_increase_default_settings_block_priority, r=str4d

Closes #1901. Increase default settings for max block size and space for priority transactions.

ref #1901

Auto merge of #1928 - ebfull:fix-anchor-cache-bug, r=str4d

Fix anchor cache bug

Fixes #1912.

If an anchor is removed from the cache, but didn't exist in it beforehand, it will insert a blank tree. If it's reinserted in a child cache, when the child cache flushes it will mark the treestate as entered but won't bring the valid tree with it.

Thankfully, we assert when connecting blocks so that this inconsistency won't cause us to build on a blank tree after a reorg.

Add more tests for ProofVerifier.

Rename Dummy to Disabled.

Auto merge of #1911 - bitcartel:1823_witness_does_not_have_same_anchor_as_change_input, r=str4d

With chained joinsplits, witness anchors for input notes no longer cross block boundaries

Closes #1823

Auto merge of #1909 - str4d:bash-completion, r=str4d

Bash completion

This PR pulls in bitcoin/bitcoin#8289, updates the bash completion files for use with Zcash, and bundles them into the Debian package.

Auto merge of #1906 - str4d:1835-solaris-miniupnpc-patches, r=str4d

Apply MiniUPnP patches to enable compilation on Solaris 11

These can be removed after the next MiniUPnP release.

Closes #1835.

Auto merge of #1878 - str4d:1875-non-tty-metrics-usability, r=str4d

Improve non-TTY metrics usability

Closes #1875.

Auto merge of #1905 - str4d:1831-build-script-overrides, r=str4d

Add porter dev overrides for CC, CXX, MAKE, BUILD, HOST

Replaces #1839. Closes #1831.

WitnessAnchorData only needs to store one witness per JSOutPoint.

Auto merge of #1907 - bitcartel:1903_z_sendmany_fee_parameter, r=ebfull

Closes #1903. Add fee parameter to z_sendmany.

Document behaviour of CWallet::SetBestChain

Ensure ProofVerifier cannot be accidentally copied.

Ensure cache contains valid entry when anchor is popped.

Regression test.

Isolate verification to a `ProofVerifier` context object that allows verification behavior to be tuned by the caller.

Increase timeout as laptops on battery power have cpu throttling.

Edit for grammar: "block chain"

At this point, I believe it is universally accepted that "blockchain" is one word, and should not be separated into two.

Fixes #1823. Witness anchors for input notes no longer cross block boundaries.

Add Zcash RPC commands to CLI argument completion

Always bash-complete the default account

Add bash completion files to Debian package

Change function names to not clash with Bitcoin, apply to correct binaries

bash-completion: Adapt for 0.12 and 0.13

 * separate completion for bitcoind and bitcoin-cli
 * remove RPC support from bitcoind completion
 * add completion for bitcoin-tx and bitcoin-qt
 * rely on autoloading of completions

Auto merge of #1681 - paragonie-scott:patch-1, r=str4d

Metrics - Don't exclaim unless > 1

"You have validated 0 transactions!" sounds a little less enthusiastic that intended. This uses a period instead.

After patch, it also says "a transaction".

Address review comments, tweak strings

Metrics - Don't exclaim unless > 1

"You have validated 0 transactions!" sounds a little less enthusiastic that intended. Also, only says "1 transaction".

Add an upstream miniupnpc patch revision

Closes #1903. Add fee parameter to z_sendmany.

Apply miniupnpc patches to enable compilation on Solaris 11

These can be removed after the next MiniUPnP release.

Closes #1835.

Add porter dev overrides for CC, CXX, MAKE, BUILD, HOST

Write witness caches when writing the best block

For steady-state operation, this reduces the average time between wallet disk
writes from once per block to once per hour.

On -rescan, witness caches are only written out at the end along with the best
block, increasing speed while ensuring that on-disk state is kept consistent.

Witness caches are now never recreated during a -reindex, on the assumption that
the blocks themselves are not changing (the chain is just being reconstructed),
and so the witnesses will remain valid.

Part of #1749.

Closes #1901. Increase default settings for the max block size when
mining and the amount of space available for priority transactions.

Closes #1857. Fixes bug where tx spending only notes had priority of 0.

Auto merge of #1865 - bitcartel:master_checkpoint_11000, r=str4d

Add checkpoint at block height 15000

Increase length of metrics divider

Clarify that metrics options are only useful without -daemon and -printtoconsole

Update help message to match the #4219 change

Update documentation to match the #4219 change

Make command line option to show all debugging consistent with similar options

Most people expect a value of 1 to enable all for command line arguments.
However to do this for the -debug option you must type "-debug=".
This has been changed to allow "-debug=1" as well as "-debug=" to
enable all debug logging

Add checkpoint at block height 15000

Fix stale comment referencing upstream block interval

Document metrics screen options

Only show metrics by default if stdout is a TTY

Add -metricsrefreshtime option

Add -metricsui flag to toggle between persistent screen and rolling metrics

Defaults to true if stdout is a TTY, else false.

Auto merge of #1848 - arcalinea:replace-bitcoin-in-json-rpc, r=str4d

Replace bitcoin with zcash in rpcprotocol.cpp

Not sure if this was intentionally left as bitcoin-json-rpc, but opening a PR for review in case someone wants to ACK and merge.

1.0.3 Release

Fix threading issue when initializing public params.

Anchors and nullifiers should always be inherited from the parent cache.

Add benchmark for incrementing note witnesses

Add benchmark for attempting decryption of notes

Partial revert of bd87e8c: file release-notes-1.0.2.md to 343b0d6.

Auto merge of #1859 - arcalinea:1783_document_contributors, r=ebfull

Document contributors to zcash

Release-notes.py generates release notes from git shortlog command when release version number is specified, and adds contributors to authors.md file. Can change the way this script works or where contributors are documented.

@nathan-at-least

Release-notes.py script to generate release notes and add contributors to authors.md

Auto merge of #1862 - bitcartel:1854_z_sendmany_transparent_change, r=bitcartel

Closes #1854. z_sendmany selects more utxos to avoid dust change output.

Add getlocalsolps and getnetworksolps RPC calls, show them in getmininginfo

Closes #1854. z_sendmany selects more utxos to avoid dust change output.

Auto merge of #1797 - ebfull:improve-joinsplit-diagnostics, r=bitcartel

Improve joinsplit diagnostics

I don't advocate merging this for the hotfix release (to fix #1779) but this PR can be used to diagnose the real issue and should be merged ASAP afterward.

~I still need to add tests for `last()` and `element()` though.~ Done.

Auto merge of #1842 - arcalinea:1573_z_sendmany_error_documentation, r=bitcartel

Document z_sendmany error code messages in payment-api.md

Track the correct change witness across chained joinsplits

Change format of z_sendmany error code documentation.

Mempool will accept tx with joinsplits and the default z_sendmany fee.

Issue #1851 shows that a zaddr->taddr can be rejected from mempools
due to not meeting fee requirements given the size of the transaction.
Fee calculation for joinsplit txs has not yet been agreed upon, so
during this interim period, this patch ensures  joinsplit txs using
the default fee are not rejected due to an insufficient fee.

Add test that `last` and `element` will throw exception when the tree is blank.

Set default minrelaytxfee to 1000 zatoshis to match upstream.

A txout will be considered dust when it has a value <546 zatoshis.
Helps to address #1719.

Auto merge of #1760 - ebfull:vk-preprocess, r=bitcartel

Process verification keys to perform online verification

Checking proofs involves some arithmetic with pairings using components of the proof and the verification key. If you already have some curve points, like those in the verification key, you can amortize the cost of some of the more expensive arithmetic.

This PR adopts libsnark's precomputation of G2 elements in the verification key.

We *currently* call `r1cs_ppzksnark_verifier_strong_IC`:

```c++
template<typename ppT>
bool r1cs_ppzksnark_verifier_strong_IC(const r1cs_ppzksnark_verification_key<ppT> &vk,
                                       const r1cs_ppzksnark_primary_input<ppT> &primary_input,
                                       const r1cs_ppzksnark_proof<ppT> &proof)
{
    enter_block("Call to r1cs_ppzksnark_verifier_strong_IC");
    r1cs_ppzksnark_processed_verification_key<ppT> pvk = r1cs_ppzksnark_verifier_process_vk<ppT>(vk);
    bool result = r1cs_ppzksnark_online_verifier_strong_IC<ppT>(pvk, primary_input, proof);
    leave_block("Call to r1cs_ppzksnark_verifier_strong_IC");
    return result;
}
```

Notice that this merely performs precomputation of the verification key, and then calls `r1cs_ppzksnark_online_verifier_strong_IC`. This PR merely performs the precomputation during verification key initialization, and calls that function directly.

Auto merge of #1858 - str4d:1715-wallet-assertion, r=ebfull

Correctly integrate CNoteData::witnessHeight into wallet code

Closes #1715.

Auto merge of #1847 - bitcartel:1680_rpckeepalive_deadlock, r=ebfull

Closes #1680, temporary fix for rpc deadlock inherited from upstream.

Closes #1680, temporary fix for rpc deadlock inherited from upstream.

Clear witnessHeight and nWitnessCacheSize in ClearNoteWitnessCache

Add code comments about CNoteData::witnessHeight

Copy over CNoteData::witnessHeight when updating wallet tx

Correctly set CNoteData::witnessHeight when decrementing witness caches

Closes #1715

Process verification keys to perform online verification.

Initialize after profiling messages are suppressed.

Add tests for witness `element` and tree `last` methods. Strengthen testing by inserting a different commitment into the tree at each step.

Auto merge of #1838 - bitcartel:1833_z_sendmany_error_message_formatting, r=ebfull

Closes #1833.  Format currency amounts in z_sendmany error message.

Improve coverage of possible error states from z_sendmany.
Refactor qa test for z_sendmany operations.

Replace bitcoin with zcash in rpcprotocol.cpp

s/Bitcoin/Zcash in JSONRPCError

Document z_sendmany error code messages in payment-api.md

Closes #1833.  Format currency amounts in z_sendmany error message.

Improve coverage of possible error states from z_sendmany.
Refactor qa test for z_sendmany operations.

Auto merge of #1806 - str4d:1787-enable-tests-flag, r=ebfull

Add --disable-tests flag to zcutils/build.sh

Closes #1787

Correct spelling error in z_sendmany error output

Change "alllowed" -> "allowed."

1.0.2 release.

Add transaction size and zaddr output limit checks to z_sendmany.