Allow changing network upgrade parameters on regtest

Derived from upstream commit 56c87e92110f05d7452f1e85bf755246ffc77206:
    Allow changing BIP9 parameters on regtest

Network upgrade activation mechanism

Auto merge of #2902 - bitcartel:2901_remove_unused_noblks_constants, r=daira

Remove unused NOBLKS_VERSION_{START,END} constants from version.h

Closes #2901. Backport from upstream PR https://github.com/bitcoin/bitcoin/pull/7662.

remove unused NOBLKS_VERSION_{START,END} constants

Auto merge of #2217 - str4d:2074-chainparams, r=str4d

Bitcoin 0.12 chainparams cleanups

Cherry-picked from the following upstream PRs:

- bitcoin/bitcoin#6222
- bitcoin/bitcoin#6381
- bitcoin/bitcoin#6473
- bitcoin/bitcoin#6242

Part of #2074.

Auto merge of #2897 - str4d:2892-zkey-rpc-bugfix, r=str4d

zkey_import_export: Synchronize mempools before mining

Resolves a race condition that caused the RPC test to intermittently fail.

Closes #2892.

zkey_import_export: Synchronize mempools before mining

Resolves a race condition that caused the RPC test to intermittently fail.

Closes #2892.

Auto merge of #2886 - bitcartel:2885_cleanup_node_getutxo, r=str4d

Remove redundant service flag NODE_GETUTXO meant for Bitcoin XT.

For #2885. This frees up a service bit.  Zcash has never used this flag
and upstream Bitcoin Core does not support this flag, although
it did reserve it for compatibility with Bitcoin XT.

Add viewing key prefix to regtest parameters

Add missing namespace for boost::get

chainparams: don't use std namespace

chainparams: move CCheckpointData into chainparams.h

This unties CChainParams from its dependency on checkpoints. Instead, now it
only depends on the raw checkpoint data.

Clean up chainparams some more.

Clean up the code in chainparams a bit more after the recent
refactorings.  In particular, make sure the structure of the "RegTest"
params matches the structure of the other classes.  This makes the code
clearer to read.

Also remove redundant values of the genesis block in always-specified
optional arguments and mark variable/argument as "const".

Chainparams: CTestNetParams and CRegTestParams extend directly from CChainParams

...instead of CMainParams and CTestNetParams respectively

Do the same for CBaseChainParams.
The inheritance was only reducing readibility in this case

Chainparams: Introduce CreateGenesisBlock() static function

Explicitly set tx.nVersion for the genesis block and mining tests

If/when CTransaction::CURRENT_VERSION is incremented, this will break CChainParams and the miner tests. This fix sets the transaction version explicitly where we depend on the hash value (genesis block, proof of work checks).

Remove redundant service flag NODE_GETUTXO meant for Bitcoin XT.

This frees up a service bit.  Zcash has never used this flag
and upstream Bitcoin Core does not support this flag, although
it did reserve it for compatibility with Bitcoin XT.

Auto merge of #2873 - bitcartel:2793_dbcache, r=bitcartel

Closes #2793 to improve sync performance by increasing default value of dbcache.

Add note about dbcache to 1.0.15 release notes.

Adapted from upstream release notes here:
https://github.com/bitcoin/bitcoin/blob/master/doc/release-notes/release-notes-0.14.1.md#utxo-memory-accounting

Add documentation about dbcache.

Adapted from documentation 'Reducing bitcoind memory usage' by @laanwj
https://gist.github.com/laanwj/efe29c7661ce9b6620a7

Auto merge of #2848 - str4d:2795-rpc-test-chainValueZat, r=str4d

Check chainValueZat when checking value pool monitoring

Addresses https://github.com/zcash/zcash/pull/2795#discussion_r157343660

Auto merge of #2845 - str4d:exportdir-completion, r=str4d

Enable Bash completion for -exportdir

Fixes #2793. Backport commit f33afd3 to increase dbcache default.

Auto merge of #2858 - sandakersmann:patch-1, r=daira

Changed http:// to https:// on some links

Changed http:// to https:// on some links in code_of_conduct.md

Changed http:// to https:// on some links

Changed http:// to https:// on some links in code_of_conduct.md

Auto merge of #2771 - syd0:fix-snark-dep-build, r=str4d

Fix libsnark dependency build.

This changes libsnark to build in-place, instead of copying first to
a build directory. Previously, modifications made to the original
sources wouldn't get rebuilt without a 'make clean' because users
would be pointing to the copies.

This closes #2689.

Auto merge of #2770 - syd0:remove-some-cruft, r=str4d

Remove OSX and Windows files from Makefile + share directory.

These are stale holdovers from bitcoin.

This closes #2169.

Remove OSX and Windows files from Makefile + share directory.

These are stale holdovers from bitcoin.

This closes #2169.

Auto merge of #2821 - str4d:2335-scope-ecdsa-constants, r=str4d

Scope the ECDSA constant sizes to CPubKey / CKey classes

Cherry-picked from https://github.com/bitcoin/bitcoin/pull/10657, upstreaming our patches from #2335.

Auto merge of #2849 - str4d:release-v1.0.14, r=str4d

Release v1.0.14

make-release.py: Updated release notes and changelog for 1.0.14.

make-release.py: Updated manpages for 1.0.14.

make-release.py: Versioning changes for 1.0.14.

Check chainValueZat when checking value pool monitoring

Enable Bash completion for -exportdir

Auto merge of #2830 - str4d:release-v1.0.14-rc1, r=str4d

Release v1.0.14-rc1

Update release process

make-release.py: Updated release notes and changelog for 1.0.14-rc1.

make-release.py: Updated manpages for 1.0.14-rc1.

make-release.py: Versioning changes for 1.0.14-rc1.

Auto merge of #2826 - str4d:pyflakes-warnings, r=str4d

Fix pyflakes warnings in zkey_import_export RPC test

Fix pyflakes warnings in zkey_import_export RPC test

Auto merge of #2823 - str4d:2755-release-notes, r=str4d

List all commits in final release notes

This alters the release notes to display the following commit ranges:

Version | Diff
------- | ---
`X-rc1` | `(X-1)..X-rc1`
`X-rc2` | `(X-1)..X-rc2`
`X`     | `(X-1)..X`

Closes #2755.

Exclude beta and RC release notes from author tallies

(except for pre-1.0.0, per previous commit)

Regenerate previous release notes to conform to new format

Pre-1.0.0 release notes are excluded, as they were operating under a different
RC timeline, and make more sense separated.

release-notes.py: Remove unnecessary parameter

Create release notes starting from the previous non-beta non-RC release

Auto merge of #2143 - str4d:1997-viewing-keys, r=str4d

Implement incoming viewing keys

Closes #1997.

Add release notes for incoming viewing keys

Scope the ECDSA constant sizes to CPubKey / CKey classes

Add cautions to z_getbalance and z_gettotalbalance help text about viewing keys

Cleanup: Add braces for clarity

Modify zcrawkeygen RPC method to set "zcviewingkey" to the viewing key

The "zcviewingkey" field has never been documented before, and the method itself
is deprecated; this just ensures it is consistent with the rest of the RPC.

Add watch-only support to Zcash RPC methods

Balance totals do not include spends linked to viewing key addresses, as
nullifiers cannot be calculated and therefore spends cannot be detected.

Update wallet logic to account for viewing keys

The wallet code previously assumed that an unlocked wallet would always
have a spending key associated with a note decryptor. Viewing keys break
this assumption.

Add RPC methods for exporting/importing viewing keys

Implement viewing key storage in the wallet

Add Base58 encoding of viewing keys

Auto merge of #2779 - arcalinea:2515_test_zimportkey, r=str4d

Add RPC test that exercises z_importkey

Part of #2515.

Auto merge of #2796 - per-gron:less-verbose-tests, r=daira

Less verbose tests

Fixes #2453 and deduplicates some related code.

Fix libsnark dependency build.

This changes libsnark to build in-place, instead of copying first to
a build directory. Previously, modifications made to the original
sources wouldn't get rebuilt without a 'make clean' because users
would be pointing to the copies.

This closes #2689.

Print result of RPC call in test only when PYTHON_DEBUG is set

Deduplicate test utility method wait_and_assert_operationid_status

Strictly speaking this is not a true deduplication; the test output will be
slightly different (due to inconsistent print statements) but I think this is
close enough.

Auto merge of #2795 - str4d:2351-sprout-circuit-value, r=str4d

Track net value entering and exiting the Sprout circuit

Delta values will be stored for new blocks; old blocks can be filled in by
re-indexing. The net value currently in the Sprout circuit is only calculated
when delta values for all previous blocks are present.

Part of #2351.

Remove nSproutValue TODO from CDiskBlockIndex

Block indices are flushed to disk when they are marked as dirty, and this
happens via enough distinct pathways that it would be sufficiently complex to
update nSproutValue via all of them. Thus it is necessary to be able to
serialize "no value" for writes by upgraded clients.

Auto merge of #2780 - str4d:1272-secp256k1, r=daira

Merge current secp256k1 subtree

Part of #1272.

Auto merge of #2700 - kozyilmaz:emptyspaces, r=str4d

PATH variable containing spaces cause build failure

Spaces in PATH variable is creating build issues (observed on macOS). For example "VMware Fusion" adds itself to PATH like `/Applications/VMware Fusion.app/Contents/Public`.

Clarify operator precedence in serialization of nSproutValue

Auto merge of #2790 - bitcartel:2746_payment_disclosure_prefix, r=str4d

Closes #2746. Payment disclosure blobs now use 'zpd:' prefix.

Add rpc test that exercises z_importkey

Auto merge of #2800 - str4d:2788-libsnark-test-hardening, r=str4d

Fix buffer overflow in libsnark

Applies `-fstack-protector-all` to libsnark, and fixes an underlying bug. This bug was not triggerable in `zcashd` because the function in question was being inlined by the compiler.

Closes #2788.

Auto merge of #2786 - str4d:2074-build, r=str4d

Build system improvements

Includes commits cherry-picked from the following upstream PRs:

- bitcoin/bitcoin#6978
  - Only the first commit (second is for QT)
- bitcoin/bitcoin#7059
- bitcoin/bitcoin#7603
  - Only the first commit (without the `BITCOIN_QT_BIN` variable; the rest are for QT)
- bitcoin/bitcoin#7954
- bitcoin/bitcoin#8314
  - Only the second commit (first is for QT)
- bitcoin/bitcoin#8504
  - Only the first commit (second was undoing something we didn't have)
- bitcoin/bitcoin#8520
- bitcoin/bitcoin#8563
- bitcoin/bitcoin#8249
- bitcoin/bitcoin#9156
- bitcoin/bitcoin#9831
- bitcoin/bitcoin#9789
- bitcoin/bitcoin#10766

Part of #2074.

Add Rust and Proton to configure options printout

Fix libsnark test failure.

The shorten() method was copying too much into the destination
buffer, overflowing it and affecting neighboring data.

Apply -fstack-protector-all to libsnark

Add Sprout value pool to getblock and getblockchaininfo

Track net value entering and exiting the Sprout circuit

Delta values will be stored for new blocks; old blocks can be filled in by
re-indexing. The net value currently in the Sprout circuit is only calculated
when delta values for all previous blocks are present.

Closes #2746. Payment disclosure blobs now use 'zpd:' prefix.

Auto merge of #2741 - bitcartel:stop_dumpwallet_overwriting, r=str4d

Prevent RPC calls dumpwallet and z_exportwallet from overwriting an existing file

Closes #2740

Factor out common logic from CZCPaymentAddress and CZCSpendingKey

Implement viewing key storage in the keystore

ViewingKey -> ReceivingKey per zcash/zips#117

Auto merge of #2724 - arcalinea:1020-add-examples-for-zrpc, r=str4d

Add examples for z_rpc calls

Adds missing cli and json-rpc examples for `z_` rpc calls

Closes #2723
(Accidentally named the branch being merged in with wrong issue number)

Auto merge of #2769 - syd0:rename-bitcoin-bash-completion, r=str4d

Rename bitcoin bash completion files so that they refer to zcash and not bitcoin.

This closes #2167

Move Zcash flags into configure.ac

Change --enable-werror to apply to all warnings, use it in build.sh

Use AC_ARG_VAR to set ARFLAGS.

The user can set ARFLAGS in the ./configure step with
  ./configure ARFLAGS=...
If he chooses not to do so, ARFLAGS will be set to cr.

build: add --enable-werror option

This turns some compiler warnings into errors. Useful for c-i.

build: warn about variable length arrays

build: force a c++ standard to be specified

Newer compilers may switch to newer standards by default. For example, gcc6
uses std=gnu++14 by default.

Add compile and link options echo to configure

build: supply `-Wl,--high-entropy-va`

This should enable high-entropy ASLR on 64-bit targets, for better
mitigation of exploits.

devtools: Check for high-entropy ASLR in 64-bit PE executables

check_PE_PIE only checked for DYNAMIC_BASE, this is not enough
for (secure) ASLR on 64-bit.

Add configure check for -latomic

build: Remove check for `openssl/ec.h`

We don't use any elliptic curves from OpenSSL anymore, nor include this
header anywhere but optionally in the tests of secp256k1 (which has
its own autoconf setup).

Reported by sinetek on IRC.

test: Remove java comparison tool

build: fix Windows builds without pkg-config

- guard PKG_PROG_PKG_CONFIG with an m4_ifdef. If not building for windows,
  require it
- add nops as necessary in case the ifdef reduces the if/then to nothing
- AC_SUBST some missing _LIBS. These were split out over time, but not all were
  properly substituted. They continued to work if pkg-config is installed
  because it does the AC_SUBST itself

build: quiet annoying warnings without adding new ones

Disabling warnings can be tricky, because doing so can cause a different
compiler to create new warnings about unsupported disable flags. Also, some
warnings don't surface until they're paired with another warning (gcc). For
example, adding "-Wno-foo" won't cause any trouble, but if there's a legitimate
warning emitted, the "unknown option -Wno-foo" will show up as well.

Work around this in 2 ways:

1. When checking to see if -Wno-foo is supported, check for "-Wfoo" instead.
2. Enable -Werror while checking 1.

If "-Werror -Wfoo" compiles, "-Wno-foo" is almost guaranteed to be supported.

-Werror itself is also checked. If that fails to compile by itself, it likely
means that the user added a flag that adds a warning. In that case, -Werror
won't be used while checking, and the build may be extra noisy. The user would
need to fix the bad input flag.

Also, silence 2 more additional warnings that can show up post-c++11.

build: define base filenames for use elsewhere in the buildsystem

Unfortunately, the target namees defined at the Makefile.am level can't be used
for *.in substitution. So these new defines will have to stay synced up with
those targets.

Using the new variables for the deploy targets in the main Makefile.am will
ensure that they stay in sync, otherwise build tests will fail.

add powerpc build support for openssl lib