Auto merge of #2463 - str4d:713-rollback-limit, r=str4d

Implement roll-back limit for reorganisation

Part of  #2905. Closes #713.

Auto merge of #2903 - str4d:1408-sighash, r=str4d

Overwinter SignatureHash

Implements ZIP 143.

Includes code cherry-picked from the following upstream PRs:

- bitcoin/bitcoin#7276
- bitcoin/bitcoin#7976
- bitcoin/bitcoin#8118
- bitcoin/bitcoin#8149
  - Only amount validation and SignatureHash commits.
- bitcoin/bitcoin#8346
- bitcoin/bitcoin#8524

Part of #2074 and #2254. Closes #1408 and #2584.

Use v3 transactions with caching for validatelargetx benchmark

Make number of inputs configurable in validatelargetx test

Regenerate SignatureHash tests

update SignatureHash according to Overwinter spec

with help from str4d

add blake2b writer

Cleanup: Wrap function arguments

Add consensus branch ID parameter to SignatureHash, remove SigVersion parameter

We do not need to be able to calculate multiple SignatureHash versions for a
single transaction format; instead, we use the transaction format to determine
the SigVersion.

The consensus branch ID *does* need to be passed in from the outside, as only
the caller knows the context in which the SignatureHash is being calculated
(ie. mempool acceptance vs. block validation).

JoinSplit signature verification has been moved into ContextualCheckTransaction,
where the consensus branch ID can be obtained.

The argument to the sign command for zcash-tx has been modified to take a height
in addition to the optional sigtype flags.

Rename to PrecomputedTransactionData

Unit test for sighash caching

Zcash: Modified to use P2PKH.

Precompute sighashes

Original version by Nicolas Dorier. Precomputing version by Pieter Wuille.

Edited for Zcash by Ariel Gabizon and Jack Grigg

Mempool: Use Consensus::CheckTxInputs direclty over main::CheckInputs

Remove P2WPKH and P2WSH from signing logic

Separated from the previous commit for ease of review.

BIP143: Signing logic

BIP143: Verification logic

Includes simplifications by Eric Lombrozo.

Edited for Zcash merge by Ariel Gabizon.

Refactor script validation to observe amounts

This is a preparation for BIP143 support.

Edited for Zcash merge by Ariel Gabizon.

Reduce unnecessary hashing in signrawtransaction

Remove obsolete reference to CValidationState from UpdateCoins.

Report non-mandatory script failures correctly

Auto merge of #2940 - str4d:nu-activation-mempool-expiry, r=str4d

Mempool improvements, branch ID awareness

Whenever the local chain tip is updated, transactions in the mempool which commit to an
unmineable branch ID (for example, just before a network upgrade activates, where the
next block will have a different branch ID) will be removed.

Includes commits cherry-picked from the following upstream PRs:

- bitcoin/bitcoin#6654
  - Only the mempool index change.
- bitcoin/bitcoin#6776
- bitcoin/bitcoin#7020
- bitcoin/bitcoin#6915

Part of #2074.

Remove mempool transactions which commit to an unmineable branch ID

Fix removeForReorg to use MedianTimePast

Don't call removeForReorg if DisconnectTip fails

Track coinbase spends in CTxMemPoolEntry

This allows us to optimize CTxMemPool::removeForReorg.

removeForReorg calls once-per-disconnect-> once-per-reorg

Make indentation in ActivateBestChainStep readable

Fix comment in removeForReorg

Fix removal of time-locked transactions during reorg

Add failing test checking timelocked-txn removal during reorg

Add rollback limit to block index rewinding

This will prevent users from starting their nodes if they switch between
software versions that implement different network upgrades. It will also
prevent users from using the testnet if they have more than MAX_REORG_LIMIT
post-upgrade blocks, and the upgrade point is shifted in a newer software
version.

Implement roll-back limit for reorganisation

Closes #713.

Auto merge of #2958 - bitcartel:2906_extra_test, r=str4d

Add test to check malformed v1 transaction against Overwinter tx parser

Add test to check malformed v1 transaction against Overwinter tx parser

Auto merge of #2925 - bitcartel:2906_overwinter_tx_format, r=str4d

Overwinter transaction format

Implements ZIP 202.

Closes #2906.

Update SignatureHash tests for transaction format changes

The test uses randomly-generated transactions, some of which fell outside the
actual consensus rules.

Implementation of Overwinter transaction format ZIP 202.

Auto merge of #2923 - str4d:sighash-tests-env-bug, r=str4d

Use JoinSplitTestingSetup for Boost sighash tests

Symptom: When running all tests, the test suite passed. But when running the
sighash tests on their own, the test suite segfaulted.

Cause: The sighash tests depend on the proving parameters being accessible, but
BasicTestingSetup doesn't load them.

Implement helper class for CTxMemPoolEntry constructor

This is only for unit tests.

Support -checkmempool=N, which runs checks on average once every N transactions

TxMemPool: Change mapTx to a boost::multi_index_container

Indexes on:
- Tx Hash
- Fee Rate (fee-per-kb)

Auto merge of #2898 - str4d:2286-nu-activation-mechanism, r=str4d

Network upgrade activation mechanism

Implements ZIP 200.

Integration with `CChainParams` inspired by https://github.com/bitcoin/bitcoin/pull/7575.

Includes block index rewinding logic cherry-picked from https://github.com/bitcoin/bitcoin/pull/8149.

Closes #2286. Part of #2905.

Update quote from ZIP 200

Change UI/log status message for block rewinding

Use a boost::optional for nCachedBranchId

This enables us to distinguish between it being unset vs. being set to zero.

Add method for fetching the next activation height after a given block height

Add Overwinter to upgrade list

Adjust rewind logic to use the network upgrade mechanism

Add rewind logic to deal with post-fork software updates

Includes logic for dealing with pruning by Suhas Daftuar.

Test network upgrade logic

Also demonstrates how to specify a network upgrade.

Allow changing network upgrade parameters on regtest

Derived from upstream commit 56c87e92110f05d7452f1e85bf755246ffc77206:
    Allow changing BIP9 parameters on regtest

Network upgrade activation mechanism

Auto merge of #2839 - arcalinea:add_deprecation_alert, r=bitcartel

Add getdeprecationinfo RPC method to return deprecation block height

Closes #2828

Returns:
```
{
  "version": xxxxx,                      (numeric) the server version
  "subversion": "/MagicBean:x.y.z[-v]/",     (string) the server subversion string
  "deprecationheight": xxxxx,            (numeric) the deprecation block height
}
```

Use JoinSplitTestingSetup for Boost sighash tests

Symptom: When running all tests, the test suite passed. But when running the
sighash tests on their own, the test suite segfaulted.

Cause: The sighash tests depend on the proving parameters being accessible, but
BasicTestingSetup doesn't load them.

Make applicable only on mainnet

Auto merge of #2902 - bitcartel:2901_remove_unused_noblks_constants, r=daira

Remove unused NOBLKS_VERSION_{START,END} constants from version.h

Closes #2901. Backport from upstream PR https://github.com/bitcoin/bitcoin/pull/7662.

remove unused NOBLKS_VERSION_{START,END} constants

Auto merge of #2217 - str4d:2074-chainparams, r=str4d

Bitcoin 0.12 chainparams cleanups

Cherry-picked from the following upstream PRs:

- bitcoin/bitcoin#6222
- bitcoin/bitcoin#6381
- bitcoin/bitcoin#6473
- bitcoin/bitcoin#6242

Part of #2074.

Auto merge of #2897 - str4d:2892-zkey-rpc-bugfix, r=str4d

zkey_import_export: Synchronize mempools before mining

Resolves a race condition that caused the RPC test to intermittently fail.

Closes #2892.

zkey_import_export: Synchronize mempools before mining

Resolves a race condition that caused the RPC test to intermittently fail.

Closes #2892.

Auto merge of #2886 - bitcartel:2885_cleanup_node_getutxo, r=str4d

Remove redundant service flag NODE_GETUTXO meant for Bitcoin XT.

For #2885. This frees up a service bit.  Zcash has never used this flag
and upstream Bitcoin Core does not support this flag, although
it did reserve it for compatibility with Bitcoin XT.

Add viewing key prefix to regtest parameters

Add missing namespace for boost::get

chainparams: don't use std namespace

chainparams: move CCheckpointData into chainparams.h

This unties CChainParams from its dependency on checkpoints. Instead, now it
only depends on the raw checkpoint data.

Clean up chainparams some more.

Clean up the code in chainparams a bit more after the recent
refactorings.  In particular, make sure the structure of the "RegTest"
params matches the structure of the other classes.  This makes the code
clearer to read.

Also remove redundant values of the genesis block in always-specified
optional arguments and mark variable/argument as "const".

Chainparams: CTestNetParams and CRegTestParams extend directly from CChainParams

...instead of CMainParams and CTestNetParams respectively

Do the same for CBaseChainParams.
The inheritance was only reducing readibility in this case

Chainparams: Introduce CreateGenesisBlock() static function

Explicitly set tx.nVersion for the genesis block and mining tests

If/when CTransaction::CURRENT_VERSION is incremented, this will break CChainParams and the miner tests. This fix sets the transaction version explicitly where we depend on the hash value (genesis block, proof of work checks).

Remove redundant service flag NODE_GETUTXO meant for Bitcoin XT.

This frees up a service bit.  Zcash has never used this flag
and upstream Bitcoin Core does not support this flag, although
it did reserve it for compatibility with Bitcoin XT.

Auto merge of #2873 - bitcartel:2793_dbcache, r=bitcartel

Closes #2793 to improve sync performance by increasing default value of dbcache.

Add note about dbcache to 1.0.15 release notes.

Adapted from upstream release notes here:
https://github.com/bitcoin/bitcoin/blob/master/doc/release-notes/release-notes-0.14.1.md#utxo-memory-accounting

Add documentation about dbcache.

Adapted from documentation 'Reducing bitcoind memory usage' by @laanwj
https://gist.github.com/laanwj/efe29c7661ce9b6620a7

Auto merge of #2848 - str4d:2795-rpc-test-chainValueZat, r=str4d

Check chainValueZat when checking value pool monitoring

Addresses https://github.com/zcash/zcash/pull/2795#discussion_r157343660

Auto merge of #2845 - str4d:exportdir-completion, r=str4d

Enable Bash completion for -exportdir

Fixes #2793. Backport commit f33afd3 to increase dbcache default.

Auto merge of #2858 - sandakersmann:patch-1, r=daira

Changed http:// to https:// on some links

Changed http:// to https:// on some links in code_of_conduct.md

Changed http:// to https:// on some links

Changed http:// to https:// on some links in code_of_conduct.md

Auto merge of #2771 - syd0:fix-snark-dep-build, r=str4d

Fix libsnark dependency build.

This changes libsnark to build in-place, instead of copying first to
a build directory. Previously, modifications made to the original
sources wouldn't get rebuilt without a 'make clean' because users
would be pointing to the copies.

This closes #2689.

Auto merge of #2770 - syd0:remove-some-cruft, r=str4d

Remove OSX and Windows files from Makefile + share directory.

These are stale holdovers from bitcoin.

This closes #2169.

Remove OSX and Windows files from Makefile + share directory.

These are stale holdovers from bitcoin.

This closes #2169.

Auto merge of #2821 - str4d:2335-scope-ecdsa-constants, r=str4d

Scope the ECDSA constant sizes to CPubKey / CKey classes

Cherry-picked from https://github.com/bitcoin/bitcoin/pull/10657, upstreaming our patches from #2335.

Auto merge of #2849 - str4d:release-v1.0.14, r=str4d

Release v1.0.14

make-release.py: Updated release notes and changelog for 1.0.14.

make-release.py: Updated manpages for 1.0.14.

make-release.py: Versioning changes for 1.0.14.

Check chainValueZat when checking value pool monitoring

Add getdeprecationinfo rpc call to return current version and deprecation block height.

Enable Bash completion for -exportdir

Auto merge of #2830 - str4d:release-v1.0.14-rc1, r=str4d

Release v1.0.14-rc1

Update release process

make-release.py: Updated release notes and changelog for 1.0.14-rc1.

make-release.py: Updated manpages for 1.0.14-rc1.

make-release.py: Versioning changes for 1.0.14-rc1.

Auto merge of #2826 - str4d:pyflakes-warnings, r=str4d

Fix pyflakes warnings in zkey_import_export RPC test

Fix pyflakes warnings in zkey_import_export RPC test

Auto merge of #2823 - str4d:2755-release-notes, r=str4d

List all commits in final release notes

This alters the release notes to display the following commit ranges:

Version | Diff
------- | ---
`X-rc1` | `(X-1)..X-rc1`
`X-rc2` | `(X-1)..X-rc2`
`X`     | `(X-1)..X`

Closes #2755.

Exclude beta and RC release notes from author tallies

(except for pre-1.0.0, per previous commit)

Regenerate previous release notes to conform to new format

Pre-1.0.0 release notes are excluded, as they were operating under a different
RC timeline, and make more sense separated.

release-notes.py: Remove unnecessary parameter