Auto merge of #1268 - ThisIsNotOfficialCodeItsJustForks:t1130-upgrade-libsodium, r=ebfull

Upgrade libsodium for AVX2-detection bugfix.

Upgrades libsodium to bring in an AVX2-detection bugfix (to help with #1130).

Auto merge of #1248 - rcseacord:rcseacord-patch-4, r=ebfull

Update uint256.h

Addresses load of misaligned address for type 'const uint32_t' #1246

update zcash-cli stop message

changed "Bitcoin server stopping" to "Zcash server stopping"

Auto merge of #1236 - tomrittervg:tomrittervg-comments-1, r=ebfull

Clarify comment about nonce space for Note Encryption

Use libsodium's s < L check, instead checking that libsodium checks that.

Update NoteEncryption.hpp

Auto merge of #1254 - ebfull:tx-structure-changes, r=bitcartel

Change memo field size and relocate `ciphertexts` field of JoinSplit description

Closes #1190
Closes #1187

Add parenthesis around macro value definition

Auto merge of #1258 - ThisIsNotOfficialCodeItsJustForks:t1251-upstream-anti-dos, r=daira

Pull in some DoS mitigations from upstream

Closes #1251.

**WARNING: I force pushed**

Auto merge of #1205 - str4d:1199-key-management, r=str4d

Add support for spending keys to the basic key store

Prerequisite for #1197 and #1199.

ASSERT -> EXPECT in test to get more info per test run about future regressions

Rework test to check for failure to return a spending key

Upgrade libsodium for AVX2-detection bugfix.

Auto merge of #1231 - rcseacord:rcseacord-patch-3, r=str4d

Address incorrect use of shared_ptr in test_equihash.cpp

Closes #1228

Auto merge of #1230 - rcseacord:rcseacord-patch-1, r=str4d

Address incorrect use of shared_ptr in equihash.cpp

Closes #1214

Add separate lock for SpendingKey key store operations

net: correctly initialize nMinPingUsecTime

`nMinPingUsecTime` was left uninitialized in CNode.
The correct initialization for a minimum-until-now is int64_t's max value, so initialize it to that.
Thanks @MarcoFalke for noticing.

Use network group instead of CNetAddr in final pass to select node to disconnect

Fix comment

Acquire cs_vNodes before changing refrence counts

CNodeRef copy constructor and assignment operator

Return false early if vEvictionCandidates is empty

Better support for nodes with non-standard nMaxConnections

RAII wrapper for CNode*

Add comments to AttemptToEvictConnection

Remove redundant whiteconnections option

Prefer to disconnect peers in favor of whitelisted peers

AttemptToEvictConnection

Record nMinPingUsecTime

Refactor: Move failure conditions to the top of AcceptConnection

Refactor: Bail early in AcceptConnection

Refactor: AcceptConnection (modified to include 95a50390)

Change memo field size and relocate `ciphertexts` field of JoinSplit description.

Auto merge of #1194 - bitcartel:zc.v0.11.2.z8_issue_1193_fixtest, r=ebfull

Improve speed and accuracy of zcbenchmark validatelargetx

The verification test, in a loop, passes `spending_tx` (a `CMutableTransaction`) to the constructor of `MutableTransactionSignatureChecker`, which immediately uses it to create a non-mutable `CTransaction` object, which is used for the actual verification process.

Since `spending_tx` is not mutated during the verification loop & process, we can instead convert it to a `CTransaction` just once, and use it with `TransactionSignatureChecker`.

This removes the time to create `CTransaction` objects from the benchmark itself.

Results show an improvement in running time to complete the verification phase of the test and consistent times across z7 and z8 releases.

```
Benchmarks on i3 processor:
z7 old 228.67205900 --> z7 new 49.27225200
z7 old 229.90048900 --> z7 new 48.38650700
z8 old 295.77963800 --> z8 new 48.37695100
z8 old 294.32640100 --> z8 new 49.93216100
```

Update uint256.h

Addresses load of misaligned address for type 'const uint32_t' #1246

Consistent parameter naming

Merge AddSpendingKeyPaymentAddress into AddSpendingKey to simplify API

Disable hardening when building for coverage reports.

Clarify comment about nonce space for Note Encryption

Update test_equihash.cpp

Update equihash.cpp

fix https://github.com/zcash/zcash/issues/1214

Add support for spending keys to the basic key store

Update variable.

Fixes #1193 so that during verification benchmarking it does not
unncessarily create thousands of CTransaction objects.

Release process for z8.  Issue #1140.

Auto merge of #1183 - bitcartel:zc.v0.11.2.latest_txid_tests, r=bitcartel

Add gtest for non-malleable txids.

1. Test txid of normal transaction is double sha256 with sigscript input data removed
2. Test txid of coinbase transaction is double sha256 over whole tx

You can run a single test with:
./zcash-gtest --gtest_filter="txid_tests*"

Add test for non-malleable txids.  To run just this test:
./zcash-gtest --gtest_filter="txid_tests*"

Ignore duplicate entries after partial recreation

Update tests to account for new Equihash parameters

Change Equihash parameters to n = 200, k = 9 (about 563-700 MiB)

Fix bug in IsProbablyDuplicate()

Closes #1179

Add test showing bug in IsProbablyDuplicate()

Add Equihash support for n = 200, k = 9

Closes #1177

Auto merge of #1144 - bitcartel:zc.v0.11.2.z7_tx_malleability_gettxid, r=bitcartel

A fix for transaction malleability

This PR fixes transaction malleability by not including the sigscript of transaction inputs and joinsplit sigs when hashing the txid.

This PR supercedes PR #1101 which was a minimal solution based on a new serialization flag.

This PR introduces GetTxid() to distinguish between getting a transaction id and the double sha256 hash.

The key changes are:
- Adding GetTxid() method to CTransaction which makes a copy of the transaction, clearing out the sigscript and joinsplitsig fields, before hashing.
- Verifying that every call to GetHash() actually wants a txid, and replacing with GetTxid().
- Renaming GetHash() to GetSerializeHash()
  - Rationale: In future, upstream code we want to merge will use GetHash() but we don't know the intent.  We should check to see if the intent is to receive a txid (most likely) in which case we replace with GetTxid(), or if upstream actually wants a double hash of the transaction we can use GetSerializeHash().
- Updated genesis data in chainparams.cpp

Note that coinbase transactions are excluded as they need the sigscript hashed to help avoid duplicate txids per BIP34:
  - This modification is related to a question from @ebfull on PR #1101 - "Can we think of a way this change allows us to construct two transactions with the same txid which can simultaneously appear in the blockchain? My guess is it would be possible to construct a coinbase transaction of such a form... this surely breaks invariants."

This PR Passes all tests in test_bitcoin (test data was updated in bloom_tests, miner_tests and script_tests).

Auto merge of #1173 - str4d:1165-equihash-fix-large-k-ballooning, r=bitcartel

Eliminate some of the duplicates caused by truncating indices

Closes #1165

Auto merge of #1172 - str4d:1148-remove-equihash-collision-length-assumption, r=bitcartel

Remove the assumption that n/(k+1) is a multiple of 8

This version works, but generates the initial rows in a way that is probably
not what we want to specify.

Closes #1148

Remove the assumption that n/(k+1) is a multiple of 8.

This version works, but generates the initial rows in a way that is not what we
want to specify. See #1175 for resolving this.

Co-author: Daira Hopwood <[email protected]>

Fix previous commit

Simplify optional parameters

Add missing assert

Simplify IsProbablyDuplicate()

Eliminate probably duplicates in final round

This is more likely to eliminate valid solutions than doing so in intermediate
rounds, but the probability is still very low.

Use fixed-size array in IsProbablyDuplicate to avoid stack protector warning

Eliminate some of the duplicates caused by truncating indices

Add thread parameter to solveequihash benchmark

Closes #1147

Use -O1 opimitization flag when building libzcash.
Continuation of #1064 and related to #1168.

Auto merge of #1086 - zcash:daira-simplify-readme-title, r=bitcartel

README.md: simplify the title, drop "Core"

We only have one public tree.

Auto merge of #1064 - ThisIsNotOfficialCodeItsJustForks:t915-enable-security-hardening, r=bitcartel

Verify security hardening features are turned on

Auto merge of #1157 - ThisIsNotOfficialCodeItsJustForks:t761-run-tests-under-valgrind, r=nathan-at-least

[WIP] Add more commands to run unit tests under valgrind.

This runs both zcash-gtest and test_bitcoin under valgrind. There's a corresponding PR to the buildbot config https://github.com/Electric-Coin-Company/bbotzc/pull/23. Closes #761.

Auto merge of #1160 - str4d:1131-remove-hardfork, r=bitcartel

Remove hardfork from special testnet difficulty rules

Closes #1131

Auto merge of #1158 - bitcartel:zc.v0.11.2.latest_1126_trycatch, r=ebfull

Extend try catch block around call to libsnark verifier

As discussed in #1126.

@daira Per your [comment](https://github.com/zcash/zcash/pull/1126#issuecomment-234714939):

> I would like assertion errors during tests to cause a test failure (unless the test explicitly expects them). Can we split this into verify and verify_internal, where the former does the try/catch around a call to verify_internal, and the latter is called by verification unit tests?

Did you mean move everything inside the extended try/catch to verify_internal, or just the call to r1cs_ppzksnark_verifier_strong_IC?

Remove GetSerializeHash() method.

Auto merge of #1146 - str4d:1143-equihash-solution-callback, r=ebfull

Equihash: Pass each obtained solution to a callback for immediate checking

Closes #1143

Fix bug in 'generate' RPC method that caused it to fail with high probability

Remove hardfork from special testnet difficulty rules

Closes #1131

Extend try catch block around calls to libsnark, per discussion in #1126.

Update comment.

Fix comment.

Add more commands to run unit tests under valgrind.

Auto merge of #1137 - bitcartel:zc.v0.11.2.latest_deprecate_zcraw_api, r=ebfull

zcash-cli: Label zcraw... rpc commands as being deprecated

These RPC calls will be removed from 1.0, so let's mark them as deprecated.

Update deprecation message for zcraw api.

Make txid const.

Update genesis block hashes and test data.

Fix issue where a coinbase tx should have it's sigscript hashed
to avoid duplicate txids, as discussed in BIP34 and BIP30.

Revert "Set nLockTime in CreateNewBlock() so coinbase txs do not have the same txid."

This reverts commit 29306269f4c4a09201087025407b7d914912baad.

Equihash: Pass each obtained solution to a callback for immediate checking

Closes #1143

Refactor GetTxid() into UpdateTxid() to match coding style of hash member variable.

UpdateTxid() is called alongside UpdateHash() when a CTransaction is
deserialized or constructed.  GetTxid() now returns a const reference.

Set nLockTime in CreateNewBlock() so coinbase txs do not have the same txid.
Update test data in miner_tests.

Replace calls to GetHash() with GetTxid() for transaction objects.

Where the caller intends to receive a transaction id and not a double
SHA256 hash.

Rename GetHash() method to GetSerializeHash().

When pulling from upstream we are now forced to examine GetHash() usage
and replace with GetSerializeHash() if the caller wants a double SHA256
hash, or with GetTxid() if the caller wants a transaction id.

Updated test data for script_tests by uncommenting UPDATE_JSON_TESTS flag.

Update block and tx data used in bloom filter tests.

Update precomputed equihash solutions used in test.

Update genesis blocks.

Add GetTxid() which returns a non-malleable txid.

Auto merge of #1120 - str4d:1055-asynchronous-miner-interrupts, r=str4d

Make Equihash solvers cancellable

The miner only cancels the solver when chainActive.Tip() changes.

Closes #1055

Inform user that zcraw... rpc calls are being deprecated.

z7 Release

Auto merge of #1126 - ebfull:more-libsnark-changes, r=ebfull

Remove more from libsnark, and fix potential remote-DoS.

See https://github.com/zcash/libsnark/pull/1 as well.

[`59adbef`](https://github.com/zcash/libsnark/commit/59adbefcc870c1e807a0378403b6a4022da71d03) removes a remote-DoS that can occur if proofs are not well-formed.

[`e3779f9`](https://github.com/zcash/libsnark/commit/e3779f90490905e88c3a08c7194ee948dd8a0da5) removes more files that we do not need from libsnark.

[`11242d8`](https://github.com/zcash/libsnark/commit/11242d8afe304c8bcc252baec483f04a110d1dd4) replaces assertions that could be triggered by our verifier with exceptions.

Here in Zcash, we catch all exceptions from the verifier and return false.

Closes #459, Closes #69

Auto merge of #1127 - ebfull:test-merkle-tree-gadget, r=ebfull

Add test for non-intuitive merkle tree gadget witnessing behavior.

Closes #920