Remove libsnark from depends system and integrate it into build system.

Merge commit '51e448641d6cbcd582afa22cd8475f8c3086dad7' as 'src/snark'

Squashed 'src/snark/' content from commit 9ada3f8

git-subtree-dir: src/snark
git-subtree-split: 9ada3f84ab484c57b2247c2f41091fd6a0916573

Auto merge of #2562 - arielgabizon:release-v1.0.11-rc1, r=daira

Release v1.0.11 rc1

make-release.py: Updated release notes and changelog for 1.0.11-rc1.

make-release.py: Updated manpages for 1.0.11-rc1.

make-release.py: Versioning changes for 1.0.11-rc1.

Auto merge of #2484 - str4d:block-download-completion, r=daira

Add block download progress to metrics UI

Improve network height estimation

Correct and extend EstimateNetHeightInner tests

Corrections are to the median block times, which were generated by subtracting
CBlockIndex::nMedianTimeSpan / 2 from the block height and then multiplying by
the target spacing. GetMedianTimePast() takes an array sorted by std::sort() and
returns element CBlockIndex::nMedianTimeSpan / 2, meaning that if
CBlockIndex::nMedianTimeSpan is odd (which it is), there is an out-by-one error
in the subtraction.

Auto merge of #2526 - bitcartel:2480_segfault_zeroconf_from_zaddr, r=daira

Fixes #2480 where missing map entry would cause a segfault.

`wtxHeight = mapBlockIndex[wtx.hashBlock]->nHeight;` results in undefined behaviour when the block hash is not present in the map, returning a null value which is dereferenced via `->nHeight`.  This error is triggered by a zero-conf wallet transaction which has not been mined yet.  As discussed in #2480, on some systems there is a segfault whilst on others there is a silent exit.  This makes it difficult to write a test, but the fix has been tested empirically to confirm an exception is thrown.  This PR fixes the segfault and complements #2525 which prevents a user from sending from a zaddr with minconf 0.

Add block download progress to metrics UI

Auto merge of #2529 - str4d:2444-rpc-www-authenticate, r=daira

[rpc] Add WWW-Authenticate header to 401 response

Fix cherry-picked from upstream PR bitcoin/bitcoin#7472.

Closes #2444.

Auto merge of #2543 - nathan-at-least:2499-specify-ci-worker-criteria, r=daira

Document our criteria for adding CI workers.

This is a doc improvement that came out of #2499.

Document our criteria for adding CI workers. closes #2499

Author: Nathan Wilcox <[email protected]>
Author: Daira Hopwood <[email protected]>
Signed-off-by: Daira Hopwood <[email protected]>

Auto merge of #2478 - bitcartel:2477_send_alert_1.0.10, r=daira

Alert for 2017-06-23.a degraded networking (fixed in 1.0.10-1)

Alert 1004 (version 1.0.10 only) Issue #2477

Auto merge of #2525 - bitcartel:2519_no_zero_minconf_from_zaddr_zsendmany, r=daira

When sending from a zaddr, minconf cannot be zero.

Closes #2519.

Auto merge of #2504 - daira:2501.remove-upnp, r=daira

Remove UPnP support. fixes #2500

Signed-off-by: Daira Hopwood <[email protected]>

Auto merge of #2509 - str4d:ci-workers, r=str4d

Ansible playbook for configuring CI workers

The playbook in this PR can be used for configuring common Unix variants to run a Buildbot worker for the Zcash CI, starting from a fresh install (or a VM template provided by a hosting service).

Auto merge of #2458 - daira:2450.pyflakes-cleanup, r=str4d

pyflakes cleanup

Make the RPC tests pyflakes-clean. fixes #2450

Includes a fix that upstream had in https://github.com/bitcoin/bitcoin/pull/7802

Add pyflakes to required Python modules

See #2494 for details.

Add a separate Buildbot host info template for EC2

Latent workers are not usually created on the instance type that will be used,
so memory and CPU info collected at AMI creation will likely be inaccurate.

Remove Buildbot version from host file

Buildbot master already obtains and publishes this in the UI.

Add pyblake2 to required Python modules

See #2533 for details.

Add steps for setting up a latent worker on Amazon EC2

Add Buildbot worker setup to Ansible playbook

Currently assumes the host uses systemd

Auto merge of #2535 - daira:zcash-is-experimental-wording, r=daira

Change wording in Security Warnings section of README.md.

Signed-off-by: Daira Hopwood <[email protected]>

Fixes #2480. Null entry in map was dereferenced leading to a segfault.

Change wording in Security Warnings section of README.md.

Signed-off-by: Daira Hopwood <[email protected]>

Auto merge of #2522 - bitcartel:2446_coinbase_field_listunspent, r=daira

Add generated field to listunspent output

Closes #2446

rpc: Add WWW-Authenticate header to 401 response

A WWW-Authenticate header must be present in the 401
response to make clients know that they can authenticate,
and how.

    WWW-Authenticate: Basic realm="jsonrpc"

Fixes #7462.

Add test for issue #2444

A WWW-Authenticate header must be present in the 401 response to make clients
know that they can authenticate, and how.

Fixes #2519. When sending from a zaddr, minconf cannot be zero.

Closes #2446 by adding generated field to listunspent.

If generated is true, the unspent transaction output is from a
coinbase transaction and can only be sent to a shielded address.

Auto merge of #2460 - str4d:process-temp-release-notes, r=daira

Pull in temporary release notes during the release process

This PR assumes we always have at least one notable change in `doc/release-notes.md`, which should be the case for every release.

Auto merge of #2464 - str4d:torcontrol-rbf-resource-leak, r=daira

Net: Fix resource leak in ReadBinaryFile(...)

Introduced in 3290567bbd54e01cb6fe6b1d04c659abca983af2 via PR #2177.

Cherry-picked from Bitcoin PR https://github.com/bitcoin/bitcoin/pull/10408

Simplify Python installation, inform user if they need to manually configure

Variable overrides for FreeBSD

These are insufficient to enable FreeBSD to build.

Variable overrides for Debian, Ubuntu and Fedora

Ansible playbook for installing Zcash dependencies and Buildbot worker

Remove UPnP support. fixes #2500

Signed-off-by: Daira Hopwood <[email protected]>

Pull in temporary release notes during the release process

Alert 1004 (version 1.0.10 only)

Author: Simon <[email protected]>
Signed-off-by: Daira Hopwood <[email protected]>

Auto merge of #2474 - bitcartel:release-v1.0.10-1, r=bitcartel

Release v1.0.10-1

make-release.py: Updated release notes and changelog for 1.0.10-1.

make-release.py: Updated manpages for 1.0.10-1.

make-release.py: Versioning changes for 1.0.10-1.

Auto merge of #2462 - str4d:2404-gitian-no-proton, r=ebfull

Disable building Proton in Gitian

This is the patch used to build 1.0.9 and 1.0.10.

Part of #2404.

Auto merge of #2473 - ebfull:init-proto-hotfix-release, r=ebfull

Revert changes to INIT_PROTO_VERSION

This reverts https://github.com/zcash/zcash/pull/2245 in order to fix degraded networking behavior for 1.0.10 clients.

Revert "Delete old protocol version constants and simplify code that used them."

This reverts commit 5a49c929ddccb8a6ca1ac744cefa6af7817ea3de.

Revert "Remove an unneeded version workaround as per @str4d's review comment."

This reverts commit 1e9db0b38a64e8df510294e44b5e6afb4b2dffc8.

Net: Fix resource leak in ReadBinaryFile(...)

Introduced in 3290567bbd54e01cb6fe6b1d04c659abca983af2 via PR #2177.

Cosmetics (trailing whitespace, comment conventions, etc.)

Signed-off-by: Daira Hopwood <[email protected]>

For unused variables reported by pyflakes, either remove the variable,
suppress the warning, or fix a bug (if the wrong variable was used).
refs #2450

Signed-off-by: Daira Hopwood <[email protected]>

Clean up imports to be pyflakes-checkable. fixes #2450

Signed-off-by: Daira Hopwood <[email protected]>

Disable building Proton in Gitian

This is the patch used to build 1.0.9 and 1.0.10.

Part of #2404.

Auto merge of #2461 - str4d:release-v1.0.10, r=str4d

Release v1.0.10

Move temporary release notes to final ones

make-release.py: Updated release notes and changelog for 1.0.10.

make-release.py: Updated manpages for 1.0.10.

make-release.py: Versioning changes for 1.0.10.

Auto merge of #2342 - bitcartel:1081__mempoolpatch, r=str4d

Add ability for node to reject tx from mempool by number of tx inputs

Implement short-term solution described in #2343 so that users can respond promptly to critical short-term problems caused by quadratic validation scaling, such as the getblocktemplate latency, block propagation latency, and mempool size inflation issues described in #2333.

Use sendfrom for both t-addr calls

Auto merge of #2360 - daira:2359.remove-lax-der-validation, r=arcalinea

Remove unneeded lax ECDSA signature verification

Fixes #2359. Removes code for lax ECDSA verification, and the SCRIPT_VERIFY_DERSIG flag that controlled it. The behaviour is as-if the flag is always set.

Fix #b1eb4f2 so test checks sendfrom as originally intended.

Also reduce number of z_sendmany calls made so test runs quicker.

Delete test that is redundant and inapplicable to Zcash.

Signed-off-by: Daira Hopwood <[email protected]>

Auto merge of #2456 - btccom:master, r=str4d

[mining] let "getblocktemplate" work when disable wallet

we already support GetBlockTemplate without build wallet, see:

https://github.com/zcash/zcash/blob/master/src/rpcmining.cpp

```
    // Wallet or miner address is required because we support coinbasetxn
    if (GetArg("-mineraddress", "").empty()) {
#ifdef ENABLE_WALLET
        if (!pwalletMain) {
            throw JSONRPCError(RPC_METHOD_NOT_FOUND, "Wallet disabled and -mineraddress not set");
        }
#else
        throw JSONRPCError(RPC_METHOD_NOT_FOUND, "zcashd compiled without wallet and -mineraddress not set");
#endif
    }
```

so the macro should be removed from `src/rpcserver.cpp`, otherwise you can't call `getblocktemplate` when you disable wallet.

Fix comment

Auto merge of #2443 - str4d:1621-priority-download-path, r=str4d

Rename FALLBACK_DOWNLOAD_PATH to PRIORITY_DOWNLOAD_PATH

Closes #1621.

Partial revert & fix for commit 9e84b5a ; code block in wrong location.

Additional testing of -mempooltxinputlimit

"getblocktemplate" could work without wallet

Fix a comment that was made stale before launch by #1016 (commit 542da61).

Signed-off-by: Daira Hopwood <[email protected]>

Make transaction test failures print the comments preceding the test JSON.

Signed-off-by: Daira Hopwood <[email protected]>

Repair tests for strict DER signatures.
While we're at it, repair a similar test for CLTV, and make the repaired RPC tests run by default.

Signed-off-by: Daira Hopwood <[email protected]>

Check mempooltxinputlimit when creating a transaction to avoid local
mempool rejection.

Strict DER signatures are always enforced; remove the flag and code that used it.

Signed-off-by: Daira Hopwood <[email protected]>

Remove unneeded lax ECDSA signature verification.

Signed-off-by: Daira Hopwood <[email protected]>

Auto merge of #2335 - str4d:2333-validation-speed, r=str4d

Switch to libsecp256k1-based validation for ECDSA

Cherry-picked from the following upstream PRs:

- bitcoin/bitcoin#6983
- bitcoin/bitcoin#6954

Part of #2333.

Hold an ECCVerifyHandle in zcash-gtest

Add test for -mempooltxinputlimit

Add option 'mempooltxinputlimit' so the mempool can reject a transaction
based on the number of transparent inputs.

Auto merge of #2436 - kozyilmaz:multipath, r=str4d

support per platform filename and hash setting for dependencies

added to support per-platform Rust packages, tested on macOS Sierra 10.12.5 and Ubuntu 16.04 LTS (issue #2431)

Ensure that ECDSA constant sizes are correctly-sized

Remove redundant `= 0` initialisations

Specify ECDSA constant sizes as constants

Update Debian copyright list

Add comments

Auto merge of #2440 - bitcartel:1360_reduce_info_leakage_vpub_new, r=str4d

Fix intermediate vpub_new leakage in multi joinsplit tx

Resolves information leakage discussed here https://github.com/zcash/zcash/issues/1360#issuecomment-284561331

Example output in debug.log showing how intermediate vpub_new is now 0
https://gist.github.com/bitcartel/86ca316b74f0b1ec6d8de3ac132006da

When reviewing, note that the indentation of a large chunk of code (scenario 3 part 2) changed, so use `git diff -w` (or similar) or append `?w=1` to the Github URL e.g. https://github.com/zcash/zcash/pull/2440/files?w=1

Auto merge of #2386 - str4d:2385-consensus-correction, r=str4d

Correct consensus logic in ContextualCheckInputs

Closes #2385.

Correct consensus logic in ContextualCheckInputs

Closes #2385.

Add test for incorrect consensus logic

Auto merge of #2227 - str4d:2074-ignore-virtual-cores, r=str4d

Use real number of cores, ignore virtual cores

Cherry-picked from the following upstream PRs:

- bitcoin/bitcoin#6361
- bitcoin/bitcoin#6370

Part of #2074.

Auto merge of #1747 - str4d:fix-spendingkey-locking, r=str4d

Fix incorrect locking in CCryptoKeyStore

Auto merge of #2420 - kozyilmaz:disable-libs, r=str4d

option to disable building libraries (zcutil/build.sh)

option to disable building libraries (zcutil/build.sh)

Rename FALLBACK_DOWNLOAD_PATH to PRIORITY_DOWNLOAD_PATH

Closes #1621.

Fix intermediate vpub_new leakage in multi joinsplit tx (#1360)

Auto merge of #2245 - daira:2244.remove-old-peer-workarounds, r=str4d

Delete old protocol version constants and simplify code that used them.

fixes #2244

Signed-off-by: Daira Hopwood <[email protected]>

Auto merge of #2412 - kozyilmaz:linker, r=str4d

[macOS] system linker does not support “--version” option but only “-v”

To build Zcash on macOS Sierra I use a self-built gcc-6.3/g++-6.3 but macOS linker (/usr/bin/ld). macOS linker does not support “--version” option but “-v”

On Ubuntu 16.04
```
$ ld --version
GNU ld (GNU Binutils for Ubuntu) 2.26.1
Copyright (C) 2015 Free Software Foundation, Inc.
This program is free software; you may redistribute it under the terms of
the GNU General Public License version 3 or (at your option) a later version.
This program has absolutely no warranty.
$ ld -v
GNU ld (GNU Binutils for Ubuntu) 2.26.1
```

On macOS Sierra
```
$ ld --version
ld: unknown option: --version
$ ld -v
@(#)PROGRAM:ld  PROJECT:ld64-278.4
configured to support archs: armv6 armv7 armv7s arm64 i386 x86_64 x86_64h armv6m armv7k armv7m armv7em (tvOS)
LTO support using: LLVM version 8.1.0, (clang-802.0.42)
TAPI support using: Apple TAPI version 1.33.11
```

Auto merge of #2429 - hajdbo:master, r=daira

documentation z_validateaddress was missing param