概率界、Vegas 估计器、大数定律

(a) 正确。由于 \[9 = \operatorname{Var}(X) = \mathbb{E}[X^2] - \mathbb{E}[X]^2 = \mathbb{E}[X^2] - 2^2,\] 因此 \(\mathbb{E}[X^2] = 9 + 4 = 13\)。

(b) 错误。随机变量不必能取到其均值。作为一个可能的反例，构造一个满足题目条件但不取值为 2 的随机变量 \(X\)。一个简单的例子是：随机变量取两个值，其中 \(\mathbb{P}[X = a] = \mathbb{P}[X = b] = 1/2\)，且 \(a \neq b\)，同时 \(a, b \le 10\)。期望必须为 2，因此 \(a/2 + b/2 = 2\)。方差为 9，因此 \(\mathbb{E}[X^2] = 13\)（由 (a) 得），且 \(a^2/2 + b^2/2 = 13\)。解得 \(\mathbb{P}[X = -1] = \mathbb{P}[X = 5] = 1/2\) 即为一个反例。

(c) 错误。随机变量的中位数不一定等于均值，除非分布对称。作为一个可能的反例，构造一个满足题目条件但小于 2 和大于 2 的概率不等的随机变量 \(X\)。一个简单的例子是：随机变量取两个值，其中 \(\mathbb{P}[X = a] = p\)，\(\mathbb{P}[X = b] = 1 - p\)。这里采用与 (b) 相同的方法，但使用一般的 \(p\)，因为我们希望 \(p \neq 1/2\)。期望必须为 2，因此 \(pa + (1-p)b = 2\)。方差为 9，因此 \(\mathbb{E}[X^2] = 13\) 且 \(pa^2 + (1-p)b^2 = 13\)。解得关系式 \(b = 2 \pm 3/\sqrt{x}\)，其中 \(x = (1-p)/p\)。然后代入 \(x\) 的值使得 \(a, b \le 10\) 且 \(p \neq 1/2\)。一个反例是 \(\mathbb{P}[X = -7] = 1/10\)，\(\mathbb{P}[X = 3] = 9/10\)。

(d) 正确。令 \(Y = 10 - X\)。由于 \(X\) 从不超过 10，\(Y\) 是非负随机变量。由马尔可夫不等式（Markov's inequality）， \[\mathbb{P}[10 - X \ge a] = \mathbb{P}[Y \ge a] \le \frac{\mathbb{E}[Y]}{a} = \frac{\mathbb{E}[10 - X]}{a} = \frac{8}{a}。\] 取 \(a = 9\)，得 \(\mathbb{P}[X \le 1] = \mathbb{P}[10 - X \ge 9] \le 8/9\)。

附注：若改用切比雪夫不等式（Chebyshev's inequality），注意到 \(\mathbb{P}[X \le 1] + \mathbb{P}[X \ge 3] = \mathbb{P}[|X - 2| \ge 1] = \mathbb{P}[|X - \mathbb{E}[X]| \ge 1]\)， 会得到 \(\mathbb{P}[X \le 1] \le \mathbb{P}[X \le 1] + \mathbb{P}[X \ge 3] = \mathbb{P}[|X - 2| \ge 1] \le \operatorname{Var}(X)/1 = 9\)， 这是一个无用的界。

(e) 正确。切比雪夫不等式表明 \(\mathbb{P}[|X - \mathbb{E}[X]| \ge a] \le \operatorname{Var}(X)/a^2\)。取 \(a = 4\)，有 \[\mathbb{P}[|X - 2| \ge 4] \le \frac{9}{16}。\] 注意到 \(\mathbb{P}[X \ge 6] \le \mathbb{P}[|X - 2| \ge 4]\)，因为事件 \(X \ge 6\) 是事件 \(|X - 2| \ge 4\) 的子集。

附注：此处不能应用马尔可夫不等式；\(X\) 不是非负的，而若使用之前的变换 \(Y = 10 - X\)，我们需要对 \(\mathbb{P}[10 - X \le 10 - 6] = \mathbb{P}[Y \le 4]\) 给出上界，这无法用马尔可夫不等式实现，因为它只对 \(\mathbb{P}[Y \ge a]\) 形式的概率给出上界。

(a) 令 \(X_i\) 为第 \(i\) 个人的硬币抛掷结果为正面的示性变量。则 \(X = \frac{1}{n}\sum_{i=1}^n X_i\)。由线性性， \[\mathbb{E}[X] = \frac{1}{n}\sum_{i=1}^n \mathbb{E}[X_i] = \mathbb{E}[X_i]。\] 由全概率公式， \[\mathbb{E}[X_i] = p \cdot 1 + (1-p) \cdot \frac{1}{2} = \frac{1}{2}(p+1)。\]

(b) 我们想构造估计量 \(\hat{p}\) 使得 \(\mathbb{E}[\hat{p}] = p\)。那么只要样本量足够大，就能得到 \(p\) 的良好估计。换言之，我们测量抛掷结果为正面的人所占比例 \(X\)。如何利用这个观测构造 \(\hat{p}\)？由 (a)，\(\mathbb{E}[X] = \frac{1}{2}(p+1)\)。通过（逆向）线性性分离 \(p\)，得 \[p = 2\mathbb{E}[X] - 1 = \mathbb{E}[2X - 1]。\] 因此，估计量 \(\hat{p}\) 应取为 \(2X - 1\)。

(c) 我们要求 \(n\) 使得 \(\mathbb{P}[|\hat{p} - p| \le 0.05] > 0.95\)。换言之，即 \(\mathbb{P}[|\hat{p} - p| > 0.05] \le 0.05\)。注意到由构造 \(\mathbb{E}[\hat{p}] = p\)，因此可以立即对 \(\hat{p}\) 应用切比雪夫不等式： \[\mathbb{P}[|\hat{p} - p| > 0.05] \le \mathbb{P}[|\hat{p} - p| \ge 0.05] \le \frac{\operatorname{Var}[\hat{p}]}{0.05^2}。\] 若 \(\operatorname{Var}(\hat{p})/0.05^2 \le 0.05\)，则有所望结果。因此我们需要 \(n\) 使得 \(\operatorname{Var}(\hat{p}) \le 0.05^3\)。 \[\operatorname{Var}(\hat{p}) = \operatorname{Var}(2X - 1) = 4\operatorname{Var}(X) = \frac{4}{n^2}\operatorname{Var}\left(\sum_{i=1}^n X_i\right) = \frac{4}{n}\operatorname{Var}(X_1)。\] 但 \(X_i\) 是示性变量（伯努利变量），其方差以 \(1/4\) 为上界（注意 \(p(1-p)\) 在 \(p = 1/2\) 时取最大值 \(1/4\)）。因此 \[\operatorname{Var}[\hat{p}] \le \frac{4}{n} \cdot \frac{1}{4} = \frac{1}{n}。\] 取 \(n\) 使得 \(1/n \le 0.05^3\)，得 \(n \ge 1/0.05^3 = 8000\)。

解：

(a) 10 次。 由大数定律 (Law of Large Numbers, LLN)，随着 n 增大，样本均值更有可能接近总体均值。因此正面朝上的平均比例应更接近 0.50，且在抛掷 100 次时超过 0.60 的概率比抛掷 10 次更低。

(b) 100 次。 同样由 LLN，样本均值更有可能接近总体均值。因此正面朝上的平均比例应更接近 0.50，且在抛掷 100 次时低于 0.40 的概率比抛掷 10 次更低。低于 0.40 的概率更低正是我们想要的结果。

(c) 100 次。 由 LLN，正面朝上的平均比例应更接近 0.50，在抛掷 100 次时低于 0.40 的概率更低。同样，高于 0.60 的概率也更低。若我们希望正面比例在 0.4 到 0.6 之间，则这两个事件概率都更低是有利的。

(d) 10 次。 直观上，抛掷次数越多，恰好一半为正面就越难；更多抛掷次数意味着更严格的限制。举极端例子：2 次抛掷中恰好 1 次正面的概率为 0.5，而一百万次抛掷中恰好 500,000 次正面的概率远小于 0.5，因为我们瞄准了一个非常具体的数字。

更严格地，可以比较 2n 次和 2n+2 次抛掷中正面与反面数相等的概率。

\[ P[\text{2n 次中 n 次正面}] = \binom{2n}{n} \frac{1}{2^{2n}} \]

\[ \begin{aligned} P[\text{2n+2 次中 n+1 次正面}] &= \binom{2n+2}{n+1} \frac{1}{2^{2n+2}} \\ &= \frac{(2n+2)!}{(n+1)!(n+1)!} \cdot \frac{1}{2^{2n+2}} \\ &= \frac{(2n+2)(2n+1)(2n)!}{(n+1)(n+1)n!n!} \cdot \frac{1}{2^{2n+2}} \\ &= \frac{2n+2}{n+1} \cdot \frac{2n+1}{n+1} \binom{2n}{n} \cdot \frac{1}{2^{2n+2}} \\ &= \frac{2n+1}{2n+2} \binom{2n}{n} \frac{1}{2^{2n}} \\ &< \binom{2n}{n} \frac{1}{2^{2n}} = P[\text{2n 次中 n 次正面}] \end{aligned} \]

因为 \(\frac{2n+1}{2n+2} < 1\)，随着 n 递增，概率始终递减。因此 n 越大，恰好 50% 正面的概率越低。

注： 由 Stirling 近似，\(\binom{2n}{n} 2^{-2n}\) 对大 n 约为 \((\pi n)^{-1/2}\)。

参见代码演示：https://github.com/dingyiming0427/CS70-demo/