Aulas | Rafael B. Stern

Aula 1: Descrição do curso e histograma

Mon, 01 Jan 0001 00:00:00 +0000

Data: 06/08/2026.

Leitura: Tsybakov (2009), Seção 1.1.

Histograma

Definição (Histograma). Sejam \(X_1, \ldots, X_n\) observações i.i.d. com densidade \(f\) em \([0,1]\). Considere a partição de \([0,1]\) em \(m\) intervalos de comprimento \(h = m^{-1}\), \(B_1, \ldots, B_m\). O histograma é definido por

\[\hat{f}_n(x) = \frac{1}{nh} \sum_{i=1}^{n} \mathbb{I}(X_i \in B_j), \qquad \text{se } x \in B_j.\]

Lema 1 (Viés). Sob (A1), para todo \(x \in [0,1]\),

\[\left|\mathbb{E}[\hat{f}_n(x)] - f(x)\right| \leq Lh.\]

Prova. Seja \(B_j\) o intervalo que contém \(x\) e \(p_j = \mathbb{P}(X_1 \in B_j) = \int_{B_j} f(u) du\). Como \(\sum_{i=1}^{n} \mathbb{I}(X_i \in B_j)\) é uma soma de \(n\) indicadoras com a mesma esperança, \(p_j\),

\[\mathbb{E}[\hat{f}_n(x)] = \frac{n p_j}{nh} = \frac{p_j}{h}.\]

Como \(B_j\) tem comprimento \(h\), \(f(x) = h^{-1}\int_{B_j} f(x) du\). Portanto,

\[\mathbb{E}[\hat{f}_n(x)] - f(x) = \frac{1}{h}\int_{B_j} \left(f(u) - f(x)\right) du.\]

Como \(u\) e \(x\) pertencem a \(B_j\), \(|u - x| \leq h\). Assim, decorre de (A1) que \(|f(u)-f(x)| \leq Lh\) e

\[\left|\mathbb{E}[\hat{f}_n(x)] - f(x)\right| \leq \frac{1}{h}\int_{B_j} |f(u) - f(x)| du \leq \frac{1}{h} \cdot h \cdot Lh = Lh. \qquad \blacksquare\]

Lema 2 (Cota superior para \(f\)). Sob (A1), para todo \(x \in [0,1]\),

\[f(x) \leq 1 + \frac{L}{2}.\]

Prova. Decorre de (A1) que, para todos \(x, y \in [0,1]\), \(f(x) \leq f(y) + L|x-y|\). Integrando esta desigualdade em \(y \in [0,1]\) e usando que \(\int_0^1 f(y) dy = 1\),

\[f(x) \leq \int_0^1 f(y) dy + L\int_0^1 |x - y| dy = 1 + L \cdot \frac{x^2 + (1-x)^2}{2}.\]

Como \(x^2 + (1-x)^2 \leq 1\) para todo \(x \in [0,1]\), segue que \(f(x) \leq 1 + L/2\). \(\blacksquare\)

Lema 3 (Variância). Sob (A1), para todo \(x \in [0,1]\),

\[\mathbb{V}[\hat{f}_n(x)] \leq \frac{f(x) + Lh}{nh} \leq \frac{1 + L/2 + Lh}{nh}.\]

Prova. Sejam \(B_j\) o intervalo que contém \(x\), \(p_j = \int_{B_j} f(u) du\) e \(N_j = \sum_{i=1}^{n} \mathbb{I}(X_i \in B_j)\). Como \(X_1, \ldots, X_n\) são i.i.d., \(N_j \sim \text{Binomial}(n, p_j)\). Como \(\hat{f}_n(x) = (nh)^{-1} N_j\),

\[\mathbb{V}[\hat{f}_n(x)] = \frac{n p_j (1-p_j)}{n^2h^2} = \frac{p_j(1-p_j)}{nh^2} \leq \frac{p_j}{nh^2}.\]

Também, decorre de (A1) que, para todo \(u \in B_j\), \(f(u) \leq f(x) + L|u-x| \leq f(x) + Lh\). Portanto, \(p_j = \int_{B_j} f(u) du \leq h(f(x) + Lh)\) e

\[\mathbb{V}[\hat{f}_n(x)] \leq \frac{h(f(x) + Lh)}{nh^2} = \frac{f(x) + Lh}{nh}.\]

A segunda desigualdade decorre do Lema 2. \(\blacksquare\)

Lema 4 (Escolha ótima da banda). Sejam \(C > 0\) e \(g_C(h) = L^2h^2 + C(nh)^{-1}\), para \(h > 0\). Então \(g_C\) é minimizada em \(h_C = \left(C(2L^2n)^{-1}\right)^{1/3}\) e

\[g_C(h_C) = 3 \cdot 2^{-2/3} (LC)^{2/3} n^{-2/3}.\]

Prova. Como \(g_C''(h) = 2L^2 + 2C(nh^3)^{-1} > 0\), \(g_C\) é convexa em \(h > 0\). Também, \(g_C'(h) = 2L^2h - C(nh^2)^{-1}\) se anula se e somente se \(h^3 = C(2L^2n)^{-1}\), isto é, em \(h_C\). Para este valor de \(h\),

\[L^2h_C^2 = 2^{-2/3}(LC)^{2/3}n^{-2/3} \quad \text{e} \quad \frac{C}{nh_C} = 2^{1/3}(LC)^{2/3}n^{-2/3}.\]

Como \(2^{-2/3} + 2^{1/3} = 2^{-2/3}(1 + 2) = 3 \cdot 2^{-2/3}\), segue a conclusão. \(\blacksquare\)

Teorema 1 (Risco quadrático pontual). Sob (A1), para todo \(x \in [0,1]\),

\[\text{MSE}(\hat{f}_n(x)) := \mathbb{E}\left[\left(\hat{f}_n(x)-f(x)\right)^2\right] \leq L^2h^2 + \frac{1 + L/2}{nh} + \frac{L}{n}.\]

Em particular, tomando \(h = \left((1 + L/2)(2L^2n)^{-1}\right)^{1/3}\),

\[\sup_{x \in [0,1]} \text{MSE}(\hat{f}_n(x)) \leq 3 \cdot 2^{-2/3} \left(L + \frac{L^2}{2}\right)^{2/3} n^{-2/3} + \frac{L}{n} = O\left(n^{-2/3}\right).\]

Prova. Pela decomposição viés-variância e pelos Lemas 1 e 3,

\[\text{MSE}(\hat{f}_n(x)) = \left(\mathbb{E}[\hat{f}_n(x)] - f(x)\right)^2 + \mathbb{V}[\hat{f}_n(x)] \leq L^2h^2 + \frac{1 + L/2 + Lh}{nh} = L^2h^2 + \frac{1 + L/2}{nh} + \frac{L}{n}.\]

Como esta cota não depende de \(x\), ela também vale para \(\sup_{x \in [0,1]} \text{MSE}(\hat{f}_n(x))\). A conclusão decorre do Lema 4 com \(C = 1 + L/2\). \(\blacksquare\)

Risco quadrático integrado

Teorema 2 (MISE). Sob (A1),

\[\text{MISE}(\hat{f}_n) := \int_0^1 \mathbb{E}\left[\left(\hat{f}_n(x)-f(x)\right)^2\right] dx \leq L^2h^2 + \frac{1}{nh} + \frac{L}{n}.\]

Em particular, tomando \(h = (2L^2n)^{-1/3}\),

\[\text{MISE}(\hat{f}_n) \leq 3 \cdot 2^{-2/3} L^{2/3} n^{-2/3} + \frac{L}{n} = O\left(n^{-2/3}\right).\]

Prova. Pela decomposição viés-variância e pelos Lemas 1 e 3, para todo \(x \in [0,1]\),

\[\mathbb{E}\left[\left(\hat{f}_n(x)-f(x)\right)^2\right] \leq L^2h^2 + \frac{f(x) + Lh}{nh}.\]

Integrando esta desigualdade em \(x \in [0,1]\) e usando que \(\int_0^1 f(x) dx = 1\),

\[\text{MISE}(\hat{f}_n) \leq L^2h^2 + \frac{1 + Lh}{nh} = L^2h^2 + \frac{1}{nh} + \frac{L}{n}.\]

A conclusão decorre do Lema 4 com \(C = 1\). \(\blacksquare\)

Observação. Os Teoremas 1 e 2 diferem apenas pela constante \(C\) do Lema 4: \(C = 1 + L/2\) no caso pontual e \(C = 1\) no caso integrado. A integração substitui a cota uniforme \(f(x) \leq 1 + L/2\) do Lema 2 pelo valor exato \(\int_0^1 f(x) dx = 1\), o que melhora a constante, mas não a taxa.

Observação. Como \(h = m^{-1}\), as escolhas acima correspondem a tomar \(m \asymp n^{1/3}\) intervalos. Também, \(Ln^{-1} = o(n^{-2/3})\), isto é, o termo \(Ln^{-1}\) é desprezível em relação aos demais.

Exercícios

Exercício 1 (Histograma em classes de Hölder)

Definição (Classe de Hölder). Sejam \(\beta > 0\), \(L > 0\) e \(\ell\) o maior inteiro estritamente menor que \(\beta\). A classe de Hölder \(\Sigma(\beta, L)\) é o conjunto das densidades \(f\) em \([0,1]\) que são \(\ell\) vezes diferenciáveis e tais que

\[\left|f^{(\ell)}(u) - f^{(\ell)}(x)\right| \leq L|u-x|^{\beta - \ell}, \qquad \text{para todos } u, x \in [0,1].\]

Em particular, se \(\beta \in (0,1]\), então \(\ell = 0\) e a condição se reduz a \(|f(u) - f(x)| \leq L|u-x|^{\beta}\).

Considere \(\beta \in (0,1]\) e \(f \in \Sigma(\beta, L)\) nos itens (a)–(e).

Mostre que, se \(f\) satisfaz (A1), então \(f \in \Sigma(1, L)\). A recíproca é verdadeira?
Enuncie e prove a versão do Lema 1 para \(\Sigma(\beta,L)\), obtendo \(\left|\mathbb{E}[\hat{f}_n(x)] - f(x)\right| \leq Lh^{\beta}\).
Enuncie e prove a versão do Lema 2 para \(\Sigma(\beta,L)\). Verifique que a cota obtida é \(f(x) \leq 1 + L(\beta+1)^{-1}\) e que ela recupera o Lema 2 quando \(\beta = 1\).
Enuncie e prove a versão do Lema 4 para \(g_{C,\beta}(h) = L^2h^{2\beta} + C(nh)^{-1}\), mostrando que o mínimo ocorre em \(h = \left(C(2\beta L^2 n)^{-1}\right)^{1/(2\beta+1)}\).
Combine (b), (c) e (d) para enunciar e provar as versões dos Teoremas 1 e 2 para \(\Sigma(\beta,L)\), concluindo que

\[\sup_{x \in [0,1]} \text{MSE}(\hat{f}_n(x)) = O\left(n^{-\frac{2\beta}{2\beta+1}}\right) \quad \text{e} \quad \text{MISE}(\hat{f}_n) = O\left(n^{-\frac{2\beta}{2\beta+1}}\right).\]

Seja \(a \in [-2,2]\) e \(f(x) = 1 + a(x - 2^{-1})\). Verifique que \(f\) é uma densidade em \([0,1]\) e que \(f \in \Sigma(\beta, L)\) para todo \(\beta > 0\) e algum \(L\). Mostre que \(\mathbb{E}[\hat{f}_n(x)] = f(c_j)\), em que \(c_j\) é o ponto médio do intervalo que contém \(x\), e conclua que

\[\int_0^1 \left(\mathbb{E}[\hat{f}_n(x)] - f(x)\right)^2 dx = \frac{a^2h^2}{12}.\]

Use (f) para mostrar que existe \(c > 0\) tal que, para todo \(h \in (0,1)\), \(\text{MISE}(\hat{f}_n) \geq cn^{-2/3}\). Interprete: a taxa do histograma não melhora quando \(\beta > 1\).

Referências

Tsybakov, Alexandre B. 2009. Introduction to Nonparametric Estimation. Springer.

Aula 2: Distribuição empírica e funcionais estatísticos

Mon, 01 Jan 0001 00:00:00 +0000

Data: 11/08/2026.

Leitura: Wasserman (2006), Capítulo 2.

Distribuição empírica

Definição (Distribuição empírica). Sejam \(X_1, \ldots, X_n\) observações i.i.d. com função de distribuição \(F\) em \(\mathbb{R}\). A distribuição empírica é definida por

\[\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^{n} \mathbb{I}(X_i \leq x), \qquad x \in \mathbb{R}.\]

Lema 1 (Média e variância). Para todo \(x \in \mathbb{R}\), \(n\hat{F}_n(x) \sim \text{Binomial}(n, F(x))\). Em particular,

\[\mathbb{E}[\hat{F}_n(x)] = F(x) \qquad \text{e} \qquad \mathbb{V}[\hat{F}_n(x)] = \frac{F(x)(1-F(x))}{n} \leq \frac{1}{4n}.\]

Prova. Como \(X_1, \ldots, X_n\) são i.i.d., \(\mathbb{I}(X_1 \leq x), \ldots, \mathbb{I}(X_n \leq x)\) são i.i.d. e \(\mathbb{I}(X_i \leq x) \sim \text{Bernoulli}(F(x))\), pois \(\mathbb{P}(X_i \leq x) = F(x)\). Portanto, \(n\hat{F}_n(x) = \sum_{i=1}^{n}\mathbb{I}(X_i \leq x) \sim \text{Binomial}(n, F(x))\) e

\[\mathbb{E}[\hat{F}_n(x)] = \frac{nF(x)}{n} = F(x) \qquad \text{e} \qquad \mathbb{V}[\hat{F}_n(x)] = \frac{nF(x)(1-F(x))}{n^2} = \frac{F(x)(1-F(x))}{n}.\]

A última desigualdade decorre de \(p(1-p) \leq 4^{-1}\), para todo \(p \in [0,1]\). \(\blacksquare\)

Observação. Como \(\hat{F}_n(x)\) é não-viesado, \(\text{MSE}(\hat{F}_n(x)) = \mathbb{V}[\hat{F}_n(x)] \leq (4n)^{-1}\), uniformemente em \(x\) e sem qualquer suposição sobre \(F\). Contraste com a Aula 1: estimar a densidade \(f\) exigiu suposições de suavidade e produziu \(\text{MSE} \asymp n^{-2/3}\), enquanto estimar \(F\) atinge a taxa paramétrica \(n^{-1}\) sem suposição alguma. A diferença é que \(F(x)\) é uma média de variáveis limitadas, ao passo que \(f(x)\) não é um funcional contínuo de \(F\).

Teorema 1 (Convergência pontual). Para todo \(x \in \mathbb{R}\), quase certamente,

\[\lim_{n \to \infty} \hat{F}_n(x) = F(x) \qquad \text{e} \qquad \lim_{n \to \infty} \hat{F}_n(x^-) = F(x^-),\]

em que \(\hat{F}_n(x^-) = n^{-1}\sum_{i=1}^{n}\mathbb{I}(X_i < x)\) e \(F(x^-) = \lim_{y \uparrow x} F(y)\).

Prova. Como visto na prova do Lema 1, \(\hat{F}_n(x)\) é a média de \(n\) variáveis i.i.d. e integráveis com esperança \(F(x)\). Decorre da Lei Forte dos Grandes Números que \(\hat{F}_n(x) \to F(x)\) quase certamente. Analogamente, \(\hat{F}_n(x^-)\) é a média de \(n\) variáveis i.i.d. com esperança \(\mathbb{P}(X_1 < x) = F(x^-)\), de modo que \(\hat{F}_n(x^-) \to F(x^-)\) quase certamente. \(\blacksquare\)

Definição (Erro máximo). O erro máximo da distribuição empírica é definido por

\[D_n = \sup_{x \in \mathbb{R}} \left|\hat{F}_n(x) - F(x)\right|.\]

Também é chamado de distância de Kolmogorov-Smirnov entre \(\hat{F}_n\) e \(F\).

O Teorema 1 garante que, para cada \(x\) fixo, o conjunto em que \(\hat{F}_n(x) \not\to F(x)\) tem probabilidade \(0\). Como há uma quantidade não-enumerável de valores de \(x\), disto não decorre diretamente que, quase certamente, a convergência ocorra simultaneamente para todo \(x\), isto é, que \(D_n \to 0\). O Lema a seguir contorna esta dificuldade, mostrando que \(D_n\) é controlado pelo erro máximo em um número finito de pontos.

Lema 2 (Discretização do supremo). Para cada \(k \in \mathbb{N}\) e \(1 \leq j \leq k-1\), defina \(x_j = \inf\{x \in \mathbb{R}: F(x) \geq jk^{-1}\}\), e também \(x_0 = -\infty\) e \(x_k = +\infty\), com as convenções \(F(x_0) = \hat{F}_n(x_0) = 0\) e \(F(x_k^-) = \hat{F}_n(x_k^-) = 1\). Se

\[\Delta_{n,k} = \max_{0 \leq j \leq k} \max\left\{\left|\hat{F}_n(x_j) - F(x_j)\right|, \left|\hat{F}_n(x_j^-) - F(x_j^-)\right|\right\},\]

então \(D_n \leq \Delta_{n,k} + k^{-1}\).

Prova. Como \(F\) é não-decrescente e contínua à direita, decorre da definição de \(x_j\) que \(F(x_j^-) \leq jk^{-1} \leq F(x_j)\), para \(0 \leq j \leq k\).

Seja \(x \in \mathbb{R}\). Como \(x_0 = -\infty\) e \(x_k = +\infty\), existe \(1 \leq j \leq k\) tal que \(x_{j-1} \leq x < x_j\). Como \(\hat{F}_n\) e \(F\) são não-decrescentes, \(\hat{F}_n(x) \leq \hat{F}_n(x_j^-)\) e \(F(x) \geq F(x_{j-1})\). Portanto,

\[\begin{align*} \hat{F}_n(x) - F(x) &\leq \hat{F}_n(x_j^-) - F(x_{j-1}) \\ &= \left[\hat{F}_n(x_j^-) - F(x_j^-)\right] + \left[F(x_j^-) - F(x_{j-1})\right] \\ &\leq \Delta_{n,k} + \frac{1}{k}, \end{align*}\]

pois \(F(x_j^-) \leq jk^{-1}\) e \(F(x_{j-1}) \geq (j-1)k^{-1}\). Analogamente, \(\hat{F}_n(x) \geq \hat{F}_n(x_{j-1})\) e \(F(x) \leq F(x_j^-)\), de modo que

\[\begin{align*} \hat{F}_n(x) - F(x) &\geq \hat{F}_n(x_{j-1}) - F(x_j^-) \\ &= \left[\hat{F}_n(x_{j-1}) - F(x_{j-1})\right] - \left[F(x_j^-) - F(x_{j-1})\right] \\ &\geq -\Delta_{n,k} - \frac{1}{k}. \end{align*}\]

Como as desigualdades acima valem para todo \(x \in \mathbb{R}\), \(D_n \leq \Delta_{n,k} + k^{-1}\). \(\blacksquare\)

Teorema 2 (Glivenko-Cantelli). Quase certamente, \(\lim_{n \to \infty} D_n = 0\).

Prova. Fixe \(\eps > 0\) e tome \(k\) tal que \(k^{-1} < .5\eps\). Decorre do Lema 2 que, \[\begin{align*} P(\limsup_{n \to \infty} D_n > \eps) &\leq P(\limsup_{n \to \infty} D_n > \eps) \\ &\leq P(\limsup_{n \to \infty} \Delta_{n,k} + k^{-1} > \eps) &\leq P(\limsup_{n \to \infty} \Delta_{n,k} > .5\eps) = 0, \end{align*}\] onde a última igualdade decorre do Teorema 1, já que cada uma das no máximo \(2(k+1)\) parcelas que definem \(\Delta_{n,k}\) converge a \(0\) quase certamente. Como a interseção de um número finito de eventos de probabilidade \(1\) tem probabilidade \(1\), \(\Delta_{n,k}\) converge quase-certamente a \(0\).

Teorema 3 (Desigualdade de Hoeffding, Hoeffding (1963)). Sejam \(Y_1, \ldots, Y_n\) independentes e tais que \(\mathbb{P}(Y_i \in [0,1]) = 1\). Se \(\bar{Y} = n^{-1}\sum_{i=1}^{n}Y_i\), então, para todo \(\varepsilon > 0\),

\[\mathbb{P}\left(\left|\bar{Y} - \mathbb{E}[\bar{Y}]\right| \geq \varepsilon\right) \leq 2\exp\left(-2n\varepsilon^2\right).\]

O Teorema 2 garante que \(D_n \to 0\), mas nada informa sobre a velocidade desta convergência. O Lema 2 e o Teorema 3 permitem obter uma primeira resposta.

Teorema 4 (Velocidade de convergência). Para todo \(\varepsilon \in (0,1]\),

\[\mathbb{P}(D_n \geq \varepsilon) \leq \frac{16}{\varepsilon}\exp\left(-\frac{n\varepsilon^2}{2}\right).\]

Prova. Fixe \(\varepsilon \in (0,1]\) e tome \(k = \lceil 2\varepsilon^{-1}\rceil\), de modo que \(k^{-1} \leq 2^{-1}\varepsilon\). Decorre do Lema 2 que \(D_n \leq \Delta_{n,k} + 2^{-1}\varepsilon\) e, portanto,

\[\{D_n \geq \varepsilon\} \subseteq \left\{\Delta_{n,k} \geq \frac{\varepsilon}{2}\right\}.\]

Para cada \(j\), \(\hat{F}_n(x_j)\) e \(\hat{F}_n(x_j^-)\) são médias de \(n\) variáveis i.i.d. em \([0,1]\) com esperanças \(F(x_j)\) e \(F(x_j^-)\). Decorre do Teorema 3 que cada uma das no máximo \(2(k+1)\) parcelas que definem \(\Delta_{n,k}\) excede \(2^{-1}\varepsilon\) com probabilidade no máximo \(2\exp(-2n(2^{-1}\varepsilon)^2) = 2\exp(-2^{-1}n\varepsilon^2)\). Assim, decorre da subaditividade que

\[\mathbb{P}(D_n \geq \varepsilon) \leq \mathbb{P}\left(\Delta_{n,k} \geq \frac{\varepsilon}{2}\right) \leq 4(k+1)\exp\left(-\frac{n\varepsilon^2}{2}\right).\]

Finalmente, como \(\varepsilon \leq 1\), \(k + 1 \leq 2\varepsilon^{-1} + 2 \leq 4\varepsilon^{-1}\). \(\blacksquare\)

Corolário 1. Quase certamente, \(D_n \leq 2\sqrt{n^{-1}\log n}\) para todo \(n\) suficientemente grande.

Prova. Seja \(\varepsilon_n = 2\sqrt{n^{-1}\log n}\). Para \(n\) suficientemente grande, \(\varepsilon_n \in (0,1]\) e, pelo Teorema 4,

\[\mathbb{P}(D_n \geq \varepsilon_n) \leq \frac{16}{\varepsilon_n}\exp\left(-2\log n\right) \leq \frac{16\sqrt{n}}{n^{2}} = 16n^{-3/2}.\]

Como \(\sum_n n^{-3/2} < \infty\), decorre do Lema de Borel-Cantelli que, quase certamente, \(D_n < \varepsilon_n\) para todo \(n\) suficientemente grande. \(\blacksquare\)

Teorema 5 (Dvoretzky-Kiefer-Wolfowitz, Dvoretzky, Kiefer, and Wolfowitz (1956); Massart (1990)). Para todo \(\varepsilon > 0\) e todo \(n \in \mathbb{N}\),

\[\mathbb{P}(D_n \geq \varepsilon) \leq 2\exp\left(-2n\varepsilon^2\right).\]

Observação. O Teorema 5 é mais forte que o Teorema 4 em três aspectos. Primeiro, o fator polinomial \(16\varepsilon^{-1}\), que decorre da união sobre os \(2(k+1)\) pontos do Lema 2, é substituído pela constante \(2\). Segundo, o expoente \(-2^{-1}n\varepsilon^2\), que decorre de aplicar o Teorema 3 com \(2^{-1}\varepsilon\) no lugar de \(\varepsilon\), é substituído por \(-2n\varepsilon^2\). Isto é, a cota do Teorema 5 para \(D_n\) é exatamente a que o Teorema 3 fornece para um único ponto: o supremo não custa nada. Terceiro, a constante \(2\) é a menor possível, isto é, o Teorema 5 não pode ser melhorado (Massart (1990)).

Observação. A diferença aparece na velocidade obtida. Como \(\mathbb{E}[D_n] = \int_0^{\infty}\mathbb{P}(D_n \geq \varepsilon) d\varepsilon\), decorre do Teorema 5 que

\[\mathbb{E}[D_n] \leq \int_0^{\infty} 2\exp(-2n\varepsilon^2)d\varepsilon = \sqrt{\frac{\pi}{2n}} = O\left(n^{-1/2}\right),\]

a taxa paramétrica. Já o Teorema 4 fornece apenas \(\mathbb{E}[D_n] = O(\sqrt{n^{-1}\log n})\) (Exercício 5), com um fator \(\sqrt{\log n}\) excedente, assim como o Corolário 1.

Classes de Glivenko-Cantelli

O Teorema 2 admite a seguinte generalização. Sejam \(P\) uma probabilidade em \((\mathcal{X}, \mathcal{A})\), \(X_1, \ldots, X_n\) i.i.d. com distribuição \(P\), e \(P_n = n^{-1}\sum_{i=1}^{n}\delta_{X_i}\) a medida empírica, isto é, \(P_n(A) = n^{-1}\sum_{i=1}^{n} \mathbb{I}(X_i \in A)\). Para \(g: \mathcal{X} \to \mathbb{R}\) mensurável, escreva \(P_ng = n^{-1}\sum_{i=1}^{n}g(X_i)\) e \(Pg = \mathbb{E}[g(X_1)]\).

Definição (Classe de Glivenko-Cantelli). Seja \(\mathcal{G}\) uma classe de funções mensuráveis e integráveis \(g: \mathcal{X} \to \mathbb{R}\). Dizemos que \(\mathcal{G}\) é uma classe de Glivenko-Cantelli para \(P\) se

\[\|P_n - P\|_{\mathcal{G}} := \sup_{g \in \mathcal{G}} \left|P_ng - Pg\right| \longrightarrow 0 \qquad \text{quase certamente}.\]

Se \(\mathcal{G}\) é uma classe de Glivenko-Cantelli para toda probabilidade \(P\), dizemos que \(\mathcal{G}\) é universal. Uma classe de conjuntos \(\mathcal{C} \subseteq \mathcal{A}\) é dita de Glivenko-Cantelli quando \(\{\mathbb{I}_C : C \in \mathcal{C}\}\) o é.

Observação. Nesta linguagem, o Teorema 2 afirma que \(\mathcal{C} = \{(-\infty, x] : x \in \mathbb{R}\}\) é uma classe de Glivenko-Cantelli universal, pois \(P_n\mathbb{I}_{(-\infty,x]} = \hat{F}_n(x)\) e \(P\mathbb{I}_{(-\infty,x]} = F(x)\). Note que a prova do Teorema 2 usa somente a Lei Forte dos Grandes Números e o fato de que \(\mathcal{C}\) pode ser aproximada por uma subclasse finita: é esta segunda propriedade que define, em geral, quais classes são de Glivenko-Cantelli.

Observação. Nem toda classe é de Glivenko-Cantelli. Se \(P\) é contínua e \(\mathcal{C}\) é a classe de todos os subconjuntos finitos de \(\mathbb{R}\), então, tomando \(C = \{X_1, \ldots, X_n\}\), \(P_n(C) = 1\) e \(P(C) = 0\). Logo, \(\|P_n - P\|_{\mathcal{C}} = 1\) para todo \(n\). Classes suficientemente ricas não podem ser estimadas uniformemente.

Observação. Na próxima seção estudaremos condições gerais para caracterizar classes de Glivenko-Cantelli.

Exercícios

Exercício 1 (Covariância e processo empírico)

Mostre que, para todos \(x, y \in \mathbb{R}\),

\[\text{Cov}\left(\hat{F}_n(x), \hat{F}_n(y)\right) = \frac{F(\min(x,y)) - F(x)F(y)}{n}.\]

Use o Teorema Central do Limite para mostrar que, para cada \(x \in \mathbb{R}\) fixo, \(\sqrt{n}\left(\hat{F}_n(x) - F(x)\right)\) converge em distribuição a uma \(N(0, F(x)(1-F(x)))\).
Mostre que, para \(x_1, \ldots, x_d\) fixos, o vetor \(\sqrt{n}\left(\hat{F}_n(x_i) - F(x_i)\right)_{i=1}^{d}\) converge em distribuição a uma Normal multivariada com matriz de covariâncias dada por (a). Pesquise a definição de ponte browniana e o Teorema de Donsker, e explique em que sentido eles fortalecem este item.
Compare a taxa \(n^{-1/2}\) obtida em (b) com a taxa \(n^{-1/3}\) do histograma, obtida no Teorema 1 da Aula 1. Por que estimar \(F\) é mais fácil que estimar \(f\)?

Exercício 2 (Bandas de confiança)

Seja \(\alpha \in (0,1)\).

Use o Teorema 5 para mostrar que, se \(\varepsilon_n = \sqrt{(2n)^{-1}\log(2\alpha^{-1})}\), então

\[\mathbb{P}\left(\hat{F}_n(x) - \varepsilon_n \leq F(x) \leq \hat{F}_n(x) + \varepsilon_n, \ \text{para todo } x \in \mathbb{R}\right) \geq 1 - \alpha.\]

Explique por que a banda de (a) é simultânea em \(x\), ao passo que a banda obtida a partir do Exercício 1(b) é apenas pontual.
Obtenha a banda análoga a partir do Teorema 4 e compare a sua largura com a de (a) quando \(n = 1000\) e \(\alpha = 0{,}05\).
Mostre que a banda de (a) pode ser melhorada substituindo-se os seus limites por \(\max(0, \hat{F}_n(x) - \varepsilon_n)\) e \(\min(1, \hat{F}_n(x) + \varepsilon_n)\).

Exercício 3 (A distribuição de \(D_n\) não depende de \(F\))

Suponha que \(F\) é contínua e seja \(U_i = F(X_i)\).

Mostre que \(U_1, \ldots, U_n\) são i.i.d. e \(U_i \sim \text{Uniforme}(0,1)\).
Seja \(\hat{G}_n\) a distribuição empírica de \(U_1, \ldots, U_n\). Mostre que \(D_n = \sup_{u \in [0,1]}\left|\hat{G}_n(u) - u\right|\).
Conclua que a distribuição de \(D_n\) é a mesma para toda \(F\) contínua. Explique por que este é o fato que viabiliza o teste de Kolmogorov-Smirnov.
Simule a distribuição de \(D_n\) para \(n = 50\) e compare o quantil \(0{,}95\) obtido com o \(\varepsilon_n\) do Exercício 2(a). A cota do Teorema 5 é conservadora?

Exercício 4 (Classes de Glivenko-Cantelli)

Mostre que toda classe finita de funções uniformemente limitadas é de Glivenko-Cantelli universal.
Mostre que a classe dos intervalos \(\mathcal{C} = \{(a,b] : a \leq b\}\) é de Glivenko-Cantelli universal. Sugestão: escreva \(\mathbb{I}_{(a,b]}\) em termos de \(\mathbb{I}_{(-\infty,b]}\) e \(\mathbb{I}_{(-\infty,a]}\).
Seja \(P\) a distribuição Uniforme\((0,1)\) e \(\mathcal{C}\) a classe de todos os subconjuntos finitos de \(\mathbb{R}\). Mostre que \(\|P_n - P\|_{\mathcal{C}} = 1\) para todo \(n\).
O item (c) contradiz o Teorema 2? Explique.
Exiba uma probabilidade \(P\) para a qual a classe de (c) é de Glivenko-Cantelli.

Exercício 5 (Esperança do erro máximo)

Mostre que, se \(Z \geq 0\), então \(\mathbb{E}[Z] = \int_0^{\infty}\mathbb{P}(Z \geq \varepsilon)d\varepsilon\).
Use (a) e o Teorema 5 para mostrar que \(\mathbb{E}[D_n] \leq \sqrt{\pi(2n)^{-1}}\).
Use (a) e o Teorema 4 para mostrar que \(\mathbb{E}[D_n] = O\left(\sqrt{n^{-1}\log n}\right)\). Sugestão: escolha \(\varepsilon_0 = \sqrt{2n^{-1}\log n}\) e decomponha a integral em \((0, \varepsilon_0)\) e \((\varepsilon_0, \infty)\).
Identifique, na prova do Teorema 4, o passo responsável pelo fator \(\sqrt{\log n}\) excedente.

Referências

Dvoretzky, Aryeh, Jack Kiefer, and Jacob Wolfowitz. 1956. “Asymptotic Minimax Character of the Sample Distribution Function and of the Classical Multinomial Estimator.” The Annals of Mathematical Statistics 27 (3): 642–69.

Hoeffding, Wassily. 1963. “Probability Inequalities for Sums of Bounded Random Variables.” Journal of the American Statistical Association 58 (301): 13–30.

Massart, Pascal. 1990. “The Tight Constant in the Dvoretzky-Kiefer-Wolfowitz Inequality.” The Annals of Probability 18 (3): 1269–83.

Wasserman, Larry. 2006. All of Nonparametric Statistics. Springer.

Aula 3: Teoria VC

Mon, 01 Jan 0001 00:00:00 +0000

Data: 13/08/2026.

Leitura: van der Vaart and Wellner (1996), Capítulo 2.

Revisão de Classe de Glivenko-Cantelli

Sejam \(P\) uma probabilidade em \((\mathcal{X}, \mathcal{A})\) e \(X_1, \ldots, X_n\) i.i.d. com distribuição \(P\).

Definição (Medida empírica). A medida empírica de \(X_1, \ldots, X_n\) é definida por

\[P_n(A) = \frac{1}{n}\sum_{i=1}^{n}\mathbb{I}(X_i \in A), \qquad A \in \mathcal{A}.\]

Definição (Classe de Glivenko-Cantelli). Seja \(\mathcal{C} \subseteq \mathcal{A}\). Dizemos que \(\mathcal{C}\) é uma classe de Glivenko-Cantelli para \(P\) se

\[\|P_n - P\|_{\mathcal{C}} := \sup_{C \in \mathcal{C}} \left|P_n(C) - P(C)\right| \longrightarrow 0 \qquad \text{quase certamente}.\]

Se \(\mathcal{C}\) é uma classe de Glivenko-Cantelli para toda probabilidade \(P\), dizemos que \(\mathcal{C}\) é universal.

Observação. Para cada \(C \in \mathcal{A}\) fixo, \(P_n(C) \to P(C)\) quase certamente, pela Lei Forte dos Grandes Números. O conteúdo da definição está em o mesmo evento de probabilidade \(1\) servir simultaneamente a todos os \(C \in \mathcal{C}\). Também, \(\|P_n - P\|_{\mathcal{C}} \leq 1\) sempre, de modo que a definição só exclui classes em que o erro máximo não se anula.

Exemplo 1 (Semirretas). Sejam \(\mathcal{X} = \mathbb{R}\) e \(\mathcal{C} = \{(-\infty,x]: x \in \mathbb{R}\}\). Então \(P_n((-\infty,x]) = \hat{F}_n(x)\) e \(P((-\infty,x]) = F(x)\), de modo que

\[\|P_n - P\|_{\mathcal{C}} = \sup_{x \in \mathbb{R}} \left|\hat{F}_n(x) - F(x)\right| = D_n.\]

Decorre do Teorema de Glivenko-Cantelli, o Teorema 2 da Aula 2, que \(D_n \to 0\) quase certamente. Portanto, \(\mathcal{C}\) é uma classe de Glivenko-Cantelli universal.

Exemplo 2 (Todos os borelianos). Sejam \(\mathcal{X} = [0,1]\), \(P\) a distribuição Uniforme\((0,1)\) e \(\mathcal{C} = \mathcal{B}([0,1])\) a classe de todos os subconjuntos borelianos de \([0,1]\). Tomando \(C = \{X_1, \ldots, X_n\}\), tem-se \(P_n(C) = 1\), pois todos os \(X_i\) pertencem a \(C\), e \(P(C) = 0\), pois \(C\) é finito e \(P\) é contínua. Logo,

\[\|P_n - P\|_{\mathcal{C}} \geq \left|P_n(C) - P(C)\right| = 1,\]

para todo \(n\), e \(\mathcal{C}\) não é uma classe de Glivenko-Cantelli. Note que o argumento usa apenas os subconjuntos finitos de \([0,1]\): já a subclasse \(\mathcal{C}' \subseteq \mathcal{C}\) dos conjuntos finitos não é de Glivenko-Cantelli.

Observação. Os Exemplos 1 e 2 delimitam o problema desta aula. As semirretas formam uma classe pequena, e o erro máximo sobre elas se anula; os borelianos formam uma classe grande demais, e o erro máximo sobre eles é sempre \(1\). A pergunta é o que significa “pequena” aqui, isto é, que propriedade de \(\mathcal{C}\) decide entre os dois comportamentos. A resposta, dada na próxima seção, não depende de \(P\) nem da estrutura de \(\mathcal{X}\): é combinatória.

Dimensão de Vapnik-Chervonenkis

Ao longo desta aula, \(\mathcal{X}\) é um conjunto e \(\mathcal{C}\) é uma classe de subconjuntos de \(\mathcal{X}\).

Definição (Traço e fragmentação). Se \(A \subseteq \mathcal{X}\) é finito, o traço de \(\mathcal{C}\) em \(A\) é

\[\mathcal{C}_A = \{C \cap A: C \in \mathcal{C}\}.\]

Dizemos que \(\mathcal{C}\) fragmenta \(A\) se \(\mathcal{C}_A = 2^{A}\), isto é, se todo subconjunto de \(A\) pode ser obtido interceptando-se \(A\) com algum elemento de \(\mathcal{C}\).

Definição (Coeficiente de fragmentação). O coeficiente de fragmentação de \(\mathcal{C}\) é

\[s(\mathcal{C}, n) = \max\left\{\left|\mathcal{C}_A\right|: A \subseteq \mathcal{X}, |A| = n\right\}.\]

Definição (Dimensão de Vapnik-Chervonenkis). A dimensão VC de \(\mathcal{C}\) é

\[\text{VC}(\mathcal{C}) = \sup\left\{n \in \mathbb{N}: s(\mathcal{C}, n) = 2^n\right\}.\]

Observação. Como \(\left|\mathcal{C}_A\right| \leq 2^{|A|}\) sempre, \(s(\mathcal{C},n) \leq 2^n\). Assim, \(\text{VC}(\mathcal{C}) \geq n\) se e somente se existe algum \(A\) com \(|A| = n\) fragmentado por \(\mathcal{C}\). Para mostrar que \(\text{VC}(\mathcal{C}) = d\), portanto, basta exibir um conjunto de \(d\) pontos que é fragmentado e mostrar que nenhum conjunto de \(d+1\) pontos o é.

Exemplo 3 (Intervalos). Se \(\mathcal{X} = \mathbb{R}\) e \(\mathcal{C} = \{[a,b]: a \leq b\}\), então \(\text{VC}(\mathcal{C}) = 2\).

Prova. Sejam \(x_1 < x_2\) e \(A = \{x_1, x_2\}\). Tomando \([a,b]\) igual a \([x_1 - 1, x_1 - 1]\), \([x_1, x_1]\), \([x_2, x_2]\) e \([x_1, x_2]\), obtêm-se, respectivamente, \(\emptyset\), \(\{x_1\}\), \(\{x_2\}\) e \(\{x_1,x_2\}\). Logo, \(\mathcal{C}\) fragmenta \(A\) e \(\text{VC}(\mathcal{C}) \geq 2\).

Sejam \(x_1 < x_2 < x_3\) e \(A = \{x_1,x_2,x_3\}\). Se \(x_1, x_3 \in [a,b]\), então \(a \leq x_1\) e \(x_3 \leq b\). Como \(a \leq x_1 < x_2 < x_3 \leq b\), decorre que \(x_2 \in [a,b]\). Portanto, \(\{x_1,x_3\} \notin \mathcal{C}_A\), isto é, nenhum conjunto com \(3\) elementos é fragmentado. \(\blacksquare\)

Observação. O mesmo argumento mostra que a classe das semirretas, \(\mathcal{C} = \{(-\infty,t]: t \in \mathbb{R}\}\), tem \(\text{VC}(\mathcal{C}) = 1\): ela fragmenta \(\{x_1\}\), mas, se \(x_1 < x_2\), então \(x_2 \in (-\infty,t]\) implica \(x_1 \in (-\infty,t]\), de modo que \(\{x_2\} \notin \mathcal{C}_{\{x_1,x_2\}}\). Esta é a classe que gera a distribuição empírica da Aula 2.

Exemplo 4 (Retângulos). Se \(\mathcal{X} = \mathbb{R}^2\) e \(\mathcal{C}\) é a classe dos retângulos com lados paralelos aos eixos, \(\mathcal{C} = \{[a_1,b_1] \times [a_2,b_2]\}\), então \(\text{VC}(\mathcal{C}) = 4\).

Prova. Seja \(A = \{(0,1), (0,-1), (-1,0), (1,0)\}\) e \(S \subseteq A\). Tomando \(R\) como o menor retângulo que contém \(S\), tem-se \(R \cap A = S\). Por exemplo, se \(S = \{(0,1),(0,-1)\}\), então \(R = \{0\} \times [-1,1]\), que não contém \((\pm 1, 0)\). Logo, \(\mathcal{C}\) fragmenta \(A\) e \(\text{VC}(\mathcal{C}) \geq 4\).

Seja \(A\) com \(|A| = 5\) e escolha em \(A\) um ponto de primeira coordenada máxima, um de primeira coordenada mínima, um de segunda coordenada máxima e um de segunda coordenada mínima, desempatando arbitrariamente. Se \(S\) é o conjunto dos pontos escolhidos, então \(|S| \leq 4\) e existe \(y \in A - S\). Como \(S\) contém os extremos de \(A\) em cada coordenada, o menor retângulo que contém \(S\) é o menor retângulo que contém \(A\). Assim, todo \(R \in \mathcal{C}\) com \(S \subseteq R\) satisfaz \(y \in R\), isto é, \(S \notin \mathcal{C}_A\). \(\blacksquare\)

Os dois exemplos anteriores são de classes com dimensão VC obtida por inspeção direta. O exemplo a seguir requer um resultado auxiliar de geometria convexa.

Lema 1 (Radon). Se \(x_1, \ldots, x_{d+2} \in \mathbb{R}^d\), então existe uma partição de \(\{1,\ldots,d+2\}\) em \(I\) e \(J\) tal que

\[\text{conv}\left(\{x_i\}_{i \in I}\right) \cap \text{conv}\left(\{x_j\}_{j \in J}\right) \neq \emptyset.\]

Prova. O sistema \(\sum_{i=1}^{d+2}\lambda_i x_i = 0\) e \(\sum_{i=1}^{d+2}\lambda_i = 0\) tem \(d+1\) equações e \(d+2\) incógnitas. Portanto, admite solução \(\lambda \neq 0\). Sejam \(I = \{i: \lambda_i > 0\}\) e \(J = \{i: \lambda_i \leq 0\}\). Como \(\lambda \neq 0\) e \(\sum_i \lambda_i = 0\), \(I \neq \emptyset\) e \(S = \sum_{i \in I}\lambda_i = -\sum_{j \in J}\lambda_j > 0\). Assim,

\[z = \sum_{i \in I}\frac{\lambda_i}{S}x_i = \sum_{j \in J}\frac{-\lambda_j}{S}x_j\]

é combinação convexa de \(\{x_i\}_{i \in I}\) e de \(\{x_j\}_{j \in J}\). \(\blacksquare\)

Exemplo 5 (Semiespaços). Se \(\mathcal{X} = \mathbb{R}^d\) e \(\mathcal{C}\) é a classe dos semiespaços, \(\mathcal{C} = \{\{x: \langle w,x \rangle \geq b\}: w \in \mathbb{R}^d, b \in \mathbb{R}\}\), então \(\text{VC}(\mathcal{C}) = d+1\).

Prova. Sejam \(x_0 = 0\), \(x_i = e_i\) para \(1 \leq i \leq d\), e \(A = \{x_0, \ldots, x_d\}\). Dado \(S \subseteq A\), tome \(w\) tal que \(w_i = 1\) se \(x_i \in S\) e \(w_i = -1\) caso contrário, e tome \(b = -2^{-1}\) se \(x_0 \in S\) e \(b = 2^{-1}\) caso contrário. Como \(\langle w, x_i \rangle = w_i\) para \(i \geq 1\) e \(\langle w, x_0 \rangle = 0\), tem-se \(\{x: \langle w,x \rangle \geq b\} \cap A = S\). Logo, \(\mathcal{C}\) fragmenta \(A\) e \(\text{VC}(\mathcal{C}) \geq d+1\).

Seja \(A = \{x_1, \ldots, x_{d+2}\}\) e sejam \(I\) e \(J\) como no Lema 1, com \(z\) na interseção dos fechos convexos. Tome \(S = \{x_i\}_{i \in I}\) e suponha que exista \(C = \{x: \langle w,x \rangle \geq b\}\) tal que \(C \cap A = S\). Como \(C\) é convexo e \(S \subseteq C\), \(z \in C\) e \(\langle w,z \rangle \geq b\). Como \(C^c = \{x: \langle w,x \rangle < b\}\) é convexo e \(\{x_j\}_{j \in J} \subseteq C^c\), \(z \in C^c\) e \(\langle w,z \rangle < b\), uma contradição. Portanto, \(S \notin \mathcal{C}_A\). \(\blacksquare\)

Observação. A dimensão VC dos semiespaços é o número de parâmetros que os descrevem, \(d+1\). Esta coincidência não é acidental: classes definidas pelo sinal de funções em um espaço vetorial de dimensão \(d\) têm dimensão VC no máximo \(d\). Ela também não é uma regra: a classe \(\{\{x: \text{sen}(wx) \geq 0\}: w \in \mathbb{R}\}\) tem um único parâmetro e dimensão VC infinita.

Classes VC e classes de Glivenko-Cantelli

Dizemos que \(\mathcal{C}\) é uma classe VC se \(\text{VC}(\mathcal{C}) < \infty\). Esta seção mostra que toda classe VC é de Glivenko-Cantelli universal, no sentido da Aula 2.

Lema 2 (Sauer-Shelah, Sauer (1972); Shelah (1972)). Se \(\text{VC}(\mathcal{C}) = d < \infty\), então, para todo \(n \in \mathbb{N}\),

\[s(\mathcal{C},n) \leq \sum_{i=0}^{d}\binom{n}{i} \leq (n+1)^d.\]

O Lema 2 exibe uma dicotomia: ou \(s(\mathcal{C},n) = 2^n\) para todo \(n\), ou \(s(\mathcal{C},n)\) é limitado por um polinômio de grau \(\text{VC}(\mathcal{C})\). Não há comportamento intermediário. É esta transição que torna a dimensão VC útil: ela troca uma classe uma quantidade que pode ser exponencial por uma contagem polinomial. O próximo Teorema usa esta troca para mostrar que um supremo sobre uma classe não-enumerável pode ser controlado por uma classe de tamanho polinomial, similarmente ao que foi feito na Aula 2.

Teorema 1 (Desigualdade de Vapnik-Chervonenkis, Vapnik and Chervonenkis (1971)). Sejam \(X_1, \ldots, X_n\) i.i.d. com distribuição \(P\) e \(P_n\) a medida empírica. Para todo \(\varepsilon > 0\),

\[\mathbb{P}\left(\|P_n - P\|_{\mathcal{C}} > \varepsilon\right) \leq 8\,s(\mathcal{C},n)\exp\left(-\frac{n\varepsilon^2}{32}\right).\]

Observação. As constantes do Teorema 1 variam conforme a referência: a forma original de Vapnik and Chervonenkis (1971) é \(4\,s(\mathcal{C},2n)\exp(-8^{-1}n\varepsilon^2)\). Nenhuma delas é ótima, e nenhuma importa para as consequências assintóticas abaixo. Compare com o Teorema 5 da Aula 2, em que a constante \(2\) do DKW é exata: o preço da generalidade é a perda das constantes.

Corolário 1. Toda classe VC é de Glivenko-Cantelli universal.

Prova. Sejam \(d = \text{VC}(\mathcal{C}) < \infty\), \(P\) uma probabilidade qualquer e \(\varepsilon > 0\). Decorre do Lema 2 e do Teorema 1 que

\[\mathbb{P}\left(\|P_n - P\|_{\mathcal{C}} > \varepsilon\right) \leq 8(n+1)^d\exp\left(-\frac{n\varepsilon^2}{32}\right).\]

Usando o lado direito, decorre que \(\|P_n - P\|_{\mathcal{C}}\) converge quase-certamente para \(0\). \(\blacksquare\)

Corolário 2. Quase certamente, \(\sup_{x \in \mathbb{R}}\left|\hat{F}_n(x) - F(x)\right| \to 0\).

Prova. Decorre da Observação do Exemplo 3 que a classe das semirretas tem dimensão VC igual a \(1\). A conclusão decorre do Corolário 1 e de \(P_n((-\infty,x]) = \hat{F}_n(x)\). \(\blacksquare\)

Observação. O Corolário 2 é o Teorema 2 da Aula 2, Glivenko-Cantelli, obtido agora sem nenhum argumento específico sobre funções de distribuição. Em compensação, a prova da Aula 2 é elementar, ao passo que esta depende do Lema 2 e do Teorema 1. O ganho está em que o mesmo argumento fornece, sem trabalho adicional, a convergência uniforme sobre retângulos, semiespaços e qualquer outra classe VC.

Observação. O supremo que define \(\|P_n - P\|_{\mathcal{C}}\) é tomado sobre uma classe possivelmente não-enumerável e, em geral, exige cuidado com mensurabilidade. Nos exemplos desta aula, o supremo é atingido em uma subclasse enumerável e a dificuldade não aparece. O tratamento geral está em van der Vaart and Wellner (1996).

Demonstração da Desigualdade de Vapnik-Chervonenkis

A prova do Teorema 1 tem três passos. O primeiro substitui \(P\), que não é observável, por uma segunda amostra independente. O segundo observa que, feita esta substituição, trocar os papéis das duas amostras não altera a distribuição, o que permite introduzir sinais aleatórios. O terceiro condiciona nas amostras: fixados os pontos observados, a classe \(\mathcal{C}\) é indistinguível de uma classe finita, com no máximo \(s(\mathcal{C},n)\) elementos, e o Lema 2 se aplica. É apenas neste último passo que a dimensão VC entra.

Ao longo desta seção, \(X_1', \ldots, X_n'\) são i.i.d. com distribuição \(P\) e independentes de \(X_1, \ldots, X_n\), e \(P_n'\) é a medida empírica de \(X_1', \ldots, X_n'\). Também, \(\sigma_1, \ldots, \sigma_n\) são i.i.d. e independentes das demais variáveis, com \(\mathbb{P}(\sigma_i = 1) = \mathbb{P}(\sigma_i = -1) = 2^{-1}\).

Os dois lemas a seguir preparam o primeiro passo. Ao longo deles, \(A = \left\{\|P_n - P\|_{\mathcal{C}} > \varepsilon\right\}\) e, em \(A\), \(C^*\) é um elemento de \(\mathcal{C}\) tal que \(|P_n(C^*) - P(C^*)| > \varepsilon\). Note que tanto \(A\) quanto \(C^*\) são funções de \(X_1, \ldots, X_n\). Também,

\[B = \left\{\left|P_n'(C^*) - P(C^*)\right| \leq \frac{\varepsilon}{2}\right\}.\]

Lema 3 (Transferência). \(A \cap B \subseteq \left\{\|P_n - P_n'\|_{\mathcal{C}} > 2^{-1}\varepsilon\right\}\).

Prova. Em \(A \cap B\), decorre da desigualdade triangular que

\[\begin{align*} \left|P_n(C^*) - P_n'(C^*)\right| &\geq \left|P_n(C^*) - P(C^*)\right| - \left|P(C^*) - P_n'(C^*)\right| \\ &> \varepsilon - \frac{\varepsilon}{2} = \frac{\varepsilon}{2}. \end{align*}\]

A conclusão decorre de \(C^* \in \mathcal{C}\) e da definição de \(\|P_n - P_n'\|_{\mathcal{C}}\) como supremo em \(\mathcal{C}\). \(\blacksquare\)

Lema 4 (Simetrização). Se \(n\varepsilon^2 \geq 2\), então

\[\mathbb{P}\left(\|P_n - P\|_{\mathcal{C}} > \varepsilon\right) \leq 2\,\mathbb{P}\left(\|P_n - P_n'\|_{\mathcal{C}} > \frac{\varepsilon}{2}\right).\]

Prova. A prova usa dois fatos sobre \(B\).

O primeiro é que \(\mathbb{P}\left(B \mid X_1,\ldots,X_n\right) \geq 2^{-1}\). De fato, como \(C^*\) é função de \(X_1, \ldots, X_n\) e \(P_n'\) é independente destas, decorre do Lema 1 da Aula 2 que, dado \(X_1,\ldots,X_n\), \(nP_n'(C^*) \sim \text{Binomial}(n, P(C^*))\) e \(\mathbb{V}\left[P_n'(C^*) \mid X_1,\ldots,X_n\right] \leq (4n)^{-1}\). Assim, pela desigualdade de Chebyshev e por \(n\varepsilon^2 \geq 2\),

\[\mathbb{P}\left(B^c \,\middle|\, X_1,\ldots,X_n\right) \leq \frac{4}{\varepsilon^2}\cdot\frac{1}{4n} = \frac{1}{n\varepsilon^2} \leq \frac{1}{2}.\]

O segundo é que \(\mathbb{P}(A) \leq 2\,\mathbb{P}(A \cap B)\). De fato,

\[\begin{align*} \mathbb{P}(A \cap B) &= \mathbb{E}\left[\mathbb{E}\left[\mathbb{I}_A\mathbb{I}_B \mid X_1,\ldots,X_n\right]\right] \\ &= \mathbb{E}\left[\mathbb{I}_A\, \mathbb{P}\left(B \mid X_1,\ldots,X_n\right)\right] \\ &\geq \frac{1}{2}\mathbb{E}\left[\mathbb{I}_A\right] = \frac{1}{2}\mathbb{P}(A), \end{align*}\]

em que a primeira igualdade é a lei da esperança total, a segunda decorre de \(\mathbb{I}_A\) ser função de \(X_1,\ldots,X_n\), o que permite retirá-la da esperança condicional, e a desigualdade decorre do primeiro fato.

Combinando o segundo fato com o Lema 3,

\[\begin{align*} \mathbb{P}\left(\|P_n - P\|_{\mathcal{C}} > \varepsilon\right) &= \mathbb{P}(A) \\ &\leq 2\,\mathbb{P}(A \cap B) \\ &\leq 2\,\mathbb{P}\left(\|P_n - P_n'\|_{\mathcal{C}} > \frac{\varepsilon}{2}\right). \end{align*}\]

\(\blacksquare\)

Lema 5 (Aleatorização por sinais). Para todo \(\varepsilon > 0\),

\[\mathbb{P}\left(\|P_n - P_n'\|_{\mathcal{C}} > \frac{\varepsilon}{2}\right) \leq 2\,\mathbb{P}\left(\sup_{C \in \mathcal{C}} \left|\frac{1}{n}\sum_{i=1}^{n}\sigma_i \mathbb{I}(X_i \in C)\right| > \frac{\varepsilon}{4}\right).\]

Prova. Os pares \((X_i, X_i')\) são i.i.d. e, como \(X_i\) e \(X_i'\) têm a mesma distribuição e são independentes, \((X_i, X_i')\) e \((X_i', X_i)\) têm a mesma distribuição. Trocar \(X_i\) por \(X_i'\) nos índices em que \(\sigma_i = -1\), portanto, não altera a distribuição conjunta. Como esta troca equivale a multiplicar a \(i\)-ésima parcela por \(\sigma_i\),

\[\|P_n - P_n'\|_{\mathcal{C}} \stackrel{d}{=} \sup_{C \in \mathcal{C}}\left|\frac{1}{n} \sum_{i=1}^{n}\sigma_i\left(\mathbb{I}(X_i \in C) - \mathbb{I}(X_i' \in C)\right)\right|.\]

Pela desigualdade triangular, se o lado direito excede \(2^{-1}\varepsilon\), então ao menos um dos dois supremos

\[\sup_{C \in \mathcal{C}}\left|\frac{1}{n}\sum_{i=1}^{n} \sigma_i \mathbb{I}(X_i \in C)\right| \qquad \text{e} \qquad \sup_{C \in \mathcal{C}}\left|\frac{1}{n}\sum_{i=1}^{n} \sigma_i \mathbb{I}(X_i' \in C)\right|\]

excede \(4^{-1}\varepsilon\). Como ambos têm a mesma distribuição, a conclusão decorre da subaditividade. \(\blacksquare\)

Lema 6 (Contagem e Hoeffding). Para todo \(\varepsilon > 0\),

\[\mathbb{P}\left(\sup_{C \in \mathcal{C}} \left|\frac{1}{n}\sum_{i=1}^{n}\sigma_i \mathbb{I}(X_i \in C)\right| > \frac{\varepsilon}{4}\right) \leq 2\,s(\mathcal{C},n) \exp\left(-\frac{n\varepsilon^2}{32}\right).\]

Prova. Condicione em \(X_1, \ldots, X_n\) e seja \(A = \{X_1, \ldots, X_n\}\). A aplicação que leva \(C\) em \(\left(\mathbb{I}(X_1 \in C), \ldots, \mathbb{I}(X_n \in C)\right)\) assume no máximo \(\left|\mathcal{C}_A\right| \leq s(\mathcal{C},n)\) valores distintos. Portanto, o supremo em \(\mathcal{C}\) é um máximo sobre um conjunto \(V \subseteq \{0,1\}^n\) com \(|V| \leq s(\mathcal{C},n)\).

Fixe \(a \in V\) e defina \(Z_i = 2^{-1}(\sigma_i a_i + 1)\). As variáveis \(Z_1, \ldots, Z_n\) são independentes, \(\mathbb{P}(Z_i \in [0,1]) = 1\) e \(\mathbb{E}[Z_i] = 2^{-1}\). Como \(n^{-1}\sum_{i=1}^{n}\sigma_i a_i = 2(\bar{Z} - 2^{-1})\),

\[\left\{\left|\frac{1}{n}\sum_{i=1}^{n}\sigma_i a_i\right| > \frac{\varepsilon}{4}\right\} = \left\{\left|\bar{Z} - \mathbb{E}[\bar{Z}]\right| > \frac{\varepsilon}{8}\right\}.\]

Decorre do Teorema 3 da Aula 2, a desigualdade de Hoeffding, que esta probabilidade é no máximo \(2\exp(-2n(8^{-1}\varepsilon)^2) = 2\exp(-32^{-1}n\varepsilon^2)\). A conclusão decorre da subaditividade sobre os no máximo \(s(\mathcal{C},n)\) elementos de \(V\) e de se tomar a esperança em \(X_1, \ldots, X_n\). \(\blacksquare\)

Prova do Teorema 1. Se \(n\varepsilon^2 < 2\), então

\[8\,s(\mathcal{C},n)\exp\left(-\frac{n\varepsilon^2}{32}\right) \geq 8\exp\left(-\frac{1}{16}\right) > 1,\]

pois \(s(\mathcal{C},n) \geq 1\), e a desigualdade é trivial. Se \(n\varepsilon^2 \geq 2\), a conclusão decorre da composição dos Lemas 4, 5 e 6, cujos fatores \(2\) produzem a constante \(8\). \(\blacksquare\)

Observação. O Lema 6 é o análogo do Lema 2 da Aula 2: em ambos, um supremo sobre uma família não-enumerável é reduzido a um máximo sobre uma família finita, ao qual se aplica a desigualdade de Hoeffding. A diferença está em como a família finita é obtida. Na Aula 2, ela vem de discretizar \(\mathbb{R}\) em \(k\) pontos, ao custo do erro \(k^{-1}\); aqui, ela vem de condicionar na amostra, sem custo algum, e o seu tamanho é controlado pelo Lema 2 desta aula. Os dois fatores \(2\) dos Lemas 4 e 5, e o \(\varepsilon\) que se torna \(4^{-1}\varepsilon\), são o preço da simetrização.

Exercícios

Exercício 1 (Dimensão VC de classes simples)

Mostre que, se \(\mathcal{C} \subseteq \mathcal{D}\), então \(\text{VC}(\mathcal{C}) \leq \text{VC}(\mathcal{D})\).
Mostre que \(\mathcal{C}\) e \(\{C^c : C \in \mathcal{C}\}\) têm a mesma dimensão VC.
Seja \(\mathcal{C}\) a classe de todos os subconjuntos finitos de \(\mathbb{R}\). Mostre que \(\text{VC}(\mathcal{C}) = \infty\). Relacione com o Exemplo 2.
Mostre que a recíproca do Corolário 1 é falsa, isto é, exiba uma classe de Glivenko-Cantelli com dimensão VC infinita. Sugestão: em (c), tome \(P\) discreta.

Exercício 2 (Bolas e elipsoides)

Mostre que a classe das bolas fechadas de \(\mathbb{R}^d\) tem dimensão VC igual a \(d+1\). Sugestão: a bola de centro \(c\) e raio \(r\) é o conjunto dos \(x\) tais que \(\|x\|^2 - 2\langle c,x \rangle + \|c\|^2 - r^2 \leq 0\); associe a cada \(x \in \mathbb{R}^d\) o ponto \((x, \|x\|^2) \in \mathbb{R}^{d+1}\) e use o Exemplo 5.
Obtenha uma cota superior para a dimensão VC da classe dos conjuntos \(\{x : p(x) \geq 0\}\), em que \(p\) percorre os polinômios de grau no máximo \(k\) em \(\mathbb{R}^d\).

Exercício 3 (Lema de Sauer-Shelah)

Prove o Lema 2 por indução em \(n + d\). Sugestão: para \(A = \{x_1,\ldots,x_n\}\) e \(A' = A - \{x_n\}\), relacione \(\left|\mathcal{C}_A\right|\) com \(\left|\mathcal{C}_{A'}\right|\) e com o traço da subclasse dos \(C\) tais que \(C\) e \(C \cup \{x_n\}\) produzem o mesmo traço em \(A'\).
Verifique que \(\sum_{i=0}^{d}\binom{n}{i} \leq (n+1)^d\) e que, para \(n \geq d \geq 1\), \(\sum_{i=0}^{d}\binom{n}{i} \leq \left(en d^{-1}\right)^{d}\).
Mostre que a cota do Lema 2 é atingida, exibindo uma classe com \(\text{VC}(\mathcal{C}) = d\) e \(s(\mathcal{C},n) = \sum_{i=0}^{d}\binom{n}{i}\).

Exercício 4 (Velocidade de convergência)

Seja \(\mathcal{C}\) uma classe VC com \(\text{VC}(\mathcal{C}) = d\).

Use o Teorema 1 e o Lema 2 para mostrar que existe \(c > 0\), que não depende de \(P\), tal que

\[\mathbb{E}\left[\|P_n - P\|_{\mathcal{C}}\right] \leq c\sqrt{\frac{d\log n}{n}}.\]

Sugestão: proceda como no Exercício 5 da Aula 2.

Compare, no caso das semirretas, a cota de (a) com a cota \(\mathbb{E}[D_n] \leq \sqrt{\pi(2n)^{-1}}\) obtida do DKW na Aula 2. Qual é o fator excedente e de onde ele vem?
Explique por que a resposta de (b) não torna o Teorema 1 inútil.

Referências

Sauer, Norbert. 1972. “On the Density of Families of Sets.” Journal of Combinatorial Theory, Series A 13 (1): 145–47.

Shelah, Saharon. 1972. “A Combinatorial Problem; Stability and Order for Models and Theories in Infinitary Languages.” Pacific Journal of Mathematics 41 (1): 247–61.

van der Vaart, Aad W., and Jon A. Wellner. 1996. Weak Convergence and Empirical Processes: With Applications to Statistics. Springer.

Vapnik, Vladimir N., and Alexey Ya. Chervonenkis. 1971. “On the Uniform Convergence of Relative Frequencies of Events to Their Probabilities.” Theory of Probability and Its Applications 16 (2): 264–80.