Consequências dos axiomas de Kolmogorov

Demonstração. A aditividade finita decorre da aditividade numerável e de \(\mathbb P(\varnothing)=0\). Aplique-se às decomposições disjuntas

\[ \Omega=A\mathbin{\dot\cup}A^c,\qquad A\cup B=A\mathbin{\dot\cup}(B\setminus A),\qquad B=(A\cap B)\mathbin{\dot\cup}(B\setminus A). \]

Se \(A\subseteq B\), a última decomposição é \(B=A\mathbin{\dot\cup}(B\setminus A)\). A não negatividade dá \(\mathbb P(B)\ge \mathbb P(A)\).

Aplicações mensuráveis

Sejam \((S,\mathcal S)\) e \((T,\mathcal T)\) espaços mensuráveis.

Mensurabilidade de vetores aleatórios

Demonstração \((\Rightarrow)\). Fixe-se \(j\in\{1,\ldots,d\}\). A projeção \(\pi_j:\mathbb R^d\to\mathbb R\), \(\pi_j(x)=x_j\), é contínua.

Para as \(\sigma\)-álgebras de Borel, \(\pi_j\) é mensurável pelo Exemplo 1.8 (ii).

Se \(\mathbf X\) é mensurável, então, para todo o \(B\in\mathcal B(\mathbb R)\),

\[ X_j^{-1}(B)=\mathbf X^{-1}\!\left(\pi_j^{-1}(B)\right)\in\mathcal F. \]

Logo, \(X_j\) é mensurável para todo o \(j\).

Mensurabilidade de vetores aleatórios II

Demonstração \((\Leftarrow)\). Defina-se

\[ \mathcal C=\{A\subseteq\mathbb R^d:\mathbf X^{-1}(A)\in\mathcal F\}. \]

As imagens inversas preservam complementares e uniões numeráveis, e \(\mathbf X^{-1}(\mathbb R^d)=\Omega\). Assim, \(\mathcal C\) é uma \(\sigma\)-álgebra.

Para intervalos abertos \(I_1,\ldots,I_d\), seja \(R=\prod_{j=1}^d I_j\). Então

\[ \mathbf X^{-1}(R)=\bigcap_{j=1}^dX_j^{-1}(I_j)\in\mathcal F. \]

Os retângulos abertos \(I_1 \times \ldots \times I_d\) com extremos racionais formam uma base numerável da topologia de \(\mathbb R^d\), pelo que geram \(\mathcal B(\mathbb R^d)\). Logo, \(\mathcal B(\mathbb R^d)\subseteq\mathcal C\), o que prova a mensurabilidade.

Distribuição de um elemento aleatório

Seja \(X:(\Omega,\mathcal F,\mathbb P)\to(S,\mathcal S)\) um elemento aleatório.

Demonstração de que \(\mathbb P_X\) é uma medida de probabilidade. A mensurabilidade de \(X\) dá \(X^{-1}(B)\in\mathcal F\) para todo o \(B\in\mathcal S\). Logo, \(\mathbb P_X\) está bem definida, \(\mathbb P_X(B)\ge0\) e \(\mathbb P_X(S)=\mathbb P(\Omega)=1\).

Para \(B_1,B_2,\ldots\in\mathcal S\) disjuntos dois a dois, seja \(A_n=X^{-1}(B_n)\). Estes acontecimentos são disjuntos dois a dois, pelo que a aditividade numerável de \(\mathbb P\) dá

\[ \mathbb P_X\!\left(\bigcup_{n\ge1}B_n\right) =\mathbb P\!\left(\bigcup_{n\ge1}A_n\right) =\sum_{n\ge1}\mathbb P(A_n) =\sum_{n\ge1}\mathbb P_X(B_n). \]

Transformações mensuráveis

Demonstração. Seja \(C\in\mathcal T\). Como \(g\) é mensurável, \(g^{-1}(C)\in\mathcal S\). Da mensurabilidade de \(X\) resulta

\[ Y^{-1}(C)=(g\circ X)^{-1}(C)=X^{-1}\!\left(g^{-1}(C)\right)\in\mathcal F. \]

Logo, \(Y\) é um elemento aleatório. Pelas definições de \(\mathbb P_Y\) e \(\mathbb P_X\),

\[ \mathbb P_Y(C)=\mathbb P\!\left(Y^{-1}(C)\right) =\mathbb P\!\left(X^{-1}\!\left(g^{-1}(C)\right)\right) =\mathbb P_X\!\left(g^{-1}(C)\right). \]

Exemplo: lançamento de moedas

Funções de distribuição

Continuidade à direita e limites nos extremos

Demonstração. Fixe-se \(x\in\mathbb R\) e seja \(h_n\searrow0\) com \(h_n>0\). Pela Proposição 1.5,

\[ X^{-1}((-\infty,x+h_n])\searrow X^{-1}((-\infty,x]) \quad\Longrightarrow\quad F_X(x+h_n)\searrow F_X(x). \]

Para os limites nos extremos, o mesmo resultado dá

\[ \begin{aligned} X^{-1}((-\infty,-n])\searrow\varnothing &\quad\Longrightarrow\quad F_X(-n)\searrow0,\\ X^{-1}((-\infty,n])\nearrow\Omega &\quad\Longrightarrow\quad F_X(n)\nearrow1. \end{aligned} \]

A inclusão \(X^{-1}((-\infty,x])\subseteq X^{-1}((-\infty,y])\) para \(x\le y\) implica que \(F_X\) é não decrescente. Assim, os limites ao longo dos inteiros estendem-se a \(x\to\pm\infty\).

Limites à esquerda e probabilidades pontuais

Demonstração. A função \(F_X\), limitada e não decrescente, tem limite à esquerda em cada \(x\). Como \(X^{-1}((-\infty,x-1/n])\nearrow X^{-1}((-\infty,x))\), a continuidade da probabilidade dá

\[ F_X(x^-)=\lim_{n\to\infty}\mathbb P(X\le x-1/n)=\mathbb P(X<x). \]

A segunda identidade decorre da aditividade aplicada à decomposição disjunta

\[ X^{-1}((-\infty,x])=X^{-1}((-\infty,x))\mathbin{\dot\cup}X^{-1}(\{x\}). \]

Probabilidades de intervalos a partir da FD

Demonstração. As seguintes decomposições são disjuntas:

\[ \begin{aligned} X^{-1}((-\infty,b])&=X^{-1}((-\infty,a])\mathbin{\dot\cup}X^{-1}((a,b]),\\ X^{-1}((-\infty,b])&=X^{-1}((-\infty,a))\mathbin{\dot\cup}X^{-1}([a,b]). \end{aligned} \]

Aplique-se a aditividade, usem-se \(\mathbb P(X\le a)=F_X(a)\) e \(\mathbb P(X<a)=F_X(a^-)\) e rearranjem-se os termos.

Número de descontinuidades da FD

Demonstração. Para cada inteiro \(m\ge1\), defina-se

\[ D_m=\{x\in\mathbb R:\mathbb P(X=x)\ge1/m\}. \]

O conjunto \(D_m\) tem no máximo \(m\) pontos: quaisquer \(m+1\) acontecimentos singulares deste tipo, disjuntos, teriam probabilidade total superior a \(1\).

Todo o átomo pertence a algum \(D_m\), pelo que

\[ \{x\in\mathbb R:\mathbb P(X=x)>0\}=\bigcup_{m=1}^{\infty}D_m \]

é no máximo numerável. Como \(F_X\) é não decrescente e contínua à direita, toda a descontinuidade é um salto.

A inversa generalizada

Demonstração. Pelos limites nos extremos, \(\{x\in\mathbb R:F(x)\ge u\}\) é não vazio e minorado. Tome-se \(q=F^{-1}(u)\) e \(x_n\searrow q\) com \(F(x_n)\ge u\). Pela continuidade à direita,

\[ F(q)=\lim_{n\to\infty}F(x_n)\ge u. \]

Uma função de distribuição prescrita

Demonstração. Para \(u\in(0,1)\) e \(x\in\mathbb R\),

\[ Q(u)\le x\quad\Longleftrightarrow\quad u\le F(x). \]

A implicação direta decorre de \(F(x)\ge F(Q(u))\ge u\). A recíproca decorre da definição de ínfimo.

Assim, \(Q^{-1}(({-\infty},x])=(0,1)\cap(0,F(x)]\) é boreliano. Estas semirretas geram \(\mathcal B(\mathbb R)\), pelo que \(Q\) é mensurável. Além disso,

\[ \mathbb P(Q(U)\le x)=\mathbb P(U\le F(x))=F(x). \]

Passando aos complementares, obtém-se também \(F(x)<u\Longleftrightarrow x<Q(u)\).

Continuidade dos quantis

Demonstração. Para \(0<u<v<1\),

\[ \{x\in\mathbb R:F(x)\ge v\}\subseteq\{x\in\mathbb R:F(x)\ge u\} \quad\Longrightarrow\quad Q(u)\le Q(v). \]

Para provar a continuidade à esquerda, seja \(u_n\nearrow u\in(0,1)\). Então \(Q(u_n)\nearrow\ell\le Q(u)\) e

\[ F(\ell)\ge F(Q(u_n))\ge u_n \quad\Longrightarrow\quad F(\ell)\ge u. \]

A relação inversa dá \(Q(u)\le\ell\). Portanto,

\[ \lim_{v\nearrow u}Q(v)=Q(u). \]

Distribuições discretas

Para suporte finito, a FD é uma função em escada com salto \(p_X(x)\) em cada \(x\in\operatorname{supp}(X)\).

Derivadas de Radon–Nikodym

Demonstração nos pontos de continuidade de \(f_X\). Para \(h\ne0\),

\[ \frac{F_X(x+h)-F_X(x)}{h} =\frac1h\int_x^{x+h}f_X(t)\,dt \ \longrightarrow\ f_X(x). \]

O teorema fundamental para integrais de Lebesgue dá a continuidade de \(F_X\) e a afirmação geral quase em toda a parte. Em particular,

\[ \mathbb P(X=x)=\int_{\{x\}}f_X(t)\,dt=0 \qquad\text{para todo o }x. \]

Densidade não é massa pontual: \(U\sim U(0,1/2)\) tem \(f_U(x)=2\) em \((0,1/2)\).

FD conjuntas: limites laterais

Demonstração. Os retângulos inferiores satisfazem

\[ S_{x+h_n\mathbf1}\searrow S_x, \qquad S_{x-h_n\mathbf1}\nearrow S_x^\circ. \]

Aplique-se a continuidade da probabilidade às suas imagens inversas por \(\mathbf X\).

Continuidade de uma FD conjunta

Demonstração. Se a fronteira tem probabilidade nula, os limites por cima e por baixo do slide anterior são ambos iguais a \(F_{\mathbf X}(x)\). Para \(\|y-x\|_\infty<h\),

\[ F_{\mathbf X}(x-h\mathbf1) \le F_{\mathbf X}(y) \le F_{\mathbf X}(x+h\mathbf1). \]

Para qualquer \(\varepsilon>0\), escolha-se \(h>0\) de modo que ambos os extremos difiram de \(F_{\mathbf X}(x)\) por menos de \(\varepsilon\). Então \(|F_{\mathbf X}(y)-F_{\mathbf X}(x)|<\varepsilon\) sempre que \(\|y-x\|_\infty<h\), o que prova a continuidade em \(x\).

Reciprocamente, a continuidade dá \(\mathbb P_{\mathbf X}(S_x^\circ)=\mathbb P_{\mathbf X}(S_x)\), pelo que a fronteira tem probabilidade nula.

Acontecimentos independentes

Para \(\mathbb P(B)>0\), isto equivale a \(\mathbb P(A\mid B)=\mathbb P(A)\). No entanto, a definição aplica-se também quando \(\mathbb P(B)=0\) ou \(1\).

Acontecimentos disjuntos de probabilidade positiva não são independentes:

\[ A\cap B=\varnothing,\quad \mathbb P(A)\mathbb P(B)>0 \quad\Longrightarrow\quad \mathbb P(A\cap B)=0\ne \mathbb P(A)\mathbb P(B). \]

Um critério de independência

Demonstração. Sejam \(\alpha=\mathbb P(A\mid B)\) e \(\beta=\mathbb P(A\mid B^c)\).

Como \(A=(A\cap B)\mathbin{\dot\cup}(A\cap B^c)\),

\[ \mathbb P(A)=\alpha \mathbb P(B)+\beta \mathbb P(B^c). \]

Se \(\alpha=\beta\), obtemos \(\mathbb P(A)=\alpha\) e, portanto, \(\mathbb P(A\cap B)=\mathbb P(A)\mathbb P(B)\).

Reciprocamente, se \(A\) e \(B\) são independentes, então

\[ \mathbb P(A\cap B^c)=\mathbb P(A)-\mathbb P(A\cap B)=\mathbb P(A)\mathbb P(B^c), \]

pelo que \(\alpha=\beta=\mathbb P(A)\). O mesmo cálculo mostra que a independência se preserva por passagem ao complementar.

A \(\sigma\)-álgebra gerada por uma família finita

Demonstração. Os conjuntos não vazios \(C_\varepsilon\) formam uma partição de \(\Omega\). As suas uniões formam uma \(\sigma\)-álgebra \(\mathcal G\): os complementares selecionam os restantes conjuntos, e as uniões numeráveis são ainda uniões destes conjuntos.

Como \(A_i=\bigcup_{\varepsilon:\varepsilon_i=1}C_\varepsilon\), temos \(\sigma(\mathcal C)\subseteq\mathcal G\). Reciprocamente, cada \(C_\varepsilon\in\sigma(\mathcal C)\), pelo que qualquer união destes conjuntos, em número finito, pertence a \(\sigma(\mathcal C)\).

Independência e FD conjuntas

Demonstração. (i) ⇒ (ii). Tomem-se os acontecimentos \(X_i^{-1}(({-\infty},x_i])\).

(ii) ⇒ (iii). A igualdade vale para \(B_i=(-\infty,x_i]\). Fixados os outros conjuntos, ambos os membros são medidas finitas em \(B_i\). A unicidade estende a igualdade a todos os borelianos, uma coordenada de cada vez.

Dos retângulos à independência

Demonstração do Teorema 2.14, (iii) ⇒ (i).

Seja \(I=\{i_1,\ldots,i_k\}\subseteq\{1,\ldots,n\}\) não vazio, e tomem-se \(A_i\in\sigma(X_i)\) para \(i\in I\).

Pela Definição 2.10, escreva-se \(A_i=X_i^{-1}(B_i)\) com \(B_i\in\mathcal B(\mathbb R)\). Tome-se \(B_i=\mathbb R\) para \(i\notin I\).

A condição (iii) e \(\mathbb P_{X_i}(\mathbb R)=1\) dão

\[ \begin{aligned} \mathbb P\!\left(\bigcap_{i\in I}A_i\right) &=\mathbb P\!\left(\mathbf X^{-1}(B_1\times\cdots\times B_n)\right)\\ &=\mathbb P_{\mathbf X}(B_1\times\cdots\times B_n)\\ &=\mathbb P_{X_1}(B_1)\cdots \mathbb P_{X_n}(B_n)\\ &=\mathbb P(A_{i_1})\cdots \mathbb P(A_{i_k}). \end{aligned} \]

Isto vale para todo o \(I\) e qualquer escolha dos acontecimentos \(A_i\). Logo, as \(\sigma\)-álgebras \(\sigma(X_1),\ldots,\sigma(X_n)\) são independentes, como se pretendia.

Funções de probabilidade conjuntas

Demonstração. Aplique-se a aditividade numerável aos acontecimentos disjuntos \((X,Y)^{-1}(\{(x,y)\})\), \((x,y)\in D\), cuja união tem probabilidade um.

Funções de probabilidade marginais

Demonstração. Fixado \(x\), os acontecimentos \(X^{-1}(\{x\})\cap Y^{-1}(\{v\})\), \(v\in D_Y\), são disjuntos. A sua união é \(X^{-1}(\{x\})\cap Y^{-1}(D_Y)\). Como \(\mathbb P(Y^{-1}(D_Y))=1\), a aditividade numerável dá

\[ p_X(x)=\mathbb P\bigl(X^{-1}(\{x\})\bigr) =\sum_{v\in D_Y}\mathbb P\bigl(X^{-1}(\{x\})\cap Y^{-1}(\{v\})\bigr). \]

Trocando \(X\) e \(Y\), obtém-se a segunda identidade. As marginais são as somas das linhas e colunas da tabela da função de probabilidade conjunta.

Funções de probabilidade condicionadas

A identidade das marginais prova a normalização:

\[ \sum_{y\in\operatorname{supp}(Y)} p_{Y\mid X=x}(y) =\frac{\sum_{y\in\operatorname{supp}(Y)} p_{X,Y}(x,y)}{p_X(x)}=1. \]

Para \(p_Y(y)>0\), a função de probabilidade condicionada no sentido inverso é

\[ p_{X\mid Y=y}(x):=\frac{p_{X,Y}(x,y)}{p_Y(y)}. \]

Independência e fatorização da função de probabilidade

Demonstração. A independência dá a identidade para os acontecimentos \(X^{-1}(\{x\})\) e \(Y^{-1}(\{y\})\).

Reciprocamente, somando uma função de probabilidade fatorizada num retângulo boreliano \(A\times B\), obtém-se

\[ \begin{aligned} \mathbb P(X\in A,Y\in B) &=\sum_{x\in A\cap D_X}\sum_{y\in B\cap D_Y}p_X(x)p_Y(y)\\ &=\mathbb P(X\in A)\mathbb P(Y\in B). \end{aligned} \]

Funções de densidade conjuntas

Tomando \(A=\mathbb R^2\), obtém-se \(\iint_{\mathbb R^2}f_{X,Y}(x,y)\,dx\,dy=1\).

Funções de densidade marginais

Demonstração. Para todo o boreliano \(A\subseteq\mathbb R\), o teorema de Tonelli dá

\[ \mathbb P(X\in A) =\int_A\left[\int_{\mathbb R}f_{X,Y}(x,y)\,dy\right]dx. \]

O integral interior é mensurável e não negativo, com integral total igual a um. É, portanto, finito quase em toda a parte e define uma densidade de \(X\). Trocando as coordenadas, prova-se a afirmação para \(Y\).

Funções de densidade condicionadas

Verificação. Para estes valores de \(x\), \(f_{Y\mid X=x}\) é mensurável e não negativa, e

\[ \int_{\mathbb R}f_{Y\mid X=x}(y)\,dy =\frac{\int_{\mathbb R}f_{X,Y}(x,y)\,dy}{f_X(x)}=1. \]

Distribuições condicionadas

Demonstração. Seja \(D=\{x\in\mathbb R:0<f_X(x)<\infty\}\). Como \(\int_{\mathbb R}f_X(x)\,dx=1\), \(\mathbb P_X(D)=1\).

Em \(D\), \(f_{Y\mid X=x}(y)f_X(x)=f_{X,Y}(x,y)\). Assim, por Tonelli,

\[ \begin{aligned} \int_A\left[\int_Bf_{Y\mid X=x}(y)\,dy\right]d\mathbb P_X(x) &=\int_{A\cap D}\int_Bf_{X,Y}(x,y)\,dy\,dx\\ &=\mathbb P(X\in A,Y\in B). \end{aligned} \]

Independência e fatorização da densidade

Demonstração. Seja \(g(x,y)=f_X(x)f_Y(y)\). Para conjuntos borelianos \(A,B\subseteq\mathbb R\), Tonelli dá

\[ \iint_{A\times B}g(x,y)\,dx\,dy=\mathbb P_X(A)\mathbb P_Y(B). \]

Tomando \(A=B=\mathbb R\), conclui-se que \(g\) é uma densidade de probabilidade.

(⇐) Se \(f_{X,Y}=g\) quase em toda a parte, então \(\mathbb P(X\in A,Y\in B)=\mathbb P_X(A)\mathbb P_Y(B)\).

(⇒) Se \(X\) e \(Y\) são independentes, as medidas com densidades \(f_{X,Y}\) e \(g\) coincidem nos retângulos borelianos. Esta classe é fechada para interseções finitas e gera \(\mathcal B(\mathbb R^2)\). Pela unicidade das medidas de probabilidade e das densidades, \(f_{X,Y}=g\) quase em toda a parte.

Fórmula de Bayes

Demonstração. Pela definição de probabilidade condicionada,

\[ \mathbb P(A\cap B)=\mathbb P(A\mid B)\mathbb P(B)=\mathbb P(B\mid A)\mathbb P(A). \]

Divida-se por \(\mathbb P(A)\).

Propriedades do valor esperado

Dizemos que uma propriedade se verifica quase certamente (q.c.), se se verifica com probabilidade um. Precisamente, dizemos que \(X\le Y\) se verifica quase certamente, se \(\mathbb P (\{\omega\in \Omega \mid X(\omega) \le Y(\omega) \}) = 1\). Analogamente, dizemos que \(X = Y\) se verifica quase certamente, se \(\mathbb P (\{\omega\in \Omega \mid X(\omega) = Y(\omega) \}) = 1\). Denota-se por \([X]\) a classe de equivalência de todas as variáveis aleatórias \(Y\) iguais a \(X\) quase certamente.

Comparação de normas \(L^p\)

Demonstração. A função \(t\mapsto t^{q/p}\) é côncava em \([0,\infty)\). A desigualdade de Jensen aplicada a \(|X|^p\) dá \(\mathbb E(|X|^q)\le(\mathbb E(|X|^p))^{q/p}<\infty\). Tomando raízes de ordem \(q\), obtém-se a conclusão.

Variância

Demonstração. Expanda-se o quadrado e aplique-se a linearidade para obter a primeira identidade. A segunda decorre de \(aX+b-\mathbb E(aX+b)=a(X-\mathbb E(X))\).

Por fim, a variável não negativa \((X-\mathbb E(X))^2\) tem valor esperado nulo se e só se é nula quase certamente.

Covariância

Demonstração. Expanda-se o produto, use-se a linearidade e aplique-se Cauchy–Schwarz às variáveis centradas.

Covariância e produtos internos

Demonstração. Por Cauchy–Schwarz, \(\mathbb E(|XY|)<\infty\). A simetria e a bilinearidade decorrem do integral. Além disso, \(\langle X,X\rangle_2=\mathbb E(X^2)\ge0\), com igualdade exatamente quando \(X=0\) quase certamente, isto é, \(X=0\) em \(L^2(\mathbb P)\).

Para variáveis centradas, a fórmula da covariância é \(\mathbb E(XY)\). Em todo o espaço \(L^2(\mathbb P)\), a covariância não é um produto interno: \(\operatorname{Cov}(1,1)=0\), embora \(1\ne0\).

Variância de uma soma

Demonstração. Mostrámos em Proposição 3.12 que a covariância é bilinear. Esta propriedade permite expandir \(\mathbb E\!\left(\left(\sum_j(X_j-\mathbb E(X_j))\right)^2\right)\). Os termos cruzados são o dobro das covariâncias entre pares.

Valor esperado de um produto

Demonstração. Por Teorema 2.14, a distribuição conjunta é o produto das marginais. O teorema de Tonelli dá

\[ \begin{aligned} \mathbb E(|XY|) &=\int_{\mathbb R}\int_{\mathbb R}|xy|\,d\mathbb P_Y(y)\,d\mathbb P_X(x)\\ &=\mathbb E(|X|)\mathbb E(|Y|)<\infty. \end{aligned} \]

O teorema de Fubini aplica-se, portanto, ao produto com sinal:

\[ \mathbb E(XY) =\int_{\mathbb R}x\left(\int_{\mathbb R}y\,d\mathbb P_Y(y)\right)d\mathbb P_X(x) =\mathbb E(X)\mathbb E(Y). \]

Não correlação e independência

Em cada condição, o integral que se exige ser nulo é

\[ \int_\Omega \bigl(f(X)-\mathbb E(f(X))\bigr) \bigl(g(Y)-\mathbb E(g(Y))\bigr)\,d\mathbb P. \]

A restrição de integrabilidade em (ii) pode ser substituída pela condição de \(f,g\) serem limitadas.

Demonstração da comparação

Demonstração de Proposição 3.17.

(i) Se \(f(x)=ax+b\) e \(g(y)=cy+d\), por Proposição 3.12,

\[ \operatorname{Cov}(f(X),g(Y))=ac\,\operatorname{Cov}(X,Y). \]

Esta expressão é nula para quaisquer \(a,b,c,d\) exatamente quando \(\operatorname{Cov}(X,Y)=0\), tomando \(a=c=1\) e \(b=d=0\).

(ii), implicação direta. A mensurabilidade dá \(\sigma(f(X))\subseteq\sigma(X)\) e \(\sigma(g(Y))\subseteq\sigma(Y)\), pelo que \(f(X)\) e \(g(Y)\) são independentes. Por Proposição 3.16, a sua covariância é nula.

Implicação recíproca. Para quaisquer conjuntos de Borel \(A,B\subseteq\mathbb R\), escolham-se as funções limitadas e mensuráveis \(f=\mathbf1_A\) e \(g=\mathbf1_B\). Então

\[ 0=\operatorname{Cov}(\mathbf1_A(X),\mathbf1_B(Y)) =\mathbb P(X\in A,Y\in B)-\mathbb P(X\in A)\mathbb P(Y\in B). \]

Por Teorema 2.14, \(X\) e \(Y\) são independentes.

Momentos por integrais de cauda

Demonstração. Tonelli permite a troca abaixo porque a função integranda é não negativa.

\[ \begin{aligned} \mathbb E(X^r) &=\int_\Omega X(\omega)^r\,d\mathbb P(\omega) =\int_\Omega\int_0^{X(\omega)}r t^{r-1}\,dt\,d\mathbb P(\omega)\\ &=\int_0^\infty\int_{\{\omega\in\Omega\mid X(\omega)>t\}}r t^{r-1}\,d\mathbb P(\omega)\,dt\\ &=r\int_0^\infty\mathbb P(\{\omega\in\Omega\mid X(\omega)>t\})t^{r-1}\,dt =r\int_0^\infty t^{r-1}\mathbb P(X>t)\,dt. \end{aligned} \]

Fórmulas de cauda para a média

Ambas as igualdades admitem o valor \(+\infty\). O integral decorre do caso \(r=1\) em Proposição 3.19. A soma obtém-se tomando valores esperados em \(X=\sum_{k\ge1}\mathbf1_{[k,\infty)}(X)\).

Somas de cauda: momentos superiores

Demonstração. Para \(t\in[k,k+1)\), \(\mathbb P(X>t)=\mathbb P(X>k)\). Decompondo o integral não negativo em Proposição 3.19, obtém-se

\[ \begin{aligned} \mathbb E(X^r) &=\sum_{k=0}^\infty\mathbb P(X>k)\int_k^{k+1}r t^{r-1}\,dt\\ &=\sum_{k=0}^\infty\bigl((k+1)^r-k^r\bigr)\mathbb P(X>k). \end{aligned} \]

Valor esperado como integral de quantis

Demonstração. Seja \(Q=F_X^{-1}\) e seja \(U\) uniforme em \((0,1)\). Por Proposição 1.25, \(Q\) é mensurável e \(Q(u)\le x\) se e só se \(u\le F_X(x)\). Logo, para todo o \(x\in\mathbb R\),

\[ \mathbb P(Q(U)\le x)=\mathbb P(U\le F_X(x))=F_X(x). \]

Assim, \(Q(U)\) e \(X\) têm a mesma distribuição. Em particular, \(\mathbb E(|Q(U)|)=\mathbb E(|X|)<\infty\). Aplicando Teorema 3.2 a \(U\) e \(Q\), obtém-se

\[ \mathbb E(X)=\mathbb E(Q(U))=\int_0^1Q(u)\,du. \]

A distribuição binomial

A distribuição multinomial

Interpretação por contagem. Lance-se um dado de \(n\) faces \(d\) vezes, independentemente. Denote-se por \(C_\ell\) o resultado do lançamento \(\ell\), com \(\mathbb P(C_\ell=j)=p_j\) para cada face \(j\). Seja \(X_j\) o número de ocorrências da face \(j\).

Há exatamente \(d!/(x_1!\cdots x_n!)\) sequências com contagens \(\mathbf x\). Cada uma tem probabilidade \(p_1^{x_1}\cdots p_n^{x_n}\), obtendo-se a fórmula apresentada.

Momentos da distribuição multinomial

Demonstração. Em cada um dos \(d\) lançamentos independentes, a face \(j\) tem probabilidade \(p_j\). Logo, \(X_j\sim B(d,p_j)\) por Proposição 3.25.

Para \(i\ne j\), \(X_iX_j\) conta pares ordenados de lançamentos distintos com faces \(i\) e \(j\). Pela linearidade e independência,

\[ \begin{aligned} \mathbb E(X_iX_j) &=\sum_{\substack{1\le\ell,m\le d\\\ell\ne m}}\mathbb P(C_\ell=i,C_m=j) =d(d-1)p_ip_j,\\ \operatorname{Cov}(X_i,X_j) &=d(d-1)p_ip_j-(dp_i)(dp_j)=-dp_ip_j. \end{aligned} \]

A distribuição de Poisson

A média e a variância são ambas iguais a \(\lambda\):

\[ \mathbb E(X)=\mathbb V(X)=\lambda. \]

Se \(X_j\sim\operatorname{Poisson}(\lambda_j)\) são independentes, então

\[ \sum_{j=1}^nX_j\sim\operatorname{Poisson}\!\left(\sum_{j=1}^n\lambda_j\right). \]

A distribuição exponencial

Por integração, obtém-se

\[ \mathbb P(X>x)=e^{-\lambda x}\quad(x\ge0), \qquad \mathbb E(X)=\frac1\lambda, \qquad \mathbb V(X)=\frac1{\lambda^2}. \]

No exemplo de chegadas de chamadas que se segue, \(1/\lambda\) é o tempo médio de espera.

Ausência de memória

Demonstração. Como \(\mathbb P(X>s)=e^{-\lambda s}>0\),

\[ \mathbb P(X>s+t\mid X>s) =\frac{\mathbb P(X>s+t)}{\mathbb P(X>s)} =\frac{e^{-\lambda(s+t)}}{e^{-\lambda s}} =e^{-\lambda t}. \]

Esta é a probabilidade de sobrevivência \(\mathbb P(X>t)\) para todo o \(t\ge0\), pelo que determina a mesma distribuição.

Funções geradoras de momentos

A distribuição de Cauchy, por exemplo, não tem FGM finita para nenhum \(t\ne0\).

Aplicações afins e somas independentes

Demonstração. Substitua-se \(aX+b\) na definição e coloque-se \(e^{ibt}\) em evidência. Para a soma, a independência dá

\[ \mathbb E\!\left(e^{it\sum_jX_j}\right) =\mathbb E\!\left(\prod_je^{itX_j}\right) =\prod_j\mathbb E(e^{itX_j}). \]

As identidades para as FGM valem onde todas as FGM envolvidas são finitas.

Derivadas de funções características

Demonstração. Como \(|(ix)^je^{itx}|=|x|^j\le1+|x|^k\), a diferenciação dominada sob o sinal de integral é válida até à ordem \(k\). O teorema da convergência dominada de Lebesgue mostra também que as derivadas são contínuas. Tome-se \(t=0\) para obter a última identidade.

Convergência quase certa

Convergência quase certa: um critério

Demonstração de “\(\implies\)”. Suponha-se que \(X_n\xrightarrow{\mathrm{q.c.}}X\). Fora de um conjunto \(A\) de probabilidade zero, \(X_n(\omega)\) converge (pontualmente) para \(X(\omega)\). Para cada \(\varepsilon>0\) e \(\omega \in \Omega\setminus A\), só pode haver um número finito de \(n\ge1\) tais que \(|X_n(\omega)-X(\omega)| \ge \varepsilon\). Assim, \(\omega \in \Omega\setminus A\) não pode pertencer ao limite superior dos conjuntos \(\bigl(|X_n-X|\bigr)^{-1}((\varepsilon,\infty))\). Portanto, o limite superior está contido em \(A\) e tem necessariamente probabilidade zero.

Convergência quase certa: recíproca

Demonstração. Pela condição assumida e pela subaditividade numerável,

\[ A:=\bigcup_{m=1}^{\infty}\limsup_{n\to\infty}\bigl(|X_n-X|\bigr)^{-1}((1/m,\infty)) \qquad\text{satisfaz }\mathbb P(A)=0. \]

Para \(\omega\notin A\) e cada \(m\), vale \(|X_n(\omega)-X(\omega)|\le1/m\) para todos os \(n\) suficientemente grandes. Logo, \(X_n(\omega)\) converge pontualmente para \(X(\omega)\) para \(\omega\notin A\), o que prova \(X_n\xrightarrow{\mathrm{q.c.}}X\).

O espaço \(L^\infty(\mathbb P)\)

Convergência em \(L^\infty\)

Demonstração. Para cada \(n\), escolha-se um conjunto \(A_n\) de probabilidade zero fora do qual \(|X_n-X|\le\|X_n-X\|_\infty\). A união \(A=\bigcup_{n\ge1}A_n\) tem probabilidade zero.

Para \(\omega\notin A\), tem-se \(|X_n(\omega)-X(\omega)|\le\|X_n-X\|_\infty\to0\), o que prova \(X_n\xrightarrow{\mathrm{q.c.}}X\).

Convergência em probabilidade

Demonstração. Fixado \(\varepsilon>0\), as indicadoras \(\mathbf1_{(\varepsilon,\infty)}(|X_n-X|)\) convergem para zero quase certamente e são limitadas por \(1\). Aplicando o teorema da convergência dominada de Lebesgue, obtemos

\[ \mathbb P(|X_n-X|>\varepsilon) =\mathbb E\!\left(\mathbf1_{(\varepsilon,\infty)}(|X_n-X|)\right)\to0. \]

Desigualdade de Markov

Demonstração. A desigualdade pontual \(f(\varepsilon)\mathbf1_{[\varepsilon,\infty)}(Z)\le f(Z)\) e a monotonia do valor esperado dão

\[ f(\varepsilon)\,\mathbb P(Z\ge\varepsilon) =\mathbb E(f(\varepsilon)\mathbf1_{[\varepsilon,\infty)}(Z)) \le\mathbb E(f(Z)). \]

Agora, divide-se por \(f(\varepsilon)>0\).

Para \(f(t)=t\), obtém-se \(\mathbb P(Z\ge\varepsilon)\le\mathbb E(Z)/\varepsilon\).

Desigualdade de Chebyshev

Demonstração. Aplique-se a Proposição 4.10 a \(Z=|X-\mathbb E(X)|\), com \(f(t)=t^2\):

\[ \mathbb P\!\left(|X-\mathbb E(X)|\ge\varepsilon\right) \le\frac{\mathbb E(|X-\mathbb E(X)|^2)}{\varepsilon^2} =\frac{\mathbb V(X)}{\varepsilon^2}. \]

Convergência em \(L^p\) e em probabilidade

Demonstração. Para todo o \(\varepsilon>0\), aplique-se a Proposição 4.10 com \(Z=|X_n-X|\) e \(f(t)=t^p\):

\[ \begin{aligned} \mathbb P(|X_n-X|>\varepsilon) &\le\frac{\mathbb E(f(|X_n-X|))}{f(\varepsilon)}\\ &=\frac{\mathbb E(|X_n-X|^p)}{\varepsilon^p}\longrightarrow0. \end{aligned} \]

Sob convergência em \(L^p\), o numerador tende para zero, o que prova a convergência em probabilidade.

Máquina de escrever: convergência em \(L_p\) sem convergência quase certa

Demonstração. Se \(Y_n=X_{m,k}\), então \(\|Y_n\|_p^p=\int_\Omega\mathbf1_{I_{m,k}}\,d\mathbb P=2^{-m}\).

Cada linha é finita, pelo que \(m\to\infty\) quando \(n\to\infty\). Logo, \(\|Y_n\|_p\to0\). A convergência em probabilidade decorre da Proposição 4.12.

Fixe-se \(\omega\in\Omega\). Em cada linha \(m\ge1\), exatamente uma indicadora vale \(1\) em \(\omega\), e as restantes valem \(0\). Sejam \(n_m(\omega)\) e \(r_m(\omega)\) os índices em \((Y_n)\) deste \(1\) e do primeiro \(0\) nessa linha. Ambas as sucessões de índices são estritamente crescentes, e

\[ Y_{n_m(\omega)}(\omega)=1,\qquad Y_{r_m(\omega)}(\omega)=0 \qquad(m\ge1). \]

Logo, \((Y_n(\omega))\) não converge para nenhum \(\omega\in\Omega\).

Convergência dominada em \(L^p\)

Demonstração. Não exigida no exame Passo 1) Para todo o \(\varepsilon>0\), a desigualdade triangular e \(|X_n|\le Y\) quase certamente dão

\[ \mathbb P(|X|>Y+\varepsilon) \le\mathbb P(|X-X_n|>\varepsilon)\longrightarrow0. \]

A probabilidade à esquerda não depende de \(n\), pelo que é zero. Tomando \(\varepsilon=1/m\) para \(m=1,2,\ldots\) e usando a subaditividade numerável, obtemos \(|X|\le Y\) quase certamente.

Assim, \(\mathbb E(|X|^p)\le\mathbb E(Y^p)<\infty\), pelo que \(X\in L^p(\mathbb P)\).

Convergência dominada: o limite em \(L^p\)

Demonstração do Teorema 4.16. Não exigida no exame Passo 2) Defina-se \(Z_n:=|X_n-X|^p\) e \(Z:=(2Y)^p\). Pelo passo 1, \(0\le Z_n\le Z\) quase certamente, com \(\mathbb E(Z)<\infty\).

Fixem-se \(\delta,M>0\). Em \(Z\le M\), usa-se \(Z_n\le\delta+M\mathbf1_{(\delta,\infty)}(Z_n)\). Em \(Z>M\), usa-se \(Z_n\le Z\). Tomando valores esperados, obtemos

\[ \mathbb E(Z_n)\le\delta+M\,\mathbb P(Z_n>\delta) +\mathbb E\!\left(Z\mathbf1_{(M,\infty)}(Z)\right). \]

Pela convergência em probabilidade,

\[ \mathbb P(Z_n>\delta) =\mathbb P(|X_n-X|>\delta^{1/p})\longrightarrow0. \]

Primeiro, toma-se o limite superior quando \(n\to\infty\). Depois, faz-se \(M\to\infty\): o último valor esperado tende para zero pelo teorema da convergência dominada de Lebesgue. Obtemos assim \(\limsup_{n\to\infty}\mathbb E(Z_n)\le\delta\).

Como \(\delta>0\) é arbitrário, \(\mathbb E(|X_n-X|^p)\to0\), como se pretendia.

Convergência fraca

Seja \(S\) um espaço métrico e denote-se por \(C_b(S)\) o espaço das funções contínuas e limitadas \(f\colon S\to \mathbb R\).

As variáveis aleatórias podem estar definidas em espaços de probabilidade diferentes.

Continuidade uniforme e conjuntos de continuidade

Teorema de Portmanteau

Portmanteau: conjuntos fechados

Demonstração do Teorema 4.20, (1) implica (2) implica (3). Não exigida no exame A primeira implicação decorre de a continuidade uniforme ser uma condição mais forte do que a mera continuidade.

Para um conjunto fechado não vazio \(F\subseteq S\) e inteiros \(m\ge1\), defina-se

\[ d(x,F):=\inf_{y\in F}d(x,y),\qquad g_m(x):=\max\{1-m\,d(x,F),0\}. \]

Então \(|g_m(x)-g_m(y)|\le m\,d(x,y)\), pelo que \(g_m\) é uniformemente contínua. Além disso, \(0\le g_m\le1\) e \(g_m\searrow\mathbf1_F\), pois \(F\) é fechado. Por (2),

\[ \limsup_{n\to\infty}\mathbb P_n(F) \le\lim_{n\to\infty}\int_Sg_m\,d\mathbb P_n =\int_Sg_m\,d\mathbb P. \]

Faça-se \(m\to\infty\). Pelo teorema da convergência dominada de Lebesgue, o último integral tende para \(\mathbb P(F)\). Para \(F=\varnothing\), a desigualdade é imediata.

Portmanteau: abertos e conjuntos de continuidade

Demonstração do Teorema 4.20, (3) e (4) são equivalentes. Não exigida no exame Se \(G\) é aberto, então \(G^c\) é fechado, pelo que (3) dá

\[ \liminf_{n\to\infty}\mathbb P_n(G) =1-\limsup_{n\to\infty}\mathbb P_n(G^c) \ge1-\mathbb P(G^c)=\mathbb P(G). \]

O mesmo cálculo com complementares prova a implicação recíproca.

Estas condições implicam (5). Para um boreliano \(A\), usa-se \(A^\circ\subseteq A\subseteq\overline A\) para obter

\[ \mathbb P(A^\circ) \le\liminf_{n\to\infty}\mathbb P_n(A) \le\limsup_{n\to\infty}\mathbb P_n(A) \le\mathbb P(\overline A). \]

Se \(\mathbb P(\partial A)=0\), os dois extremos são iguais a \(\mathbb P(A)\). Logo, \(\mathbb P_n(A)\to\mathbb P(A)\).

Portmanteau: conjuntos de nível

Demonstração do Teorema 4.20, (5) implica (1). Não exigida no exame Suponha-se (5). Fixe-se uma função contínua \(h:S\to[0,1]\) e, para \(0<t<1\), defina-se

\[ A_t:=h^{-1}((t,\infty)). \]

Por continuidade, um ponto com \(h(x)>t\) tem uma vizinhança contida em \(A_t\), enquanto um ponto com \(h(x)<t\) tem uma vizinhança disjunta de \(A_t\). Assim,

\[ \partial A_t\subseteq h^{-1}(\{t\}). \]

Pela Proposição 1.22, a distribuição de \(h\) sob \(\mathbb P\) tem, no máximo, um conjunto numerável de átomos. Para todos os outros \(t\), tem-se \(\mathbb P(\partial A_t)=0\), pelo que (5) dá

\[ \mathbb P_n(A_t)\longrightarrow\mathbb P(A_t). \]

Portmanteau: integrais de funções contínuas

Demonstração do Teorema 4.20, conclusão. Não exigida no exame Com \(h\) e \(A_t\) como acima, a fórmula do integral de cauda Proposição 3.20 dá

\[ \int_Sh\,d\mathbb P_n=\int_0^1\mathbb P_n(A_t)\,dt \longrightarrow\int_0^1\mathbb P(A_t)\,dt=\int_Sh\,d\mathbb P. \]

O limite decorre do teorema da convergência dominada de Lebesgue: os integrandos pertencem a \([0,1]\) e convergem fora de um conjunto numerável, que tem medida de Lebesgue zero.

Para uma função geral \(g\in C_b(S)\), escolha-se \(M>0\) com \(|g|\le M\) e defina-se \(h=(g+M)/(2M)\). Então \(h:S\to[0,1]\) é contínua e

\[ \int_Sg\,d\mathbb P_n=2M\int_Sh\,d\mathbb P_n-M \longrightarrow2M\int_Sh\,d\mathbb P-M=\int_Sg\,d\mathbb P. \]

Isto é convergência fraca, o que completa todas as equivalências.

Convergência em distribuição: critério das FD

Num ponto de salto de \(F\), não se exige a convergência de \(F_n(x)\).

Demonstração, implicação direta. Suponha-se que \(X_n\xrightarrow{\mathmakebox[1.5em]{d}}X\) e que \(F\) é contínua em \(x\). Pela Proposição 1.18,

\[ \mathbb P_X(\partial(-\infty,x]) =\mathbb P_X(\{x\})=F(x)-F(x^-)=0. \]

A condição (5) do Teorema 4.20 dá \(F_n(x)=\mathbb P_{X_n}((-\infty,x])\to\mathbb P_X((-\infty,x])=F(x)\).

O critério das FD: intervalos

Demonstração do Teorema 4.21, recíproca. Suponha-se que \(F_n(x)\to F(x)\) em todo o ponto de continuidade de \(F\).

Pela Proposição 1.22, as descontinuidades de \(F\) formam um conjunto numerável. Escolha-se um ponto de continuidade em cada intervalo aberto não vazio com extremos racionais. O conjunto \(D\) destes pontos é numerável e denso em \(\mathbb R\).

Para \(a,b\in D\) com \(a<b\),

\[ \begin{aligned} \mathbb P_{X_n}((a,b]) &=F_n(b)-F_n(a)\\ &\longrightarrow F(b)-F(a)=\mathbb P_X((a,b]). \end{aligned} \]

A mesma convergência vale para qualquer união finita destes intervalos. Para o verificar, escreve-se essa união como uma união disjunta de um número finito de intervalos semiabertos com extremos em \(D\) e usa-se a aditividade finita.

Observação. Todo o aberto \(G\subseteq\mathbb R\) é uma união numerável de intervalos deste tipo. Aproximando por uniões finitas crescentes, obtém-se \(\liminf_{n\to\infty}\mathbb P_{X_n}(G)\ge\mathbb P_X(G)\), pelo que o Teorema 4.20 dá \(X_n\xrightarrow{\mathmakebox[1.5em]{d}}X\).