Ley de los grandes números

En la teoría de la probabilidad, bajo el término genérico de ley de los grandes números se engloban varios teoremas que describen el comportamiento del promedio de una sucesión de variables aleatorias conforme aumenta su número de ensayos.

Estos teoremas prescriben condiciones suficientes para garantizar que dicho promedio converja (en los sentidos explicados abajo) al promedio de las esperanzas de las variables aleatorias involucradas. Las distintas formulaciones de la ley de los grandes números (y sus condiciones asociadas) especifican la convergencia de formas distintas.

Las leyes de los grandes números explican por qué el promedio de una muestra al azar de una población de gran tamaño tenderá a estar cerca de la media de la población completa.

Cuando las variables aleatorias tienen una varianza finita, el teorema central del límite extiende nuestro entendimiento de la convergencia de su promedio describiendo la distribución de diferencias estandarizadas entre la suma de variables aleatorias y el valor esperado de esta suma: sin importar la distribución subyacente de las variables aleatorias, esta diferencia estandarizada converge a una variable aleatoria normal estándar.

La frase "ley de los grandes números" es también usada ocasionalmente para referirse al principio de que la probabilidad de que cualquier evento posible (incluso uno improbable) ocurra al menos una vez en una serie aumenta con el número de eventos en la serie. Por ejemplo, la probabilidad de que un individuo gane la lotería es bastante baja; sin embargo, la probabilidad de que alguien gane la lotería es bastante alta, suponiendo que suficientes personas comprasen boletos de lotería.

Historia

La difusión es un ejemplo de la ley de los grandes números, aplicada a la química. Inicialmente, hay moléculas de soluto en el lado izquierdo de una barrera (línea púrpura) y ninguna a la derecha. Se elimina la barrera y el soluto se difunde para llenar todo el contenedor.
Arriba: con una sola molécula, el movimiento parece ser bastante aleatorio.
Medio: con más moléculas, existe una clara tendencia en la que el soluto llena el recipiente más y más uniformemente, pero también hay fluctuaciones.
Abajo: con un enorme número de moléculas de soluto (demasiadas para verse), la aleatoriedad esencialmente desaparece: el soluto parece moverse suave y sistemáticamente desde las zonas de alta concentración a las zonas de baja concentración. En situaciones reales, los químicos pueden describir la difusión como un fenómeno macroscópico determinista (ver leyes de Fick), a pesar de su carácter aleatorio subyacente.

El matemático italiano Gerolamo Cardano (1501–1576) afirmó sin pruebas que la precisión de las estadísticas empíricas tienden a mejorar con el número de intentos.^[1] Después esto fue formalizado como una ley de los grandes números. Una forma especial de la ley (para una variable aleatoria binaria) fue demostrada por primera vez por Jacob Bernoulli.^[2] Le llevó más de 20 años desarrollar una prueba matemática suficientemente rigurosa que fue publicada en su Ars Conjectandi [El arte de la conjetura] en 1713. Bernouilli le llamó su «Teorema dorado», pero llegó a ser conocido generalmente como «teorema de Bernoulli". Este no debe confundirse con el principio físico de igual nombre, el nombre del sobrino de Jacob, Daniel Bernoulli. En 1837, S.D. Poisson describió con más detalle bajo el nombre de «la loi des grands nombres» (la ley de los grandes números).^[3]^[4] A partir de entonces, se conoce con ambos nombres, pero se utiliza con mayor frecuencia la «ley de los grandes números».

Después de que Bernoulli y Poisson publicasen sus esfuerzos, otros matemáticos también contribuyeron al refinamiento de la ley, como Chebyshev,^[5] Markov, Borel, Cantelli y Kolmogorov y Khinchin, que finalmente proporcionó una prueba completa de la ley de los grandes números para variables arbitrarias.^[6] Estos nuevos estudios han dado lugar a dos formas prominentes de la ley de los grandes números: una se llama la ley "débil" y la otra la ley "fuerte", en referencia a dos modos diferentes de convergencia de la muestra acumulada significa el valor esperado; en particular, como se explica a continuación, la forma fuerte implica la débil.^[6]

Ley débil

Visualización de la ley de los grandes números.

La ley débil de los grandes números establece que si $X_{1},X_{2},X_{3},\dots$ es una sucesión infinita de variables aleatorias independientes que tienen el mismo valor esperado $\mu$ y varianza $\sigma ^{2}$ entonces el promedio

{\begin{aligned}{\overline {X}}_{n}&={\frac {X_{1}+\cdots +X_{n}}{n}}\\&={\frac {1}{n}}\sum _{i=1}^{n}X_{i}\end{aligned}}

converge en probabilidad a $\mu$ , en otras palabras, para cualquier número positivo $\varepsilon$ se tiene

\lim _{n\rightarrow \infty }\operatorname {P} \left(\left|{\overline {X}}_{n}-\mu \right|<\varepsilon \right)=1.

Ley fuerte

La ley fuerte de los grandes números establece que si $X_{1},X_{2},X_{3},\dots$ es una sucesión infinita de variables aleatorias independientes e idénticamente distribuidas que cumplen $\operatorname {E} [X_{i}]<\infty$ y tienen el valor esperado $\operatorname {E} [X_{i}]=\mu$ entonces

\operatorname {P} \left(\lim _{n\rightarrow \infty }{\overline {X}}_{n}=\mu \right)=1,

es decir, el promedio de las variables aleatorias converge a $\mu$ casi seguramente (en un conjunto de probabilidad 1).

Esta ley justifica la interpretación intuitiva del valor esperado de una variable aleatoria como el "promedio a largo plazo al hacer un muestreo repetitivo".

Demostración (resultado preliminar)

Demostraremos el siguiente resultado: Sea

{X_{i}}\,

una sucesión de variables aleatorias independientes e integrables con

\mathbb {P} X_{n}=0\,

(esperanza 0) y

\sum _{i}{\frac {\mathbb {P} X_{i}^{2}}{i^{2}}}<\infty \,

; entonces, el promedio

{\frac {1}{n}}\sum _{i=1}^{n}X_{i}\rightarrow 0

casi seguramente cuando

n\rightarrow \infty \,

. Este teorema no asume que las variables aleatorias son idénticamente distribuidas pero controla el crecimiento de las varianzas.

Para demostrar el teorema haremos uso del siguiente lema:

Desigualdad Maximal. Sean $Z_{1},...,Z_{N}\,$ variables aleatorias independientes y sean $\epsilon _{1},\,\,\epsilon _{2}$ y $\beta \,\!$ constantes positivas que cumplen $\mathbb {P} \{|Z_{i}+Z_{i+1}+...+Z_{N}|\leq \epsilon _{2}\}\geq 1/\beta$ para cada i. Luego

\mathbb {P} \{max_{i\leq N}|Z_{1}+...+Z_{i}|>\epsilon _{1}+\epsilon _{2}\}\leq \beta \mathbb {P} \{|Z_{1}+...+Z_{N}|>\epsilon _{1}\}

Demostración del lema: Sean $S_{i}:=Z_{1}+...+Z_{i}\,$ y $T_{i}:=S_{N}-S_{i}\,$ . Definamos asimismo la variable aleatoria

$\tau =\left\{{\begin{matrix}{\text{primer i para el cual }}|S_{i}|>\epsilon _{1}+\epsilon _{2}\\N\,\,{\text{si }}|S_{i}|\leq \epsilon _{1}+\epsilon _{2}\,\,{\text{para todo }}i\end{matrix}}\right.$

Tenemos entonces:

{\begin{array}{rcl}\mathbb {P} \{max_{i\leq N}|Z_{1}+...+Z_{i}|>\epsilon _{1}+\epsilon _{2}\}&=&\mathbb {P} \{\tau =i,|S_{i}|>\epsilon _{1}+\epsilon _{2}{\text{ para algun i}}\}\\&=&\sum _{i=1}^{N}\mathbb {P} \{\tau =i,|S_{i}|>\epsilon _{1}+\epsilon _{2}\}\quad {\text{pues son eventos disjuntos}}\\&\leq &\sum _{i=1}^{N}\mathbb {P} \{\tau =i,|S_{i}|>\epsilon _{1}+\epsilon _{2}\}\beta \mathbb {P} \{|T_{i}|\leq \epsilon _{2}\}\quad {\text{hipotesis del lema}}\\&=&\beta \sum _{i=1}^{N}\mathbb {P} \{\tau =i,|S_{i}|>\epsilon _{1}+\epsilon _{2},|T_{i}|\leq \epsilon _{2}\}\quad {\text{por independencia entre los }}S_{i}{\text{  y los }}T_{i}\end{array}}

Ahora bien, si $|S_{i}|>\epsilon _{1}+\epsilon _{2}\,$ y $|T_{i}|\leq \epsilon _{2}$ entonces implica que $|S_{i}|>\epsilon _{1}\,$ por ende:

\mathbb {P} \{max_{i\leq N}|Z_{1}+...+Z_{i}|>\epsilon _{1}+\epsilon _{2}\}\leq \beta \sum _{i=1}^{N}\mathbb {P} \{\tau =i,|S_{i}|>\epsilon _{1}\}=\beta \mathbb {P} \{|Z_{1}+...+Z_{N}|>\epsilon _{1}\}

con lo que se concluye el lema. (Fin demostración del lema)

Sigamos con la demostración del teorema: Definamos

{\begin{array}{rcl}S_{i}&:=&X_{1}+...+X_{i}\\\sigma _{i}^{2}&:=&\mathbb {P} X_{i}^{2}\,;\quad V_{i}:=\sigma _{1}^{2}+...+\sigma _{i}^{2}=\mathbb {P} S_{i}^{2}\\B_{k}&:=&{n:n_{k}<n\leq n_{k+1}}\quad {\text{donde }}n_{k}:=2^{k},\,\,k=1,2,3,...\end{array}}

Tenemos entonces que la serie $\sum _{k}V(n_{k})/n_{k}^{2}$ es convergente pues:

\sum _{k=1}^{\infty }V(n_{k})/n_{k}^{2}=\sum _{k=1}^{\infty }\sum _{j=1}^{\infty }\sigma _{j}^{2}\chi _{\{j\leq 2^{k}\}}4^{-k}=\sum _{j=1}^{\infty }\sigma _{j}^{2}\sum _{k=1}^{\infty }\chi _{\{j\leq 2^{k}\}}4^{-k}=\sum _{j=1}^{\infty }\sigma _{j}^{2}4^{-([\log _{2}j]+1)}{\frac {4}{3}}\leq {\frac {4}{3}}\sum _{j=1}^{\infty }\sigma _{j}^{2}/j^{2}<\infty

La convergencia c.t.p. que asegura el teorema es equivalente a:

\max _{n}{\frac {|S_{n}|}{n}}\rightarrow 0\quad {\text{cuando }}k\rightarrow \infty

Por el lema de Borel-Cantelli, es suficiente demostrar que, para todo $\epsilon >0\,\!$

( 1) $\sum _{k}\mathbb {P} \left\{\max _{n\in B_{k}}{\frac {|S_{n}|}{n}}>\epsilon \right\}<\infty$

Cada probabilidad en la suma anterior puede ser acotada por:

\mathbb {P} \left\{\max _{n\leq n_{k+1}}|S_{n}|>\epsilon n_{k}\right\}

Ahora se aplica la desigualdad maximal:

\mathbb {P} \left\{\max _{n\leq n_{k+1}}|S_{n}|>\epsilon n_{k}\right\}\leq \beta _{k}\mathbb {P} \{|S_{n_{k+1}}|>{\frac {\epsilon }{2}}\,n_{k}\}\leq \beta _{k}4V(n_{k+1})/(\epsilon n_{k})^{2}

La última desigualdad de la línea anterior se justifica por la desigualdad de Chebyshev. Una nueva aplicación de esta misma desigualdad nos permite acotar los $\beta _{k}\,$ :

{\begin{array}{rcl}\beta _{k}^{-1}&=&\min _{n\leq n_{k+1}}\mathbb {P} \{|S_{n_{k+1}}-S_{n}|\leq {\frac {\epsilon }{2}}n_{k}\}\\&\geq &1-\max _{n\leq n_{k+1}}{\frac {4\mathbb {P} (S_{n_{k+1}}-S_{n})^{2}}{\epsilon ^{2}n_{k}^{2}}}\\&\geq &1-{\frac {16\,V(n_{n_{k}+1})}{\epsilon ^{2}n_{k}^{2}}}\rightarrow 1\qquad {\text{cuando }}k\rightarrow \infty \end{array}}

Es decir, hemos logrado acotar cada sumando de la (1) por una constante por los términos de una sumatoria que sabemos convergente, demostrando la convergencia de dicha sumatoria y concluyendo vía Borel-Cantelli la convergencia fuerte del teorema.

(Fin de la demostración) $\blacksquare$

Demostración de la ley fuerte de los grandes números (Kolmogorov)

Sea

{X_{i}}\,

una sucesión de variables aleatorias independientes, integrables e idénticamente distribuidas con

\mathbb {P} X_{n}=0\,

(esperanza 0), entonces, el promedio

{\frac {1}{n}}\sum _{i=1}^{n}X_{i}\rightarrow 0

casi seguramente cuando

n\rightarrow \infty \,

.

Definamos $Y_{i}=X_{i}\chi _{\{|X_{i}|\leq i\}}\,$ y $\mu _{i}=\mathbb {P} Y_{i}\,$ . Tenemos que $0=\mathbb {P} X_{i}=\mu _{i}+\mathbb {P} X_{i}\chi _{\{|X_{i}|>i\}}$ . Además, usando la hipótesis de distribuciones idénticas, podemos en general reemplazar (no siempre) una distribución $X_{i}\,$ genérica por un representante, digamos $X_{1}\,$ . Tenemos entonces:

(1) $\left|{\frac {1}{n}}\sum _{i\leq n}\mu _{i}\right|\leq \mathbb {P} {\frac {1}{n}}\sum _{i\leq n}|X_{1}|\chi _{\{|X_{1}|>i\}}\leq \mathbb {P} \left\{|X_{1}|\min \left(1,{\frac {|X_{1}|}{n}}\right)\right\}\rightarrow 0$

La última convergencia a cero viene dada por la convergencia puntual más convergencia dominada por $\,|X_{1}|$ . También tenemos que:

(2) ${\begin{array}{rcl}\sum _{i=1}^{\infty }\mathbb {P} \{X_{i}\neq Y_{i}\}&=&\sum _{i=1}^{\infty }\mathbb {P} \{|X_{i}|>i\}\\&=&\sum _{i=1}^{\infty }\mathbb {P} \{|X_{1}|>i\}\\&=&\sum _{i=1}^{\infty }i\,\mathbb {P} {\{|X_{1}|>i,|X_{1}|\leq i+1\}}\\&\leq &\mathbb {P} |X_{1}|<\infty \end{array}}$

La tercera igualdad viene de que para cualquier variable aleatoria se cumple que:

\sum _{i\geq 1}\chi _{\{X>i\}}=\sum _{i\geq 1}i\,\chi _{\{X>i,x\leq i+1\}}

La (2) implica, por Borel-Canteli, que el conjunto $\{X_{i}\neq Y_{i}\,,{\text{para infinitos i}}\}$ tiene probabilidad cero. Por lo tanto, en un conjunto de probabilidad 1 se cumple:

(3) $\left|{\frac {1}{n}}\sum _{i\leq n}X_{i}-{\frac {1}{n}}\sum _{i\leq n}Y_{i}\right|\rightarrow 0$

De la desigualdad $\mathbb {P} (Y_{i}-\mu _{i})^{2}\leq \mathbb {P} Y_{i}^{2}=\mathbb {P} (X_{1}^{2}\chi _{\{|X_{1}|\leq i\}})\,$ podemos deducir que:

\sum _{i=1}^{\infty }{\frac {\mathbb {P} (Y_{i}-\mu _{i})^{2}}{i^{2}}}\leq \sum _{i=1}^{\infty }{\frac {\mathbb {P} (X_{1}^{2}\chi _{\{|X_{1}|\leq i\}})}{i^{2}}}=\mathbb {P} \left\{\sum _{i=1}^{\infty }{\frac {X_{1}^{2}\chi _{\{|X_{1}|\leq i\}}}{i^{2}}}\right\}\leq C\mathbb {P} |X_{1}|<\infty

Por el teorema anteriormente demostrado tenemos:

(4) ${\frac {1}{n}}\sum _{i\leq n}(Y_{i}-\mu _{i})\rightarrow 0$

casi seguramente. Como además tenemos que:

\left|{\frac {1}{n}}\sum _{i\leq n}X_{i}\right|\leq \left|{\frac {1}{n}}\sum _{i\leq n}(X_{i}-Y_{i})\right|+\left|{\frac {1}{n}}\sum _{i\leq n}(Y_{i}-\mu _{i})\right|+\left|{\frac {1}{n}}\sum _{i\leq n}\mu _{i}\right|

Entonces, de las ecuaciones (1), (3) y (4) se deduce que $\left|{\frac {1}{n}}\sum _{i\leq n}X_{i}\right|\rightarrow 0\,$ en casi en todos los puntos, concluyendo el teorema.

(Fin de la demostración) $\blacksquare$

Ejemplos

Por ejemplo, una sola tirada de un dado de seis caras produce uno de los números 1, 2, 3, 4, 5 o 6, cada uno con la misma probabilidad. Por tanto, el valor esperado del promedio de las tiradas es:

${\frac {1+2+3+4+5+6}{6}}=3.5$

De acuerdo con la ley de los grandes números, si se lanza una gran cantidad de dados de seis caras, el promedio de sus valores (a veces llamado media muestral) se aproximará a 3,5, y la precisión aumentará a medida que se lancen más dados.

De la ley de los grandes números se deduce que la probabilidad empírica de éxito en una serie de ensayos de Bernoulli convergerá con la probabilidad teórica. Para una variable aleatoria de Bernoulli, el valor esperado es la probabilidad teórica de éxito, y el promedio de n tales variables (suponiendo que sean independientes e idénticamente distribuidas (i.i.d.)) es precisamente la frecuencia relativa.

Un ejemplo gráfico de la ley de los grandes números utilizada para dos tiradas de dados. La suma de los dos dados fluctúa en las primeras tiradas, pero a medida que aumenta el número de tiradas, el valor esperado de la suma de los dos dados se acerca a 7.

Por ejemplo, un lanzamiento de una moneda justa (aquella en la que tienen exactamente las mismas probabilidades de caer boca arriba los dos lados, la cara y la cruz) es una prueba de Bernoulli. Cuando se lanza una moneda justa una vez, la probabilidad teórica de que el resultado sea cara es igual a 1⁄2. Por lo tanto, según la ley de los grandes números, la proporción de caras en un "gran" número de lanzamientos de moneda "debería ser" aproximadamente 1⁄2. En particular, la proporción de caras después de n lanzamientos casi seguramente convergerá a 1⁄2 cuando n se acerque al infinito.

Aunque la proporción de caras (y cruces) se acerca a la mitad, es casi seguro que la diferencia absoluta en el número de caras y cruces aumentará a medida que aumente el número de lanzamientos. Es decir, la probabilidad de que la diferencia absoluta sea un número pequeño se acerca a cero a medida que el número de lanzamientos aumenta. Además, es casi seguro que la relación entre la diferencia absoluta y el número de lanzamientos se aproximará a cero. Intuitivamente, la diferencia esperada crece, pero a un ritmo más lento que el número de lanzamientos.

Otro buen ejemplo de LGN es el Método de Montecarlo. Estos métodos son una clase amplia de algoritmos computacionales que se basan en muestreos aleatorios repetidos para obtener resultados numéricos. Cuanto mayor sea el número de repeticiones, mejor tiende a ser la aproximación. La razón por la que este método es importante es principalmente que, a veces, es difícil o imposible utilizar otros enfoques.^[7]

Véase también

Referencias

David Pollard, A user´s guide to measure theoretic probability, Cambridge University Press (2003).

↑ Mlodinow, L. The Drunkard's Walk. New York: Random House, 2008. p. 50.
↑ Jakob Bernoulli, Ars Conjectandi: Usum & Applicationem Praecedentis Doctrinae in Civilibus, Moralibus & Oeconomicis, 1713, Chapter 4, (Translated into English by Oscar Sheynin)
↑ Poisson names the "law of large numbers" (la loi des grands nombres) in: S.D. Poisson, Probabilité des jugements en matière criminelle et en matière civile, précédées des règles générales du calcul des probabilitiés (Paris, France: Bachelier, 1837), p. 7. He attempts a two-part proof of the law on pp. 139–143 and pp. 277 ff.
↑ Hacking, Ian. (1983) "19th-century Cracks in the Concept of Determinism", Journal of the History of Ideas, 44 (3), 455-475 JSTOR 2709176
↑ Tchebichef, P. (1846). «Démonstration élémentaire d'une proposition générale de la théorie des probabilités». Journal für die reine und angewandte Mathematik (Crelles Journal) 1846 (33): 259-267. doi:10.1515/crll.1846.33.259.
↑ ^a ^b Seneta, 2013.
↑ Kroese, Dirk P.; Brereton, Tim; Taimre, Thomas; Botev, Zdravko I. (2014). «Why the Monte Carlo method is so important today». Wiley Interdisciplinary Reviews: Computational Statistics (en inglés) 6 (6): 386-392. S2CID 18521840. doi:10.1002/wics.1314.

Bibliografía adicional

Grimmett, G. R.; Stirzaker, D. R. (1992). Probability and Random Processes, 2nd Edition. Clarendon Press, Oxford. ISBN 0-19-853665-8.
Richard Durrett (1995). Probability: Theory and Examples, 2nd Edition. Duxbury Press.
Martin Jacobsen (1992). Videregående Sandsynlighedsregning (Advanced Probability Theory) 3rd Edition. HCØ-tryk, Copenhagen. ISBN 87-91180-71-6.
Loève, Michel (1977). Probability theory 1 (4th edición). Springer Verlag.
Newey, Whitney K.; McFadden, Daniel (1994). Large sample estimation and hypothesis testing. Handbook of econometrics, vol. IV, Ch. 36. Elsevier Science. pp. 2111-2245.
Ross, Sheldon (2009). A first course in probability (8th edición). Prentice Hall press. ISBN 978-0-13-603313-4.
Sen, P. K; Singer, J. M. (1993). Large sample methods in statistics. Chapman & Hall, Inc.
Seneta, Eugene (2013), «A Tricentenary history of the Law of Large Numbers», Bernoulli 19 (4): 1088-1121, S2CID 88520834, arXiv:1309.6488, doi:10.3150/12-BEJSP12 .
Dominique Foata y Aimé Fuchs, Calcul des Probabilités. (en francés)
Daniel Dugué, « Calcul des probabilités », Dictionnaire des mathématiques, fondements, probabilités, applications, Encyclopædia Universalis et Albin Michel, Paris 1998. (en francés)

Datos: Q207952
Multimedia: Law of large numbers / Q207952

[1] Mlodinow, L. The Drunkard's Walk. New York: Random House, 2008. p. 50.

[2] Jakob Bernoulli, Ars Conjectandi: Usum & Applicationem Praecedentis Doctrinae in Civilibus, Moralibus & Oeconomicis, 1713, Chapter 4, (Translated into English by Oscar Sheynin)

[3] Poisson names the "law of large numbers" (la loi des grands nombres) in: S.D. Poisson, Probabilité des jugements en matière criminelle et en matière civile, précédées des règles générales du calcul des probabilitiés (Paris, France: Bachelier, 1837), p. 7. He attempts a two-part proof of the law on pp. 139–143 and pp. 277 ff.

[4] Hacking, Ian. (1983) "19th-century Cracks in the Concept of Determinism", Journal of the History of Ideas, 44 (3), 455-475 JSTOR 2709176

[5] Tchebichef, P. (1846). «Démonstration élémentaire d'une proposition générale de la théorie des probabilités». Journal für die reine und angewandte Mathematik (Crelles Journal) 1846 (33): 259-267. doi:10.1515/crll.1846.33.259.

[FOOTNOTESeneta2013-6] Seneta, 2013.

[7] Kroese, Dirk P.; Brereton, Tim; Taimre, Thomas; Botev, Zdravko I. (2014). «Why the Monte Carlo method is so important today». Wiley Interdisciplinary Reviews: Computational Statistics (en inglés) 6 (6): 386-392. S2CID 18521840. doi:10.1002/wics.1314.

[1]

[2]

[3]

[4]

[5]

[6]

[7]