1. Position du problème

En définissant ce que l’on appelle la fréquence relative \(f_n=k/n\), rapport du nombre \(k\) d’apparitions de l’événement souhaité au nombre \(n\) d’expériences, on a précisé que cette fréquence tendait vers \(p\), probabilité d’apparition de l’événement quand \(n\) devenait très grand.

La loi des grands nombres établit comment se fait cette limite et fait apparaître une interprétation de la loi normale et de la loi de Poisson comme lois limites.

2. La loi des grands nombres

2.1. Théorème

On considère une suite de variables \((X_1,~X_2,~\dots,~X_n\)), deux à deux indépendantes, répondant toutes à la même loi de probabilité qu’une variable \(X\) donnée (moyenne \(m\) et écart-type \(\sigma\)), c’est-à-dire : \[E(X_i)=m \quad ; \quad E{(X_i-m)}^2=\sigma^2 \qquad \forall i \in [1,~2,~\dots,~n]\]

La moyenne arithmétique des \(n\) premières variables aléatoires tend, en probabilité, vers la moyenne stochastique \(m\) lorsque \((n\rightarrow \infty)\) : \[\forall h \text{ donné,}\quad lim_{n\rightarrow\infty}~Pr\left\{\left|\frac{X_1+ \dots +X_n}{n}-m\right|>h\right\}=0\]

2.2. Démonstration

On pose :

\[\begin{aligned} S&=X_1+X_2+....+X_n\\ \overline{S}&=E(S)=E\Bigl(\sum_{i=1}^nx_i\Bigr)=\sum_{i=1}^n\big\{E(X_i)\big\}=n ~ m\end{aligned}\]

Par suite : \[E\Bigl(\frac{S}{n}\Bigr)=m\]

Utilisons la variable centrée : \[Z=S-\overline{S}=S-n~m=(X_1-m)+\dots+(X_n-m)\]

Comme les variables sont indépendantes et centrées : \[E\big\{(X_i-m)(X_j-m)\big\}=E(X_i-m)E(X_j-m)=0\times 0=0 \qquad \forall i,j \quad i\neq j\]

De sorte que : \[E{\big(S-\overline{S}\big)}^2=\sum_{i=1}^nE{(X_i-m)}^2=n~\sigma^2\]

Ce qui peut s’écrire autrement : \[E{(S-n~m)}^2=n~\sigma^2 \quad \text{ou encore :}\quad E{\Bigl(\frac{S}{n}-m\Bigr)}^2=\frac{\sigma^2}{n}\]

Appliquons l’inégalité de Chebycheff à la variable \(\frac{S}{n}-m\) : \[0\leq Pr\Bigl\{\Bigl|\frac{S}{n}-m\Bigr|>h\Bigr\}\leq\frac{\sigma^2}{n}\cdot\frac{1}{h^2}\]

Le second membre de cette relation tend vers \(0\) quand \(n\rightarrow \infty\), la proposition est donc démontrée.

2.3. Application. Méthode de Monte-Carlo

On considère \(n\) variables indépendantes \((X_1,~X_2,~\dots,~X_n)\) uniformément réparties sur \([0,1]\) en supposant \(n\) grand. La densité de probabilité associée est :

\[\begin{aligned} f(x)=\left\{\begin{aligned} &1 \qquad x\in[0,1]\\ &0 \qquad \text{ailleurs} \end{aligned}\right.\end{aligned}\]

Une fonction intégrale \(g(x)\) donnée devient une variable aléatoire caractérisée par :

\[\begin{aligned} m&=E\big\{g(X_i)\big\}=\int_0^1g(x)~dx\\ \sigma^2&=\int_0^1{\{g(x)-m\}}^2~dx\end{aligned}\]

D’après la loi des grands nombres : \[\frac{g(x_1)+g(x_2)+\dots+g(x_n)}{n} \rightarrow m \qquad \text{en probabilité}\]

La différence entre ce rapport est sa limite a pour écart-type \(\cfrac{\sigma}{\sqrt{n}}\).

Si \(n\) est suffisamment grand, le calcul de la moyenne arithmétique constitue un processus de calcul numérique de l’intégrale de \(g(x\)) sur l’intervalle \([0,1]\). La précision augmente avec \(\sqrt{n}\).

Cette méthode par approximations successives est surtout intéressante quand on l’applique aux intégrales multiples.

3. Théorème central limite

3.1. Proposition

Nous admettrons sans démonstration que lorsque la fonction caractéristique d’une variable donnée tend vers la fonction caractéristique d’une loi connue, il en résulte une convergence des fonctions de répartition.

3.2. Choix de la variable

Nous reprenons les variables de la section précédente :

\[\begin{aligned} Z&=S-\overline{S}=S-n~m\\ E(Z^2)&=E{(S-\overline{S})}^2=n~\sigma^2\end{aligned}\]

La variable \(\cfrac{Z}{\sigma\sqrt{n}}\) est réduite car : \[E\Bigl(\frac{Z}{\sigma\sqrt{n}}\Bigr)=0 quad \text{et} \quad E\Bigl\{{\Bigl(\frac{Z}{\sigma\sqrt{n}}\Bigr)}^2\Bigr\}=0\]

3.3. Démonstration

Préliminaire. Fonction caractéristique, rappels

Définition : \[Z_i : \qquad \varphi_i(t)=E(e^{jtz_i})\]

Transformation par homothétie : \[Z_i\rightarrow (aZ_i) \qquad \text{alors :} \quad \varphi_i(t)\rightarrow \varphi_i(at)\]

Dans le cas qui nous intéresse : \[\frac{Z_i}{\sigma\sqrt{n}} ~ \rightarrow ~ \varphi_i \Bigl(\frac{t}{\sigma\sqrt{n}}\Bigr)\]

Par ailleurs, les variables \(Z_i\) sont indépendantes : \[\frac{t}{\sigma\sqrt{n}} ~ \rightarrow ~ \Phi(t)=\prod_i\varphi_i\Bigl(\frac{t}{\sigma\sqrt{n}}\Bigr)=\Bigr\{\varphi\Bigl(\frac{t}{\sigma\sqrt{n}}\Bigr)\Bigr\}^n\]

L’indice \(i\) n’a plus lieu d’être puisqu’il s’agit d’une fonction commune, de façon à ne pas alourdir les formules.

Démonstration

Nous allons utiliser à présent les propriétés du développement de \(\Phi(t)\) : \[\varphi(t)=1+m_1\frac{(jt)}{1!}+m_2\frac{(jt)^2)^2}{2!}+\dots+m_k\frac{(jt)^k}{k}+\cdots\]

Si la variable est centrée : \[m_1=0 \quad ; \quad m_2=\sigma^2 \quad ; \quad \varphi(t)=1-\sigma^2~\frac{t^2}{2!}+\cdots\]

Par suite : \[\varphi\Bigl(\frac{t}{\sigma\sqrt{n}}\Bigr)=1-\frac{t^2}{2n}+\cdots\]

Pour la fonction caractéristique totale : \[\Phi(t)=\prod\varphi_i={\Bigl(1-\frac{t^2}{2n}+\cdots\Bigr)}^n\approx {\Bigl(1-\frac{t^2}{2n}\Bigr)}^n\approx e^{-t^2/2} \quad \text{quand }~ n\rightarrow\infty\]

En rappelant que : \[{\Bigl(1+\frac{\alpha}{n}\Bigr)}^n \rightarrow e^{\alpha} \quad \text{quand }~ n\rightarrow\infty\]

D’où le théorème :

    Lorsque \(n\rightarrow\infty\), la loi de probabilité de \(\cfrac{Z}{\sigma\sqrt{n}}\) tend vers la loi normale réduite.

4. Tendance vers la loi de Poisson

Rappel sur les variables de Bernouilli

Une variable de Bernouilli est telle que \(X_i=[0,1]\) avec les probabilités respectives \((p,q)\). On sait que la fonction caractéristique associée a pour expression : \[\varphi(t)=p~e^{jt}+q \qquad \text{avec : }~ p+q=1\]

On a vu précédemment que pour une somme de variables aléatoires :

\[\begin{aligned} S&=\sum_{i=1}^n X_i\\ \Phi(t)&={(p~e^{jt}+q)}^n\end{aligned}\]

Tendance vers la loi de Poisson

Considérons à présent que \(p\) et \(q\) ne sont pas fixés, mais dépendent de \(n\) de telle sorte que \(n~p\rightarrow a\), limite finie quand \(n\rightarrow\infty\). On pourra alors poser :

\[\begin{aligned} &&p&=\frac{a}{n}+\Omega\Bigl(\frac{1}{n}\Bigr) && p\rightarrow 0 &\\ &&q&=1-\frac{a}{n}+\Omega\Bigl(\frac{1}{n}\Bigr) && q\rightarrow 1\end{aligned}\]

\(\Omega(1/n)\) désigne une fonction qui tend vers \(0\) quand \(n\rightarrow\infty\).

Appliquant la formule de la fonction caractéristique classique de Bernouilli : \[\Phi(t)=\Bigl\{\Bigl[\frac{a}{n}+\Omega\Bigl(\frac{1}{n}\Bigr)\Bigr]e^{jt}+\Bigl[1-\frac{a}{n}+\Omega\Bigl(\frac{1}{n}\Bigr)\Bigr]\Bigr\}^n\]

La fonction \(\Omega\) ayant le caractère symbolique de tendance vers zéro, on fera une simplification d’écriture qui n’enlève rien à la caractéristique de cette fonction : \[\Omega\Bigl(\frac{1}{n}\Bigr)~e^{jt}+\Omega\Bigl(\frac{1}{n}\Bigr)\approx\Omega\Bigl(\frac{1}{n}\Bigr)\]

Du fait de cette écriture, la fonction caractéristique présente une forme plus pratique : \[\Phi(t)=\Bigl\{1+\frac{a(e^{jt}-1)}{n}+\Omega\Bigl(\frac{1}{n}\Bigr)\Bigr\}^n\]

Comme rencontré ci-dessus, on a : \[\text{si } n\rightarrow\infty \quad \text{alors} \quad \Phi(t)=e^{a~[exp(jt)-1]}\]

On reconnaît l’expression de la fonction caractéristique de la loi de Poisson. On peut dire que, pour \(n\) très grand, \(S\) peut prendre toutes les valeurs entières avec la probabilité : \[p_k=e^{-a}~\frac{a^k}{k!}\]