C’est un bien gros pavé que ce formulaire de calcul des probabilités, et c’est justice. Conçu au départ pour des jeux de hasard, il a fini par devenir un outil fondamental, un observateur incontournable de la physique, de la chimie, de la mécanique, de la biologie jusque aussi de la sociologie et d’autres matières. Nous disions déjà au XX\(^e\) siècle que notre monde était probabiliste. Voici donc un paquet de formules à retenir, ou du moins savoir où les retrouver.

1. Propriétés d’une variable aléatoire

1.1. Axiomatique

Les axiomes de Kolmogoroff

Évènements complémentaires (ou contraires) \(X\) et \(\overline{X}\) dans un ensemble \(\Omega\). \[p(\Omega) = 1\quad;\quad p(X) + p(\overline{X}) = 1\]

Pour deux événements quelconques \(X_1\in \Omega\) et \(X_2\in \Omega\) : \[p(X_1\cup X_2) = p(X_1) + p(X_2) + p(X_1\cap X_2)\]

Les trois théorèmes fondamentaux

1) Probabilité conditionnelle que \(B\) se réalise sachant que \(A\) se soit réalisé : \[p(B / A) = \frac{p(B\cap A)}{p(A)}\]

2) Indépendance : la réalisation de \(B\) ne dépend pas de celle de \(A\) : \[p(B/A)~p(A) = p(B)\quad;\quad p(B\cap A) = p(B)~p(A)\]

3) Règle de Bayes : événement \(A\) réalisé avec l’une des hypothèses \(H_i\) indépendantes : \[p(H_i/A) = \frac{p(H_i)~p(A/H_i)}{\sum_i p(H_i)~p(A/H_i)}\]

1.2. Fonction de répartition

Variable discrète \[F(x_i) = \Pr(X<x_i)~=~p_1+p_2+\dots+p_{i-1}\]

Variable continue \[f(x) = F'(x)\quad;\quad F(x) = \int_{-\infty}^x f(x)~dx\]

Deux remarques : \[\begin{aligned} \int_{-\infty}^{+\infty}f(x)~dx &= 1\\ \Pr(x<X<\beta) &= \int_x^\beta f(x)~dx = F(\beta)-F(x)\end{aligned}\]

La première correspond à la condition de normalisation.

1.3. Moments de la variable aléatoire

Moment d’ordre \(m_1\) ou espérance mathématique \(E\) \[E(X) = \sum_{i=1}^n~p_i~x_i\qquad ; \qquad E(X) = \int_{-\infty}^{+\infty}x~f(x)~dx\]

Pour une variable centrée : \(\quad\overline{X} = E(X) = 0\)

Translation et homothétie \[E(X+a) = E(X) + a\qquad ; \qquad E(a~X) = a~E(X)\]

Théorème de la moyenne \[E\{g(X)\}~=~\int_{-\infty}^{+\infty}g(x)~f(x)~dx\]

Moment d’ordre k

Comme suite au théorème de la moyenne : \[\begin{aligned} &m_k = E(X^k) = \sum p_i~x_i^k\\ &m_k = E(X^k) = \int_{-\infty}^{+\infty} x^k~f(x)~dx\end{aligned}\]

Variance et écart type

La variance est le moment centré d’ordre 2 de la variable X : \[\sigma_x^2 = E\{(x-m_1)^2\} = m_2 - m_1^2\]

\(\sigma_x\) est l’écart-type.

Si \(\sigma_x = 1\), la variable est dite normale.

Si \(E(X) = 0\) et \(\sigma_x = 1\), la variable est dite réduite.

Translation et homothétie \[\sigma_{X+a}^2 = \sigma_X^2\qquad;\qquad \sigma_{aX}^2 = a^2~\sigma_X^2\]

1.4. Inégalité de Chebycheff

L’inégalité de Chebycheff s’écrit dans les deux cas (variable discrète ou continue) : \[\Pr(\lvert X-m_1\rvert)~\leq~\frac{\sigma^2}{a^2}\]

1.5. Fonction caractéristique d’une variable aléatoire

La fonction caractéristique d’une variable aléatoire est une fonction toujours continue, ce qui la rend très utile quand il faut effectuer un passage progressif d’une loi de variable à une loi de variable continue : \[\begin{aligned} \text{par définition~:}\qquad \phi(t) &=~ (e^{jtX}) \\ \text{variable discrète~:}\qquad \phi(t) &= \sum_k~p_k~e^{jtX_k} \\ \text{variable continue~:}\qquad \phi (t) &= \int_{-\infty}^{+\infty} e^{jtx}~f(x)~dx\end{aligned}\]

Cette fonction définit complètement la variable \(X\). Ceci signifie qu’elle permet de calculer les probabilités \(p_k\) ou la densité de probabilité \(f(x)\).

L’expression intégrale de \(\phi(t)\) montre que celle-ci est l’expression de la transformée de Fourier de \(f(x)\) au facteur multiplicatif \(1/2\pi\) près. Ce qui fait que \(f(x)\) apparaît comme une transformée inverse de Fourier compte tenu de ce facteur :

\[f(x) = \frac{1}{2\pi}\int_{-\infty}^{+\infty}\phi(t)~e^{-jtx}~dt\]

Remarques

1) Les coefficients du développement en série de \(\phi(t)\) correspondent aux différents moments de la variable aléatoire (continue ou discrète) : \[\phi(t) = \sum \frac{(jt)^k}{k!}~m_k\]

2) Propriétés des dérivées (par dérivation sous le signe \(\int\) ) : \[\phi(0)=1\quad;\quad \phi'(0) = j~E(X)\quad;\quad \phi''(0) = -E(X^2)\]

3) Effet d’une translation : \[Y = aX + b \qquad;\qquad \phi_y(t) = e^{jtb}~\phi_x(a~t)\]

1.6. Lois de probabilités

1.6.1. Distribution uniforme

Toutes les valeurs prises par la variable \(X\) dans l’intervalle \([a,~b]\) sur lequel elle est définie sont équiprobables : \[\begin{aligned} f(x) &= \lambda~~(\text{cte)} && a~\leq~x~\leq~b\\ f(x) &= 0 && x<a~~;~~x>b\end{aligned}\]

On peut vérifier que  \(\lambda~=~1/L\quad\) avec   \(L = b-a\).

1.6.2. Loi de Poisson

La loi de Poisson s’applique à une variable discrète \(X = 0~;~1~;~2~\dots~;~k~;~\dots\)

avec la probabilité : \[p_k = p(X=k) = \frac{a^k}{k!}~e^{-a}\]

On pourra vérifier que : \[m_1 = a\quad;\quad m_2 = a~(a+1)\quad;\quad \sigma = \sqrt{a}\]

1.6.3. Loi de Gauss dite normale

Très importante, la loi de Gauss est une loi limite vers laquelle tendent les autres lois pour des conditions se rencontrant fréquemment dans des applications pratiques.

Les paramètres \(\sigma\) et \(m=m_1\) définissent complètement cette loi. Le paramètre \(m\) détermine la position du maximum de \(f(x)\). Le paramètre \(\sigma\) caractérise la forme de la courbe : plus \(\sigma\) est grand, plus la courbe est sélective. On dit encore que c’est un paramètre de dispersion.

Forme générale : \[f(x) = \frac{1}{\sigma~\sqrt{2\pi}}~e^{-\frac{(x-m)^2}{2\sigma^2}}\]

Loi réduite (\(m=0)\) et (\(\sigma=1\)) : \[f(x) = \frac{1}{\sqrt{2\pi}}~e^{-\frac{x^2}{2}}\]

1.6.4. Loi binomiale

La variable \(X\) est susceptible de prendre la valeur \(x_i=1\) avec une probabilité \(p\) ou \(x_i=0\) avec une probabilité \(p\).

On constitue ainsi une variable \(Z=\sum X_i\) qui peut prendre les valeurs discrètes  \(0~;~1~;~2~\dots~;~n\) avec les probabilités : \[p(X=k) = \pi_k = C_n^k~p^k~q^{n-k}\]

1.7. Changement de variable

La variable est continue.

On effectue le changement \(y~=~\phi(x)\) ou \(x~=~\psi(y)~\)

\(X~:~x~/~f_x(x)\quad;\quad Y~:~y~/~f_y(y)~\)

La nouvelle densité \(f_y(y)\) sera déduite de la fonction de répartition \(f(u) = F'(u)\) : \[\begin{aligned} F(y)~&=~\Pr(X<y)~=~\Pr(a<X<x)~= \int_a^xf_x(x)~dx\\ f_y(y)~&=~\frac{dF}{dy}~=~\frac{d}{dy}\int_a^{\psi(y)}f_x(x)~dx~=~f_x\{\psi(y)\}~\psi'(y)\end{aligned}\]

2. Couples de variables aléatoires

2.1. Variables aléatoires discrètes

À tout couple \([x_i,~y_j]\), on associe une probabilité : \[p_{ij}~=~\Pr(X=x_i,~Y=y_j) \qquad;\qquad p_{ij} ~\ge~0 \qquad;\qquad \sum_{i,j} p_{ij}~=~1\]

Fonction de répartition du couple : \[F (x,y)~=~\Pr(X<x,~Y<y)\]

Variables marginales : \[\begin{aligned} \Pr(X=x_i)~&=~\sum_j p_{ij} \qquad\qquad i,~j~=~1,~2\dots~,~n\\ \Pr(X=y_j)~&=~\sum_i p_{ij} \qquad\qquad j,~i~=~1,~2\dots~,~n\end{aligned}\]

Calcul des éléments de la matrice : \[p_{ij}~=~\Pr(X_i\cap Y_j)~=~\Pr(X=x_i~|~Y=y_j) ~~ \Pr(Y=y_j)\]

Moyennes, opérations élémentaires : \[\begin{aligned} &\text{Somme}~: & E(X+Y)~&=~E(X)~+~E(Y) \\ &\text{Produit}~: & E(X~Y)~&=~E(X)~~E(Y) &&\text{si variables indépendantes}\end{aligned}\]

Fonction caractéristique d’une somme de variables aléatoires : \[\begin{aligned} \Phi_{X_1+X_2}(t)~&=~\sum_{ik}~e^{jt(X_1+X_2)}\\ \Phi_S~&=~\prod\Phi_{X_i} \qquad\qquad i~=~1,~2\dots,~n\end{aligned}\]

2.2. Variables aléatoires continues

\[\Pr\{(x,y)\in A\}~=~\iint_A f(x,y)~dx~dy\]

Probabilités marginales : \[\begin{aligned} f_1(x)~&=~\int_{-\infty}^{\infty}~f(x,y)~dx~dy &&\rm idem~y\\ \overline{X}~=~E(X)~&=~\int_{-\infty}^{\infty} x~f_1(x)~dx~=~\iint x~f(x,y)~dx~dy &&\rm idem~y\end{aligned}\]

Probabilités conditionnelles : \[f(y/x)~=~\frac{f(x,y)}{f_1(x)} \qquad;\qquad f(x/y)~=~\frac{f(x,y)}{f_2(y)}\]

Indépendance : \[f(x,y)~=~f_1(x)~~ f_2(y)\]

Fonction de répartition et densité de probabilité : \[f(x,y)~=~\frac{\partial^2F}{\partial x~\partial y}\]

2.3. Densité de probabilité d’une somme de variables indépendantes

Soit le couple \((X,Y)\) : densité \(f(x,y)\)  et la somme \(S=X+Y\) : densité \(g(s)\).

Le résultat est un produit de convolution : \[g(s)~=~\int_{-\infty}^{\infty} f(x~,s-x)~dx\]

Cas des variables indépendantes : \[f(s,~s-x)~=~f_1(x)~~ f_2(s-x)\]

2.4. Changement de variable

On pose \(X=\phi(U,V)\)  et \(Y=\psi(U,V)\). On recherche la loi de probabilité du couple \((U,V)\).

On procède comme dans le cas d’une seule variable aléatoire : \[\iint_D f(x,y)~dx~dy~=~\iint_{\Delta}f\{x(u,v),~y(u,v)\}~|J|~du~dv\]

\(J\) étant la matrice jacobienne de la transformation.

2.5. Corrélation

Si deux variables aléatoires \(X\) et \(Y\) sont indépendantes, alors : \(E(X~Y)~=~E(X)~E(Y)\)

Cependant, l’implication réciproque est fausse.

On introduit les variables suivantes (respectivement variance et covariance) : \[\begin{aligned} \sigma_x^2~&=~E(X-\overline{X})^2 \qquad;\qquad \sigma_y^2~=~E(Y-\overline{Y})^2\\ \sigma_{xy}~&=~E\{(X-\overline{X})~(Y-\overline{Y})\}\end{aligned}\]

Compte tenu de l’inégalité de Schwartz déjà rencontrée, on peut introduire un terme \(r\), coefficient de corrélation entre \(X\) et \(Y\) : \[r^2~=~\frac{\sigma_{xy}^2}{\sigma_x~\sigma_y}\qquad;\qquad |r|~\leq~1\]

Théorème 1 :

Si \(X\) et \(Y\) sont indépendantes, alors \(r=0\), mais la réciproque est fausse.

Théorème 2 :

Pour que \(r=1\), il faut et il suffit qu’il existe entre ces deux variables une relation fonctionnelle linéaire.

3. Fonctions aléatoires

On retrouve les mêmes notions que pour les variables aléatoires (moyenne, écart-type, auto-corrélation et inter-corrélation), mais cette fois, ce sont des fonctions du temps : \[\begin{aligned} m(t)~&=~E\{x(t)\}\\ \sigma(t)~&=~E\{X(t)-m(t)\}\\ R_{xx}(t_1,t_2)~&=~E\{X(t_1)~X(t_2)\}\\ R_{xy}(t_1,t_2)~&=~E\{X(t_1)~Y(t_2)\}\end{aligned}\]

Noter que l’on emploie fréquemment la relation \(\gamma(t_1,t_2)\) pour \(R_{xx}\).

Noter aussi l’inégalité de Schwartz : \[\{\gamma(t_1,t_2)\}^2~\leq~\gamma(t_1,t_1)~~\gamma(t_2,t_2)\]

3.1. Stationnarité

On entend par stationnarité au sens large les deux conditions : \[\begin{aligned} &E[X(t)]~=~m &&\text{indépendante du temps} \\ &\gamma(t_1,t_2) && \text{ne dépend que de l'écart}~~\tau=t_2-t_1\end{aligned}\]

3.2. Ergodicité

Le processus \(X(t)\) est dit ergodique si l’on peut identifier les moyennes d’ensemble (ou stochastiques) et les moyennes temporelles : \[\begin{aligned} m~&=~E\{X(t)\}~=~\lim_{T\to\infty}\left\{\frac{1}{T}\int_0^T X(t)~dt\right\} \\ \gamma(\tau)~&=~E\{X(t)~X(t-\tau)\}~=~\lim_{T\to\infty}\left\{\frac{1}{T}\int_0^T X(t)~X(t-\tau)~dt\right\}\end{aligned}\]

4. Loi des grands nombres

Théorème :

Soit une suite de variables aléatoires \(\{X_1,~X_2\dots,~X_n \}\) indépendantes deux à deux et ayant toutes la même loi de probabilité qu’une variable donnée : moyenne \(m\) et écart-type \(\sigma\).

La moyenne arithmétique \(E(X_i)/n\) des \(n\) premières variables tend, en probabilité, vers la moyenne stochastique \(m\) lorsque \(n\) tend vers l’infini : \[\forall~h>0~: \quad\lim_{n\to\infty}~\Pr\left\{\frac{X_1+\dots+X_n}{n-m}~-~h\right\}~=~0\]

C’est l’une des conséquences de l’inégalité de Chebychev : \[0~~\leq~~\Pr\left\{\left|\frac{S}{n}-m\right|~>~h\right\}~\leq~~\frac{\sigma^2}{n}~\frac{1}{h^2}\]

Le second membre tend vers zéro quand \(n\) tend vers l’infini.