CME 106 - Probabilités et statistiques de l'ingénieur

Pense-bête de probabilités
Star

Introduction aux probabilités et à la combinatoire

Univers de probabilités L'ensemble de toutes les issues possibles d'une expérience aléatoire est appelé l'univers de probabilités d'une expérience aléatoire et est noté $S$.

Évènement Toute partie $E$ d'un univers est appelé un évènement. Ainsi, un évènement est un ensemble d'issues possibles d'une expérience aléatoire. Si l'issue de l'expérience aléatoire est contenue dans $E$, alors on dit que $E$ s'est produit.

Axiomes de probabilités Pour chaque évènement $E$, on note $P(E)$ la probabilité que l'évènement $E$ se produise.

Axiome 1 ― Toute probabilité est comprise entre 0 et 1 inclus, i.e.

\[\boxed{0\leqslant P(E)\leqslant 1}\]

Axiome 2 ― La probabilité qu'au moins un des évènements élémentaires de tout l'univers se produise est 1, i.e.

\[\boxed{P(S)=1}\]

Axiome 3 ― Pour toute séquence d'évènements mutuellement exclusifs $E_1, ..., E_n$, on a :

\[\boxed{P\left(\bigcup_{i=1}^nE_i\right)=\sum_{i=1}^nP(E_i)}\]

Permutation Une permutation est un arrangement de $r$ objets parmi $n$ objets, dans un ordre donné. Le nombre de tels arrangements est donné par $P(n,r)$, défini par :

\[\boxed{P(n, r)=\frac{n!}{(n-r)!}}\]

Combinaison Une combinaison est un arrangement de $r$ objets parmi $n$ objets, où l'ordre ne compte pas. Le nombre de tels arrangements est donné par $C(n,r)$, défini par :

\[\boxed{C(n, r)=\frac{P(n, r)}{r!}=\frac{n!}{r!(n-r)!}}\]

Remarque : on note que pour $0\leqslant r\leqslant n$, on a $P(n,r)\geqslant C(n,r)$.

Probabilité conditionnelle

Théorème de Bayes Pour des évènements $A$ et $B$ tels que $P(B)>0$, on a :

\[\boxed{P(A|B)=\frac{P(B|A)P(A)}{P(B)}}\]

Remarque : on a $P(A\cap B)=P(A)P(B|A)=P(A|B)P(B)$.

Partition Soit $\{A_i, i\in[\![1,n]\!]\}$ tel que pour tout $i$, $A_i\neq\varnothing$. On dit que $\{A_i\}$ est une partition si l'on a :

\[\boxed{\forall i\neq j, A_i\cap A_j=\emptyset\quad\textrm{ et }\quad\bigcup_{i=1}^nA_i=S}\]

Remarque : pour tout évènement $B$ dans l'univers de probabilités, on a $\displaystyle P(B)=\sum_{i=1}^nP(B|A_i)P(A_i)$.

Formule étendue du théorème de Bayes Soit $\{A_i, i\in[\![1,n]\!]\}$ une partition de l'univers de probabilités. On a :

\[\boxed{P(A_k|B)=\frac{P(B|A_k)P(A_k)}{\displaystyle\sum_{i=1}^nP(B|A_i)P(A_i)}}\]

Indépendance Deux évènements $A$ et $B$ sont dits indépendants si et seulement si on a :

\[\boxed{P(A\cap B)=P(A)P(B)}\]

Variables aléatoires

Variable aléatoire Une variable aléatoire, souvent notée $X$, est une fonction qui associe chaque élément de l'univers de probabilité à la droite des réels.

Fonction de répartition La fonction de répartition $F$ (en anglais CDF - Cumulative distribution function), qui est croissante monotone et telle que $\underset{x\rightarrow-\infty}{\textrm{lim}}F(x)=0$ et $\underset{x\rightarrow+\infty}{\textrm{lim}}F(x)=1$, est définie de la manière suivante :

\[\boxed{F(x)=P(X\leqslant x)}\]

Remarque : on a $P(a < X\leqslant B)=F(b)-F(a)$.

Densité de probabilité La densité de probabilité $f$ (en anglais PDF - Probability density function) est la probabilité que $X$ prenne des valeurs entre deux réalisations adjacentes d'une variable aléatoire.

Relations vérifiées par les PDF et CDF Voici les propriétés importantes à savoir dans les cas discret (D) et continu (C).

Cas	CDF $F$	PDF $f$	Propriétés du PDF
(D)	$\displaystyle F(x)=\sum_{x_i\leqslant x}P(X=x_i)$	$f(x_j)=P(X=x_j)$	$\displaystyle0\leqslant f(x_j)\leqslant1\textrm{ et }\sum_{j}f(x_j)=1$
(C)	$\displaystyle F(x)=\int_{-\infty}^xf(y)dy$	$f(x)=\displaystyle \frac{dF}{dx}$	$\displaystyle f(x)\geqslant0\textrm{ et }\int_{-\infty}^{+\infty}f(x)dx=1$

Espérance et moments de la distribution

Dans les sections suivantes, on gardera les mêmes notations qu'avant et les formules seront explicitement détaillées pour le cas discret (D) et continu (C).

Espérance L'espérance d'une variable aléatoire, aussi connu comme étant la moyenne, est souvent notée $E[X]$ ou $\mu$ et est la valeur qui serait obtenu en prenant la moyenne des résultats de l'expérience une infinité de fois. Elle est calculée de la manière suivante :

\[\textrm{(D)}\quad\boxed{E[X]=\sum_{i=1}^nx_if(x_i)}\quad\quad\textrm{et}\quad\textrm{(C)}\quad\boxed{E[X]=\int_{-\infty}^{+\infty}xf(x)dx}\]

Généralisation de l'espérance L'espérance d'une fonction d'une variable aléatoire $g(X)$ est calculée de la manière suivante :

\[\textrm{(D)}\quad\boxed{E[g(X)]=\sum_{i=1}^ng(x_i)f(x_i)}\quad\quad\textrm{et}\quad\textrm{(C)}\quad\boxed{E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)dx}\]

$k^{ième}$ moment Le $k^{ième}$ moment, noté $E[X^k]$, est la valeur de $X^k$ que l'on observerait en la moyennant au long d'une expérience effectuée une infinité de fois. Elle est calculée de la manière suivante :

\[\textrm{(D)}\quad\boxed{E[X^k]=\sum_{i=1}^nx_i^kf(x_i)}\quad\quad\textrm{et}\quad\textrm{(C)}\quad\boxed{E[X^k]=\int_{-\infty}^{+\infty}x^kf(x)dx}\]

Remarque : le $k^{ième}$ moment est un cas particulier de la définition précédante avec $g:X\mapsto X^k$.

Variance La variance d'une variable aléatoire, souvent notée Var$(X)$ ou $\sigma^2$, est une mesure de la dispersion de ses fonctions de distribution. Elle est déterminée de la manière suivante :

\[\boxed{\textrm{Var}(X)=E[(X-E[X])^2]=E[X^2]-E[X]^2}\]

Écart-type L'écart-type d'une variable aléatoire, souvent notée $\sigma$, est une mesure de la dispersion de sa fonction de distribution, exprimée avec les même unités que la variable aléatoire. Il est déterminé de la manière suivante :

\[\boxed{\sigma=\sqrt{\textrm{Var}(X)}}\]

Fonction caractéristique Une fonction caractéristique $\psi(\omega)$ est dérivée d'une densité de probabilité $f(x)$ et est définie par :

\[\textrm{(D)}\quad\boxed{\psi(\omega)=\sum_{i=1}^nf(x_i)e^{i\omega x_i}}\quad\quad\textrm{et}\quad\textrm{(C)}\quad\boxed{\psi(\omega)=\int_{-\infty}^{+\infty}f(x)e^{i\omega x}dx}\]

Remarque : on a $e^{i\omega x}=\cos(\omega x)+i\sin(\omega x)$.

Réécriture du $k^{ième}$ moment Le $k^{ième}$ moment peut aussi être calculé avec la fonction caractéristique par :

\[\boxed{E[X^k]=\frac{1}{i^k}\left[\frac{\partial^k\psi}{\partial\omega^k}\right]_{\omega=0}}\]

Transformation de variables aléatoires Soit $X, Y$ des variables liées par une certaine fonction. En notant $f_X$ et $f_Y$ les fonctions de distribution de $X$ et $Y$ respectivement, on a :

\[\boxed{f_Y(y)=f_X(x)\left|\frac{dx}{dy}\right|}\]

Loi d'intégration de Leibniz Soit $g$ une fonction de $x$ et potentiellement $c$, et $a, b$, les limites de l'intervalle qui peuvent dépendre de $c$. On a :

\[\boxed{\frac{\partial}{\partial c}\left(\int_a^bg(x)dx\right)=\frac{\partial b}{\partial c}\cdot g(b)-\frac{\partial a}{\partial c}\cdot g(a)+\int_a^b\frac{\partial g}{\partial c}(x)dx}\]

Distributions de probabilité

Inégalité de Tchebychev Soit $X$ une variable aléatoire de moyenne $\mu$. Pour $k,\sigma>0$, on a l'inégalité suivante :

\[\boxed{P(|X-\mu|\geqslant k\sigma)\leqslant\frac{1}{k^2}}\]

Distributions importantes Voici les distributions importantes à savoir :

Type	Distribution	PDF	$\psi(\omega)$	$E[X]$	$\textrm{Var}(X)$
(D)	$X\sim\mathcal{B}(n, p)$	$\displaystyle P(X=x)=\displaystyle\binom{n}{x} p^xq^{n-x}$	$(pe^{i\omega}+q)^n$	$np$	$npq$
(D)	$X\sim\textrm{Po}(\mu)$	$\displaystyle P(X=x)=\frac{\mu^x}{x!}e^{-\mu}$	$e^{\mu(e^{i\omega}-1)}$	$\mu$	$\mu$
(C)	$X\sim\mathcal{U}(a, b)$	$\displaystyle f(x)=\frac{1}{b-a}$	$\displaystyle\frac{e^{i\omega b}-e^{i\omega a}}{(b-a)i\omega}$	$\displaystyle\frac{a+b}{2}$	$\displaystyle\frac{(b-a)^2}{12}$
(C)	$X\sim\mathcal{N}(\mu, \sigma)$	$\displaystyle f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}$	$e^{i\omega\mu-\frac{1}{2}\omega^2\sigma^2}$	$\mu$	$\sigma^2$
(C)	$X\sim\textrm{Exp}(\lambda)$	$\displaystyle f(x) = \lambda e^{-\lambda x}$	$\displaystyle\frac{1}{1-\frac{i\omega}{\lambda}}$	$\displaystyle\frac{1}{\lambda}$	$\displaystyle\frac{1}{\lambda^2}$

Variables aléatoires conjointement distribuées

Densité de probabilité jointe La densité de probabilité jointe de deux variables aléatoires $X$ et $Y$, que l'on note $f_{XY}$, est définie par :

\[\textrm{(D)}\quad\boxed{f_{XY}(x_i,y_j)=P(X=x_i\textrm{ et }Y=y_j)}\quad\textrm{et}\quad\textrm{(C)}\quad\boxed{f_{XY}(x,y)\Delta x\Delta y=P(x\leqslant X\leqslant x+\Delta x\textrm{ et }y\leqslant Y\leqslant y+\Delta y)}\]

Densité marginale On définit la densité marginale d'une variable aléatoire $X$ par :

\[\textrm{(D)}\quad\boxed{f_X(x_i)=\sum_{j}f_{XY}(x_i,y_j)}\quad\quad\textrm{et}\quad\textrm{(C)}\quad\boxed{f_X(x)=\int_{-\infty}^{+\infty}f_{XY}(x,y)dy}\]

Fonction de répartition On définit la fonction de répartition $F_{XY}$ par :

\[\textrm{(D)}\quad\boxed{F_{XY}(x,y)=\sum_{x_i\leqslant x}\sum_{y_j\leqslant y}f_{XY}(x_i,y_j)}\quad\quad\textrm{et}\quad\textrm{(C)}\quad\boxed{F_{XY}(x,y)=\int_{-\infty}^x\int_{-\infty}^yf_{XY}(x',y')dx'dy'}\]

Densité conditionnelle La densité conditionnelle de $X$ par rapport à $Y$, souvent notée $f_{X|Y}$, est définie de la manière suivante :

\[\boxed{f_{X|Y}(x)=\frac{f_{XY}(x,y)}{f_Y(y)}}\]

Indépendance Deux variables aléatoires $X$ et $Y$ sont dites indépendantes si l'on a :

\[\boxed{f_{XY}(x,y)=f_X(x)f_Y(y)}\]

Moments de distribution jointes On définit les moments de distribution jointe de variables aléatoires $X$ et $Y$ par :

\[\textrm{(D)}\quad\boxed{E[X^pY^q]=\sum_{i}\sum_{j}x_i^py_j^qf(x_i,y_j)}\quad\quad\textrm{et}\quad\textrm{(C)}\quad\boxed{E[X^pY^q]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}x^py^qf(x,y)dydx}\]

Distribution d'une somme de variables aléatoires indépendantes Soit $Y=X_1+...+X_n$ avec $X_1, ..., X_n$ indépendant. On a :

\[\boxed{\psi_Y(\omega)=\prod_{k=1}^n\psi_{X_k}(\omega)}\]

Covariance On définit la covariance de deux variables aléatoires $X$ et $Y$, que l'on note $\sigma_{XY}^2$ ou plus souvent $\textrm{Cov}(X,Y)$, de la manière suivante :

\[\boxed{\textrm{Cov}(X,Y)\triangleq\sigma_{XY}^2=E[(X-\mu_X)(Y-\mu_Y)]=E[XY]-\mu_X\mu_Y}\]

Corrélation En notant $\sigma_X, \sigma_Y$ les écart-types de $X$ et $Y$, on définit la corrélation entre les variables aléatoires $X$ et $Y$, que l'on note $\rho_{XY}$, de la manière suivante :

\[\boxed{\rho_{XY}=\frac{\sigma_{XY}^2}{\sigma_X\sigma_Y}}\]

Remarque 1 : on note que pour toute variable aléatoire $X$, $Y$, on a $\rho_{XY}\in[-1,1]$.

Remarque 2 : si X et Y sont indépendants, alors $\rho_{XY} = 0$.

Pense-bête de probabilités Star