Shannon et la "théorie de l'information"
Patrick Juignet, Philosciences.com, 2011.Nous allons essayer de préciser le concept d’information tel qu'il est utilisé par Shannon dans la théorie dite "de l'information". Cette théorie n'a rien à voir avec l'information au sens ordinaire, puisqu'elle exclut toute signification. Elle concerne la communication de signaux discrets (individualisables et dénombrables). Son article princeps de 1948 s'intitule d'ailleurs A Mathematical Theorie of communication.
Une façon de décrire un système de communication est d’en donner un modèle probabiliste. Ce que l'on appelle dans ce cas "fournir une information à un utilisateur" consiste à choisir un évènement parmi plusieurs possibles. Par conséquent, "fournir une information" consiste à lever une incertitude sur l’issue d’une expérience aléatoire. Le nombre des occurrences parmi toutes celles possibles diminue. La notion d’information est une notion probabiliste qui rend compte de l'incertitude et de sa diminution.
Si nous considérons deux évènements x et y, la probabilité conditionnelle P (x | y) peut être interprétée comme la modification apportée à la probabilité P (x) lorsque l’on reçoit l’information que l’évènement y est réalisé.
L’information “y est réalisé” modifie la probabilité de x, c’est-à-dire l’incertitude sur la réalisation de x.
Plus précisément,
– si P (x | y) ≤ P (x), l’incertitude sur x augmente,
– si P (x | y) ≥ P (x), l’incertitude sur x diminue.
Se pose alors un problème mathématique : comment mesurer la variation de l’incertitude ? Une solution intéressante est de choisir une fonction décroissante de la probabilité comme le logarithme.
Si on note I(x) l’incertitude sur x, en utilisant une fonction logarithme népérien on peut définir I par :
I(x) = − log P (x).
Cette quantité est l'information propre à x.
Lorsque y est réalisé, cela diminue l’incertitude sur x de la quantité I(x) − I(x | y). Si on remplace cette expression par l'expression logarithmique on obtient :
l(m) = log P (x | y) / P (x)
Cette quantité est l’information mutuelle de x et y.
Plus généralement il montra que la fonction la plus générale obéissant aux conditions requises était de la forme est :
H = - k Σ p ln p
si k = 1 et que le logarithme (ln) est en base 2, le résultat sera exprimé en bits.
H =
Shannon nomma cette fonction Entropie. En quoi cette fonction serait-elle reliée à l'entropie définie par Clausius ? Nous laisserons cela de côté.
Shannon a introduit une fonction mesurant la quantité "d''information" contenue dans une distribution de probabilité. Il s'agit de la diminution d'incertitude concernant la probabilité d'un évènement discret. Les événement concernés sont des signaux et leur transmission.
Voir l'article orignal de Shannon (au format PDF)