Entropie de Shannon : mesurer l'information
Ce dossier rassemble deux documents pédagogiques pour la Terminale (spécialité mathématiques, option Maths complémentaires) autour de l'entropie de Shannon, c'est-à-dire l'espérance de la quantité d'information d'une source de données.
Le cours part de la question que se posait Claude Shannon en 1948 (combien d'information contient un message ?), construit la quantité d'information puis l'entropie avec le logarithme népérien (le logarithme en base 2 s'en déduit directement), démontre que l'entropie est maximale pour des résultats équiprobables, puis présente les grandes applications : compression de fichiers, débit d'un câble et correction d'erreurs, sécurité des mots de passe, intelligence artificielle, ADN, langues et jeux, physique.
La fiche d'activités propose treize situations réelles, avec corrigés détaillés : entropie de vrais fichiers, détection d'un scan de ports, inégalités de niveau de vie (Insee), génomes, faille Debian/OpenSSL, netteté d'une image, 20 questions et Wordle, redondance de la langue, codage de Huffman, capacité d'un câble ADSL, temps de cassage de mots de passe, arbre de décision sur le Titanic, canal bruité et code correcteur. Toutes les données sont réelles et leur source est indiquée.
Le dossier mobilise le logarithme népérien, l'espérance, les suites, la loi binomiale et les probabilités conditionnelles. Quelques passages (théorème de Shannon-Hartley, théorème du codage source, dérivée de la fonction d'entropie binaire) sont des enrichissements assumés comme tels. L'entropie croisée, utilisée pour entraîner les IA, est aussi abordée dans le dossier Mathématiques et IA.
Cours
Activités et corrigés
L'entropie de Shannon : la quantité d'information moyenne d'une source d'information