Спільна ентропія

Діаграма Венна різних мір інформації, пов'язаних із корельованими величинами X та Y. Область, яка міститься в обох колах, є спільною ентропією Η(X,Y). Коло ліворуч (червоний і фіолетовий) є особистою ентропією Η(X), в якому червоне є умовною ентропією Η(X|Y). Коло праворуч (синій та фіолетовий) є Η(Y), а синє в ньому є Η(Y|X). Фіолетове є взаємною інформацією I(X;Y).

У теорії інформації спі́льна ентропі́я — це міра невизначеності, пов'язана з набором змінних.

Визначення

[ред. | ред. код]

Спільна ентропія Шеннона (в бітах) двох змінних та  визначається як

де та  є конкретними значеннями  та  відповідно, є спільною ймовірністю трапляння цих значень разом, а визначається як 0, якщо .

Для понад двох змінних це визначення розширюється до

де є конкретними значеннями  відповідно, є ймовірністю трапляння цих значень разом, а визначається як 0, якщо .

Властивості

[ред. | ред. код]

Більша за окремі ентропії

[ред. | ред. код]

Спільна ентропія набору змінних є більшою за всі окремі ентропії змінних цього набору, або дорівнює їм.

Менша або дорівнює сумі окремих ентропій

[ред. | ред. код]

Спільна ентропія набору змінних є меншою за суму окремих ентропій змінних цього набору, або дорівнює їй. Це є прикладом субадитивності[en]. Ця нерівність є рівністю, якщо і лише якщо та  є статистично незалежними.

Відношення до інших мір ентропії

[ред. | ред. код]

Спільна ентропія використовується у визначенні умовної ентропії

,

і

Вона також використовується у визначенні взаємної інформації

У квантовій теорії інформації спільна ентропія узагальнюється до квантової спільної ентропії[en].

Джерела

[ред. | ред. код]
  • Theresa M. Korn; Korn, Granino Arthur. Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review. New York: Dover Publications. с. 613—614. ISBN 0-486-41147-8. (англ.)