Діаграма Венна різних мір інформації , пов'язаних із корельованими величинами X та Y. Область, яка міститься в обох колах, є спільною ентропією Η(X,Y). Коло ліворуч (червоний і фіолетовий) є особистою ентропією Η(X), в якому червоне є умовною ентропією Η(X|Y). Коло праворуч (синій та фіолетовий) є Η(Y), а синє в ньому є Η(Y|X). Фіолетове є взаємною інформацією I(X;Y). У теорії інформації спі́льна ентропі́я — це міра невизначеності, пов'язана з набором змінних .
Спільна ентропія Шеннона (в бітах ) двох змінних X {\displaystyle X} та Y {\displaystyle Y} визначається як
H ( X , Y ) = − ∑ x ∑ y P ( x , y ) log 2 [ P ( x , y ) ] {\displaystyle H(X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!} де x {\displaystyle x} та y {\displaystyle y} є конкретними значеннями X {\displaystyle X} та Y {\displaystyle Y} відповідно, P ( x , y ) {\displaystyle P(x,y)} є спільною ймовірністю трапляння цих значень разом, а P ( x , y ) log 2 [ P ( x , y ) ] {\displaystyle P(x,y)\log _{2}[P(x,y)]} визначається як 0, якщо P ( x , y ) = 0 {\displaystyle P(x,y)=0} .
Для понад двох змінних X 1 , . . . , X n {\displaystyle X_{1},...,X_{n}} це визначення розширюється до
H ( X 1 , . . . , X n ) = − ∑ x 1 . . . ∑ x n P ( x 1 , . . . , x n ) log 2 [ P ( x 1 , . . . , x n ) ] {\displaystyle H(X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!} де x 1 , . . . , x n {\displaystyle x_{1},...,x_{n}} є конкретними значеннями X 1 , . . . , X n {\displaystyle X_{1},...,X_{n}} відповідно, P ( x 1 , . . . , x n ) {\displaystyle P(x_{1},...,x_{n})} є ймовірністю трапляння цих значень разом, а P ( x 1 , . . . , x n ) log 2 [ P ( x 1 , . . . , x n ) ] {\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]} визначається як 0, якщо P ( x 1 , . . . , x n ) = 0 {\displaystyle P(x_{1},...,x_{n})=0} .
Спільна ентропія набору змінних є більшою за всі окремі ентропії змінних цього набору, або дорівнює їм.
H ( X , Y ) ≥ max [ H ( X ) , H ( Y ) ] {\displaystyle H(X,Y)\geq \max[H(X),H(Y)]} H ( X 1 , . . . , X n ) ≥ max [ H ( X 1 ) , . . . , H ( X n ) ] {\displaystyle H(X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]} Спільна ентропія набору змінних є меншою за суму окремих ентропій змінних цього набору, або дорівнює їй. Це є прикладом субадитивності [en] . Ця нерівність є рівністю, якщо і лише якщо X {\displaystyle X} та Y {\displaystyle Y} є статистично незалежними .
H ( X , Y ) ≤ H ( X ) + H ( Y ) {\displaystyle H(X,Y)\leq H(X)+H(Y)} H ( X 1 , . . . , X n ) ≤ H ( X 1 ) + . . . + H ( X n ) {\displaystyle H(X_{1},...,X_{n})\leq H(X_{1})+...+H(X_{n})} Спільна ентропія використовується у визначенні умовної ентропії
H ( X | Y ) = H ( Y , X ) − H ( Y ) {\displaystyle H(X|Y)=H(Y,X)-H(Y)\,} , і
H ( X 1 , … , X n ) = ∑ k = 1 N H ( X k | X k − 1 , … , X 1 ) {\displaystyle H(X_{1},\dots ,X_{n})=\sum _{k=1}^{N}H(X_{k}|X_{k-1},\dots ,X_{1})} Вона також використовується у визначенні взаємної інформації
I ( X ; Y ) = H ( X ) + H ( Y ) − H ( X , Y ) {\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)\,} У квантовій теорії інформації спільна ентропія узагальнюється до квантової спільної ентропії [en] .
Theresa M. Korn; Korn, Granino Arthur. Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review . New York: Dover Publications. с. 613—614. ISBN 0-486-41147-8 . (англ.)