Entropia warunkowa – wartość używana w teorii informacji. Mierzy, ile wynosi entropia nieznanej zmiennej losowej
jeśli wcześniej znamy wartość innej zmiennej losowej
Zapisuje się ją jako
i tak jak inne entropie mierzy w bitach.
Intuicyjnie entropia ta mierzy, o ile entropia pary zmiennych
i
jest większa od entropii samej zmiennej
czyli ile dodatkowej informacji dostajemy na podstawie zmiennej
jeśli znamy zmienną
Definicja
Formalnie dla dyskretnych zmiennych losowych
i
entropia
warunkowana przez
może być zdefiniowana jako:

gdzie:

A zatem:

Wzór ten można zapisać również jako:

W przypadku ciągłych rozkładów sumowanie należy zastąpić przez całkowanie:

gdzie
oznacza funkcję gęstości prawdopodobieństwa pary zmiennych, a
jest gęstością prawdopodobieństwa
Alternatywnie tę samą definicję można zapisać jako

gdzie
oznacza entropię produktową
i
a
oznacza entropię
Jeśli
i
są niezależne, poznanie
nie daje żadnych informacji o
Wtedy entropia warunkowa jest po prostu równa entropii
Z drugiej strony, jeśli
jest funkcją
to poznanie
całkowicie determinuje wartość
Wtedy
Własności
Dla dowolnych
i
zachodzi[1]:
(reguła łańcuchowa dla entropii)

(twierdzenie Bayesa dla entropii)



gdzie
to informacja wzajemna między
i
Jeśli
i
są zdarzeniami niezależnymi:

Pomimo iż wartość wyrażenia
może być zarówno większa, jak i mniejsza od
entropia warunkowa
jest zawsze niewiększa niż
Wartość
równa jest zero w szczególnym przypadku, gdy
jest funkcją zmiennej
Zobacz też
Przypisy