Mutual İLE Conditional İLE Relative ile Bilgi Ölçüleri
Matematik
Normal
Özet
Farklı bilgi ilişki metrikleri.
Ayrıntılı Açıklama
Bilgi metrikleri:
- Mutual: I(X;Y) = H(X) - H(X|Y)
- Conditional: H(X|Y)
- Relative (KL): D(P||Q)
KL divergence mesafe değildir (simetrik değil).
- Mutual: I(X;Y) = H(X) - H(X|Y)
- Conditional: H(X|Y)
- Relative (KL): D(P||Q)
KL divergence mesafe değildir (simetrik değil).
Formül
I(X;Y) = I(Y;X) ≥ 0