Shannon İLE Kolmogorov İLE Algoritmic ile Entropi Türleri
Matematik
Normal
Özet
Bilgi miktarının farklı ölçüleri.
Ayrıntılı Açıklama
Entropi kavramları:
- Shannon: H = -Σp log p
- Kolmogorov: En kısa program uzunluğu
- Algoritmik: Hesaplanamaz
Shannon entropisi iletişimde temeldir.
- Shannon: H = -Σp log p
- Kolmogorov: En kısa program uzunluğu
- Algoritmik: Hesaplanamaz
Shannon entropisi iletişimde temeldir.
Formül
H(X) ≤ log n