Beruflich Dokumente
Kultur Dokumente
Pertemuan Ke-14
2015-2016
Entropi
Entropi = ukuran yang menyatakan jumlah informasi di
dalam pesan
Biasanya dinyatakan dalam satuan bit
Entropi berguna untuk memperkirakan jumlah bit ratarata untuk mengkodekan elemen dari pesan
Contoh: entropi untuk pesan yang menyatakan jenis
kelamin = 1 bit, entropi untuk pesan yang menyatakan
nama hari = 3 bit
Entropi
Secara umum, entropi pesan dihitung dengan
rumus:
n
H ( X ) a log( p( S ))
i i
X = pesan
Si = simbol ke-i di dalam pesan
p(Si) = peluang kemunculan Si
ai = jumlah kemunculan Si
Entropi
Contoh: pesan X = AABBCBDB
n = 4 (A, B, C, D)
p(A) = 2/8, p(B) = 4/8
p(C) = 1/8, p(D) = 1/8
H(x) = -2 2log(2/8) - 4 2log(4/8) -1 2log(1/8) - 1 2log(1/8)
= 4 + 4 + 3 + 3 = 14 bit
Entropi rata-rata = 14/4 = 1,75 bit per simbol
Contoh Perhitungan
Contoh Perhitungan
Implementasi kompresi dengan algoritma Arithmetic
Coding menggunakan 2 array bantuan, yaitu low_range
dan high-range
Array low_range menyimpan batasan minimal untuk
interval bagian huruf dalam interval 0,0 1,0
Array high_range menyimpan nilai maksimumnya
Misal :
low_range [a] = 0, high_range[a] = 0.4
Contoh Perhitungan
Huruf g LOW [g] = 0,6 HIGH [g] = 0.7 range = 0,7 - 0,6 = 0,1
Huruf a LOW [a] = LOW [g] + range [g] * low_range[a]
= 0,6 + 0,1*0 = 0,6 + 0 = 0,6
HIGH [a] = LOW [g] + range [g] * high_range[a]
= 0,6 + 0,1*0,4 = 0,6 + 0,04 = 0,64
range [a] = 0,64 0,6 = 0,04
Huruf d LOW [d] = LOW [a] + range [a] * low_range[d]
= 0,6 + 0,04*0,4 = 0,6 + 0,016 = 0,616
HIGH [d] = LOW [a] + range [a] * high_range[d]
= 0,6 + 0,04*0,6 = 0,6 + 0,024 = 0,624
range [d] = 0,624 0,616 = 0,008 .dan seterusnya
Contoh Perhitungan
Bisa diteruskan untuk huruf-huruf berikutnya sampai
dengan EOF, kemudian masukkan ke tabel:
TERIMA KASIH