Tanah-melanggar
Pendekatannya memperkenalkan abstraksi sederhana dari komunikasi
manusia, yang disebut saluran. Shannon saluran komunikasi terdiri dari
pengirim (sumber informasi), media transmisi (dengan kebisingan dan
distorsi), dan penerima (yang tujuannya adalah untuk merekonstruksi
pesan pengirim).
Untuk
menganalisis secara kuantitatif transmisi melalui saluran tersebut ia
juga memperkenalkan sebuah ukuran jumlah informasi dalam pesan. Untuk
Shannon jumlah informasi adalah ukuran kejutan dan berkaitan erat dengan
kemungkinan salah satu dari beberapa pesan sedang dikirim. Untuk
Shannon pesan sangat informatif jika kemungkinan terjadinya adalah
kecil. Jika, sebaliknya, pesan terlalu diprediksi, maka ia memiliki
sejumlah kecil informasi --- salah satu tidak terkejut menerimanya.
Untuk
melengkapi analisis quantiative nya dari saluran komunikasi, Shannon
memperkenalkan tingkat
entropi, sebuah kuantitas yang diukur informasi produksi sumber rate
dan juga ukuran dari informasi daya dukung, yang disebut kapasitas
saluran komunikasi.
Dia
menunjukkan bahwa jika tingkat entropi, jumlah informasi yang Anda
ingin mengirimkan, excceds kapasitas saluran, maka ada kesalahan dapat
dihindari dan uncorrectable dalam transmisi. Hal ini cukup intuitif. Apa
benar-benar mengejutkan, meskipun, adalah bahwa ia juga menunjukkan
bahwa jika tingkat entropi pengirim di bawah kapasitas saluran, maka ada
cara untuk menyandikan informasi sehingga dapat diterima tanpa
kesalahan. Hal ini berlaku bahkan jika saluran mendistorsi pesan selama
transmisi.
Shannon
disesuaikan
teori untuk menganalisis manusia biasa (tertulis) bahasa. Dia
menunjukkan bahwa itu cukup berlebihan, menggunakan simbol-simbol dan
kata-kata lebih dari yang diperlukan untuk menyampaikan pesan. Agaknya,
redundansi ini digunakan oleh kita untuk meningkatkan kemampuan kita
untuk mengenali pesan andal dan untuk mengkomunikasikan berbagai jenis
informasi.
Dalam
studi sistem yang kompleks hari ini, kita melihat proses kacau
deterministik sebagai sumber informasi dan menggunakan tingkat entropi
Shannon, yang diadaptasi oleh Kolmogorov dan muridnya Y. Sinai di akhir
1950-an, untuk mengukur seberapa acak sistem yang kacau ini.
Tidak ada komentar:
Posting Komentar