Entropija nekog sistema, je zapravo nista drugo nego mera neodredjenosti tog sistema. Da malo pojasnimo kako tretiramo entropiju u digitalnom svetu:
Svaki sistem se sastoji iz necega. Recimo, uzmimo primer srpskog jezika, koji ima 30 razlicitih karaktera. Koliko nam mesta treba da, alfabetom tog jezika, predstavimo bilo koji simbol tog jezika?
Pa samo jedno mesto.
A koliko bi nam trebalo da predstavimo u binarnom sistemu, gde su samo nule i jedinice? Pa, trebalo bi nam nekoliko mesta. Hajde, empirijski, da vidimo koliko:
- sa jednim mestom, mozemo predstaviti dva stanja: 0 i 1.
- sa dva mesta, mozemo prestaviti cetiri stanja: 00, 01, 10, 11.
- sa tri mesta, mozemo predstaviti osam stanja: 000, 001, 010, 100, 011, 101, 110, 111.
I vec uvidjamo pravilo: sa cetiri mesta, moze 2 na cetvrti (16), sa pet mesta 2 na peti (32), i eto nam odgovora!
Dakle, potrebno nam je svega 5 bita, da predstavimo u racunaru bilo koje slovo srpskog jezika.
Entropija srpskog jezika, prema tome, je 5.
Sada, sta mislite, za bolju kriptografiju, da li je potrebno da entropija sistema bude veca ili manja?