Cerca nel blog

Caricamento in corso...
"Giornalismo è diffondere quello che qualcuno non vuole che si sappia, il resto è propaganda"

sabato 18 maggio 2013

il Bit come quantità di informazione


Il bit come quantità di informazione


In questo contesto, un bit rappresenta l'unità di misura della quantità d'informazione.
Questo concetto di bit è stato introdotto dalla teoria dell'informazione di Claude Shannon nel 1948, ed è usato nel campo dellacompressione dati e delle trasmissioni numeriche.
Intuitivamente, equivale alla scelta tra due valori (sì/no, vero/falso, acceso/spento), quando questi hanno la stessa probabilità di essere scelti. In generale, per eventi non necessariamente equiprobabili, la quantità d'informazione di un evento rappresenta la "sorpresa" nel constatare il verificarsi di tale evento; per esempio, se un evento è certo, il suo verificarsi non sorprende nessuno, quindi il suo contenuto informativo è nullo; se invece un evento è raro, il suo verificarsi è sorprendente, quindi il suo contenuto informativo è alto.
Matematicamente, la quantità d'informazione in bit di un evento è l'opposto del logaritmo in base due della probabilità di tale evento. La scelta del numero 2 come base del logaritmo è particolarmente significativa nel caso elementare di scelta tra due alternative (informazione di un bit), ma è possibile usare anche e (numero di Nepero), usando dunque il logaritmo naturale; in tal caso l'unità di misura dell'informazione si dice "Nat".
Nel caso di due eventi equiprobabili, ognuno ha probabilità 0,5, e quindi la loro quantità di informazione è -log2(0,5) = 1 bit. Se la probabilità di un evento è zero, cioè l'evento è impossibile, la sua quantità di informazione è infinita. Se la probabilità di un evento è uno, cioè l'evento è certo, la sua quantità di informazione è -log2(1) = 0 bit. Se ci sono due possibili eventi, uno con probabilità 25% e l'altro con probabilità 75%, il verificarsi del primo evento convoglia l'informazione di -log2(0,25) = 2 bit, mentre il verificarsi del secondo evento convoglia l'informazione di -log2(0,75) =~ 0,415 bit.
Il contenuto informativo (o entropia) di un generatore di eventi (detto "sorgente") è la media statistica dei contenuti informativi di ogni possibile valore, ovvero la somma delle informazioni pesate per la probabilità del corrispondente valore.
Nel caso dei due valori con probabilità 25% e 75%, il contenuto informativo della sorgente è:
0,25 x -log2(0,25) + 0,75 x -log2(0,75) =~ 0,811 bit.
Cioè la sorgente genera meno di un bit per ogni evento.
Nel caso di due eventi equiprobabili, si ha:
0,5 x -log2(0,5) + 0,5 x -log2(0,5) = 0,5 x 1 + 0,5 x 1 = 1 bit.
Cioè la sorgente genera esattamente un bit per ogni evento.

Nessun commento:

Translate