O I n f o r m a c i j i 2.0 : informacija u teoriji

Prosinac 30, 2015

Uvid u prirodu informacije okoliša ili zašto je informacija ipak negentropija

environmentalIz današnje perspektive, informaciju i njezinog nositelja bez većih problema možemo razlikovati. Ali do pojave informacijske teorije, barem u praktičnom smislu, informacija i njezin nositelj uglavnom su se smatrali nerazdvojnima. Najprije knjiga, pa zatim dokument, primjeri su informacijskih artefakata koji u sebi ‘stapaju’ informaciju i nositelja informacije. Zbog toga Tatjana Aparac Jelušić definira knjigu kao „dihotomiju sadržaja i nositelja tog sadržaja“ te naglašava dvojnu prirodu svakog (zapisanog) teksta. Prema autorici, tekst posjeduje dvije strane: intelektualnu ili duhovnu (odnosi se na sadržaj teksta/informacije) te fizičku ili materijalnu (odnosi se na nositelja teksta/informacije).

Pretpostavimo sada da nositelj informacije može biti aktivan i pasivan. Pod aktivnim nositeljem informacije podrazumijevamo  inforga (Floridi, 2010), informacijsko biće, koje je u stanju primljenu informaciju na sebi svojstven način procesuirati, a to znači dobaviti ili je odaslati drugom nositelju, ali i povezati je s drugim informacijama unutar sebe, izmijeniti ju i sl. Naravno da u tom smislu čovjeka možemo smatrati eklatantnim primjerom aktivnog nositelja informacije. Za razliku od aktivnoga, pasivni nositelj informaciju samo ‘nosi’. U ovom smislu, dokument, knjiga, ali i tvrdi disk računala, najbolji su primjeri pasivnih nositelja informacije.

Međutim, sada možemo postaviti pitanje: može li se jedino čovjek smatrati aktivnim nositeljem informacije? Oko tog pitanja među istraživačima još se ‘lome koplja’. U načelu, svaki živi organizam predstavlja aktivnog nositelja informacije. Biologija nam to jamči svojim spoznajama o staničnim procesima, s kojima je upoznat i prosječni srednjoškolac, i u kojima je razotkrivena uloga DNK i RNK u prijenosu genetskih informacija. Slobodno se može reći da cjelokupni organski svijet, pored sveg ostalog, posjeduje i tu mogućnost aktivnog nošenja informacija. Ali, može li se pasivni nositelj informacije jednog dana preobratiti (proburaziti) u aktivnog nositelja informacije? Jasno je da na ovo pitanje još nemamo odgovor i da se on sastoji u odgovoru na srodna pitanja poput onog: mogu li računala moći misliti.

Stoga, mirne duše pođimo dalje, i jednim sveobuhvatnim uvidom u čitavom anorganskom svijetu prepoznajmo pasivne nositelje informacija! Na osnovi njihovog postojanja, prema L. Floridiju (2010), postoje i te tzv. informacije okoliša (environment information), putem kojih, na sebi svojstven način, okoliš govori o samome sebi. Informacije okoliša stoga su, u najmanju ruku, svojevrsni odraz stvarnosti. U pasivne nositelje informacija, tako, mogu se ubrojiti npr. geološki slojevi stijena koji nose informaciju o pojedinim geološkim razdobljima na Zemlji, ili okrugli oblik i žuti sjaj Sunca na nebu, godovi drveta, otisci šapa životinja itd. Nadalje, bez većih problema možemo ustvrditi da su neki drugi procesi, a u prvom redu tu mislimo na fizičke i kemijske procese, odgovorni za stvaranje opisanih informacija okoliša odnosno da se ta najstarija vrsta informacija na Zemlji i doslovno stvarala putem fizičkih i kemijskih procesa, a da se nije, recimo, prenosila između nositelja.

Na ovaj način stigli smo do zanimljive poveznice. Ako smo došli do toga da porijeklo prvih informacija pronalazimo u fizičkim i kemijskim procesima koji se neprestano odvijaju u prostorvremenu našeg svemira, postaje jasno zašto je Claude Shannon svoj pojam količine informacija povezao sa srodnim pojmom entropije. Naime, kako se prema II. zakonu termodinamike priroda kreće prema sve većem kaosu, a to, između ostalog, znači i prema sve jednoličnijem, uniformnijem svemiru, sa sve manjom količinom gibanja, očito je da se u takvom okolišu nailazi i na sve manju količinu informacija okoliša. Kad Floridi napominje da se podaci (kao neka vrst strukturalnih nositelja informacija) manifestiraju kao nedostatak uniformnosti u stvarnosti, onda pod ovom uniformnošću upravo zamišlja tu krajnju i pogubnu sliku kaosa. Drugim riječima, količina informacija okoliša i rastuće entropije u sve kaotičnijem svijetu obrnuto su proporcionalne. Na osnovi tog zaključka, postaje jasno je da smo puno bliži Wienerovoj interpretaciji pojma količine informacije – dakle, količini informacije kao ‘negentropiji‘ (negentropy), nego onoj Shannona – količini informacije kao čistoj entropiji, a dokaz tomu smatramo da smo upravo iznašli u razmatranju prirode fenomena informacija okoliša.

Svibanj 25, 2015

Maxwellov demon i informacija

CLAUDE E. SHANNON & WARREN WEAVER: The Mathematical Theory of Communication (1949)
JAMES GLEICK: Information: A History, a Theory, a Flood (2011) / Entropy and Its Demons

Fizičar James Clerk Maxwell osmislio je sljedeći misaoni eksperiment: iznad pregrade kutije s plinom zamislio je inteligentno biće, dovoljno malo da uoči koja mu molekula dolazi u susret (topla ili hladna) i odluči hoće li je pustiti u drugu stranu ili ne. Ubrzo je to zamišljeno biće dobilo naziv Maxwellov demon, a predmnijevamo i zbog čega: zbog svoje ‘demonske uloge’ u kršenju Drugog zakona termodinamike! Naime, svojim odlukama koju će molekulu pustiti a koju ne, biće bi bilo u prilici izravno utjecati na rast entropije zatvorenog sustava; još gore, moglo bi, ako bi to htjelo, prouzročiti i one slučajeve u kojima bi se ukupni prirast entropije smanjivao! Svojim inteligentnim uvidom u to koja mu molekula plina pristiže (hladna ili topla) moglo bi namjerno prouzročiti smanjenje entropije cjelokupnog sustava, recimo, ako odluči na drugu stranu kutije puštati samo tople molekule plina. Ipak, u ovoj priči, nas ne zanima toliko kršenje Drugog zakona termodinamike koliko percepcija svijeta tog bića. Evidentno, da bi pustilo (na)dolazeću molekulu na drugu stranu kutije ono najprije mora znati o kakvoj je molekuli riječ (je li topla ili hladna), drugim riječima, mora se o tome informirati…

Međutim, kako informacijsku teoriju tumači Shannonov kolega W. Weaver, informacija se više tiče onoga što uopće o nečemu možemo reći nego što se u nekom trenutku o tome stvarno i reklo. Drugim riječima, za Shannona i Weavera manje je bitan proces saznavanja, važan je samo konačni broj molekula toplog i hladnog plina u kutiji, kao i njihov položaj (jesu li s ove strane pregrade kutije ili s one). Ako je vjerojatnost pojavljivanja tople i hladne molekule plina jednaka, entropija je najveća, a s njome i količina informacija koju demon percipira. Međutim, ako je ta vjerojatnost različita, recimo da se u dijelu kutije iz kojeg demonu nadolaze molekule nalazi topliji plin, onda je za očekivati da će mu daleko češće pristizati toplije molekule od hladnijih (prema Drugom zakonu termodinamike) što je, onda, prema Shannonu, manje informativno. Manju količinu informacija uzrokuje i obrnut slučaj, kada je vjerojatnost pojavljivanja toplih molekula plina mala, jer se u promatranom dijelu kutije nalazi hladnije molekule plina. Upravo, u toj spoznaji najveća je snaga i doprinos znanosti Shannonove teorije.

Međutim, mi se pitamo je li demon svjestan toga da je u desnom dijelu kutije plina više toplih nego hladnih molekula? On to ne može znati. Tek kad cijeli proces završi, kad se molekule toplog i hladnog plina ravnomjerno rasporede po kutiji, drugim riječima, kad se postigne stanje najveće entropije, on može zaključiti da je u samom prijenosu topline sudjelovala tolika i tolika količina informacija, manja ili veća, jer se plin kretao iz manje vjerojatnog stanja u stanje veće vjerojatnosti ili očekivano stanje. S druge strane, Shannon bi isti proces opisao riječima da su se molekule kretale iz stanja manje neizvjesnosti u stanje veće neizvjesnosti. Dakle, može li se zakonitost koja se odnosi na prijenos informacija dovesti u vezu sa zakonitošću koja vlada u prijenosu topline (i koju ‘propisuje’ Drugi zakon termodinamike)? Može – ali u obrnutom shvaćanju/značenju. Iako količinski jednake, entropija i količina informacija u nekom značenjskom smislu potpuno su suprotne. ‘Vjerojatnije’ i ‘neizvjesnije’ naprosto ne mogu imati isti smisao.

Sada se pokušajmo staviti u položaj demona koji upravlja pregradom kutije s plinom. Vrlo brzo ćemo biti primorani napustiti svijet statistike, predviđanja i porinuti natrag u stvarnost. Svaku molekulu koja nam dolazi u susret na osnovi njenog svojstva je li topla ili hladna propustit ćemo (ili nećemo) na drugu stranu. Što bi, dakle, bila informacija za demona koji upravlja pregradom kutije s plinom? Ovdje je važno uočiti da to pitanje više nema nikakve veze sa Shannonovom količinom informacija. Dakle, više ne pitamo nešto vezano uz ‘količinu informacija’, već uz samu informaciju i dolazimo do sljedećeg odgovora: informacija je sadržana u demonovoj percepciji odnosno procesu informiranja; ona je sama ‘supstanca’ njegove percepcije koja defacto postaje njegovo znanje o tome je li se radi o toploj ili hladnoj molekuli plina koja mu dolazi u susret.

Zbog toga B. Greene u svojoj definiciji entropije poseže za izrazom količine skrivenih informacija u sustavu. Kakvo god bilo mikroskopsko stanje sustava i kakva god bila vjerojatnost da će se ono ostvariti – ono sadrži i informaciju, skrivenu informaciju u smislu da entropiji, kao ni Shannonu, nije važan sadržaj te informacije, nego samo njena vjerojatnost pojavljivanja.

Pritom, uočimo da se entropija odnosi samo na prebrojavanje bilo kakvog (iznenadnog) događaja s molekulama u kutiji s plinom, a informacija na razlikovanje tog događaja u kvalitativnom smislu (npr. uočavanje nekog svojstva molekule plina, primjerice, je li topla ili hladna). Shannon je, dakle, svoju ‘teoriju informacija’ temeljio na postavci da se u oba slučaja radi o istom broju…

U slučaju povećanja entropije sustava, očevidno, na djelu je djelovanje jednog zakona u pozadini, Drugog zakona termodinamike. Povećanje entropije sustava izravna je posljedica kretanja molekula u stanje izjednačenih temperatura (tzv. toplinske smrti). Slijedom toga, L. Boltzman samo je pokazao ovisnost ukupne entropije nekog zatvorenog sustava o vjerojatnostima mikroskopskih stanja njegovih sastavnica. Međutim, što bi se, i ako bi, onda, nalazilo u pozadini informacijske teorije? Koji analogan proces? Prema nekom mojemu razmišljanju, to je proces stjecanja znanja o svijetu koji nas okružuje. Čovjek je biće koje teži iz stanja manjeg znanja ili neznanja prijeći u stanje većeg znanja ili najvećeg mogućeg znanja. Paradoks u čovjekovoj težnji, međutim, ogleda se u činjenici da ono što može znati, prisiljen je sâm prethodno definirati (tzv. ‘Shannonov skup mogućnosti’). „Čovjek je mjera svih stvari“, tu duboku istinu dokučili su još Stari Grci. Ako želi ovladati ‘kemijskim znanjem’ o svijetu koji ga okružuje, svijet mora najprije podijeliti na molekule, ako želi imati ‘fizikalno znanje’ o istom, mora ga podijeliti na atome, kvarkove, bozone i druge čestice itd. Po Shannonu, sva moguća stanja molekula i atoma predstavljali bi najsveobuhvatniji unaprijed definiran set mogućnosti iz kojeg bi bilo moguće odabrati i prenijeti, njima analognu, informaciju.

Uočimo, što se tiče kutije s plinom i zamisli Maxwellovog demona možda je manje evidentno, ali nikako nevažno za cijelu priču, da je njome određena najmanja jedinica koja će ulaziti u proračun kako entropije, tako i količine informacija, a to je molekula. U pokusu se zapravo promatra na koje sve načine jedna molekula plina može ‘izgenerirati’ informaciju; dakle, ne generira informaciju svijet kao takav, nego onaj dio svijeta koji smo prethodno ‘uobličili’ u nekakav entitet, u ovom primjeru – u molekulu. Pritom, ne smijemo zaboraviti da se s dovoljno moćnom tehnologijom možemo spustiti još dublje u mikrosvijet te entropiju i količinu informacija računati ‘preko’ atoma. Čovjek je, dakle, taj koji je prisiljen podvući crtu, ‘uobličiti dio stvarnosti’, stvoriti, uvjetno rečeno, podatkovni entitet, s kojim dalje može računati, i na koncu konaca, i uopće bilo što izračunati (prevesti u matematiku). On je taj koji određuje tzv. Shannonov skup mogućnosti (domenu) iz kojeg se generira neka funkcijski odgovarajuća, količina informacija (kodomena).

U pozadini informacijske teorije, dakle, stoji unaprijed definirani skup mogućnosti mikroskopskih stanja sastavnica sustava o kojemu ovisi količina generiranih informacija… Ne možemo izračunati količinu informacija, ako nismo definirali skup svih mogućnosti u kojima se sastavnice jednog sustava mogu naći (toplo-hladno je samo jedan set ukupnog skupa mogućnosti, položaj molekula može biti drugi itd.) Pritom, vrijednosti entropije sustava [S] i količine informacije [H] kao kvantitativne ostaju jednake. Međutim, demon koji se direktno informira i koji barata informacijama, ništa od toga ne može znati. Za njega je informacija ono što pristiže u njegov um. Na neki način, ovo razmatranje je neka vrst priloga daljnjem istraživanju koje bi zakonitostima koje vrijede za procese kodiranja i prijenosa informacija (i koje je postulirao Claude E. Shannon) trebalo pridodati zakonitosti koje bi vrijedile u postupku zaprimanja informacija svjesnog uma za potrebe uvećanja njegova znanja.

Sâm paradoks u pogledu Maxwellovog demona ogleda se u činjenici da se uplivom njegovih odluka o tome hoće li određenu molekulu pustiti u drugu stranu kutije ili ne dolazi do toga da se entropija ukupnog sustava ne mora povećavati, dapače, može se i smanjiti, a što onda nije u skladu s Drugim zakonom termodinamike. Na sreću, Leo Szilard još je davne 1929. pokazao da tomu ipak nije tako i da se entropija čitavog sustava povećava zbog energije koja je potrebna za funkcioniranje demonovog uma. Da biste uopće bili u stanju razlikovati molekulu koja vam dolazi u susret, morate biti živi, a ako ste živi morate sagorijevati kisik i dušik, drugim riječima, morate povećavati ukupnu entropiju svemira.

Siječanj 24, 2015

Entropija u statističkoj mehanici i informacija

IVAN SUPEK: Povijest fizike

Toplina je samo posljedica gibanja molekula, a gibanje molekula – primjerice, plina u kutiji – potiče Drugi zakon termodinamike. To znači da bi i proces ‘miješanja’ molekula na mikrorazini trebao biti nepovratan kao što je to proces u kojemu toplina s toplijeg tijela prelazi na hladnije, a koji zamjećujemo na makrorazini… Ali, kako to izraziti? Isto pitanje postavio je i austrijski fizičar Ludwig Boltzmann i došao do sljedećeg zaključka: zatvoreni sustavi (poput kutije s plinom) iz stanja manje vjerojatnosti teže prijeći u stanje veće vjerojatnosti! Boltzmann je tako došao do veličine entropije u statističkoj mehanici. Za razliku od veličine prirasta entropije u termodinamici koja se proračunava kao omjer ukupno oslobođene topline i prosječno razvijene temperature u procesu, u statističkoj mehanici radi se o apsolutnoj veličini (S) koja svoju vrijednost pronalazi u logaritamskoj relaciji spram vjerojatnosti stanja sustava:

S = k log W

Međutim, postavlja se pitanje što se misli pod vjerojatnošću stanja sustava. Naime, ako su u igri molekule, ne bismo li svaku od njih trebali ‘priupitati’ za njeno stanje i zatim na osnovi neke prosječne vrijednosti svih stanja proračunati ukupno makroskopsko stanje sustava. Da, ali u praktičnom smislu, to se čini nemogućim. Zbog toga su fizičari pribjegli statističkoj zakonitosti koju na jasan i svima razumljiv način elaborira Ivan Supek u Povijesti fizike:

Statistički zakon ne odnosi se na pojedini događaj, koji je neizvjestan, već određuje samo ishod velikog broja slučajeva…
Statistički zakoni zanemaruju gibanje pojedinih atoma i molekula. Oni određuju samo ponašanje golema mnoštva. Statističke procjene govore nam koliko ćemo prosječno atoma ili molekula naći sa stanovitim osobinama. Koji su to atomi, njihova imena i osobni podaci, sve to ne ulazi u statistiku. Statistička zakonitost urezuje opće crte mnoštva, brišući individualne sudbine sastavnih dijelova.

U smislu Drugog zakona termodinamike i statističke zakonitosti, tijelo koje je toplije od svoje okoline reprezentira stanje manje vjerojatnosti. Za razliku od njega, na tijelo jednake temperature s temperaturom svoje okoline puno je izvjesnije da ćemo naići. I to opet samo zato, što Drugi zakon termodinamike ‘propisuje’ da priroda teži ‘izjednačavanju temperatura’ odnosno postizanju vjerojatnijih stanja.

U svojim brojnim derivacijama, gornja formula za entropiju poprima i oblik u kojem je jednaka zbroju umnožaka vjerojatnosti i logaritma vjerojatnosti mikroskopskih stanja sustava:

entropy Dakle, ako je vjerojatnost pojavljivanja određenih mikroskopskih stanja sustava razmjerno velika (recimo da se većina molekula toplog plina nalazi u desnom dijelu kutije s plinom) kažemo da se radi o sustavu s niskom entropijom i obrnuto: ako je vjerojatnost pojavljivanja istih jednaka, a to je slučaj savršeno izmiješanih toplih i hladnih molekula, onda se radi o sustavu s najvećom mogućom entropijom. Gornja formula proračunava točnu vrijednost entropije i kako vidimo, izuzmemo li Boltzmannovu konstantu k (u koju su se, u međuvremenu, ‘povukle’ vrijednosti oslobođene topline i temperature) u potpunosti ovisi o vjerojatnostima mikroskopskih stanja sustava.
Boltzmannova formula za entropiju, dakako, upadljivo podsjeća na Shannonovu formulu za količinu informacije ili neizvjesnosti (uncertainty) odnosno ‘informacijske entropije’. Zapravo, radi se o istim vrijednostima odnosno količinama. Na osnovi statističkog proračuna entropije, Shannon je zaključio da količina informacije i entropija zatvorenog sustava moraju biti jednake. To znači da je Shannonov rad u potpunosti oslonjen na izračun entropije statističke mehanike, a ne na izračun iste veličine rabljene u termodinamici. Tako smo došli do točke u kojoj možemo uspostaviti i dublju poveznicu između ove dvije veličine… [nastavit će se…]

Blog pokreće Wordpress.com.

%d bloggers like this: