O I n f o r m a c i j i : informacija u teoriji

Svibanj 25, 2015

Maxwellov demon i informacija

CLAUDE E. SHANNON & WARREN WEAVER: The Mathematical Theory of Communication (1949)
JAMES GLEICK: Information: A History, a Theory, a Flood (2011) / Entropy and Its Demons

Fizičar James Clerk Maxwell osmislio je sljedeći misaoni eksperiment: iznad pregrade kutije s plinom zamislio je inteligentno biće, dovoljno malo da uoči koja mu molekula dolazi u susret (topla ili hladna) i odluči hoće li je pustiti u drugu stranu ili ne. Ubrzo je to zamišljeno biće dobilo naziv Maxwellov demon, a predmnijevamo i zbog čega: zbog svoje ‘demonske uloge’ u kršenju Drugog zakona termodinamike! Naime, svojim odlukama koju će molekulu pustiti a koju ne, biće bi bilo u prilici izravno utjecati na rast entropije zatvorenog sustava; još gore, moglo bi, ako bi to htjelo, prouzročiti i one slučajeve u kojima bi se ukupni prirast entropije smanjivao! Svojim inteligentnim uvidom u to koja mu molekula plina pristiže (hladna ili topla) moglo bi namjerno prouzročiti smanjenje entropije cjelokupnog sustava, recimo, ako odluči na drugu stranu kutije puštati samo tople molekule plina. Ipak, u ovoj priči, nas ne zanima toliko kršenje Drugog zakona termodinamike koliko percepcija svijeta tog bića. Evidentno, da bi pustilo (na)dolazeću molekulu na drugu stranu kutije ono najprije mora znati o kakvoj je molekuli riječ (je li topla ili hladna), drugim riječima, mora se o tome informirati…

Međutim, kako informacijsku teoriju tumači Shannonov kolega W. Weaver, informacija se više tiče onoga što uopće o nečemu možemo reći nego što se u nekom trenutku o tome stvarno i reklo. Drugim riječima, za Shannona i Weavera manje je bitan proces saznavanja, važan je samo konačni broj molekula toplog i hladnog plina u kutiji, kao i njihov položaj (jesu li s ove strane pregrade kutije ili s one). Ako je vjerojatnost pojavljivanja tople i hladne molekule plina jednaka, entropija je najveća, a s njome i količina informacija koju demon percipira. Međutim, ako je ta vjerojatnost različita, recimo da se u dijelu kutije iz kojeg demonu nadolaze molekule nalazi topliji plin, onda je za očekivati da će mu daleko češće pristizati toplije molekule od hladnijih (prema Drugom zakonu termodinamike) što je, onda, prema Shannonu, manje informativno. Manju količinu informacija uzrokuje i obrnut slučaj, kada je vjerojatnost pojavljivanja toplih molekula plina mala, jer se u promatranom dijelu kutije nalazi hladnije molekule plina. Upravo, u toj spoznaji najveća je snaga i doprinos znanosti Shannonove teorije.

Međutim, mi se pitamo je li demon svjestan toga da je u desnom dijelu kutije plina više toplih nego hladnih molekula? On to ne može znati. Tek kad cijeli proces završi, kad se molekule toplog i hladnog plina ravnomjerno rasporede po kutiji, drugim riječima, kad se postigne stanje najveće entropije, on može zaključiti da je u samom prijenosu topline sudjelovala tolika i tolika količina informacija, manja ili veća, jer se plin kretao iz manje vjerojatnog stanja u stanje veće vjerojatnosti ili očekivano stanje. S druge strane, Shannon bi isti proces opisao riječima da su se molekule kretale iz stanja manje neizvjesnosti u stanje veće neizvjesnosti. Dakle, može li se zakonitost koja se odnosi na prijenos informacija dovesti u vezu sa zakonitošću koja vlada u prijenosu topline (i koju ‘propisuje’ Drugi zakon termodinamike)? Može – ali u obrnutom shvaćanju/značenju. Iako količinski jednake, entropija i količina informacija u nekom značenjskom smislu potpuno su suprotne. ‘Vjerojatnije’ i ‘neizvjesnije’ naprosto ne mogu imati isti smisao.

Sada se pokušajmo staviti u položaj demona koji upravlja pregradom kutije s plinom. Vrlo brzo ćemo biti primorani napustiti svijet statistike, predviđanja i porinuti natrag u stvarnost. Svaku molekulu koja nam dolazi u susret na osnovi njenog svojstva je li topla ili hladna propustit ćemo (ili nećemo) na drugu stranu. Što bi, dakle, bila informacija za demona koji upravlja pregradom kutije s plinom? Ovdje je važno uočiti da to pitanje više nema nikakve veze sa Shannonovom količinom informacija. Dakle, više ne pitamo nešto vezano uz ‘količinu informacija’, već uz samu informaciju i dolazimo do sljedećeg odgovora: informacija je sadržana u demonovoj percepciji odnosno procesu informiranja; ona je sama ‘supstanca’ njegove percepcije koja defacto postaje njegovo znanje o tome je li se radi o toploj ili hladnoj molekuli plina koja mu dolazi u susret.

Zbog toga B. Greene u svojoj definiciji entropije poseže za izrazom količine skrivenih informacija u sustavu. Kakvo god bilo mikroskopsko stanje sustava i kakva god bila vjerojatnost da će se ono ostvariti – ono sadrži i informaciju, skrivenu informaciju u smislu da entropiji, kao ni Shannonu, nije važan sadržaj te informacije, nego samo njena vjerojatnost pojavljivanja.

Pritom, uočimo da se entropija odnosi samo na prebrojavanje bilo kakvog (iznenadnog) događaja s molekulama u kutiji s plinom, a informacija na razlikovanje tog događaja u kvalitativnom smislu (npr. uočavanje nekog svojstva molekule plina, primjerice, je li topla ili hladna). Shannon je, dakle, svoju ‘teoriju informacija’ temeljio na postavci da se u oba slučaja radi o istom broju…

U slučaju povećanja entropije sustava, očevidno, na djelu je djelovanje jednog zakona u pozadini, Drugog zakona termodinamike. Povećanje entropije sustava izravna je posljedica kretanja molekula u stanje izjednačenih temperatura (tzv. toplinske smrti). Slijedom toga, L. Boltzman samo je pokazao ovisnost ukupne entropije nekog zatvorenog sustava o vjerojatnostima mikroskopskih stanja njegovih sastavnica. Međutim, što bi se, i ako bi, onda, nalazilo u pozadini informacijske teorije? Koji analogan proces? Prema nekom mojemu razmišljanju, to je proces stjecanja znanja o svijetu koji nas okružuje. Čovjek je biće koje teži iz stanja manjeg znanja ili neznanja prijeći u stanje većeg znanja ili najvećeg mogućeg znanja. Paradoks u čovjekovoj težnji, međutim, ogleda se u činjenici da ono što može znati, prisiljen je sâm prethodno definirati (tzv. ‘Shannonov skup mogućnosti’). „Čovjek je mjera svih stvari“, tu duboku istinu dokučili su još Stari Grci. Ako želi ovladati ‘kemijskim znanjem’ o svijetu koji ga okružuje, svijet mora najprije podijeliti na molekule, ako želi imati ‘fizikalno znanje’ o istom, mora ga podijeliti na atome, kvarkove, bozone i druge čestice itd. Po Shannonu, sva moguća stanja molekula i atoma predstavljali bi najsveobuhvatniji unaprijed definiran set mogućnosti iz kojeg bi bilo moguće odabrati i prenijeti, njima analognu, informaciju.

Uočimo, što se tiče kutije s plinom i zamisli Maxwellovog demona možda je manje evidentno, ali nikako nevažno za cijelu priču, da je njome određena najmanja jedinica koja će ulaziti u proračun kako entropije, tako i količine informacija, a to je molekula. U pokusu se zapravo promatra na koje sve načine jedna molekula plina može ‘izgenerirati’ informaciju; dakle, ne generira informaciju svijet kao takav, nego onaj dio svijeta koji smo prethodno ‘uobličili’ u nekakav entitet, u ovom primjeru – u molekulu. Pritom, ne smijemo zaboraviti da se s dovoljno moćnom tehnologijom možemo spustiti još dublje u mikrosvijet te entropiju i količinu informacija računati ‘preko’ atoma. Čovjek je, dakle, taj koji je prisiljen podvući crtu, ‘uobličiti dio stvarnosti’, stvoriti, uvjetno rečeno, podatkovni entitet, s kojim dalje može računati, i na koncu konaca, i uopće bilo što izračunati (prevesti u matematiku). On je taj koji određuje tzv. Shannonov skup mogućnosti (domenu) iz kojeg se generira neka funkcijski odgovarajuća, količina informacija (kodomena).

U pozadini informacijske teorije, dakle, stoji unaprijed definirani skup mogućnosti mikroskopskih stanja sastavnica sustava o kojemu ovisi količina generiranih informacija… Ne možemo izračunati količinu informacija, ako nismo definirali skup svih mogućnosti u kojima se sastavnice jednog sustava mogu naći (toplo-hladno je samo jedan set ukupnog skupa mogućnosti, položaj molekula može biti drugi itd.) Pritom, vrijednosti entropije sustava [S] i količine informacije [H] kao kvantitativne ostaju jednake. Međutim, demon koji se direktno informira i koji barata informacijama, ništa od toga ne može znati. Za njega je informacija ono što pristiže u njegov um. Na neki način, ovo razmatranje je neka vrst priloga daljnjem istraživanju koje bi zakonitostima koje vrijede za procese kodiranja i prijenosa informacija (i koje je postulirao Claude E. Shannon) trebalo pridodati zakonitosti koje bi vrijedile u postupku zaprimanja informacija svjesnog uma za potrebe uvećanja njegova znanja.

Sâm paradoks u pogledu Maxwellovog demona ogleda se u činjenici da se uplivom njegovih odluka o tome hoće li određenu molekulu pustiti u drugu stranu kutije ili ne dolazi do toga da se entropija ukupnog sustava ne mora povećavati, dapače, može se i smanjiti, a što onda nije u skladu s Drugim zakonom termodinamike. Na sreću, Leo Szilard još je davne 1929. pokazao da tomu ipak nije tako i da se entropija čitavog sustava povećava zbog energije koja je potrebna za funkcioniranje demonovog uma. Da biste uopće bili u stanju razlikovati molekulu koja vam dolazi u susret, morate biti živi, a ako ste živi morate sagorijevati kisik i dušik, drugim riječima, morate povećavati ukupnu entropiju svemira.

Oglasi

Studeni 18, 2014

Entropija u termodinamici i informacija

Filed under: J. GLEICK,STARI POSTOVI — by Boris Bo @ 12:58 pm
Tags: , , ,

JAMES GLEICK: Information: A History, a Theory, a Flood (2011) / Entropy and Its Demons

Na koji način shvatiti entropiju, jedan od najneshvatljivijih pojmova moderne znanosti? Ako je pojam informacije u posljednjih šezdesetak godina predstavljao zagonetku per se koja je zadavala te i danas zadaje glavobolje znanstvenicima diljem svijeta, što tek kazati za entropiju koja ‘znanstvene glavobolje’ uzrokuje preko sto pedest godina? Povrh svega, i dalje se zagonetnim čini povlačenje crte jednakosti između pojmova entropije i količine informacija odnosno ‘neizvjesnosti’ koje je u svojoj poznatoj teoriji učinio Claude E. Shannon.

Međutim, ako fizičare pitate za entropiju, odgovorit će vam kako je s njom sve u najboljem redu. Uredno je definirana u sklopu termodinamike i statističke mehanike i njima, dakako, nikako nije jasno što nekome tu još nije jasno?! Za Shannonov i Von Neumannov ispad, koji su čuli od Myron Tribus, ne žele trošiti riječi, premda će termodinamičar Müller 2007. kazati kako ih smatra intelektualnim snobovima, ako je doista točno ono što je Myron Tribus o njima napisala u svom radu Information theory and thermodynamics iz 1964. U tom radu, Myron Tribus piše da su Von Neumann i Shannon za entropiju kazali kako predstavlja pojam koji nitko ne razumije i da je to dobar razlog da ga se poveže s informacijom, jer će se, prema Von Neumannovim riječima, “uvijek zadržati prednost u raspravama“. 🙂

Kao što je rečeno, prije informacijske teorije, u fizici se pojam entropije rabio u dva konteksta poprimajući dva više ili manje svodiva značenja. Jedan je predstavljala termodinamika: entropija se odnosila na energiju koja se nije mogla iskoristiti za (obavljanje) rad(a); J. Gleick u svojoj knjizi pritom naglašava – energija je bila prisutna, ali beskorisna! Na ovom stupnju razumijevanja entropija se, međutim, još ne čini toliko nerazumljivim pojmom.

R. Clausius, koji je pojam entropije uveo u fiziku, prvotno je želio samo mjeriti tu beskorisnu, u okolni prostor, raspršenu energiju. Iznenađenje i čuđenje je nastalo onog trenutka kad se shvatilo da se tu rapršenu energiju, osim za rad, nije više moguće koristiti u energetskim pretvorbama koje predviđa i tumači Prvi zakon termodinamike. Energija entropije ostaje u trajno beskorisnom obliku. R. Clausius  uveo je veličinu prirasta entropije (ΔS) i kazao kako se ona može izraziti kao omjer topline oslobođene u procesu koji obavlja rad i temperature razvijene u tom istom procesu, a zatim dodao rečenicu koju će mnogi kasnije smatrati jednom od najboljih formulacija Drugog zakona termodinamike: entropija svijeta/svemira neprestano raste.

Drugi zakon termodinamike, u svom uobičajenom obliku, zapravo glasi da toplina spontano prelazi s toplijega na hladnije tijelo, ističući pritom kako za taj proces nije potrebno utrošiti nikakav rad.  Ustupak prirode koji se manifestira ovim ničim izazvanim procesom, međutim, mi plaćamo u entropiji. Entropija je cijena koju moramo platiti kako bismo uživali u blagodatima Drugog zakona termodinamike.

U to vrijeme, a radi se već o drugoj polovici 19. stoljeća, fizičari nisu bili zadovoljni sa statusom, ne samo entropije, nego i same topline. Što je bila ta toplina? Fluid, elektromagnetsko zračenje? Nijedno od tog dvoga: toplina je bila posljedica kretanja molekula. Ništa nadnaravno, ništa što bi zahtjevalo uvođenje novog igrača u igru, nekakav svjetlosni eter, flogiston i sl. Ali to je značilo i da su se fizičari morali odvažiti na novi iskorak, put koji će ih odvesti u samo srce materije i energije, tragovima grčkog filozofa Demokrita, do samih molekula, a koji, čini se, do dan danas nisu napustili… [nastavit će se]

Ožujak 1, 2013

Novi medij za novu prirodu ljudskog mišljenja

JAMES GLEICK: The Information: A History, a Theory, a Flood (2011)

Every new medium transforms the nature of human thought. In the long run, history is the story of information becoming aware of itself.

theinformationKnjiga Jamesa Gleicka odjevena je u drugačije, znanstveno-popularno ruho, ali po informativnosti ne zaostaje za knjigom Marca Burgina. Riječ je o autoru koji iza sebe već posjeduje jednu mega znanstveno-popularnu uspješnicu – knjigu o kaosu odnosno teoriji kaosa. Ali i ovoga puta odlučio je priču o jednom intrigantnom fenomenu današnjice (informaciji) ispričati opušteno, daleko od svake strogosti kojoj uobičajeno robuju teorije o istom. Primjerice, spominjući Clauda Elwooda Shannona, tvorca ‘informacijske teorije’, ne bi propustio ukazati i na njegovu sklonost slušanju jazz glazbe, ili stidljivom flertovanju s mladom znanstvenicom iz Istraživačke skupine za mikrovalove Bell laboratorija (u čijem je časopisu na kraju i objavio svoj epohalni rad*). Ali, što ćete, takvo vam je ‘ruho’ znanstveno-popularnog pisanja!

Upravo, u prologu knjige Gleick puno prostora posvećuje ovom inženjeru telekomunikacija za kojeg piše da je za vrijeme rata radio na kriptografiji X Sistema (X System), odnosno održavanju „vruće“ telefonske linije između Churchilla i Roosvelta. ‘Otac’ ‘informacijske teorije’ ‘seciran’ je ne samo na psihološkom planu. Navodi se da je zajedno s Vanevarom Bushom radio na njegovom stroju Diferencijalnom analizatoru. Osim toga, Shannonova doktorska disertacija bavi se primjenom Booleove logike na elektroničke krugove što nije tako daleko od područja kojem će se Shannon uskoro potpuno posvetiti. 1943., piše Gleick, događa se povijesni susret Shannona i Alana Turinga. U neku ruku, saznajemo kako su se svi ti momci, ‘upetljani’ oko informacije tijekom, danas, dalekih 1940-ih, međusobno poznavali. U to doba, Shannon održava odnos i sa Norbertom Wienerom koji će uskoro predložiti naziv kibernetika za znanost o upravljanju i komunikaciji. Naposljetku, pojam informacije, rezimira Gleick u prologu, uvedena je u znanost kao što je to Isaac Newton učinio s pojmovima gibanja, sile i mase. Osim toga, Shannonova teorija izgradila je most između informacije i neodređenosti, informacije i entropije te informacije i kaosa.

Sam početak prologa Gleick započinje osvrtom na dva ključna događaja koja su se dogodila 1948. Jedan je bio izum tranzistora od strane, naravno, opet Bell laboratorija, koji će veličinu tadašnjih računala (koji su znali zauzimati čitave sobe) dramatično smanjiti na razumnu mjeru (a kojom se otprilike susrećemo i danas). Međutim, za isti izum Gleick će ustvrditi:

…[to je] bio samo drugi po redu važan znanstveni događaj te godine. Tranzistor je samo hardver.

Drugi se događaj, naravno, odnosio na objavu Shannonovog epohalnog rada.*

U uvodu svoje knjige, Gleick nastoji ići dalje od prikaza načina na koji su na informaciju gledali pioniri njezina proučavanja. Na jednom mjestu citira Wernera Loewensteina za kojeg fenomen informacije „podrazumijeva kozmički princip organizacije i reda te osiguranje načina njihovog mjerenja“. „Što leži u srcu svakog života … jest informacija, riječi, instrukcije…“ kaže pak ‘memolog’ Richard Dawkins.

Geni imaju svoju kulturnu analogiju – meme. Meme su replikatori i propagatori… ideja… i konspiracijskih teorija.

Ali ako se u igru mogu uvesti ‘meme’, mogu i neke druge ‘čestice’ nevažno kojeg oblika, recimo, infomi. Na ovaj način, primjerice, može razmišljati jedan, u znanstvenom smislu, ratoborni znanstvenik koji je odista spreman kročiti u neistraženo. A za njega, onda, teorija postaje bezgranično područje mogućega…

Za kraj prvog osvrta na Gleickovu knjigu, posebno se zanimljivom čini izjava fizičara Johna Archibalda Wheelera koji za informaciju tvrdi da „daje poticaj rastu svakom dijelu, svakom polju sile, čak i kontinumu prostorvremena.“, nakon koje zagonetno zaključuje: „Mi ćemo naučiti razumjeti i izraziti cijelu fiziku na jeziku informacije.“ Drugim riječima, pridodaje Gleick za sam kraj uvoda, „izum svakog novog medija transformira i prirodu ljudskog mišljenja“.

* U časopisu The Bell System Technical Journal objavljen je članak Claude Shannona „Matematička teorija komunikacije“ (A Mathematical Theory of Communication)

Napravi besplatnu web stranicu ili blog na WordPress.com.

%d bloggers like this: