O I n f o r m a c i j i 2.0 : informacija u teoriji

Siječanj 24, 2015

Entropija u statističkoj mehanici i informacija

IVAN SUPEK: Povijest fizike

Toplina je samo posljedica gibanja molekula, a gibanje molekula – primjerice, plina u kutiji – potiče Drugi zakon termodinamike. To znači da bi i proces ‘miješanja’ molekula na mikrorazini trebao biti nepovratan kao što je to proces u kojemu toplina s toplijeg tijela prelazi na hladnije, a koji zamjećujemo na makrorazini… Ali, kako to izraziti? Isto pitanje postavio je i austrijski fizičar Ludwig Boltzmann i došao do sljedećeg zaključka: zatvoreni sustavi (poput kutije s plinom) iz stanja manje vjerojatnosti teže prijeći u stanje veće vjerojatnosti! Boltzmann je tako došao do veličine entropije u statističkoj mehanici. Za razliku od veličine prirasta entropije u termodinamici koja se proračunava kao omjer ukupno oslobođene topline i prosječno razvijene temperature u procesu, u statističkoj mehanici radi se o apsolutnoj veličini (S) koja svoju vrijednost pronalazi u logaritamskoj relaciji spram vjerojatnosti stanja sustava:

S = k log W

Međutim, postavlja se pitanje što se misli pod vjerojatnošću stanja sustava. Naime, ako su u igri molekule, ne bismo li svaku od njih trebali ‘priupitati’ za njeno stanje i zatim na osnovi neke prosječne vrijednosti svih stanja proračunati ukupno makroskopsko stanje sustava. Da, ali u praktičnom smislu, to se čini nemogućim. Zbog toga su fizičari pribjegli statističkoj zakonitosti koju na jasan i svima razumljiv način elaborira Ivan Supek u Povijesti fizike:

Statistički zakon ne odnosi se na pojedini događaj, koji je neizvjestan, već određuje samo ishod velikog broja slučajeva…
Statistički zakoni zanemaruju gibanje pojedinih atoma i molekula. Oni određuju samo ponašanje golema mnoštva. Statističke procjene govore nam koliko ćemo prosječno atoma ili molekula naći sa stanovitim osobinama. Koji su to atomi, njihova imena i osobni podaci, sve to ne ulazi u statistiku. Statistička zakonitost urezuje opće crte mnoštva, brišući individualne sudbine sastavnih dijelova.

U smislu Drugog zakona termodinamike i statističke zakonitosti, tijelo koje je toplije od svoje okoline reprezentira stanje manje vjerojatnosti. Za razliku od njega, na tijelo jednake temperature s temperaturom svoje okoline puno je izvjesnije da ćemo naići. I to opet samo zato, što Drugi zakon termodinamike ‘propisuje’ da priroda teži ‘izjednačavanju temperatura’ odnosno postizanju vjerojatnijih stanja.

U svojim brojnim derivacijama, gornja formula za entropiju poprima i oblik u kojem je jednaka zbroju umnožaka vjerojatnosti i logaritma vjerojatnosti mikroskopskih stanja sustava:

entropy Dakle, ako je vjerojatnost pojavljivanja određenih mikroskopskih stanja sustava razmjerno velika (recimo da se većina molekula toplog plina nalazi u desnom dijelu kutije s plinom) kažemo da se radi o sustavu s niskom entropijom i obrnuto: ako je vjerojatnost pojavljivanja istih jednaka, a to je slučaj savršeno izmiješanih toplih i hladnih molekula, onda se radi o sustavu s najvećom mogućom entropijom. Gornja formula proračunava točnu vrijednost entropije i kako vidimo, izuzmemo li Boltzmannovu konstantu k (u koju su se, u međuvremenu, ‘povukle’ vrijednosti oslobođene topline i temperature) u potpunosti ovisi o vjerojatnostima mikroskopskih stanja sustava.
Boltzmannova formula za entropiju, dakako, upadljivo podsjeća na Shannonovu formulu za količinu informacije ili neizvjesnosti (uncertainty) odnosno ‘informacijske entropije’. Zapravo, radi se o istim vrijednostima odnosno količinama. Na osnovi statističkog proračuna entropije, Shannon je zaključio da količina informacije i entropija zatvorenog sustava moraju biti jednake. To znači da je Shannonov rad u potpunosti oslonjen na izračun entropije statističke mehanike, a ne na izračun iste veličine rabljene u termodinamici. Tako smo došli do točke u kojoj možemo uspostaviti i dublju poveznicu između ove dvije veličine… [nastavit će se…]

Ožujak 7, 2014

Informacija i entropija

BRIAN GREENE: Holografski univerzum // SKRIVENA STVARNOST

skrivena_stvarnostZašto je ideja holografskog univerzuma važna s informacijskog gledišta? Zato što se u njenoj srži nalazi upravo informacija! Kako je to moguće, objasnit će nam fizičar s MIT-a Brian Greene čije su popularno-znanstvene uspješnice o svemiru učinile da se njegove najskrovitije tajne čine razumljivima i čitateljima koji nisu studirali fiziku ili astronomiju.

Poglavlje svoje knjige o ideji holografskog univerzuma posvećeno, između ostalog i informaciji, Brian Greene započinje prisjećanjem na susret s pokojnim Johnom A. Wheelerom, teorijskim fizičarem, poznatim po izjavi It from bit:

“Jednom prilikom tijekom zajedničkog ručka na Princetonu 1998., pitao sam ga [Johna A. Wheelera] koja će tema po njegovu mišljenju dominirati fizikom u sljedećih nekoliko desetljeća. Pognuo je glavu, što je često činio tih dana pa se činilo da se njegovo ostarjelo tijelo umorilo od tereta tako impresivna intelekta. No tišina je potrajala toliko da sam se morao zapitati ne želi li on odgovoriti na pitanje ili je pak zaboravio da sam ga uopće nešto pitao. Tada je polako uspravio pogled i izgovorio jednu, jedinu riječ: “Informacije.”

Wheeler je predlagao da bi stvari – materija i zračenje – trebali biti od sekundarne važnosti, kao puki nosioci mnogo apstraktnijeg i temeljnijeg entiteta: informacije. On nije tvrdio da su materija i zračenje nešto iluzorno već je samo smatrao da bi se trebali promatrati kao materijalne manifestacije nečega još elementarnijeg.”

Prema takvu stavu, informacija bi bila ugrađena u “plan i nacrt projekta”, a svemir bi se iz te perspektive mogao promatrati kao procesor informacija.

S informacijom usko povezan pojam entropije, Greene definira kao “mjeru procijepa u informacijama između podataka koje imamo (ukupnih makroskopskih karakteristika) i onih koje nemamo (specifičan mikroskopski raspored sustava)”. Drugim riječima, “entropija je mjera mogućih promjena sastavnica nekog entiteta/sustava koje s makroskopskog gledišta prolaze nezapaženo.” Moram priznati da nigdje drugdje nisam naišao na u toj mjeri jasno i precizno objašnjenje ovog inače zakučastog pojma, poznatog iz područja termodinamike koji se javlja i kao jedan od glavnih protagonista Drugog zakona termodinamike. O entropiji, osim na Wikipediji, možete čitati i na sjajnom blogu Nagovor na filosofiju na kojem je njezin autor o spomenutom pojmu zapisao:

Entropija je zapravo … jedna funkcija broja mogućih mikroskopskih stanja koja ostvaruju dano makroskopsko stanje. Smjer termodinamičkih procesa je prema onom makroskopskom stanju koje je vjerojatnije, i to zato što je ostvarivo na više različitih mikroskopskih načina… Smjer termodinamičkih procesa je, dakle, prema većoj entropiji.

Da bi pojam entropije doveli u vezu s pojmom informacije, Brian Greene je posegnuo za očekivanim i pomalo ofucanim primjerom iz područja vjerojatnosti i statistike – bacanjem novčića. Zašto kažemo da je entropija tisuću novčića, razbacanih po podu, visoka? Zato što postoji mogućnost da načinimo veliki broj mikroskopskih radnji s novčićima (recimo, da ih okrenemo na suprotnu stranu), a da s makroskopskog gledišta to prođe nezapaženo. Gdje su tu informacije? Informacije su naravno sadržane u odgovarajućem popisu tipa ‘glava-pismo’ kojim želimo zapamtiti stranu na koju je pojedini novčić pao odnosno na koju je okrenut.  Međutim, upravo na tom mjestu Greene ubacuje u brzinu i rezonira na briljantan način za možda najdublje razumijevanje prirode informacije uopće

[Odgovarajući popis glava-pismo] … to bi mi samo pokazalo detalje konfiguracije… Zanima me koliko je informacija sadržano na tom popisu? Polako se počinjete premišljati. Što je zapravo informacija i što doista čini. Vaš je odgovor jednostavan i izravan. Informacija odgovara na pitanja [tipa DA-NE]. Godine i godine istraživanja matematičara, fizičara i informatičara precizirale su ovaj zaključak. [Nadalje] podatak koji može odgovoriti na jedno pitanje tipa DA-NE naziva se bit… Zapravo, riječ je o kratici za [binarni broj] (binary digit) koji može označavati 1 ili 0 kao brojčane oznake za odgovore DA i NE.

Ako entropiju sada definiramo, ne kao mjeru, već konkretan broj mogućih promjena sustava, u ovom slučaju sustava ’tisuću novčića’, koji ne dovode do značajnije izmjene njegovog makroskopskog izgleda, shvatit ćemo da taj broj iznosi točno 1000 jer se zapravo radi o kaotičnom sustavu, sustavu u kojem se mikroskopske promjene uopće ne zamjećuju. Međutim i broj stavki na popisu kojim smo željeli zabilježiti ishod svakog padanja novčića (glava ili pismo) također iznosi 1000. Primjećujemo da su vrijednosti entropije i količine (skrivenih) informacija u sustavu ’tisuću novčića’ – jednake. To nije slučajno. Na neki način, zaključuje Greene, možemo reći da je entropija mjera sadržaja skrivenih informacija u sustavu.

Napravi besplatnu web stranicu ili blog na WordPress.com.

%d bloggers like this: