3.用信息論揭示生命中的物理學(xué)
信息是一個抽象的概念。雖然由克勞德·香農(nóng)（Claude Shannon）開創(chuàng)的信息數(shù)學(xué)理論將某些方面形式化了，但它并非對“信息是什么”的完整描述。尤其，我們并沒有一個具體的框架來理解對信息之于物理究竟是什么。信息可以在不同的物理介質(zhì)之間復(fù)制，這意味著它并不是嚴(yán)格意義上只與物理質(zhì)料相聯(lián)系的物質(zhì)屬性。例如，信息可以從作者的頭腦中復(fù)制到這一頁文字上（通過寫在電腦），或者復(fù)制到印刷的紙張上，并最終按照預(yù)期功能復(fù)制到讀者的大腦中（例如這里你閱讀到的）。這些事件在空間和時間上是分離的，并且發(fā)生在完全不同的物理介質(zhì)上。就像許多信息傳輸?shù)睦右粯?，這表明信息不可能僅僅是大腦的化學(xué)濕件、或計算機(jī)處理芯片上的一種屬性。正是在這個意義上，信息才是“抽象的”（同樣人們也可以認(rèn)為“能量”是抽象的，因為它能在不同的物理系統(tǒng)之間流動，并以不同的方式儲存或使用——如化學(xué)能、機(jī)械能等。但相比之下，我們確實對什么是物理上的能量有一個非常清晰的認(rèn)識）。
然而，信息也必然是物理的。為了使信息存在，它必須在物理自由度中實例化（L;auer et al. 1991），因此信息的動力學(xué)取決于物理自由度下動力學(xué)。在生物學(xué)中，信息的作用更為突出，它似乎具有“自己的生命”（Davies;Walker 2016），對生物過程的解釋暗示“信息”本身就具有因果效應(yīng)（Davies 2011）。生命擁有能夠存儲和處理信息的驚人能力，不僅對于理解生命本身的起源（Yockey 2005；Walker&;Davies 2013），對于理解生命系統(tǒng)如何在我們觀察到的時空尺度中組織起來，也是一個具有核心意義的課題。信息傳遞和信息處理通常被認(rèn)為是集群行為背后的驅(qū)動力，例如螞蟻和蜜蜂的尋巢行為（house-hunting）、椋鳥群和魚群的奇妙運動、人類群體中的車道形成等等，直到細(xì)胞群的水平（Franks et al. 2002；Couzin，2009；Deisboeck;Couzin，2009；Moussaid et al. 2009；Couzin et al. 2011）。然而，雖然已被大量實驗和分析研究過，以上這些集群的信息機(jī)制卻往往只以生物體的具體物理量為特征、僅以非形式化方式就被定義了。
4.信息論下形式定義
為超越單純的描述性分析，或具體的案例研究，有必要引入形式化信息內(nèi)容和信息流的方法。物質(zhì)屬性已經(jīng)被量化了幾個世紀(jì)，信息則相對是更新的進(jìn)展，它始于香農(nóng)的開創(chuàng)性工作。在信息論中最基本的量稱為熵，H(x)被定義為（Shannon 1948）：
其中 p(x)是隨機(jī)變量 X 處于狀態(tài) x 的概率。當(dāng) p(x)是所有可能狀態(tài)的均勻分布時，H(X)是最大化的，它通常稱為香農(nóng)熵。香農(nóng)熵可以被描述為你在得知一個事件結(jié)果時可能體驗到的驚訝程度：事件越不可能發(fā)生，你在得知事件時就感覺越驚訝。從這個角度來看，信息的概念與減少不確定性密切相關(guān)，因為一個事件的不確定性越小，你對事件結(jié)果的驚訝程度就越小，它所包含的信息量也就越少。香農(nóng)熵構(gòu)成了信息論的基礎(chǔ)，其它大多數(shù)信息概念和度量都是基于香農(nóng)所發(fā)展的一般信息概念的基礎(chǔ)上衍生出來的。然而僅僅用熵并不能完全體現(xiàn)“信息“的概念，因為信息還需要發(fā)送者和接收者（Adami 2016）。在這方面，信息被定義為給定其它過程下某個隨機(jī)過程不確定性的降低，并由所考慮過程間共享的熵的大小來表示（Cover &p; Thomas 2005），這被量化為互信息（mutual information）：
互信息可以很方便用維恩圖來可視化，即每個過程的熵相互重疊的區(qū)域（圖2a）。當(dāng)考慮某個過程的熵，去掉與其它所有過程的互信息，我們就得到了條件熵：即了解其它所有過程知識時，該過程還剩下的不確定性。因此，互信息度量的是我們從所有其它過程知識中獲得有關(guān)某個過程的信息。
圖2：維恩圖表示的 a 互信息；b 傳遞熵。
互信息也被用來量化存儲在一個系統(tǒng)和/與它各個組成部分中的信息量。最常用的測量方法是超額熵（excess entropy）和主動信息（active information）。超額熵（Crutchfield &Feldman 2003）被定義為一個過程過去和未來之間的互信息，衡量某個過程可以通過觀察其過去的行為來解釋的未來的不確定性；主動信息 A(X)也提供了類似的度量，但它不考慮整個過程的未來，而只關(guān)注和預(yù)測過程中即將抵達(dá)的下一個狀態(tài)（Lizier et al. 2012a）：
?。ㄆ渲?p> 代表 X 中從時間點 n 開始過去 k 個狀態(tài)：{x-+1，...， x-1， x}。）
雖然互信息允許定義和量化信息，但它只是一個對稱的量，不能捕捉到隨機(jī)過程之間的方向性關(guān)系（如信息傳遞）。為克服這一信息量化處理的局限性，Schreiber（2000）引入了傳遞熵（transfer entropy）的概念，它是給定某個隨機(jī)過程過去（如歷史信息）和一個或多個其它過程當(dāng)前知識了解下，對該過程未來狀態(tài)的不確定性減少的一種度量（Schreiber 2000; Kaiser &;Schreiber 2002）：
其維恩圖表示如圖2。傳遞熵利用時間方向性來克服互信息對稱性的限制，它是對兩個或多個過程之間的定向傳遞的預(yù)測信息的度量（Lizier&Prokopenko 2010），因此也不一定就意味著因果作用（James et al. 2016）；但它的逐點變量（point-wise，或局部變量）可以為集群行為的時空動力學(xué)提供有用的洞見（Lizier et al. 2008b）。