answersy.com Blog

什么是熵？一直以来熵被定义为描述混乱程度的一种度量。

熵的定义和“热力学第二定理”有着千丝万缕的联系。 “Entropy is a relationship between macroscopic and microscopic quantities.”熵所描述的是宏观和微观量之间关系。

我们假定有一个封闭的充满空气的屋子，它的微观状态是指空气屋子里所有分子的位置和速度。由于数量巨大，我们通常难以把握全部的微观状态，而只能把握所谓宏观状态：例如屋子里空气的温度和密度。而对应着相同的温度和密度，可能有非常多不同的微观状态。

假定有一堵墙在屋子正中央，墙上有一个可以关闭的门，如果在某一个时刻门关上了，屋子里一边是真空（密度为零），另一边包含所有的屋子里的空气分子的概率是多少呢？两边“密度”和“温度”都很接近的概率又是多少呢？因为对应着“一边真空、一边充满所有分子”的微观状态的数目要远远低于对应着“两边密度和温度很接近”的的微观状态的数目，所以前者发生的概率极低，是极小概率事件，后者是大概率常态事件。

如果每个微观状态发生的概率相等，那么一个系统的热力学熵可以定义为这个系统全部微观状态总数N的对数

S = k_B ln(N)

k_B 称为波尔兹曼系数(Boltzmann's Constant)。 那么，为什么“熵”的定义里有一个取对数的过程呢？原因是对数使得热力学熵成为可加和的物理量。

例如我们有一个系统1有N₁ 个微观状态X = {x₁ , ..., x_N1 }，另一个系统2有N₂ 个微观状态Y = {y₁ , ..., y_N2 }。那么它们合在一起的微观状态有几个呢？要描述新系统的微观状态，应该用一个组合变量 (X, Y)。它的可能取值共有N₁*N₂ 个 。

系统1的熵 S₁ = k_B ln(N₁)

系统2的熵 S₂ = k_B ln(N₂)

联合系统的熵 S = k_B ln(N₁*N₂ ) = k_B ln(N₁) + k_B ln(N₂) = S₁ + S₂

这就是熵的可加和性，熵定义中的对数只是为了方便地满足这个。

更一般地，如果对应着一个宏观的状态的每个微观状态i ，概率为P_i。那么，这个宏观状态对应的熵定义为

验证：当所有P_i 均相等为1/N时，上述S = k ln(N)，即系统全部微观状态总数N的对数。

信息熵的概念由申农Claude E. Shannon 在1948年的论文 《A Mathematical Theory of Communication（通讯的数学原理）》中提出。

它用来描述当一个随机变量X 分别以概率{p(x₁), ..., p(x_n)}取得可能取值 {x₁, ..., x_n} 时，这个随机变量的“混乱程度”。

Trackback URI | Comments RSS