正文

此刻的你，接受着我所产生的声音、文字、画面，但你知道我所传递的内容不是这些媒介本身，而是信息。我们时时刻刻都在获取信息，讨论信息。然而到底什么是信息？

01

—

“熵与信息的定义”

定义： 当一件事情有多种可能情况时，这件事情对某人而言具体是哪种情况的不确定性叫做熵，而能够消除该人对这件事情不确定性的事物叫做信息。

熵和信息的关系：数量相等，意义相反。获取信息 = 消除熵。

例1：当小明不会某道数学选择题时（正确答案是C）。

正确答案（宏观态）是 A，B，C，D 哪个选项（4 个微观态）的不确定性就是熵。

宏观态与微观态：这里，正确答案也叫宏观态，而每个可能选项叫做微观态。宏观态是不考虑内部细节的状态，而微观态是考虑具体细节的状态。

例1：生物是宏观态，动物和植物都是生物这个宏观态的一种微观态。

熵与信息的大小： 熵在 A，B，C，D 所有可能情况（宏观态）都是等概率（1/4）时最大，在确定 C 了（实际情况）是 100% 后最小。

信息的种类：能够消除不确定性的信息有三种类型，它们本质都是正确的调整每个可能情况（微观态）的概率。

第一种：能正确的调整某件事情的可能情况（微观态）的概率。

例1：小红告诉小明 “有一半可能性是 C 选项”。

这句话帮助小明将 C 选项的概率调整到了 50%，就提供了信息（0.21 bits）。

括号里是提供的信息量，将在下个视频中讲解如何计算，这里只要能定性的判断什么是信息即可。

第二种：能正确的排除某件事情的干扰情况。

例1：小红告诉小明 “D 选项是错的”。

这句话帮助小明将 D 选项的概率调整到了 0%（0.415 bits），这时小明只需要从 3 种情况里确定实际情况即可。

例2：在此基础上，再告诉小明 “A选项是错的”。

这句话帮助小明将 A 选项的概率调整到了 0%（0.585 bits），这时小明只需要从 2 种情况里确定实际情况即可。

例3：在此基础上，再告诉小明 “B选项是错的”。

这句话帮助小明将 B 选项的概率调整到了 0%（1 bits），只剩下一种情况了，不确定性（熵）完全消除。

第三种：能够直接确定某件事情的实际情况。

例1：小红告诉小明 “正确答案是 C”。

是将 C 选项的概率调整到了100%（2 bits），这句话帮助小明从 4 种等概率情况里确定了实际情况。

非信息：未能消除不确定性不叫信息。

例1：但小红告诉小明 “肯定是ABCD里的一项”（0 bit）。

这句话就没有帮助小明消除任何不确定性，信息为 0 。

在这种定义下，并没有假信息一说。 因为只有能够消除某人对某件事情的不确定性的事物才是信息，因此小红告诉小明“正确答案是 D”提供的信息是 0。

那些不能够消除某人对某件事情不确定性的事物被称为数据或噪音。

噪音是干扰某人获得信息的事物。而数据是噪音与信息的混合，需要用知识将其分离。

02

—

“熵与信息的性质”

媒介无关：同一个观察者，对同一件事情接受到的信息与用于传递信息的信号形式无关。

例1：

视觉信号：小红将写有 C 的 传纸条递给小明，提供 2 bits。

听觉信号：小红告诉小明答案是 C，提供 2 bits。

触觉信号：小红蹬小明椅子 3 次，提供 2 bits。

相对观察者：接收到的信息是相对于观察者已经对该件事情的实际了解程度而言的。

例1：“明天的太阳东边升起” 这句话，

对知道的人而言，提供了 0 bit 信息。

对知道东或西升起的人而言，提供了1 bit 信息。

对觉得东南西北都有可能的人而言，提供了 2 bits 信息。

例2：

小红：会这道题，不管告不告诉小红正确答案是 C，小红对这道题的熵都为 0 bit。 因为观察者已经拥有这件事情的所有信息，不确定性从最初就不存在。

小明：不会这道题，熵为 2 bits 因为观察者没有关于这件事情的任何信息，不确定性最大，他需要从 4 种等概率情况里确定实际情况。

小虎：知道 D 是错的，熵为 1.58 bits 因为观察者拥有关于这件事情的部分信息，不确定性略小，他需要从 3 种等概率情况里确定实际情况。

客观物理量：虽然信息是相对于观察者而言的，但信息是客观的物理量，不随观察者的主观意识改变。只有确定了真正的实际情况时才是信息。

例1：小虎认为 C 是错的，熵就不会降低。

因为这个“主观认为 C 是错的”并没有实际帮助小虎消除事情的不确定性。

相对于事件：信息（熵）还是相对于某件事情而言的。

例1：

小明对“正确答案是ABCD 哪个选项”的熵是 2 bits。

小明对“正确答案属于 AB，还是属于DC ”的熵是 1 bit。

例2：

小红告诉小明“正确答案是 C”为小明确定正确答案提供了 2 bits 信息。

若想告诉别人，小红对小明说了什么，这件事情的熵不再是 2 bits，观察者也不再是小明，而是除小明和小红之外的观察者。

例3：

很多人在思考问题的时候，会不经意间切换所要思考的事情， 或者根本不知道自己要思考什么事情，这会造成怎么想都想不明白。

概率和熵的区别：概率是某件事情（宏观态）某个可能情况（微观态）的确定性，而熵是某件事情（宏观态）到底是哪个情况（微观态）的不确定性。

概率的输入是常量（微观态），熵的输入是变量（宏观态）。

用一句话来说：

信息是从多个可能状态中确定实际状态所需的物理量