Entropy Note

信息熵是信息的不确定性(Uncertainty)的度量,能够消除该人对这件事情不确定性的事物叫做信息


什么是熵增


熵这个词最早是来自于物理学,根据热力学第一定律,能量是守恒的,可以互相转化(比如机械能转化为电能),而不会消失。热力学第二定律进一步指出,虽然能量可以转化,但是无法 100% 利用。

在转化过程中,总是有一部分能量会被浪费掉。“有效能量” 指的是,可以被利用的能量;“无效能量” 指的是,无法再利用的能量,又称为熵。所以,熵就是系统中的无效能量(无序性导致)

这个过程,就是一个从有序回到无序的过程

熵增,在微观状态下完全由概率决定的事情在宏观状态就成了必然。

因为熵自发减少的可能性是如此之小,以至于自从宇宙诞生到现在所有的分子运动的尝试中,始终无法找到一个幸运的系统或者分子能够自发的熵减。

熵之所以必然增加,没有动力或者能量的原因,是因为熵减少的概率,或者可能性小到可以忽略不计。

熵的微观失效宏观有效是统计力学系统微观量波动的本质。


社会中的熵增


牛奶和咖啡问题

熵增的深刻本质体现在人类生存的各个方面。它涵盖了有关宇宙模糊起点的问题。还有一个关于牛奶和咖啡的问题:你面前有一杯非常热的咖啡,如何在 5 分钟内尽快喝完。

是应该先在咖啡中加入适量的冷牛奶,然后让咖啡静置 5 分钟。还是让咖啡静置 5 分钟降温后,再导入适量的牛奶?

如果我们熟悉热力学第二定律,这个问题就会很简单:由于热咖啡和环境中的空气之间的热交换率取决于它们的温差。即温差越高,交换率越快。

在 5 分钟的等待期内,如果我们最初不将冷牛奶添加到咖啡中,那么热量会以更高的速率传递到空气中。如果我们在一开始时就加入牛奶,而不是在 5 分钟结束后,那么能量的转移将减慢,这种方式咖啡就会冷的更慢。

结论

因为到 “无序化” 代表着混乱(实质是随机运动),可以得到三个重要结论:

结论 1:如果没有外部能量输入,封闭系统趋向越来越混乱(熵越来越大)

比如,如果房间无人打扫,不可能越来越干净(有序化),只可能越来越乱(无序化)。

结论 2:如果要让一个系统变得更有序,必须有外部能量的输入。

第二定律规定水只能流下山。物体本身不会上坡。如果我们希望水能够上坡,我们必须提供外部能量来将水泵送到山上。

结论 3:当一个系统(或部分)变得更加有序,必然有另一个系统(或部分)变得更加无序,而且 “无序” 的增加程度将超过 “有序” 的增加程度。

体现

上面三个结论在物理学上是很明显的。假设一杯冰水,如果没有外部能量输入,在常温下冰块将会融化(结论 1);要让它变得更冰,必须有外部能量的输入(结论 2);当它变得更冰的同时,周围的温度一定会升高(结论 3)。

除了在物理的世界,在社会以及商业的世界,熵增也就是无序,也不可避免。创业阶段,所有人齐心协力,从混沌和混乱中杀出一条生路,这是一个从无序到有序的过程。成长阶段,公司不断成熟和发展,抓住更多机遇做强、做大。

这是一个从初步有序到更加有序的过程;成熟阶段的时候,一些问题就会出现。比如部门之间开始各自为战,争夺利益;企业变大之后开始官僚主义,企业效率低下;整个组织结构也越来越臃肿,创新能力下降等等。

同样,如果没有有能力和见效的管理,没有精力组织和交易,企业就会失败,成为熵的受害者。

许多大公司走向灭亡,正是无法控制熵增,企业产生无序。因此,很多优秀的企业家都在思考如何让自己的企业减少熵的增加,反熵增。


如何反熵增


亚马逊的创始人贝佐斯在 1998 年亚马逊致股东信里出现了 “反熵” 一词。他说:我们要反抗熵。而这也支撑是亚马逊成为千亿市值公司的重要理念之一。

亚马逊的 CEO 贝佐斯不在意囤积公司利润,更在意 “自由现金流”,就是要不断地让钱流动起来。

同时贝佐斯不断进军新的领域,甚至是看起来和公司主营业务相竞争的领域。比如,最终成为 AWS 云服务、FBA 物流体系这样的明星服务,一开始都是看似与主营业务相悖的。

贝佐斯的一个思路是,当把公司内部的业务塑造成一个商业化的对外服务时,它就要面对市场竞争,并不断打磨自己的服务,最终提高自己的核心竞争力。其实这正是一个开放的系统,不断地和外界交换能量的过程。不断反熵增的过程。

想要反熵增,对于 “熵”,有一个重要的前提条件——熵增是发生在封闭系统之内的。所以,避免熵增的有效方法就是,建立一个能和外界不断进行能量和物质交换的、流动的开放系统。

这个开放系统的学名叫 “耗散结构”,这是一位叫普利高津的科学家提出的,他也因为提出这个理论获得了 1977 年的诺贝尔化学奖。

进一步解释就是,流动的开放系统之所以能避免 “熵增”,是因为在与外界的交换中,会使得整个系统产生耗散,同时产生负熵。

因此,在抵消的过程中,系统就能从原来转向无序状态的趋势转变为有序状态。

在这里面,有两个最关键的条件:

1. 这个系统必须不断地远离平衡,不能静止,不能沉寂

耗散结构理论强调非平衡态是有序之源。这一点也明显的体现在企业发展的过程中了。

比如,中国各地推行 “裁员增效”,提出“竞争上岗机制”,那么这种“竞争” 就是一种非平衡态,具体体现在企业内部,它也是存在的。

工作人员为了获得更高的工资或使自己级别职称得到提升,会更加积极地努力,扩充自己的知识,提高自己的业绩。最终会使企业的整体生产效率得到提高。

2. 这个系统必须是个开放系统。

孤立、封闭的系统,是无法产生熵减的。开放系统是产生耗散结构的前提。

对于一个企业而言,“开放” 是至关重要的,它需要与外界环境永不间断地交换。比如需要采购外界的生产资料,从外界购进先进的技术设备,企业需要受到国家法律法规及政策的制约,需要受到工商局的监督,受到税务部门的审核并按时纳税。

为了正常赢利和发展,企业需要时刻关注同类产品市场中的竞争对手,从而采取相应的竞争策略,企业需要以各种途径了解消费群体,与之发生有效沟通,从而采取相应的营销策略等等。

这也是今天我们看到为什么那些伟大的公司不断强调开放性、赋能员工的原因。

掌握熵增思维,将有助你理解最开始的那些问题。最浅显的道理是:只要你不付出,事情就会越来越混乱。

除此之外的启发还包括:

  • 个体和行业都是趋向于无序化
  • 不断引入流动性和借助外力来减熵
  • 另外,信息是负熵,所以我们应该多摄取信息,特别是结构化的知识,负熵更高。

对于企业来说,要时时保持开放的发展心态。对外,不断了解市场变化,用户需求,新的技术政策。对内,要激发员工活力,激励员工良性竞争,为企业的发展提供更高的推动力。

对于个人来说,要时刻清楚世界是在一直变化的,原地不动就是在退步。根据第二定律,时间是不会倒流的。在不断前行的时光中,不间断地学习和了解新世界新变化,才能实现向上提升的人生格局。


信息熵


语言是人类社会特有的一种信息传递媒介,为了使有限的语言形式负载尽可能多的信息,千百年来人们一直“语不惊人死不休”。从信息学的角度看,“惊人”的话语就是让听者或读者产生信息的不确定性,进而引起好奇和注意,最后消除信息的不确定性从而获得的信息量,信息学上称为“信息熵”。

熵在信息论中代表随机变量不确定的度量,发生概率越高的事件,其所携带的信息熵越低。极端案例就是“太阳从东方升起”,因为这是确定事件,所以不携带任何信息熵。从信息论的角度,认为这句话没有消除任何不确定性。而高熵值具有引起“信宿”注意的功能。

但是,语言形式过分的“惊人”则容易把人“吓死”,因为人们对完全陌生的形式会产生漠然而疏远的态度。因此,晦涩、生僻、怪诞的形式容易阻塞信息通道,使信息产生滞阻性,信源发出的信号不能在信宿那儿转化为信息。


信息熵的三条特质


单调性,即发生概率越高的事件,其所携带的信息熵越低。极端案例就是“太阳从东方升起”,因为为确定事件,所以不携带任何信息量。从信息论的角度,认为这句话没有消除任何不确定性。

非负性,即信息熵不能为负。这个很好理解,因为负的信息,即你得知了某个信息后,却增加了不确定性是不合逻辑的。

累加性,即多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和.

0%