信息时代已经过去70年了，你只需花3分钟就能理解背后的大BOSS——香农定律。
众所周知，瓦特改进了蒸汽机，将人类称为“蒸汽时代； 麦克斯韦提出的电磁理论，使人类从蒸汽时代跨越了电力时代。
而第三次信息革命，香农提出的香农定律吹响了变革的号角。
1948年，香农定律被提出，信息论的确立被标准化了。 美国之所以能在全球经济中有发言权，除了强大的军事力量外，还依靠香农定律建立的全球技术标准，使美国成为新帝国的垄断者。
从1G到4G时代，美国是主导者，但到了5G时代，以华为为代表的中国企业异军突起，争夺5G的全球领先地位，也是美国愤怒的原因。
无论如何，从技术的角度来看，主持人只有一个。 那是我刚才提到的香农公式，那才是5G幕后真正的大老板。
香农定律诞生70年，是时候理解它了。
1850年克劳斯从热机效率出发，认识到正转换(功到热的转换)可以自发地进行，而负转换)热的转换不能作为正转换的逆过程自发地进行。
负转移的发生需要同时伴随正转移，正转移的能量大于负转移实际上意味着自然界的正转移是不可恢复的。
于是，克劳斯在论文中写道：“如果没有某种动力的消耗或其他变化，就无法使热量从低温转移到高温。
“这个定律被称为热力学第二定律。
克劳修斯在1854年的随笔《关于热的力学理论的第二基础定理的一个修正形式》中提出了新的物理量来解释这一现象，1865年正式命名为熵，用符号s表示。
由此，克劳修斯提出了热力学第二定律的另一种表达方式。 也称为熵增加原理，那就是在不可逆热力学过程中熵的微增加量总是大于零。
在自然过程中，一个孤立系统的总混乱度，即“熵”不会减少。
简而言之，孤立系统的熵绝不自动减少，熵在可逆过程中是不变的，在不可逆过程中增加，非常清晰地指出了不可逆过程的发展方向。
熵增原理是热力学第二定律的另一种表达形式，但具有更深的含义，创造了“熵”的概念。
1865年，热力学创始人之一克劳修斯将熵增原理(熵增原理是热力学第二定律的另一种表现)应用于无限宇宙，提出了“热寂说”。 熵增原理是指孤立热力学系统的熵不减少，而是始终增大或不变。
它被用来指示孤立系统的演化方向。
表明孤立系统不可能发展到低熵的状态，不会变得有序。
(孤立系统是指系统和环境之间既没有物质交换也没有能量交换，因此称为孤立系统) )。
寂说将熵增加的原理扩展到整个宇宙，把整个宇宙看作一个孤立系统，认为宇宙的熵趋向极大，最终达到热平衡状态。 也就是说，宇宙中任何地方的温度都是相等的。
麦克斯韦听完热寂说后，脑洞立刻张开了。 首先，我们从概率统计的角度认真考虑了这个假设，发现对于宇宙这个“开放系统”来说，在一定条件下，一定存在着看起来“违反”热力学第二定律的机制。
1871年，他在《热理论》这本书的最后一章《热力学第二定律的限制》中，设计了有名的“麦克斯韦妖”( Maxwell’s demon )虚拟存在物。
在麦克斯韦构想中，麦克斯韦妖有极高的智能，可以追踪每个分子的下落，分辨出各自的速度。
这个理想的实验如下。
“温度均匀充满空气的容器中的分子，运动速度并不均匀，但我们知道任意选择的大量分子的平均速度几乎完全均匀。
假设你把这样的容器分成两个部分。 A和B设想的是边界上有小孔，可以看到各个分子的存在物。 打开和关闭那个小孔，让只有快的分子从a跑到b，慢的分子从b跑到a。
这样，在不消耗功的情况下，b的温度上升，a的温度下降，与热力学第二定律矛盾’。
而且，这个存在物是“麦克斯韦妖”，精灵掌握并控制着高温系统和低温系统之间的分子通道。
它利用了分子运动速度统计分布的性质。
因为根据麦克斯韦分布，即使在低温区，高速分子也不少，高温系统中也有低速分子。 通过这样可以控制分子运动的小精灵，在两个系统的中间设置了门，只允许高速分子从低温向高温运动，低速分子从高温向低温运动。 “小恶魔”的管理方式，两边的温差逐渐变大，高温区的温度越来越高，低温区的温度
麦克斯韦认为热力学第二定律是正确的，只有当我们能处理的只有大物体，不能看到也不能处理构成物体分离的分子时，才应该限制热力学第二定律的应用范围。
1929年匈牙利物理学家利奥拉希德研究麦克斯韦妖怪时，简化了麦克斯韦设计方案，建立了单分子版的实验模型。
吉拉德首次将信息的概念引入热力学循环。
精灵以获取信息为目的，可以知道分子在左边还是右边，但在获得该信息的过程中会消耗能量，从而增加整体的熵。
如果把这个效果包含在热力学循环中的话，热力学第二定律不会被违反，麦克斯韦妖会被斩杀！
吉拉德第一次认识到了信息的物理本质，把信息和能源消费联系起来。
可以说是为之后的信息论奠定了基础。
我们知道，从人类诞生之初，信息就诞生了。 例如，古代猿人用声音告诉同伴狩猎成功了。 这也是信息。
但是，几千年来没有一个科学家对信息进行过系统研究。
人可以获得和认识自然界和社会的不同信息，区分不同的东西，从而认识和改造世界。
在所有的通信和控制系统中，信息是一种普遍的联系形式。
信鸽
而香农对信息的认知开创了人类的先河，彻底颠覆了人类的认知。
香农是个天才，从小就沉迷于数学，热衷于解答姐姐凯瑟琳交给他的数学题。
22岁时，他发表的硕士论文《A Symbolic Analysis of Relay and Switching Circuits》 (继电器和开关电路的符号分析)震惊了世界。
他注意到了电话交换电路和布尔代数之间的相似性。 也就是说，将布尔代数的“真”和“假”与电路系统的“开”和“关”对应起来，用1和0表示。
于是他用布尔代数分析并优化了开关电路，这为数字电路奠定了理论基础。
如果德布罗意的博士论文是世界上最伟大的博士论文，那么香农的这是世界上最伟大的硕士论文。
但是香农确实是个非常有趣的人，获得了杂耍学博士学位很高兴。 即使到了晚年，人们也热衷于展示各种各样的小东西，就像自己敲的一样。
玩杂耍的香农
香农在贝尔研究所为美国情报部门工作多年，英语中信息和信息英语都是“information”。
这使他对信息有了独特的理解。
当时香农就信息的本质和通信的理论局限性进行了研究和探讨，比如什么是信息，如何用数学方法定义和测量信息，数据压缩和数据传输能达到的极限在哪里等。
香农认为信息是可以用来消除不确定性的东西。 举个不太合适的例子吧。 我不知道这次考试的分数是多少，但是老师给我发了信息。 我马上决定不告诉妈妈这次的成绩。 这实际上是获取新信息和消除不确定性的过程。 这个过程可以看作是信息论原理的具体表现。
香农原本打算用“不确定性”( uncertainty )直接表达这个概念，但这个概念太模糊了，不确定性到底指什么，其含义是什么，很难理解。
当他和冯诺依曼讨论这个问题时，冯诺依曼对香农说：“应该把它称为‘熵’。
给出了“不确定性”概念已经用于统计力学，以及谁也不知道“熵”是什么，无可争辩的两个理由。
因此，香农熵就是由此产生的。 香农指出信息熵是消除不确定性所需的信息量尺度，即未知事件中可能包含的信息量。
信息熵用于衡量信息量的大小。
不确定性越大，信息量越大，熵越大。
不确定性越小，信息量越小，熵越小。
一直以来，克劳斯提出的“熵”，最初只是描述“能量退化”的物态参数之一，只是可以通过热的变化测量的物理量，但香农一手打开了信息时代的大门，那
信息熵公式
香农基于席兰德提出，信息是负熵，麦克斯韦妖将负熵输给系统，即降低了熵，增加了有序性。
信息的获取需要能量。
物体间的相互作用在系统内不会降低系统的不确定度，因此没有信息作用。
信息是对系统的观测，是外界对原系统的作用。
信息的本质是“意义”的载体。
1948年10月，香农在《贝尔系统技术学报》上发表了论文《A Mathematical Theory of Communication》 (通信的数学理论)。 这是现代信息论研究的开始，文章系统论证了信息的定义，如何量化信息，如何更好地编码信息。
在这些研究中，概率理论是香农使用的重要工具，并且正式提出了信息熵的概念，通过测量信息的不确定性，解决了如何测量电报、电话、无线等信号信息量的问题。
除此之外，香农还自己用“比特”制作测量信息的单位。 现已进入米、公斤、分的行列，成为日常生活中最常见的维度之一，是计算机最小的数据单位。
例如，“小编真的很厉害”这7个汉字共有112bits，一个汉字是2字节，一个字节是8bits，一共7*2*8bits。
香农的厉害之处在于一个理论的创始人把我们带到了一个新的起点，而香农创立信息论时，直接定义了它的终点。
只要你还在古典信息论的框架内，你就逃不出三大定理的范围。 我们正全力以赴前往技术山顶，香农在山顶等着我们。 即使是现在被认为非常先进的5G技术，实际上也没有突破香农理论的极限。
我们真正关注的是香农信息论，它以概率论、随机过程为基本研究工具，研究广义通信系统的全过程，而不是全过程，侧重于编解码，关注的是最优系统的性能以及如何达到这一性能。
香农熵解决了如何测量电报、电话、无线等信号信息量的问题。
但是如何在电信中进一步提高信道容量呢？ 也就是信息传输速度的上限，也就是“香农极限”。
在信息论中，由于有噪声信道编码定理，所以噪声会干扰通信信道，但在信息传输速率小于信道容量的前提下，有可能以任意低的错误概率传输数据信息。
通信信道的信道容量或香农限制是指在给定噪声标准下，信道理论上的最大传输速率。
因此，在这篇论文中，香农提出了信息论的基础，也是关于信道容量计算的经典法则——香农法则。
这是迄今为止大多数现代通信理论都是基于这个公式展开的。
指高斯白噪声背景下连续信道的容量
=
( b/s )。
这里，b为信道带宽( Hz )； s是信号功率( w； n0是噪声功率谱密度( W/Hz )； n为噪声功率( w )。
香农定理揭示了信道信息传输速率上限(比特每秒)与信噪比和带宽的关系。
各种现代无线制式由于带宽的不同，可以解释所支持的单载波最大吞吐量的差异。
c为单一信道的信道容量，为该信道中的信息传输速度的最大值。
建立一点输入、一点输出的通信通道(我们称为通道)后，该通道每秒最多能传输多少比特的信息量？ 如果信息速率超过信道容量，则无法传输该信息。
可以简单地理解为b是每个信道的带宽，并且是被分配给一个信道的可用频率范围的一半； s是发送信号的平均功率，n是噪声或干扰信号的平均功率。
如香农公式所示，为了对单个信道增加信道容量c，只有三种方法，即，增加带宽b、增加信号功率s或者降低噪声或干扰信号的功率n。
如果简单地将信息通道视为城市道路，则该道路上的单位时间交通量受到道路宽度和车辆速度等因素的制约，在这些特定的制约条件下，单位时间的最大交通量被称为极限值。
根据香农定理，由于受几个固有规律的制约，任何信道都不能无限提高信息传输速度。
从香农的公式可以看出，为了提高信息的传输速度，提高信噪比和带宽很重要。
香农定律为信息时代指明了道路，上世纪60年代美国贝尔实验室等提出了蜂窝系统的概念和理论，但由于硬件的限制，于70年正式发展成为产业化。
移动通信转型几乎同时在北美、欧洲和日本展开。
1978年，美国贝尔实验室成功研制出全球首个手机系统AMPS，标志着1G时代的到来，世界正式进入信息时代，信息技术革命正以美国为中心向其他国家蔓延。
香农定律示出了虽然以单个信道的功率为代价会减少单信道的容量，但是这种减少将导致信道的数量的增加。
因此，即使牺牲一定的带宽，稍微提高噪声，稍微降低信号功率，如果能够增加输入输出信号之间的区分，也有可能提高信道的总容量。
这正是5G的另一个关键技术，是非正交复用技术( Non-Orthogonal Multiple Access，NOMA ) )的原理的基础。
而从1G到5G的过程，正是香农逼近极限的过程。
香农公式是整个信息时代规则的制定者，它是至高无上的上帝，也是美国平衡世界的终极法器。
但是，随着时代的发展，我们知道了香农定律中无比的奥秘。
因此，在5G世界上走在了世界的前列。
也许这个新帝国的垄断者也应该易位！