本文写于2016年末，作为《脑科学与人工智能》一课的作业
引言
人工智能领域自惊艳出世以来已有几十年的历史，经过长久的蛰伏和起伏，在这两年徐徐展开渐至高潮的宏伟篇章。对人工智能的探讨是一个复杂的深奥的话题，我想选择人工智能与生物接壤的一个小角度，谈谈我对智能的理解。
脑科学与人工智能有着天然的交叉，虽然很多做技术的人并不懂得古老又崭新的神经学知识。我们的大脑确实格外神秘，我们的大脑有上千亿的神经元，还要再多上几个数量级的突触。这个数量虽然远远不如广袤的宇宙中行星的个数，但也足够赋予渺小的人类畅想的资质和勇气。思考本身就是个值得思考的有趣的话题，然而这类话题往往陷入人择原理的尴尬处境。人脑是如此复杂精细的结构，以至于我们用还原论的方法研究至今还进展尚浅，甚至也弄不明白人工智能和大脑结构究竟哪个能更快地弄明白原理。因此我想稍微降低一些难度，也是受到宋老师的启发，从智能的角度思考，试图像数学家和物理学家那样，思考得更基本一些。
简单与复杂
智能、生命的定义是什么，是一个不止由生物学家专有的宏大的问题。薛定谔就曾经写过令生物学家折服的小册子《生命是什么》，其负熵的概念颇有新意，只是那个时候意识和智能并没有被摆到很高的位置，而如今身体其他部位问题的解惑愈发加重了人们对于智能和意识的兴趣，我甚至觉得意识和智能就是万物之源，自然真理乃至永生之匙。
一门自称为科学的学科总是试图用尽可能少的通行的原理构建体系。物理学家苦苦寻觅统一基本作用力的终极理论，生物学家却不得不一开始就面对真实世界的复杂的模型。Paul Nurse曾经评论道：要真正理解细胞系统的复杂网络，可能不得不进入一个更抽象的陌生领域，这个领域更适于进行数学分析。
自从洛伦兹在分析天气问题时搞出来一套混沌科学的想法，这套神奇又诱人的理论就格外深入人心，人们可以把简单至三体问题复杂至生物系统、经济社会等各种问题代入其中并且摊手摇头。过去我们习惯于研究生物化学中的平衡状态，但是平衡态意味着寂静和死亡，生物系统中存在着大量的非平衡态，正是在非平衡态中得以产生秩序与结构。
大脑是无可置疑的复杂系统，神经元的立体连接，不同化学物质的复杂作用让整个系统复杂得让人心碎。随着连接组学等学科的深入发展，有更多的理论工作者开始努力阐释系统的原理。我们希望系统是尽可能简洁的，纵然结果并不简洁，但是希望源头是简洁的。就像四种基本作用力和精确的宇宙常数带来的宏大的宇宙，机械决定论畅想过拉普拉斯妖这样的预言家。现在我们知道仅从物理角度是不够拼凑出真理的全部的，那么我们还需要多少尽量简单的东西呢？
简单可以产生让人炫目的复杂，比如冯诺依曼提出的元胞自动机。就是一种简单的对真实世界的模型化建构。通过简单的非线性函数的耦合，元胞自动机可以产生极端复杂的结果。比如规则为184的自动机，可以描述交通流、模拟晶体生长。规则30可以产生混沌，用来做伪随机数发生器。最强大的110，被证明具有图灵完备性，具有通用的计算能力。110也许是目前最简单的通用计算机了，可以计算自然界能够计算的复杂性的上限。Wolfram大胆地提出了新的自然定律，指出自然系统不可能产生不可计算的行为。自然界中各种过程实现的计算在复杂程度上都是本质等价的，没有比通用计算机所能进行的计算更复杂的了。
元胞自动机的规则如此简单，却能产生如此复杂的强大的结果让人振奋。如果，人脑也是这么简单就好了，或者，稍微复杂一些，但是逃不过一些简单的规则的组合，只是这些规则的非线性乃至量子性像一团薄雾蒙住了我们的眼睛，这样的迷雾我们是不怕的，人类对简洁的天然的追求总会为我们拨云见日，揭示复杂背后的简单。
从简单到复杂：描述智能的临界态
人工智能已经在很多领域取得了成就，语音、视觉、自动驾驶、语言、博弈等等领域。
但是遗憾的是每个机器学习的系统只能解决特定问题，并不像人类大脑经过简单学习学会新的东西，通用的智能似乎是计算机很难实现的。
通用的智能是否有方法进行描述？人工智能解决某个具体问题，我们总能找到一个标准去判断其好坏，比如下围棋，视觉、语音识别准确率。那么通用性的评价标准是什么呢？
在《临界：智能设计的原则》一书中有这样有趣的观点：
把智能/人工智能定义为在任意环境中找到最优解的能力。
这种神奇的能力，在我看来受到一些更基本的原理的影响：比如对称性，最小作用量原理和熵。比如很简单的例子：一个粒子在盒子里自由运动，一旦撞到壁游戏就结束，那么最安全的，选择最多的位置就是正中央；当单摆恰好直立时，有两种不同的摆动方向，这位它自身提供了最大的未来的可能性，虽然它本身会处于一种不稳定平衡的状态。而当系统变得复杂的时候，这种不稳定的最大化可能就很容易维持了。
比如在鸟群或者昆虫群的集体运动中，要让未来有更多的可能性，鸟群的可能性包括更多的食物和对捕食者的应对，当未来有无穷的可能性时它们仍然有办法做出响应。一个天然的想法是无限可能性=每个粒子完全随机，其实这个想法是不对的，完全随机意味着可能性的急剧降低，系统的统计学指标会趋于完全确定，而完全的有序当然也不是可能性最多的选择。只有在处于某种临界态上，群体可以维持完整的同时每个粒子个体可以感受到未来刺激，并且在整个群体中产生长程的效应，微小的扰动就可以在群体中产生剧烈的响应。这样的性质是临界态的重要特点，这样的临界态才是对应于未来可能性最大的状态，也就是智能的状态。这个例子很好理解，看一下鸟群和海洋中的鱼群是如何在空间中做出令人炫目的群体运动就可以有最直观的感受了。完全的无序和完全的有序都不是最大化未来可能的选择，真正的选择应该是自组织临界态。
未来选择最多的状态应该是处于对称状态，可以发生对称性破缺；从动力学角度看，应该停留在分叉点或者中间转变态的点。某个对称性消失，系统就可能产生转变。在临界态附近系统会表现出既不完全随机也不完全有序的状态。两个晶体的温度差距可以非常小，但是图案样式可以有非常大的变化。临界态的图像的构象上有自相似的特性，图案上有分形的结构，这是临界现象的特点。
沙堆模型与森林大火
桌子上放着一些沙子，沙子还比较少，不断增加沙子之后沙堆的斜坡的斜率会增加，但是不会无限增加，我们从来没有见过九十度的沙堆。当沙堆的斜坡斜率小于某个值，不断加沙子就会增加斜率，而达到某个值之后，不管怎么加沙子，尽管斜率会发生一些微小的变化，但是会维持在一个临界的斜率，它不需要我们用某种智能的方法维持就会自发维持，这就是沙堆模型，这就是能让系统自动保持在临界态附近的最简单模型。
我对沙堆模型感兴趣的原因之一是我的实验室老板(2016年)汤超教授也是该模型的发现者之一。这个模型有非常非常深刻又广泛的内涵。当我们去研究简单的东西（比如沙堆）时却能发现深刻的规律的时候，我们就会不禁去想，这背后应该有什么非常有趣的规律。
沙堆模型是非平衡物理中非常简单又深刻的模型，沙堆不断流入的沙粒可以看做系统对外界能量和信息的吸收，从而使自己维持在自组织临界的状态，这个模型是具有普适的意义的。前面从简单到复杂的模型已经让我们意识到，自组织临界的维持是需要条件的，沙堆模型向我们很好的演示了这一点，而这样的思想与生命拥有的智能不谋而合：我们正是依靠摄入能量和信息来抵御熵增，避免生命走向彻底的无序。
一粒沙子也可以改变整个系统的临界态。有可能造成巨大的崩塌的，也有可能没有什么影响。接下来再放的沙子又有可能恢复系统的临界态，也就是说沙子会造成系统的崩塌，但是系统的临界态还可以保持在很小的范围内。如果沙堆还没有到达临界态上，放上一粒沙子我们就可以很确定地说沙堆不会发生崩塌，而达到临界态之后沙堆有可能发生任意规模的崩塌，这也就是我们前面说的最大未来可能性。至于发生多大规模的崩塌，几位专家很容易地统计出来，沙堆崩塌规模的大小与概率符合幂律分布。
如果在临界状态下，外界不做干预的情况下沙堆的未来是无法预知的，而非临界态时的未来是可知的，这也是我们前面说的最大化未来可能。地质学家很快发现，地震震级与发生概率也符合幂律分布，地壳的活动可能也处于自组织临界的状态，这也是地震等灾害难以预测的原因。沙堆模型也是一种特殊的元胞自动机模型，有很多相关的研究。
不但许多自然现象里蕴含着沙堆模型，更贴近生命与智能的例子里也蕴含着这样的思想。鱼群的游动受到的扰动与一条鱼的速度分布符合幂律分布，人群的合作也可以与沙堆模型类比。一个沙子扰动附近的沙子的分叉行为就符合分形产生的规则，如果有初始状态的确定，这个结构还可以不断增长，比如生物发育中三个胚层的发育。
生物/智能“自发选择”的符合自组织临界的特性让人欣喜，我们可以考虑把研究生物智能问题和研究系统自组织问题融入一体，从简单的动力学和统计学角度去思考智能的特性，这无疑是很好的结果了。
森林大火与大脑的临界态
森林大火模型与沙堆模型以一些相似性。一棵树的燃烧可能造成周围格点，也就是其他树的燃烧，这与沙子掉落导致斜率超过临界值带来的崩塌是类似的。不同之处在于：沙堆可以继续放沙子，而森林大火刚刚燃烧过的地方是不能再燃烧的，这种本来就是自然的特性的东西显然与生物模型更符合！稍微考虑一下就会想到，这可以与生物的不应期对应，这在大脑的功能中是重要的。因此研究森林大火的统计性质，从某种程度上也是在研究大脑神经活动的统计性质。
何帆先生曾经写过一篇政治杂文，用森林大火的模型研究政治现象（可见这种朴素普适的想法是很容易被人接受的），他提出如果不断地掉落一些小的火种，让森林部分燃烧，这样森林虽然燃烧一部分，但是火灾规模都不大，如果平时不燃烧，那么系统有小概率产生大的火灾的时候就很糟糕了，这里面想讲的政治道理其实已经比较明显了。
森林可能不是一年四季都处于临界状态的，何帆先生先放一把火的做法就让森林不那么容易发生火灾了，这就是让系统偏离平衡态的方法。雨水很多的地方不易发生火灾，可以被称为亚临界状态，如果非常干燥极易发生火灾，可以被称为超临界状态。
超临界状态也是系统和生命常见的状态。如果崩塌中有正反馈，一个崩塌就越容易造成崩塌，就像马太效应一样。正反馈的直接效果会带来要不然不崩塌要不然剧烈崩塌的双稳态。
其实这个现象是非常容易发生的，在非理想情况的沙堆实验中，沙子落下时会带有一定冲击力，沙子掉下时就会造成本来不至于崩塌的地方也崩塌，也就是说沙堆会处于某种超临界的状态，这种正反馈的效果就是真实实验观察时发现了很多巨大的崩塌。
换句话说，在沙堆实验中只要给系统一些正反馈，就会使系统处于一种超临界的状态下，使系统要不不崩塌要不产生巨大崩塌，这种状态就是双稳态。因为沙堆的崩塌是连带性的，因此一个崩塌区域是连城一片的，所以真实的沙堆模型可能就没有抽象的理论中那么复杂的分形结构。
下面是针对大脑神经活动的思考。图灵曾经有过一段深受时代影响的对机器思想的论述。他从原子弹的原理受到启发，提出人类的大脑输入的想法就像反应堆外界轰击的中子，这些中子会造成我们大脑的反应，这些反应可能会逐步消失，但是过量的轰击甚至会导致反应堆解体。图灵进一步提出了不具有真正思想的动物的大脑可能的情况：动物的大脑处于亚临界状态，输入想法则回到静息状态，而人类的一部分思想处于超临界状态，给一个想法可以创造出无穷无尽的想法。图灵很自然地就提出，想让机器拥有智能，就要让机器也拥有超临界的状态。
然而图灵的想法有两个重大的失误，这种设想并不直接对应于神经的活动，超临界状态也并不是最好的选择。超临界状态只有两种结果：大的崩塌或者小的崩塌。如果大脑真的出现超临界状态，比如大脑大范围的神经放电，这种现象就对应于癫痫。（当然超临界状态也许会给人一些因祸得福的好处，比如近乎“疯狂”的创造力）到了八九十年代，提出沙堆模型的bak在一个神经科学会议上提出，人类的大脑应该是临界态的，虽然当时没有办法进行实验验证，但是如今我们已经有非常多的实验证明大脑确实处于临界状态。
从小尺度上，我们可以观察到与沙堆模型相似的神经雪崩，一个神经的兴奋造成周围神经的兴奋。大尺度上，类似于鸟群一样，大脑皮层在时间空间上产生长程关联，虽然是小概率但是可能发生在行为层次上，产生类似于临界慢化的现象，类似于疾病的潜伏期。
虽然实验说明在大脑一小块儿区域有临界态，切片与完整的大脑还是不一样的，如今通过对整个大脑的测量，比如功能核磁共振FMRI，来做大脑神经活动研究，如果要说明大脑整体处于临界状态，就要看大脑的神经关联是否足够长。FMRI实验证明了大脑皮层的神经活动存在长程关联，从而说明了大脑在整体上也处于临界态。如今已经有理论说明了大脑的临界性与大脑的网络结构有关。
有一些人因为看一些画面闪烁过快的电视节目发生癫痫：频率过高的输入信号就像沙堆模型中大规模的沙粒下落会导致大规模沙崩导致癫痫。而正常人在看到这些画面不会癫痫的保护机制包括输入信号频率增加后突触的活动会降低，就像发生小火变多之后森林大火的可能性减小，也就是说我们的大脑存在机制保持在临界态上不会产生崩溃。这个例子也让人联想到最近一项治疗阿尔兹海默症的突破性研究，在大量的药物治疗尝试后，科学家试着用一定频率的闪光治疗阿尔兹海默症并且取得了奇效。这让人浮想联翩，除了对某些化学物质的刺激，一定频率（40Hz）的光还对大脑产生了什么影响。现在人们已经知道大脑的临界态对大脑的意义包括信息传输、存储、计算能力的提升。
大脑中的幂律分布
大脑中也是存在幂律分布的，新近的研究更是进一步阐释了这一点。该研究的其中一个实验是以蒙着眼睛的小鼠作为实验对象，实验结果表明在生物大脑中可能存在一种通用的计算原理。在小鼠大脑发育的关键阶段，蒙着眼睛的小鼠的大脑中与视觉相关的大脑区域会被重新分配其它心智任务。这似乎能够证明人脑和老鼠的大脑相似，都具有可塑性，可以以一种通用计算机器（universal computing machine）的方式进行重新编程。
钱卓教授花费了十多年的时间研究连接理论（Theory of Connectivity）中，试图发现人脑灰质（grey matter）中存在的一种占据主导地位的统一计算原理
很多人都一直在思考，在智能的起源和大脑的进化上一定有一个基本的设计原理，就像是 DNA 的双螺旋结构，每一个生物都有普遍存在的遗传密码。钱卓给出了证据说明人脑可能是按照一种极其简单的数理逻辑来运作的。连接理论（Theory of Connectivity）认为一个叫做基于二次幂的置换（power-of-two-based permutation）的简单算法可以被用来解释大脑的回路，其可表示为$N = 2^i -1$
研究观察说明大脑的基本计算算法确实是通过基于二次幂的置换逻辑进行组织的。这个简单的数学逻辑可以用来解释整个进化谱（evolutionary spectrum）中的大脑计算，范围涵盖最简单的神经网络到最复杂的神经网络。这种工作是令人震撼和激动的。想一想，一项结合了神经科学，自然世界与人工神经网络的研究，把一种普适的规律就这样发现了：自然界的幂律分布，大脑的简洁又普适的运算机制，又能给深度学习很多启发，这样的发现是对神经科学的重大的冲击，对人工智能的极大地促进，对自己的更加深刻的认识。这个公式的简洁让人舒适又开心，自然界就应该是这样的：复杂又简单，简单源自于思想与原理的统一，只要原理是统一的，我们就只需要处理数学和具体条件的复杂，这样的复杂性就可以被聪明的人类掌握于手中。这就是自然、科学、数理与思想的奇妙和联系！
进一步把临界态的特征适用于大脑中，可以看到大脑的一些特点，比如长程性：大脑存在着长程的时间与空间相关，让大脑有了更高的整合特性，这也是大家关注的大脑与AI的重要区别。比如均衡性，保持整体与保持敏感的平衡，而且在做出反应后依然可以保持敏感，而不是接受一波信息之后就放松了。这种状态是稳定性与随机性的最佳的平衡。人的大脑还在有序无序之间表达出很强的适应性，一个很随机的系统很灵活但是不稳定，比如今天做这个明天做这个但是记不住，没法应用和进步；一个很稳定的大脑可以记住很多东西但是并不能互相联系（比如AI），因此一个适应性很强的大脑应该在稳定性与随机性之间。
总结
我相信世界应该是简洁的，我们总是希望用各种方法逼近一些尽可能简洁美好的基本真理。现在工业界的深度学习进展迅速，这是对人类发展有益的好事，但是对于科学界来说，更关键的不是盲目的冒进，而是静下心来发现原理性的东西，计算科学家希望从数学和计算的角度研究，神经科学家希望从大脑结构和功能的角度研究，我想我们应该加入更多的系统生物学和物理学、统计学的想法，把所有的这些东西都融合起来，追本溯源，也许就可拨云见日，目见真理。