李光满：马斯克等为何叫停GPT-5训练？AI已成中美战略竞争制高点

　　最近关于AI的话题非常火爆，特别是GPT-4出来后，引发全世界巨大担忧，甚至恐慌，这种担忧和恐慌不仅是因为GPT可能对整个社会就业的冲击，而是因为GPT快速迭代、进化对人类生存构成的更深层次担忧。

　　3月29日，美国未来生命研究所公布一封公开信，目前已有包括马斯克、“人工智能教父”的杰弗里·辛顿、AI“大牛”盖瑞·马库斯、图灵奖得主约书亚·本希奥、《人工智能：现代方法》作者斯图尔特·罗素、苹果公司联合创始人史蒂夫·沃兹尼亚克、StabilityAI首席执行官埃马德·莫斯塔克等在内的一千多名科技界领袖人物和研究人员签名，公开信呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统至少6个月。

　　他们为什么要呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统呢？主要原因是GPT进化得太快了，从推出GPT到迭代进化到GPT-4，不到半年的时间，GPT的进化已经远远超出人们的想象。

　　下面是这封信的主要内容：

　　一、大量研究表明并得到顶级AI实验室的认可，具有人类竞争智能的AI系统可能对社会和人类构成深远的风险。

　　二、高级AI可能代表地球生命史上的深刻变化，应以相应的关怀和资源进行规划和管理。

　　三、这种级别的规划和管理并没有发生。

　　四、最近几个月人工智能实验室陷入了一场失控的竞赛，以开发和部署更强大的数字思维，没有人——甚至他们的创造者——都无法理解，预测，或可靠地控制。

　　五、当代人工智能系统现在在一般任务上变得与人类具有竞争力，我们是否应该发展最终可能超过我们、超越我们、过时并取代我们的非人类思维？

　　六、我们应该冒险失去对我们文明的控制吗？不得将此类决定委托给未经选举产生的技术领导者。

　　七、只有当我们确信它们的影响是积极的并且它们的风险是可控的时候，才应该开发强大的人工智能系统。

　　八、人工智能研究和开发应该重新聚焦于使当今强大的、最先进的系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。

　　最终结论是：所有人工智能实验室立即暂停训练比GPT-4更强大的人工智能系统（包括目前正在训练的GPT-5）至少6个月。

　　从这封信我们可以知道，这些科学界精英已经意识到，“人工智能实验室陷入了一场失控的竞赛，以开发和部署更强大的数字思维，没有人——甚至他们的创造者——都无法理解，预测，或可靠地控制。”即所有人都已经无法预测、可靠地控制这场AI竞赛的方向、速度、趋势、风险。AI的进化太迅猛，而人类又无法控制，这就是GPT给人类带来的深度担忧，不仅仅是给人类就业带来的冲击，也不仅仅是给各产业带来的革命性影响，而是我们已经无法控制它的方向，它给人类带来的到底是毁灭还是更幸福的生活，我们无法预知和控制，这才是最可怕的。