李光满：马斯克等为何叫停GPT-5训练？AI已成中美战略竞争制高点
最近关于AI的话题非常火爆，特别是GPT-4出来后，引发全世界巨大担忧，甚至恐慌，这种担忧和恐慌不仅是因为GPT可能对整个社会就业的冲击，而是因为GPT快速迭代、进化对人类生存构成的更深层次担忧。
3月29日，美国未来生命研究所公布一封公开信，目前已有包括马斯克、“人工智能教父”的杰弗里·辛顿、AI“大牛”盖瑞·马库斯、图灵奖得主约书亚·本希奥、《人工智能：现代方法》作者斯图尔特·罗素、苹果公司联合创始人史蒂夫·沃兹尼亚克、StabilityAI首席执行官埃马德·莫斯塔克等在内的一千多名科技界领袖人物和研究人员签名，公开信呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统至少6个月。
他们为什么要呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统呢？主要原因是GPT进化得太快了，从推出GPT到迭代进化到GPT-4，不到半年的时间，GPT的进化已经远远超出人们的想象。
下面是这封信的主要内容：
一、大量研究表明并得到顶级AI实验室的认可，具有人类竞争智能的AI系统可能对社会和人类构成深远的风险。
二、高级AI可能代表地球生命史上的深刻变化，应以相应的关怀和资源进行规划和管理。
三、这种级别的规划和管理并没有发生。
四、最近几个月人工智能实验室陷入了一场失控的竞赛，以开发和部署更强大的数字思维，没有人——甚至他们的创造者——都无法理解，预测，或可靠地控制。
五、当代人工智能系统现在在一般任务上变得与人类具有竞争力，我们是否应该发展最终可能超过我们、超越我们、过时并取代我们的非人类思维？
六、我们应该冒险失去对我们文明的控制吗？不得将此类决定委托给未经选举产生的技术领导者。
七、只有当我们确信它们的影响是积极的并且它们的风险是可控的时候，才应该开发强大的人工智能系统。
八、人工智能研究和开发应该重新聚焦于使当今强大的、最先进的系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。
最终结论是：所有人工智能实验室立即暂停训练比GPT-4更强大的人工智能系统（包括目前正在训练的GPT-5）至少6个月。
从这封信我们可以知道，这些科学界精英已经意识到，“人工智能实验室陷入了一场失控的竞赛，以开发和部署更强大的数字思维，没有人——甚至他们的创造者——都无法理解，预测，或可靠地控制。”即所有人都已经无法预测、可靠地控制这场AI竞赛的方向、速度、趋势、风险。AI的进化太迅猛，而人类又无法控制，这就是GPT给人类带来的深度担忧，不仅仅是给人类就业带来的冲击，也不仅仅是给各产业带来的革命性影响，而是我们已经无法控制它的方向，它给人类带来的到底是毁灭还是更幸福的生活，我们无法预知和控制，这才是最可怕的。
360公司的周鸿祎预计，当GPT演化到GPT-6、GPT-8的时候，人工智能将会产生意识，变成新的物种。未来，人工智能大语言模型有可能实现自我进化、自动更新系统和自我升级，或者指数级进化能力，人类将会面临不可预知的安全挑战。周鸿祎关于“当GPT演化到GPT-6、GPT-8的时候，人工智能将会产生意识，变成新的物种”的观点令人感到的将不仅仅是担忧，而是恐惧。既然GPT已经产生了意识，变成了新的物种，而且比人类更聪明，那一定会与人类产生竞争，有竞争就有胜利或者失败，人类是最终的胜利者还是失败者呢？
其实还有一个更深远的问题，如果真的按周鸿祎所预测的那样，到GPT-6、GPT-8有了意识，那么我们推想，既然可以让GPT产生意识，那就一定会使它具有感情，还会有思想以及立场和态度，或许这才是那些科学精英们所担忧的问题，也是这场AI竞赛所面临的最严峻的伦理挑战，也就是说，这场科学变革所带来的，除了给我们经济、军事、教育等等方面带来深刻的冲击与变革之外，还会给人类社会的文明体系、伦理、价值观带来重大而深刻的冲击。
而从GPT演化进度来看，这种担心绝不会是空穴来风，也绝不是杞人忧天，或许在GPT给人类带来巨大变革的同时，对人类所构成的威胁才是我们应该首先考虑的问题。面对美国率先掀起的AI浪潮，中国该如何认识和应对GPT崛起及AI迅猛发展所带来的挑战？对此，我有以下九点想法。
第一，尽管已经有人意识到AI的演进或者说GPT的进化超出了人们的预期，引起了人们的担忧，就此有人提出了要暂停。但我以为，在当今这个资本和市场主导的全球化浪潮中，任何关于科技暂停的呼吁都是苍白无力的，都是不可能阻止GPT以及及类似GPT的AI向前推进的，正如居里夫人发现了放射性元素，却无法阻止人类利用她的科学发现去制造可以毁灭人类的核武器一样，只要能够带来利益，没有什么力量最终能够阻止科学发现和科技发明能够用于军事和战争。因此我们对此不能心存侥幸，同时我们要对GPT以及类似AI给我们带来的恶的毁灭的力量保持足够警觉。
第二，我相信无论什么科技成就和成果都会用于军事甚至会首先用于军事，AI技术也不例外，AI技术或者说GPT系统很快就会被美国用于军事，会在战场上使用，正如马斯克搞的星链很快就在俄乌战争中大规模使用一样，GPT系统和搭建在GPT系统上的子系统都会大量运用于武器系统和战争环境，成为影响战争胜负的关键性武器。这一点我们尤其要高度重视。
第三，类似GPT的AI系统对一个国家具有越来越重要的战略价值，正在成为大国竞争的一个新的制高点，而且是一个关键战场。当前美国在这一领域处于领先地位，这对其他国家来说是一种巨大的战略威慑，甚至是致命性的优势地位。当前中国许多公司也在搞AI系统，但与美国相比存在一定差距，这种差距将会影响中国产业竞争、教育竞争、军事竞争、文化竞争以及舆论影响力竞争，如果中国不能尽快赶上甚至超过美国，将会在未来的国家整体竞争中处于被动的不利的从属的地位。
第四，GPT的快速迭代进化，对算力的要求越来越高，而决定算力的是高端芯片。由于美国对中国芯片实施全面制裁禁运，不仅光刻机进口受影响，而且高端芯片也被严格禁运。由美国英伟达公司生产的占据学习机器人图形处理市场95%份额的高性能芯片A100和H100或未来峰值性能等于或超过A100和H100的GPU都被禁止向中国出售。这无疑会给中国AI的迭代进化带来严重制约，因此自主研制能够生产高性能芯片的光刻机已经成为非常紧迫的任务。有人认为，现在28纳米光刻机生产的芯片已经能够满足80%的芯片需求，更高端的芯片禁运对中国影响不大，可以缓一缓，最终仍可依靠全球合作解决。这种认识的错误是非常严重的，如果不尽快解决高端光刻机问题，我们的科技创新和AI产业的发展可能会长期被美国锁定在低端，因此仍然对全球合作解决光刻机问题抱有幻想是短视、愚蠢而又幼稚的。
第五，中国应该从战略高度，以极强的历史性敏锐重视AI所带来的历史性变革，甚至是历史性革命，尽快组织专业力量对GPT所带来的冲击进行全面评估，对中国AI产业发展进行全面规划和部署，研判AI给我们社会、文化、教育、产业、科技、舆论、意识形态等等方面会带来哪些重要的变革、冲击、影响，在国家层面成立专门机构，支持和促进中国AI产业加快发展，使中国AI尽快赶上美国和超过美国，在全球AI竞争中保持领先和优势地位。
第六，由于GPT所具有的巨大的军事价值，建议立即成立相关机构，研究GPT的军事价值，研究如何应对GPT给中国国家安全、军事安全带来的冲击和威胁，研究GPT对战争形态、战场态势带来的影响，研究GPT在武器研制方面带来的影响，并制定相应的对策。
第七，由于GPT对社会的广泛渗透和价值观倾向，我们需要超前关注和研究GPT对我国社会意识形态的影响，防止境内外敌对势力通过GPT对我国意识形态进行深度渗透和影响，随着GPT的进一步迭代和进化，境内外敌内势力或者GPT本身的知识体系都可能对中国人的思想、知识、价值观产生潜移默化的西化的影响和扭曲，以达到文化破坏、文明变形、价值观扭曲、社会秩序坍塌的目的，对此我们要高度重视，提前布局防犯。
第八，AI发展主要还是靠大投入推动。近几年中国在人工智能领域的投入有明显进步，但却远不及美国在人工智能领域的投入力度，中国的投入总额不及美国的十分之一，相差巨大。而且美国还出台了一系列鼓励AI产业发展的法案，从政策、资金、政府主导等各方面推进AI产业发展，中国在这方面的表现远远不及美国。
第九，AI发展的基础还要靠基础理论研究。中国在AI领域的基础研究相对较弱，包括人工智能的理论研究、算法开发、数据科学等方面，需要投入更多的资金和资源，以吸引更多人才从事基础研究和应用研究。由于中国人工智能领域的人才严重短缺，必须尽快在大学设置人工智能学科，开设人工智能学院，加快培养相关人才。同时国家要在有关大学、研究机构和企业建设人工智能国家重点实验室，加大产学研合作力度。
当前，由于GPT的来势过于迅猛，我们很多人，包括政府可能都还没有来得及做出必要的反应。因此我认为高层应高度关注GPT所带来的冲击，我们的企业、社会上的每个人也都应该重视并适应AI可能带来的就业、教育、工作方式变革。
从更深层面看，AI可能还会给我们的价值观、思想、文化、伦理、理念带来深刻而重要的渗透和影响，我们有关部门应及时了解和应对这种渗透和影响的严重程度。
GPT所引发的冲击大潮已经汹涌而来，AI已经成为大国竞争制高点，中国已不可避免地成为主要竞争者，我们应该意识到AI所带来的影响和冲击是巨大的，深刻的，深远的，如此才能早准备、早适应、早应对，在与美国的AI战略竞争中取得战略主动和优势赛道。
（作者系昆仑策研究院高级研究员；来源：昆仑策网【作者授权】，转编自“李光满说”，修订发布）
