本文来自微信公众号：硅星人Pro （ID：gh_c0bb185caa8d），作者：王兆洋 董道力，原文标题：《杰弗里·辛顿在中国上海的一天｜附辛顿最新对话实录》

诺贝尔物理学奖获得者，被称为人工智能教父之一的杰弗里·辛顿，只能站着。

他的腰伤是老毛病，平躺或者站立，却不能久坐。这在人工智能圈里是人们熟知的，但耐不住AI的出圈，让这件事有了些小风波。

2025年7月26日，上海人工智能大会正式开幕，新晋诺贝尔奖得主的辛顿第一次来到了中国。而据接近行程安排的人透露，这也是辛顿多年来第一次长途国际旅行。而作为今天少有的身份独立但影响力巨大的AI科学家，辛顿的行程自然紧张。

其实7月22日他便已抵达上海，此行重要目的之一，是探讨AI欺骗性行为带来的关键风险，这是“AI安全国际对话”（International Dialogues on AI Safety-IDAIS）系列的一部分，这个会议由上海期智研究院，AI安全国际论坛（SAIF），和上海人工智能实验室主办。

一整个周末，他在会场和多位科学家一起讨论，包括图灵奖得主及上海期智研究院院长姚期智教授、加州大学伯克利分校教授Stuart Russell、上海人工智能实验室主任周伯文教授等科学家，最终一起提出了AI安全的“上海共识”。

7月25日晚些时候，原本辛顿计划出现在最终的发布会上，一众媒体也为此而来，然而辛顿最终并没有现身。姚期智和一众科学家一起发布了此次倡导国际合作的上海共识。在这个辛顿深度参与的共识里，对于新近出现的关于人工智能欺骗行为的实证证据，并提出了应对策略，呼吁采取三项关键行动：

第一，要求前沿人工智能开发者提供安全保障。提出开发者在模型部署前应先进行全面的内部检查和第三方评估，开展深入的模拟攻防与红队测试。若模型达到了关键能力阈值（比如检测模型是否有具备帮助没有专业知识的非法分子制造生化武器的能力），开发者应向政府等说明潜在风险。

第二，通过加强国际协调，共同确立并恪守可验证的全球性行为红线。国际社会需要合作划出人工智能开发不可以逾越的红线，并应建立一个具备技术能力、具有国际包容性的协调机构，汇聚各国人工智能安全主管机构，以共享风险相关信息，并推动评估规程与验证方法的标准化。

第三，对保障安全性的开发方式进行投资，科学界和开发者应投入一系列严格机制来保障人工智能系统的安全性。长期需要化被动为主动，构建基于“设计即安全”的人工智能系统。

这次会议的主要参会者合影留念时，辛顿独自站在后面。这张照片在社交媒体上引发了讨论：“为什么他没有座位。”

7月26日早上，在上海人工智能大会的正式开幕式上，辛顿又上台做了演讲。PPT一左一右中英文对照。

在讨论了诸多对AI与人类行为相似度的思考后，辛顿把话题引向安全。

他提到，今天几乎所有专家都认为会出现比人类更智能的AI，这些智能体是否会反过来操纵人类？

“简单关闭它们不现实，就像养老虎当宠物，养大后可能被其伤害。”

这是很激进的说法，但辛顿最近的主要公开发言，都在向人类提出类似警告。

他提出的应对措施是，人类既然无法消除AI，那就必须找到一种训练AI不消灭人类的方法。他呼吁国际合作，提出要像人类预防核战争一样，建立国际社群来预防AI操纵世界，推动AI向善。

“我们希望能够有一个AI安全机构构成的一个国际社群来研究技能，来培训AI，让他们向善。”

在当天的WAIC开幕式，以及后续的多个论坛里，安全被放在最重要的位置讨论。而今天你很难找到一个如此高规格和关注度的会议上，给安全治理如此大篇幅的重视。

辛顿此前在离开Google后，开始在AI对人的安全威胁问题上不停提出警告。但这种呼吁，有时候在AI一片高速竞争里显得不合时宜，尤其硅谷此刻正处在Meta和OpenAI们重新塑造的“Moving fast break everything”文化之下，这样的声音被继续冲散。

对于辛顿来说，这时候一个全球化的，能被更多人认真对待的安全呼吁对他来说充满吸引力。一个愿意花费更高规格更多注意力在AI安全讨论上的氛围，对他来说也很重要。据一名了解辛顿此次上海行程的人士透露，他自己也对参与哪些环节有很多想法。主动把自己的行程排的很满。

7月26日下午，当辛顿上午的演讲和PPT在各种AI群里传播时，他本人已经来到模速空间旁的西岸美高梅酒店，参加他此次行程里唯一一场公开对话活动。

美高梅一楼不大的会议厅里，随着辛顿的环节临近，人越来越多。辛顿并没像其他嘉宾提前到场，据透露，他从另一场高级别闭门会议赶过来，在场的工作人员每隔几分钟同步一下他的行程。

在缺席了一天前几乎同一时间的见面会后，5点10分，在一场有三个院士的圆桌之后，辛顿终于亮相出场。全场起立鼓掌拍照。

在这场和周伯文的对话里，辛顿提出了更多的想法，也给年轻的科学家们提出更多建议。

以下是最新出炉的对话实录。在这个对话里，辛顿提出了许多充满智慧的建设性的提议，它们都需要国际合作，需要一些更有影响力的牵头者。也许这也是辛顿此次到来的原因之一。

周伯文:非常感谢。Jeff，您能亲临现场，对我们所有人来说都是一份真正的荣幸。非常感谢。我想从一个我们本周早些时候就该讨论的问题开始，但今天上午在台上我们没有时间深入。这个问题是关于多模态和前沿模型的主观体验（subjective experiences）。您认为今天的多模态和前沿模型也能发展出主观体验吗？您能否就其可能性问题，展开谈谈您的看法？

辛顿：这严格来说与科学无关，这是一个关于你如何理解“主观经验”、“灵魂”或“意识”等概念的问题。我相信，我们大多数人持有的模型是深度错误的。很多人没有意识到，即便你能正确地使用词语，并且拥有一套关于词语如何运作的理论，这套理论也可能完全是错的，哪怕是对于日常词汇。所以，我想举一个日常用语的例子，对于这些词，你有一套自己的理论，它们看似简单直白，但你的理论却是错的。

你需要接受这样一种观点：你对于“工作”、“健康”等词语真正含义的理论可能是错误的。我们来看看“水平（horizontal）”和“垂直（vertical）”这两个词。大多数人认为他们明白这两个词的意思，但他们的理论其实是不正确的。我会通过问一个人们几乎总是答错的问题来证明这一点。

假设我把许多小的铝棒向空中抛撒，它们在空中翻滚碰撞。然后我突然冻结时间，空中布满了这些朝向各异的铝棒。问题是：与垂直方向夹角在一度以内的铝棒多，还是与水平方向夹角在一度以内的铝棒多，或者两者数量差不多？几乎所有人都回答“差不多”，这是基于他们对这两个词的理论。

但他们错得离谱，差距超过100倍。对于这些小铝棒来说，处于水平方向一度范围内的数量，大约是处于垂直方向一度范围内数量的114倍。原因在于，“垂直”就是这样（指一个方向），这也是垂直，仅此而已。但“水平”是这样，这也是水平，这些都是水平。因此，水平的“杆状物”远比垂直的要多。“垂直”是非常特殊的。

现在换一个问题。我手里有一把铝制的圆盘，我把它们抛向空中并冻结时间。那么，是与垂直方向夹角一度以内的圆盘多，还是与水平方向一度以内的多？这次答案反过来了，与垂直方向一度以内的圆盘数量，是水平方向的大约114倍。因为对于一个圆盘或一个平面来说，“水平”就是这样，仅此而已。而“垂直”是这样，这也是垂直，这些都是垂直。

所以在三维空间里，垂直的“杆”很特殊，而水平的“杆”很普遍；但水平的“面”很特殊，而垂直的“面”却很普遍。当你形成关于这些词的理论时，你往往会取一个平均化的概念，认为水平和垂直差不多，但这完全是错的。它取决于你讨论的是线还是面。人们不了解这一点，因此会给出错误的答案。

这看起来似乎与意识问题无关，但并非如此。它说明了我们对于词语如何运作的理论可能是完全错误的。我的观点是，几乎每个人对于像“主观经验”这类术语如何运作的理论，都是完全错误的。他们持有一个非常顽固但完全错误的理论。所以这并非一个真正的科学问题，而是从一个错误的心理状态模型出发导致的问题。基于错误模型，你自然会做出错误的预测。

因此，我的观点是：目前的多模态聊天机器人已经具备意识了。

周伯文：这个观点可能会让在座的许多研究者感到震惊。但让我想想，在早些时候，另一位加拿大科学家理查德·萨顿（Richard Sutton）也发表了演讲，主题是“欢迎来到经验的时代”。我认为他的意思是，当人类数据耗尽时，模型可以从自身的经验中学习。而您似乎从另一个角度点亮了这个问题：智能体或多模态大模型不仅能从经验中学习，还能发展出它们自己的主观经验。理查德今天似乎没有过多探讨从主观经验中学习可能带来的风险。您能否就“智能体可以学习主观经验”这一事实或假说，以及它可能带来的潜在风险，谈谈您的看法？

辛顿：是的。目前的情况是，像大型语言模型主要是从我们投喂的文档中学习。但一旦你拥有了像机器人这样存在于真实世界中的智能体，它们就能从自己的经验中学习。我认为它们最终学到的会比我们多得多。我相信它们将拥有经验，但“经验”不是一个实体物件。经验不像一张照片，它是一种你与客体之间的关系。

周伯文:此外，关于我们可能讨论的潜在风险，还有几件事。几天前和您交流时您提到，减少未来AI风险的一个可能解决方案，是设法将AI的不同能力分开对待。

辛顿：我其实不是那个意思。我的意思是，你将会有一个既聪明又不善良的AI。但如何训练它变得聪明和如何训练它变得善良是两个不同的问题。

所以你可以有让它变得善良的技术和让它变得聪明的技术，这会是同一个AI，但使用了不同的技术。

因此，各个国家可以分享使AI变得善良的技术，即使他们不想分享使AI变得聪明的技术。

周伯文：我对此有些疑虑。这个想法的初衷很好，我也很喜欢。但我不确定这条路能走多远。您认为会存在一种普适性的、训练AI“善良”的方法，可以应用于不同智能水平的AI模型吗？

辛顿:这是我的希望。它可能无法实现，但这是一个值得我们去探索的可能性。

周伯文:确实。但我想用一个类比来提出我的疑问，我提出这个问题是为了激发更多人对您提到的方向进行研究。我的类比来自物理学：当物体低速运动时，牛顿定律有效；但当物体接近光速时，牛顿定律就不再适用，我们必须求助于爱因斯坦的理论。

顺便说一句，这有点奇怪。我在一位诺贝尔物理学奖获得者面前讲起了物理101。

辛顿：不，不奇怪。（给我颁奖）是个错误。他们就是想要有一个给AI的诺贝尔奖，然后就把物理奖拿出来用了。

周伯文:哈哈。不过这个类比或许说明，对于“善良”的约束，可能需要根据智能系统的不同层级进行调整和改变。我不知道这是否正确，但我希望在座或在线的聪明的年轻人们能找到实现它的方法。

辛顿:是的，很有可能随着决策系统变得越来越智能，我们让它保持善良的技术也需要随之改变。我们现在还不知道答案，这也是我们需要立刻开始研究它的原因之一。

周伯文:您作为一位成就卓著的学者，却经常说“我不知道”，这让人印象非常深刻。我认为这非常坦诚，并保持了开放的心态，这是我们都想向您学习的。今天我们这里有一半的参会者来自量子物理、生物学等不同科学领域。我们之所以聚集于此，是因为我们相信无论是AGI、AI还是AI与科学的交叉领域，都正迎来无尽的前沿机遇。所以，关于利用AI推动科学进步，或者反过来利用科学助推AI发展，您有什么想说的？

辛顿：我认为AI将极大地帮助科学发展，这一点非常明确。最令人瞩目的例子无疑是蛋白质折叠，Demis Hassabis等人通过明智地运用AI并投入巨大努力，极大地提升了预测的准确性。这是一个早期的标志，预示着AI将在众多科学领域带来进步。您也提到了预测台风登陆点和天气预报的例子，AI的表现已经能比最好的传统物理系统更胜一筹。

周伯文：在您卓越的学术生涯中，您不仅推动了AI技术的边界，也深刻地影响了下一代研究者，比如Yoshua Bengio和许多更年轻的后辈。在上海AI实验室，我们的研究人员平均年龄约为30岁，这清晰地表明AI的未来属于年轻一代。看着这些年轻的面孔，您有什么建议想与他们分享，帮助他们更快地成长吗？

辛顿:我只有一条建议：如果你想做真正原创性的研究，就应该去寻找那些你认为“所有人都做错了”的领域。通常，当你这么想并开始研究自己的方法时，最终你可能会发现大家那样做是有原因的，而你的方法是错的。但关键是，在你亲身搞明白它为什么错之前，绝不要放弃。不要因为你的导师说“这个方法很蠢”就放弃它。忽略导师的建议，坚持你所相信的，直到你自己弄懂它错在哪里。

偶尔，你会发现自己坚持的东西并没有错，而这正是重大突破的来源。这些突破从不属于轻易放弃的人。即便别人都不同意你，你也要坚持下去。这背后有一个简单的逻辑：你要么直觉很好，要么直觉很差。如果你直觉很好，显然应该坚持它。如果你直觉很差，那你做什么关系都不大，所以你同样应该坚持你的直觉。