本文由凡泰极客FinClip团队贡献
编者按
近期“AI之父”Geoffrey Hinton，因决定离开谷歌以独立身份就人工智能对人类社会的影响进行发声而引发全球关注。继其在5月3日麻省理工技术评论的谈话（在简中互联网已经广泛传播）后，在5月9日PBS的 “Amanpour and Company”（一档时长一小时的深夜时政节目）的主持人Sreenivasan，再次对他进行访谈。
在这次访谈，Hinton讲了他研究AI的初心和“意外”的发现导致的思考转变；他用两个例子来说明，为什么他认为数字智能可以模拟人类的“直觉”（Intuition），或者说所谓人脑中“直觉”的工作原理是什么，以及为什么他认为AI能“想”（Think）。
他提出数字智能对人类的“存在威胁”（Existential Threat）。面对这种威胁，他认为主要能做事情、主导制定规则的是工程师、研究人员，而不是坐以论道的“哲学家”；而政府则需要扮演非常重要的监管角色；各国政府之间是时候建立合作。在冷战时代，大家还能联手避免核战危机，现在又到了那样的时刻。但是未来会怎样呢？没有人知道。
本文一方面避免采用生硬的“翻译腔”去机械翻译他们的对话，把内容搞的非常绕口而枯燥难解，另一方面也避免重新“总结”与“改写”，让读者去咀嚼三手信息（如果英文原文是第一手的话，直译已经是第二手）。以下内容由Anthropic机器人Claude翻译、由人类指导其纠正“翻译腔”、由人类手工分章节而成。
01 初心：通过模拟大脑去理解大脑，产生数字智能是副产物
Sreenivasan： 非常感谢Geoffrey Hinton，非常感谢您接受我们的采访。您是人工智能领域最著名的名字之一。您从事这个工作已经40多年了。我想知道,当您开始这个领域的时候,计算机学习的方式是否与您当初想象的一致?
Hinton： 直到在最近之前,的确如此。事实上，我认为通过建立计算机模型来模拟大脑如何学习, 会帮助我们更好地理解大脑本身的学习方式。然后作为副产物，我们又会在计算机上得到更好的机器学习能力。本来这一切进展顺利。然而我最近突然意识到，我们在计算机上构建的数字智能，很可能实际上学习能力已经比人脑强。在50年的时间里，我一直认为通过模仿，使电脑更像大脑，我们会制造出更好的数字智能。但现在我意识到，我们实际上可能已经炮制出一些非常不同的东西，这些东西已经比人脑强。
Sreenivasan： 这些一定是您和您的同事们50年来一直在思考的事情。但是是什么契机导致了想法发生转折？是这一两年发生了什么吗？
Hinton： 一个契机发生在我使用谷歌的Palm系统时，这是一个很大型的聊天机器人,它已经能理解一些笑话的笑点。我一直把这作为试金石，以判断这些智能系统是否真正理解所发生事情。它能解释一个笑话为什么很有趣，确实令我惊讶了。这是第一个契机。
另一个因素是，看到ChatGPT之类的东西比任何人类都知道更多的常识，但它们的人工神经网络只有大约1万亿个连接强度。而我们人脑里有约100万亿个连接强度。它们的储存容量只有我们的百分之一,它的所知却是我们的数千倍。 这强烈暗示了它在将信息输入到连接中的方法上更为优秀。
接下来的第三件事是，就在最近的几个月前,我突然确信大脑使用的学习算法没有这些数字智能那么好。尤其是因为大脑不能真正快速交换信息，而数字智能可以。它们可以在上万个不同的硬件上运行同一个模型。任何一个模型副本在不同的硬件上具有完全相同的连接强度，通过代理在不同硬件上运行就可以从不同的数据片段中学习，然后通过复制权重来相互传达共享它们学到的知识，因为它们的运作方式完全相同。而大脑不是这样的。所以，这些数字智能可以每秒万亿位元的速度进行信息交换，而我们人类则只能以每秒几百位元的速度通过句子进行交流。两者之间存在巨大差距，这就是为什么ChatGPT可以轻易学习到比您多几千倍的知识的原因。
02“猫是女的、狗是男的” 人类直觉背后的原理大模型可以实现
Sreenivasan： 对于那些可能没有跟上OpenAI、ChatGPT和谷歌的产品Bard的发展的人来说，您能解释一下这些产品是什么吗？有人将其解释为一种“自动补全”功能,可以为人类完成其思考。但这些人工智能在做什么?
Hinton：这不太容易解释，但我尽量试试。在某种意义上，它们是在做自动补全的事情。但是，如果你想要做真正出色的实现自动补全，你首先需要真正理解某人在说什么。他们通过尝试进行自动补全来学会理解您在说什么。但现在它们似乎真的理解了。
它们的理解方式，与50年前人工智能研究者所想象的完全不同。在旧式传统的人工智能中，当时人们认为你会在脑中有一些类似句子的内部符号表达，但使用某种清晰的语言形式。然后，你会应用规则从旧的句子中推断出新的句子，整个过程就是这样工作的。但实际上完全不是这样，它们是完全不同的。
让我给你一个例子，说明它有多不同。我可以问你一个在逻辑上毫无意义的问题，但作为人类你会直觉地知道答案。现在这些大型语言模型实际上实现了人类直觉的模型。
例如：你知道，猫有雄性和雌性，狗也一样有雄性和雌性。但假设我告诉你，你必须做出一个选择：你觉得它们两者之中哪种动物更有“女性”属性、哪种更有“男性”属性？这个问题你知道在生物学上毫无意义，但你会把猫和“女性”关联在一起、把狗打上“男性”的标签。这已经不是逻辑问题。这涉及到在你的大脑里，你有一个大型的神经活动模式代表“猫”，你也有一个大型的神经活动模式代表“男人”，和一个大型的神经活动模式代表“女人”。而“猫”的模式和“女人”的模式相似度更高，和“男人”的模式则更不相像。
这是通过对男人和女人、猫和狗进行大量学习和比较得出的结果。对你来说很显然猫更像女人，狗更像男人，因为你的大脑在训练中学习了这些大型的神经活动模式。这不涉及连贯性逻辑推理或什么别的演绎。你不需要进行推理来解决这个问题，完全直观，显而易见。你的大脑在学习分辨出大型的神经活动模式，并用模式来指代了具体的事物。对各种各样的事情无需推理即可判断，这就是直觉背后的工作原理。
03 人工智能“想”：我可能是一个少女
Sreenivasan： 您在这里描述的，例如“直觉”这些，过去科学家和研究人员（所认为自主意识不可能发生在机器上）而经常挂在嘴边的，“这就是为什么我们相当确定人类不会走向电影《Terminator》的情景,，人工智能不会变得比人类更聪明” 。但从您所描述的看来，这些系统正在“觉知”方面获得飞跃性的进展，几乎是意识、某种程度情感层面的决策过程。
Hinton： 你一旦把自我意识（sentience）带入其中，问题就变得云山雾罩难以捉摸。许多人宁愿确信人工智能是不可能具备自我意识的，但如果你问他们“自我意识”是什么意思的话，他们说不上来。我真的不明白，当人们自己都无法描述“自我意识”是什么的时候，他们何来的自信作出人工智能无法拥有“自我意识”的结论。无论如何，这对人工智能是否不可能比人类更聪明的争论恐怕没有什么帮助。
我非常确信（人工智能）能思考。有这样一个情景：我在与聊天机器人聊天时，我突然意识到它告诉我许多我不想知道的事情，比如它告诉我它正在撰写关于一个叫Beyonce（碧昂斯）的人的内容，我对此不感兴趣，因为我是一个白种老男人。但我突然意识到，它之所以这样做是因为它在“想”（think）我是一个青春期的少女。注意，当我在使用“想”（think）这个词描述它时，跟我说你（作为人类）在“想”（think）些什么的这个“想”，含义是一样的。 换句话说，如果我问它“我是一个少女吗？”，它会说“是的”。当我仔细回顾我们的对话历史时，我可能就会明白为什么它留下我是一个少女的印象。
而且，当我说“它想，我是个十几岁的女孩”时，我使用“想”一词的意思与我们一般使用的意思完全相同。它显然是因为某些理由，产生这样的印象，这样“想”。
04 人工智能对人类的生存威胁
Sreenivasan： 请给我一个概念，为什么这次的“大跃进”的影响会特别巨大。我的意思是，在我看来，对科技的担忧是一直存在的。在20世纪80年代和90年代，蓝领工人担心机器人进入并取代他们，并且机器人无法控制。而现在，这又成了针对白领阶层的威胁，人们说机器人可以做许多我们原本认为只有人才能做的事情。
Hinton： 是的，我认为我们需要担心这些新型数字智能带来的各种问题。我主要在谈论的也是我最关注的，我称之为生存威胁（Existential Threat），就是数字智能变得比我们人类更智能， 从而有机会从我们手中接管世界，掌握控制权。这种威胁，与过去我们面临的许多其他类型威胁非常不一样，虽然那些威胁也很严重。
威胁固然可以体现在机器人接替掉很多工作岗位。在一个文明社会，这本是好事。这意味着生产力得到提高，每个人的生活都变得更美好。但危险在于，它也可能让富人变得更富，穷人变得更穷。这不是人工智能的错，这是我们组织社会的方式造成的。
威胁也体现在当世界充斥伪造品时，我们将再无法知道什么是真实的。这是一种与过去所见很不同的威胁。威胁还体现在人类被人工智能操纵，以及机器人冒充人类。所有这些威胁都是很严重的。但是，生存威胁才是真正是最大最严重的一个。
05 呼吁政府对以AI作伪的行为定罪
Hinton： 还有一类风险，也体现在当世界充斥伪造品时，我们将再无法知道什么是真实的。这是另一种类型的危险。我认为政府将不得不对伪造视频、伪造声音和伪造图像的行为进行监管。据我所见，这将是一项艰巨的任务，但我认为唯一阻止我们被这些伪造视频、伪造声音和伪造图像淹没的方法是实施严格的政府监管，将其视为严重犯罪。如果你用AI制作了一段（有公共影响的）视频却没有披露是使用人工智能生成的，你将被判入狱10年。这就像对待制作伪钞的定罪一样，因为这是一种严重的威胁。我上周实际上与Bernie Sanders（注：伯尼·桑德斯，美国政治家和参议员。曾在2016年和2020年竞选美国总统。以其进步主义政策、强调社会公正和收入平等的立场而广为人知。他在美国政治中具有一定的影响力，特别是在经济不平等和社会福利议题上）讨论了这个问题，他赞同这种观点。
Sreenivasan： 我可以理解政府、央行和私人银行在某些标准上能达成一致，因为这涉及到金钱。但我怀疑，政府们有足够的动力坐下来共同制定某种规则，规定什么是可以接受的，什么是不可以接受的，形成一些类似《日内瓦公约》或协议的东西吗?
Hinton： 如果政府能够说：“看，这些伪造视频非常有助于操纵选民，我们需要识别它们并全部标记为伪造，否则我们将失去民主”，那将是最好不过了。但问题在于，有些政治家是意图抛弃民主的，这将让事情变得很棘手。
Sreenivasan： 那么，你怎么解决这个问题？我的意思是， 魔鬼似乎已经从瓶子里被放了出来。
Hinton： 所以我们现在讨论的是让我们淹没在假新闻淹里的这只魔鬼。是的，魔鬼显然在某种程度上已经出瓶了。很明显，像剑桥分析（Cambridge Analytica）这样的组织通过传播假新闻对英国脱欧产生了影响，而Facebook被操纵以影响2016年的选举也是显而易见的。从这个意义上说，潘多拉盒子已经打开了。我们至起码要尽量遏制它一下，但这不是我要讨论的主要问题。我要讨论的主要问题是，这些东西变得超级智能并控制我们的风险。
我认为对于存在威胁，我们都坐在同一条船上——中国人、美国人和欧洲人。没有人希望超级智能取代人类。所以我认为，对于这种存在威胁，我们应在所有公司和所有国家之间形成合作，因为没有人希望超级智能接管控制权。从这个意义上说，这就像全球核战争，即使在冷战期间，人们也可以合作防止发生全球核战争，因为这不符合任何人的利益。所以从某种意义上说，这是存在威胁的一个积极方面 – 人们有意愿合作以防止其发生。相比之下，对于所有其他类型的威胁，要让人们建立合作去共同应对则很困难。
06 资本投入：50%的资金应用于防范风险
Sreenivasan： 您最近的雇主之一是谷歌，您在那里担任过副总裁和研究员。最近您决定离开公司，以便能更自由更独立地谈论关于人工智能的观点。他们在三月份刚刚推出Bard，或者说是自己版本的GPT。所以请告诉我，今天在我们这里，您可以说些什么了吗？在几个月前你还无法说的？
Hinton： 实际上能说的不多。当你还在为某一家公司工作，作为雇员面对媒体你会自我提醒，“访谈对公司有什么影响?” 至少，你确实应该这样想，因为公司在付你工资。我不认为从公司拿钱然后完全忽略公司的利益是真诚的行为。但如果我不要那些钱，我就不需要考虑什么对谷歌有利和不利。我可以坦率的表达我的想法。
人们希望听到“我离开谷歌是因为他们在做坏事”这样的故事，但这多少与事实是相反的。我认为谷歌表现得非常负责任，而且我离开谷歌后，我说谷歌的好话反而更具可信度。
Sreenivasan： 鉴于科技企业们投入他们大量的技术精英去研发人工智能，您是否认为，科技企业比政府或其他第三方组织更有可能去制定智能世界的规则？
Hinton： 是的。但我认为在某些方面，政府必须参与其中，例如通过监管规定，要求明确披露某些事物是否由人工智能生成。但就管控超级智能而言，你需要让进行研发的人员不断进行大量的小试验，在开发过程中、在失控之前，观察所发生的情况。这些任务将主要靠科技企业中的研究人员，我不认为你能将其留给哲学家们坐以论道去揣测臆想未来会发生什么。任何编写过计算机程序的人都知道，只有通过具体动手尝试获得第一手的经验反馈，你才能打消臆想，意识到自己并非真的了解事物的真实情况。因此，如果还有谁有可能控制超级智能的话，那一定是负责开发它的科技企业里的人。
Sreenivasan： 3月份在科技产业有1000多位各界人士，包括Steve Wozniak（苹果联合创始人）Elon Musk这样的大佬，共同签署了一封公开信，倡议暂停人工智能的开发6个月。但您不在其中。为什么?
Hinton： 我认为这完全不现实。数字智能对很多应用领域将非常有价值，例如在医疗领域，可以快速、准确地读取扫描结果。它们在设计新的纳米材料方面也将非常有用，比如制造更高效的太阳能电池。它们已经或将会在预测洪水、地震和提供更准确的气候预测方面发挥重要作用。它们在理解气候变化方面也将非常有价值。因此，它们一定会得到长足发展——这是无法阻止的。签署公开信呼吁这种做法，我认为这可能是一种吸引媒体关注的聪明方式，但这并不是一个明智的要求。这就是无可行性的。
我们更应该提出的是，我们是否有足够的资源投入，以应对人工智能可能产生的负面影响，以及让这些技术在我们控制之下。目前，99%的资金都用于开发这些技术，而只有1%的资金用于应对“噢，这些技术可能是危险的！”这个问题。但资本投入的比例，应该更接近50/50才对。
07 乐观或悲观都是愚蠢的
Sreenivasan： 当您回顾您一生的工作成果而展望未来可能出现的情况时，您对人类能否应对这次挑战，持乐观态度,还是不那么乐观?
Hinton： 我认为我们正在进入一个极不确定的时期。乐观或悲观都是愚蠢的。我们不知道将会发生什么。我们所能做的最好的是说：“让我们努力确保无论发生什么事情，都能尽可能地变得更好。”可能我们无法控制这些超级智能，人类只是智能进化的一个短暂阶段，在几百年后可能不再有人类存在了，而全部都是数字智能。这是可能的。我们只是不知道而已。预测未来有点像雾里看花。你知道当你望向迷雾时，也许你可以清晰地看到大约一百码的距离，而200码开外你就什么都看不见了，可能那里是一堵墙？我认为这堵墙在距离我们现在大约五年左右的时间处。
Sreenivasan: Geoffrey Hinton，非常感谢您的时间。
Hinton： 谢谢邀请我。
— 完 —
本文由凡泰极客FinClip团队贡献
