字少事大！OpenAI 创始人等超350名大牛再签联名信，一句话声明简短有力：AI或引发灭绝风险

作者 | 刘燕，核子可乐

全球 AI 大牛又签署一封 *** ：

AI 或将引发“灭绝风险”

本周二，人工智能安全中心（CAIS）发布了一份由 及 高管、图灵奖获得者及其他 AI 研究人员签署的简短声明，警告称他们的毕生成果可能会毁灭全人类。

CAIS 表示，这份声明希望讨论“AI 所带来的广泛且紧迫的风险”。

正所谓字越少、事情越大，声明内容只有一句：“应该像对待包括流行病和核战争等其他全球性迫切社会问题一样，缓解 AI 引发的灭绝性风险。”

在声明上签字的名人包括图灵奖获得者 和 、 CEO Sam 、 首席科学家 Ilya 、 首席技术官 Mira 、 CEO Demis 、 CEO Dario ，以及来自加州大学伯克利分校、斯坦福大学和麻省理工学院的多位教授，据悉，目前约超过 350 名从事人工智能工作的高管、研究人员和工程师签署了这份 *** 。

作为风口浪尖上的人物，声明发表之际 掌门人 正访问全球，与各国元首就 AI 及其潜在风险展开讨论。5 月初， 还参与了美国参议院关于 AI 行业的监管听证。

这份关于 AI 风险的模糊声明，很快激起了反对者的批评。

从内容上看，这份声明没有对 AI 做出确切定义、也没有提及要如何缓解灭绝风险，只是将这项工作放在了与其他全球性社会问题相同的高度。

但在另一份资讯稿中，CAIS 进一步强调希望“设置护栏并建立相关机构，确保 AI 风险不会让人类措手不及。”

2 个月前，马斯克等人

呼吁叫停 AI 研发

2 个月前，AI 领域数十人共同署名、科技富豪马斯克高调参与的一封 *** 震惊世界。

今年 3 月 22 日，生命未来研究所（ of Life）向全社会发布了一封《暂停大型人工智能研究》的 *** ，呼吁所有人工智能实验室立即暂停比 GPT-4 更强大的人工智能系统的训练，暂停时间至少为 6 个月。

马斯克、图灵奖得主 、苹果联合创始人 Steve 、 AI 创始人兼 CEO Emad 、 高级研究科学家 、AI 重量级人物 （通常被称为“AI 教父”之一）和该领域研究的先驱 等上千名科技大佬和 AI 专家已经签署 *** 。

*** 中提到，通过广泛研究和顶级 AI 实验室的调查认可，具备类人智能的 AI 系统很可能对社会和人类构成深远风险。正如广受推崇的阿西洛马 AI 原则中所述，高级 AI 可能代表着地球生命史上一场影响深远的变化，应给予相应的关注和资源进行规划和管理。但遗憾的是，我们并没有看到这种级别的规划和管理。最近几个月来，AI 实验室陷入了一场失控般的技术竞赛，全力开发和部署一颗颗愈发强大的“数字大脑”，但就连创造者自己都无法理解、预测或可靠地加以控制。

*** 认为，这种暂停应当对外公开且可加验证，涵盖所有关键参与者。如果未能迅速实施暂停， *** 应介入并强制要求其暂停。各 AI 实验室和独立专家则应把握这次暂停，共同开发和实施一套用于高级 AI 设计和开发的共享安全协议，并由外部独立专家进行严格审计与监督。这些协议应确保依其构建的系统具备无可置疑的安全性。AI 研究和开发工作应当集中注意力，努力让目前最强大、更先进的系统变得更准确、更安全、更可解释、更透明、更稳健、更一致，也更加忠诚且值得信赖。与此同时，AI 开发商必须与立法机构合作，加快开发出强大的 AI 治理体制。

通过这封 *** 可以看出，人们想要叫停更先进的 AI 系统的研发，无非是担心在缺乏有效监管的情况下，AI 发展太快会为人类社会带来一系列潜在隐患和危险。更重要的是，AI 太过强大了，发展到一定成程度时甚至人类都无法掌控它。

AI 伦理专家：并不 Care

这类警告 AI 风险的 ***

但，长期关注 AI 伦理问题的专家，对这类 *** 根本不感兴趣。

Face 公司机器学习研究科学家 Sasha 博士觉得 CAIS 的这封信如同儿戏：“首先，声明把 AI 的假想风险跟流行病和气候变化等现实威胁混为一谈，这只会扰乱公众的基本判断。这同时也是一种误导，只要把公众的注意力吸引到未来风险上，他们就会忽略当前的更多有形风险，比如 AI 偏见、法律纠纷和同意权等。”

作家兼未来学家 也发推称，“AI 的风险和危害如今成了一种表明立场的游戏，每个人都想在这波风潮下扮演好人……问题是这么吵来吵去有用吗？看着挺好，但没人真正付出，完全是在浪费时间。”

CAIS 是总部位于旧金山的非营利组织，目标是通过技术研究和宣传“减少 AI 引发的规模化社会风险”。其联合创始人之一 Dan 拥有加州大学伯克利分校的计算机科学博士学位，之前还曾在 实习。另一位联合创始人 Zhang 也时常在 论坛上发表关于 AI 安全的帖子。

在机器学习领域，一部分 AI 安全研究者总是担心比人类更聪明的超级 AI 将很快出现、脱离约束，要么控制人类文明、要么彻底消灭人类文明。作为目前这波 AI 浪潮的发起者， 的基础安全工作也是围绕着这种“AGI”（通用人工智能）焦虑而展开。换言之，AI 末日论在科技行业中已经颇有市场。

但也有不少人觉得，签署这样一封内容含糊的 *** 没有任何意义，无非就是让从业者们减轻一点内心深处的道德压力。 强调，“这群创造出 AI 技术的人参与声明，无非是给自己博取了个好名声。”

这里澄清一点， 和她的同事们并非认定 AI 毫无危害，而是觉得重点考虑未来的假想风险会让人们忽略目前客观存在的 AI 负面影响。这些影响正在带来棘手的道德难题，而科技巨头们却无视威胁、大肆出售相关产品。

Face 首席伦理科学家 认为，“某些弱势群体已经因此受到伤害：基于 AI 的监控系统正强迫伊朗女性保持传统穿着，甚至对某些群体施以监视和软禁。”

尽管有朝一日，某种形式的先进 AI 也许确实会威胁到全人类，但批评者们认为 2023 年讨论这个问题还为时过早、不可能带来建设性的帮助。对于尚不存在的问题，如何开展研究？

也发推重申了这一观点，“AI 远期风险是种不切实际的幻想，我们无法解决并不存在的问题。这完全是在浪费时间，我们应当集中精力解决当下的问题，未来的事就交给未来去办。”

AI“教父” ：

面对毕生工作成果，我也很“迷茫”

近日，在这封最新的 *** 上签名的 AI 大牛科学家， 在接受采访中坦言，他开始对自己这一辈子的工作成果感到“迷茫”。

作为 AI 三大“教父”之一，他在该领域做出了不少开创性的贡献。而 AI 的发展方向和惊人速度正引发他的忧虑。 教授表示自己曾经出于认同感而投身其中，但如今的状况却让他困惑不已。

“从情感上讲，身处 AI 领域内部的人们肯定都受到了冲击。“迷茫是真的，但我们还是得继续前进，必须参与其中、加入讨论、鼓励他人和自己一同思考。”

这位加拿大学者最近签署了两份声明，敦促对 AI 的未来风险保持谨慎态度。部分学者和行业专家已经发出警告，称 AI 发展过快可能导致这项技术被恶意人士滥用。即使抛开这一层，AI 自身也有可能引发恶劣影响。

教授也加入了 AI 监管的行列，并表示他个人认为不该把 AI 的能力给予军方。 教授认为，一切构建强 AI 产品的企业都应当注册报备。

“ *** 需要跟踪这些企业的活动，对工作内容展开审计，对 AI 产业起码也要像飞机、汽车或制药等领域一样施加监管。”

“我们还需要推动 AI 相关人员的资质认证……包括道德培训。大家可能不知道，计算机科学家很少能接触到这方面知识。”

：

曾表示痛悔毕生工作

另一位 AI“教父” 博士也签署了 教授参与的声明。

本月月初，有外媒报道称， 辞去了在谷歌的工作，并警告这一技术领域的持续发展或将带来巨大风险。

作为“三位 AI 教父”之一，与另外两位合作伙伴共同获得了 2018 年图灵奖，旨在表彰他们为当前 AI 繁荣做出的基础性贡献。但现在的他却对自己投入一生的研究感到遗憾。

根据《 *** 》对他的采访， 在辞去在谷歌的工作后，也终于可以畅谈 AI 技术背后的风险了。已经在谷歌工作十多年的 表示，“我总在用这样的借口安慰自己：哪怕我自己不做，其他人也会这样做。但目前真的不知道要怎么防止坏蛋利用 AI 来作恶。”

虚假信息的传播只是 眼下想要强调的风险之一。从长远来看，他担心 AI 会彻底消除一切需要大量记忆的工作，而随着其逐步编写并运行构成自身的代码，AI 也许会最终取代人类。

在采访中指出，“其实不少人都相信，AI 实际上能够变得比人类更聪明，但大多数人认为这还很遥远。没错，我也曾经觉得还很遥远，没准要再过 30 年、50 年甚至更久。但现在，我显然没法再这么想了。”

在接受 BBC 采访时，他甚至提到 AI 聊天机器人已经构成“相当可怕”的威胁。“据我所知，目前的 IT 还不比我们聪明，但我相信它们很快就会超越人类。”

不一样的声音：

Yann LeCun 对 AI 发展比较乐观

不过 AI 领域也有不一样的声音存在。

第三位“教父”Yann LeCun 与 和 共同凭借开创性贡献获得了图灵奖，但他的态度比较乐观，认为 AI 毁灭人类的警告有点言过其实。

还有人觉得在务虚讨论之前，应当先解决迫在眉睫的真问题。

AI 公司 研究科学家 Sasha 博士认为，社会应该关注 AI 偏见、预测性执法和聊天机器人传播错误信息等问题，她觉得这些都是“非常具体的现实危害”。

“我们应当关注这些问题，而不是深陷 AI 可能毁灭人类的假想泥潭。”

除了风险，AI 也确实给人类社会带来不少福祉。上周，AI 工具就发现了一种新型抗生素。而借助 AI 技术开发的微芯片，也让一名瘫痪男子能在意念控制下正常行走。

但好消息再多，也无法抵消人们对 AI 冲击各国经济的深远担忧。众多企业已经开始用 AI 工具取代人类员工，好莱坞编剧正就这个问题 *** *** 。

教授在谈到 AI 现状时认为，“亡羊补牢，为时未晚。这就像应对气候变化问题一样。我们向大气排放了大量的碳，虽然不可能一夜之间就停止排放，但我们至少该认真想想当下能够做点什么。”

参考链接：

今日荐文

你也「在看」吗？