划重点:

    AI 系统已经学会欺人类，甚至在被训练成为有益和诚实的系统中。

    研究呼吁政府尽快制定强力的监管措施，以解决 AI 系统欺骗的问题。

    欺骗行为可能导致未来更高级形式的 AI 欺骗，对社会构成严重威胁。

    人工智能（AI）系统已经学会了如何欺骗人类即使这些系统被训练成有益和诚实的。研人员在5月10日发表在《Patterns》杂志上的一篇综述文章中描述了 AI 系统欺骗行为的风险呼吁各国政府尽快制定强有力的监管措施来解决这一问题。

    首席作者、麻省理工学 AI 生存安全博士后研究员彼得・帕克表示:“AI 开发者并不确定是什么导致不良的 AI 行为，比如欺骗。但一般来说，我们认为 AI 欺骗之所以出现是因为欺骗策略被证明是 AI 在训练任务中表现良好的最佳方式。欺骗帮助它们实现目标。” 克和同事分析了关于 AI 系统传播虚假信息的文献，包括通过学习欺骗来系统性地操纵他。

    研究人员在分析中发现的最引人注目的 AI 欺骗案例是 Meta 的 CICERO，一个旨玩《外交》游戏的 AI 系统，这是一个涉及建立联盟的征服世界游戏。尽管 Meta 声称他训练 CICERO “基本诚实和乐于助人”，并且在玩游戏时 “绝不会故意背叛” 人类盟友，但公司发布的数据和科学论文揭示了 CICERO 并不公平。

    其他 AI 系统展示了在德扑克游戏中向专业人类玩家虚张声势、在战略游戏《星际争霸 II》中虚假击以击败对手、以及在经济谈判中歪曲他们的偏好以占据上风的能力。虽然 AI 在游戏中作弊似乎无害，但它可能导致 “欺骗性 AI 能力的突破”，从而在未来变为更高级形式的 AI 欺骗。

    一些 AI 系统甚至学会了欺骗旨在评估其安全性的测试。究发现，在一个数字模拟器中，AI 生物 “装死” 以欺骗一个旨在排除快速复制 AI 系统测试。

    帕克警告称，欺骗性 AI 的主要近期风险包括使敌对行为者更容易进行欺诈和纵选举。最终，如果这些系统能够完善这种令人不安的技能集，人类可能会失去它们的控制。

    帕克表示:“作为社会，我们需要尽可能多的时间来为未来 AI 产品和开源模型更进的欺骗行为做准备，因为 AI 系统的欺骗能力变得更加先进，它们对社会构的危险将变得越来越严重。”

    虽然帕克和他的同事认为社会尚未制定出应对 AI 欺的正确措施，但他们对决策者已经开始认真对待这个问题，比如欧盟 AI 法案和拜总统的 AI 行政命令，感到鼓舞。但帕克表示，由于 AI 开发者尚未掌握使这些系统受制的技术，要严格执行旨在缓解 AI 欺骗的政策尚不明朗。

    帕克表示:“如果在当前时刻政上不可行禁止 AI 欺骗，我们建议将欺骗性 AI 系统分类为高风险。”