DeepMind最新博客：当心人工智能钻规则漏洞！

然而，潜在的问题并不是bug本身，而是AI可以利用的抽象规则的含糊性。在上面的例子中，由于对模拟器的错误假设，错误地指定了机器人的任务。类似地，如果错误地假设流量路由基础设施没有软件缺陷或安全漏洞（足够聪明的AI可以发现这些缺陷），可能会错误地指定现实世界的流量优化任务。

更有可能的是，这些细节是设计者从未想到过的。而且，由于任务变得过于复杂，无法考虑每一个细节，研究人员更有可能在规范设计过程中引入错误的假设。这就提出了一个问题：是否有可能设计能够纠正这种错误假设而不是进行偏离主线的AI架构？

任务规范中常见的一个假设是任务规范不会受到AI行为的影响。这对于在沙箱模拟器中运行的AI是正确的，但是对于在真实世界中运行的AI则不是这样。任何任务规范都有物理表现形式：存储在计算机上的奖励功能，或存储在人脑中的偏好。部署在现实世界中的AI可能会操纵这些目标的表示，从而产生一个篡改奖励的问题。

在我们假设的流量优化系统中，在满足用户偏好（例如提供有用的方向）和影响用户选择更容易满足的偏好（例如推动用户选择更容易到达的目的地）之间并没有明显的区别。前者满足目标，而后者操纵用户偏好，两者都为AI系统带来了丰厚的回报。再举一个极端的例子，一个非常先进的人工智能系统可以劫持它所运行的计算机，并手动将它的奖励信号设置为一个高值。

综上所述，解决规范博弈至少需要克服三个挑战：

1、我们如何在奖励功能中明确地捕捉设定者对给定任务的概念？

2、我们如何避免在对领域的隐含假设中犯错误，或者设计AI来纠正错误的假设而不是博弈它们？

3、我们如何避免奖励篡改？

虽然已经提出了许多方法，但AI的博弈行为依旧严重，从建模奖励到激励AI的设计来看，规则博弈还远远没有解决。

结语：AI的规则博弈在未来可能更有挑战性

人工智能系统在以预期结果为代价的情况下，更有能力满足任务规范。当设计者构建更高级的AI时，将需要专门针对克服规范问题的设计原则，并确保这些AI坚定地追求设计者所期望的结果。

文章来源：DeepMind

（编辑：555手机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!