谷歌AI造芯新突破！6小时设计AI芯片，质量超最先进算法

智东西（公众号：zhidxcom）
文 | 心缘

智东西4月24日，谷歌用人工智能（AI）设计芯片又有新进展！在昨日新发布的预印本论文中，谷歌团队描述了一种深度强化学习方法，能在6小时内完成芯片布局设计，而完成相同设计步骤，人类专家往往要花费数周时间。

人工智能的快速发展得益于计算机系统和硬件的显著进步，但随着摩尔定律趋缓，世界需要新的硬件架构来满足指数级增长的算力需求。

然而，芯片通常需要数年的时间来设计，芯片设计专家不得不预测未来2-5年的机器学习（ML）模型对芯片的需求，大幅缩短芯片设计周期将使硬件更好地适应快速发展的人工智能领域。

谷歌研究人员相信，AI将提供缩短芯片设计周期的手段，在硬件和AI之间建立一种共生关系，彼此推动彼此的进步。

与原有方法不同，谷歌的新算法能从过去的经验中学习，并随着时间的推移而改进。特别是当训练更多芯片块（block）时，其算法能快速地为以前从未见过的芯片块生成优化的设计。

研究人员表示，相较当前最高水平的基线，这一方法可以使真正的AI加速器（谷歌TPUs）达到更好的功率、性能和面积（PPA）。

这项研究适用于任何芯片布局优化，如果该技术可公开使用，那么它将使现金短缺的初创公司能够开发自己的芯片用于AI和其他专门用途。它还可以帮助缩短芯片设计周期，从而使硬件更好地适应快速发展的研究。

该研究的论文题目为《芯片布局与深度强化学习 （Chip Placement with Deep Reinforcement Learning）》，Azalia Mirhoseini和Anna Goldie为共同作者。

论文链接：https://arxiv.org/pdf/2004.10746.pdf

一、攻克芯片设计最耗时的环节

在芯片设计中，全局布线是最复杂和耗时的阶段之一，需要在日益复杂的电路中进行多目标优化。

在这项新研究中，研究人员提出了一种基于深度强化学习的芯片布局方法，目标是将宏（如SRAM）和标准单元（逻辑门，如NAND、NOR和XOR）的网表节点映射到一个芯片画布（一个有界的2D空间）上，从而优化功率、性能和面积（PPA），同时遵守对布局密度和布线拥塞的约束。

这些网表图的大小范围，从数百万到数十亿个节点不等，通常评估目标指标需要数小时到一天的时间。尽管对芯片布局问题已研究几十年，人类专家仍然需要用现有的布局工具迭代数周，才能产生满足多方面设计标准的解决方案。

为了破解这一挑战，谷歌研究人员提出将芯片布局视为一个增强学习（RL）问题。研究人员称，这是第一个具有泛化能力的芯片布局方法，它能利用从以前布局网表中学到的东西来为从未见过的新网表生成优化的芯片设计方案，从而为芯片设计人员带来了新的可能性。

研究人员表示：“我们的方法可以直接优化线长、密度和拥塞等目标指标，而不必像其他方法一样定义这些功能的近似值。我们的公式不仅使新的代价函数在可用时易于整合，而且还使我们能够根据给定芯片块的需求（如功耗受限）来权衡它们的相对重要性。”

据论文介绍，其新领域适应策略不仅产生了较好的效果，而且与从零开始的训练策略相比，训练时间缩短了8倍。

二、用10000个芯片布局训练模型

谷歌研究人员采用深度强化学习的方法，包含状态、动作、状态转移、奖励四个关键要素，通过训练一个智能体通过累计奖励最大化来优化芯片布局。

初始状态有一个空的芯片画布和一个未布局的网表，最后的状态对应于一个完全布局的网表。真实的奖励是一个商业EDA工具的输出，包括线路长度、布线拥塞、复杂度、功率、时间和面积。

智能体在每个步骤中布局一个宏，一旦布局了所有宏，标准单元格就会使用强制定向的方法来放置。奖励是近似的线路长度和拥塞的线性组合，被计算并传递给代理来优化它的参数，以便下一次迭代。

由于强化学习策略需要10万个示例才能有效地学习，因此奖励函数的评估速度必须非常快，最好在几毫秒内运行，且这些近似的奖励功能也必须与真实的奖励有正相关。因此研究人员定义了线路长度和布线拥塞的近似代价函数，通过加权和将多个目标合并成一个单一的奖励功能。

根据论文描述，谷歌研究人员提出一种新的神经网络架构，能训练领域自适应策略的芯片布局。

训练这样一个策略网络是一个具有挑战性的任务，因为包含所有可能放置的所有可能的芯片的状态空间是巨大的。此外，不同的网表和网格大小可能具有非常不同的属性，包括不同数量的节点、宏大小、图形拓扑以及画布的宽度和高度。

为了应对这些挑战，研究人员首先集中学习状态空间的丰富表示。其直觉是，一个能够跨芯片迁移布局优化的策略网络架构，也应该能够在推理时，将与一个未被发现芯片相关的新状态，编码为一个有意义的信号。

因此，谷歌研究人员建议训练一个能够预测新网表奖励的神经架构，生成输入网表的丰富特征嵌入，然后使用这个架构作为其策略和价值网络的编码器，以支持迁移学习。

▲策略和价值网络架构

（编辑：555手机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!