杜克大学陈怡然：高效人工智能系统的应用软件协同设计

过往十几年，我们在格伦好好了大量确切为了让，并内部结构设计了一些晶片。

2019 年我们在 VLSI 发了一篇篇名，可以用新型驱动器器和传统习俗 CMOS 展开联接，录入以后可以将比如时可定义神经网络整个射影到这样一个标量状中会开放性底下，同时可以选择高精度，展开高精度和能效彼此之在在的权衡（tradoff）。相比之下传统习俗 CMOS 内部结构设计，开放机动性先为前可以受益几十倍的提极高。

今年在 ISSCC 上我们也有另外一个管理工作，主要是我们肄业的师生北燕博南在北京大学的一个课题小组管理工作，这个内部结构设计思不想还可以放到传统习俗 SRAM 。这个内部结构设计的一个值得注意之处在于，传统习俗内部结构设计通过电容展开参有数强调，基本上是一种各种类型计而今方式为。换句话真是，其组织上连续中会开放性强调一个参有数，这就能够各种类型到十六开制的类比，有数模类比极为价格低廉。而我们在 ISSCC 上的管理工作：ADC-Less SRAM 基本上是一个二值的整有数强调，比如零和一，这就有意味著填入有数模类比，从外部做到十六开制状中会开放性下的计而今。这是以前做到的一个技术开发突破。

可以碰到示意图这张三幅 Digital CIM（最后面, This Work）, 能效仅仅可以降至 27.4 （ TOPS/W，8 比特状中会开放性下 ），早已将近原先为其他所有内部结构设计，整个 density 极为极高，在 28 固态手工但会，每平方毫米上相比之下之下有上兆的器件。

除了电路，还要有Core跟Ja彼此之在在的支持才能够做到整个计而今系统对的内部结构设计。2014-2015 年在此之前，我们就开始好好确切内部结构设计，比如内部结构设计Ja，发现可以用来快速的处理程序的一部分，同时在片上通过一些方式为联接各种各样的模组，把大的网络分转成小的网络，或在有所不同网络层（layer）彼此之在在展开有值的类比。

非常值得一提的是，我们平常亦会在一个大的网络底下遇到很多模组，至少可知在两种网络适配计而今的方式为——十六开制适配和静态适配。所谓十六开制适配，是更有很多回传（input），些有数据库可以被适配的分到有所不同运而今三组（PE）底示意图去。对于静态适配来真是也是一样，大的静态可以被分块展开计而今。

但是，这两种适配的方式为十分在后他。即使对于一个 Layer 来真是，当你把这一个 layer 射影到有所不同 PE 上，在每个 PE 仍意味著改用有所不同的适式为。比如示意三幅用黑点和紫色来强调，大部分适式为是通过静态适配的方式为来操作方法，也有少部分是十六开制适配。

为什么亦会这样？因为只有录入有所不同适配的分布区方式为，才能使得在整个而今力全部被强调的但会，所有十六开制跟十六开制正好降至一个稳中会开放性平衡原因下，整体而言能效最极高。如果是实体强调，有的人口众多就自力了或者而今得非常慢，拖累了整个计而今。这是 2019 年登载的篇名 HyPar。

2020 年我们发现一个新疑问，我们基本上没太考虑时可定义网络本身的强调，而你平常亦会在时可定义层底下一个层一个层地去计而今，亦会有一些中会在在结果，直到先为前才亦会被用做。以致于亦会造转成了第三种适式为，就是 Tensor 适配的方式为，比如示意三幅这种，回传和输出则有三种适配的意味著。3 相赞 3，多达有 9 种强调方式为。

如果受制于每个 PE 都有 9 种方式为展开强调，就没设法通过人工方式为展开优立体化，须要通过自动立体化方式为（比如线开放性规划）已完转成整个系统对的强调。同时，你也不意味著一并回去这些强调方式为，能够一些的层次立体化的方式为。

比如，先为有些大的分辨，再由小的分辨直至到先为前单个强调。如果用三种颜色来好好强调，亦会发现即使在一个层次的射影下也有有所不同 PE 有有所不同运营强调来必需整体而言上有数据库移动的拟合。这样，能效就能再推开一倍。

同样的基本概念不仅仅可以用做高度研修底示意图。高度研修只是一个三幅计而今特例。而任何可用三幅方式为来强调有数据库移动的计而今都是三幅计而今，高度研修虽然很丰富但几乎只是三幅计而今的一种多种有所不同强调。所以，你可以用可知内计而今方式为来展开三幅计而今。

这是我们另外一个 HPCA 2018 上的管理工作。我们发现是三幅计而今，相非常是高度优先为或者网络优先为查看这类而今法，可以把他们在标量上的强调，用三幅计而今的方式为来做到。相比之下之下在传统习俗 CPU 网络服务上的计而今，能效亦会有上百倍提极高。

说什么完整个Core内部结构设计，在而今法上如何之前优立体化计而今能效？下一个事例是内部结构细小立体化。细小立体化确实被熟知，当神经网络的一些权重很小或者几近于零，无论回传太大，对输出没不良影响，这个时候，你其实只能够而今结果，从外部丢掉这个结果（其实是零）就可以了。

2016 年以前，所有针对神经网络的细小立体化操作方法基本都是非内部结构细小立体化，只要你碰到一个零，就把它填入。这就随之而来一个疑问——所有有数据库在计而今机驱动器的时候有一个 locality（发散开放性），因为有时可定义跟自力可定义的发散开放性，当用做一个有数，大体上亦会有一个预料，这个十六开制亦会大幅度被用做，或者驱动器在其外围的有数也亦会在今后被大幅度用做。当你把很多零填入后，亦会造转成了很多大洞。当你发现一个有数以后，亦会期待下一个有数，但你其实没可知。整个缓可知亦会陷入一个状中会开放性：大幅度到很远人口众多把十六开制弄上去，结果你发现这不是能够的，然后之前回去。

怎么应对这个疑问？好好细小立体化的时候，几乎借此把填入的这些零或者计而今，以某种发散开放性来好好强调，比如整行或者一整全部填入。这样就可以在必需驱动器发散开放性的假定下，几乎降至计而今优立体化。

真是起来较难，关键是怎么好好？我们 2016 年 NeurIPS 有篇篇名说什么了内部结构细小立体化，这篇篇名此后也变得很闻名于世。（篇名说什么的是）大体上可以发现这些参有数，对应了某种驱动器内部结构，这种内部结构使得这些有数以一块一块方式为展开驱动器。这样在清零时，把整个行或者列全部清零，几乎能够在必需优立体化假定的假定下同时必需 发散开放性。这个可以用在 CNN、LSTM、RNN 甚至一些不够复杂计而今。这项技术开发过去大体上早已是神经网络优立体化的一个标配。

另一个惯用的神经网络优立体化是量立体化. 网络基础训练能够极高高精度，但解谜时十分能够极高高精度。这就造转成了了一个很有趣的好事：究竟什么样的高精度，优立体化是同样的，而且这个高精度用什么方式为去强调。

传统习俗上，大家可以一并回去最佳结果。比如，一个 bit、两个 bit、四个 bit...... 回去就对了。但你亦会发现，还要受制于这个 bit 怎么在驱动器展开强调。比如，对这个 layer 来说什么，当有某个 bit 于所有十六开制来真是都是零，那就只能够可知这一整个 bit。举个事例，只要必需你只要这四个 bit 底下的第二个和第四个可知在，而不是每个都能够，这就丰富了整个高精度的优立体化。这也是我们第一次将内部结构细小立体化运用做 bit 素质的细小立体化研究者上。

我们用 Group LASSO 的方式为，把有数据库强调底示意图整个 column 或者整个内部结构为零的 bit 全部填入，这样就非常大减少驱动器生产转成本。这是我们 2021 年的一篇篇名。

再往下就是基础训练，这是一个很复杂的好事。我们平常教徒师生 loss function 要趋向于于饱和。但在的公司，永远不意味著有足以的而今力让你而今到饱和，大体上给你一百台驱动器基础训练 24 小时，无论你基础训练转成什么样，你都得落幕，这使得基础训练本身要极为极高效。

传统习俗上我们放任分布区式伺服器的好好法，把静态激活很多遍，但每个激活的静态只用一部分有数据库来基础训练。那么怎么必需先为前受益的结果受制于所有的有数据库？你就能够把这些神经网络在基础训练中会禅城的位移送去参有数伺服器底示意图，好好平均以后再发回去来不够新本地的神经网络。这就造转成了了一个疑问：当路由器伺服器值得注意多的时候，先为前整个系统对就只不过的被位移链路造转成了的有数据库流所囊括。

怎么办？我们此后发现，当参有数足以多的但会，造转成了的位移亦会必需某一个分布区，其实只能够链路原始有数据库，只能够而今分布区的一些参有数和一些诸如有数据库多还是少之类的，把他们传过往，就可以只不过在另外顶端激活这个分布区，受益确切来说结果。

我们在iPhone端就已完转成了这样一个操作方法，为首很多iPhone展开基础训练，同时还可以好好解谜。

好好解谜的时候，我们放任了聚类的方式为，将那些正数的十六开制尽量以再一线性变换的方式为变更到一块儿，然后正处iPhone上非常大会展开计而今，增大iPhone在在的通信，提极高运而今效率。

我们此前跟一家的公司好好的测试，在世界性回来了几千个 CDN 网络伺服器，搞了一个 Style Transfer（风格类比）领可定义，通过分布区计而今跟强调已完转成整个计而今，效果极为好。大体上可以即时通过iPhone跟伺服器联动，已完转成整个基础训练和解谜。

没用说什么了这么多，基本上有一个疑问：所有这些样子都能够一些极为有科学知识、极为贵的机械师来内部结构设计确切来说的神经网络。这也是过去神经网络落地生产转成本中会极为大的一部分。我们可以通过自动立体化方式为，比如增不强研修、优立体化方式为来优立体化整个神经网络，因为可以将它各种类型转成某种优立体化更开一步，但这些传统习俗的优立体化更开一步极为价格低廉。

我们此前不想通过三幅强调的方式为来好好这个。通过一个有向三幅而且是一个没环路的有向三幅来强调高度神经网络Core，它有很多个 cell，有所不同 cell 叠赞在一齐已完转成整个神经网络Core。我们要回来的是这个 cell 底示意图的拓扑内部结构，来看先为前这个神经网络内部结构设计是否即便如此。这就是一个对拓扑内部结构非常恰当的研究者。

另外，你亦会发现：当好好这些好事的时候，拓扑内部结构非常相似的神经网络的准确度也都相比之下之下，有确切开放性，确切系有数虽然不是 1，但大体上也是一个非常极高的有数。因此，可以通过Core预测这样一个Core到底可以必需我们的开放机动性要求，这种预测可以提示已完转成整个神经网络Core的查看。

这是一些确切结果。我们把一些频域中会开放性的Core或者拓扑内部结构射影到连续中会开放性的生活自力在在底下，造转成了矩阵彼此之在在的平面（同源）作为一个开放机动性的关键强调，可以通过这样方式为预测受益优立体化是什么样的，大幅度接近优立体化结果。

无论如何，这个方式为是跟人的内部结构设计是反之亦然的，人不是这么内部结构设计神经网络的。人是看哪底下有小静态能只能即便如此，必需不了再往上赞。我们也好好过这样的为了让，叫 Automated network depth discovery , 内部结构设计一些法则，使得你可以从最小网络大幅度往上赞，每个层底下赞有所不同 layer，或者赞很多层，碰到什么样Core先为前必需这个要求。当然，你要内部结构设计一些确切法则或者好好一些为了让。

这些为了让还挺有意思。先为前你总能优立体化到内部结构设计平衡原因下基础性面的某单位矩阵上，但没设法固定优立体化到某单位矩阵，你只能到这个基础性面上的某个点，慢慢让它民主自由移动。我们还是没足以的思考，使得我们只不过可以控制优立体化的斜向跟范围。所以，这个管理工作还能够不够深一步研究者，我们只是证明了可行开放性，但没对法则的明晰开放性好好不够多研究者。

先为前，该软件跟该软件协作内部结构设计，有很多参有数能够考虑，除此以外韧协作、确切电路跟Core内部结构设计、以及而今法本身针对该软件的优立体化。

我们的团队基本上好好了很多年的造就，从 2012 年开始研究者神经网络在有所不同该软件上的强调，到此后好好Core内部结构设计、分布区式内部结构设计，到自动立体化内部结构设计等，好好了极为多的为了让。仅仅碰到了如何从一个最简单的强调，直至先为前才可到按一个钮，已完转成了 AI 软该软件结合的筹建。

谢谢大家！