从体系结构会议论文看AI硬件加速技术研究

首页

发布时间：2020-10-16 11:26

随着深度学习神经网络的兴起，关于深度学习加速器的设计和研究方兴未艾。从2014年开始，在计算机体系架构领域四个顶级学术会议，ISCA、MICRO、HPCA和ASPLOS中逐步开始关于AI/ML/DL加速器、芯片和系统等相关论文发表，并占有很高的比重，成为Domain Specific Architecture研究中最为重要的代表。

我们对着几个重要会议近几年的相关论文进行了一些整理和分析，并在github维护了一个AI Chip Paper List,希望能够给从业者和研究人员一些参考。

本文从时间、会议、地区、机构等几个角度对这些论文进行了简要的统计和分析，希望给大家一个整体趋势的参考。

会议和年份

下图显示了自2014年以来，几个会议中相关研究论文的数量。

注：由于本文统计时，2020年MICRO论文收录情况还未公布，所以2020年的数据并不完整。
注：ISCA(International Symposium on Computer Architecture), MICRO(IEEE/ACM International Symposium on Microarchitecture), HPCA(IEEE International Symposium on High-Performance Computer Architecture), ASPLOS(ACM Conference on Architectural Support for Programming Languages and Operating Systems)

可以看到，近年来深度学习热度不减。从2014年的2篇开始，几大会议中的相关论文数量也是逐年走高，在2019年共计达到48篇。其中，MICRO相关论文数量一直比较高，而ASPLOS则相对较低，这可能与加速器更加偏重硬件设计有关。

从时间上来看，AI硬件加速的研究是伴随AI算法研究和产业化的热潮开始的，并逐渐成为了体系结构会议的最重要内容，这也和AI相关研究在其它领域的情况是类似的。2014年到2017年可以说是AI硬件加速这个新领域的开疆拓土时期，涌现了大量的基础创新工作。2018年之后，更多的工作是在之前工作的基础上进一步的改进性创新。这种现象在AI算法（领域需求）发生大的变化之前可能不会发生太多变化（可参考“从ISCA论文看AI硬件加速的新技巧”）。

国家\地区

下图显示了相关论文来源所在国家的统计。可以看到，这些论文集中在6个国家当中，这与体系结构研究的分布也基本相符。其中，美国、中国、韩国位列前三。但美国的论文总数是其它国家总和的2倍还要多，优势明显。

注：统计按照通讯作者所在研究机构和国家进行统计。有些论文并未明确标识通讯作者，则按照第一作者的所在研究机构和国家进行统计。

下图显示了自2014年以来，这6个国家每年在四大会议上发表论文数量的统计。有趣的是，中国是最早开始在AI加速器上发表论文的国家，在2014、2015年开始，DianNao系列的研究率先在ASPLOS’2014、MICRO’2014、ASPLOS’2015、ISCA’2015上发表了4篇文章。从2016年开始，来自美国的研究论文后来居上，大幅领先，体现了在体系结构领域研究的传统实力。

研究机构

下表格是根据论文来源的研究机构进行排序后的前十名。排名第一的是中国科学院计算所，为11篇，小幅领先美国佐治亚理工。前十名中多是美国大学，这也解释了美国研究论文总量较高的原因。加拿大的多伦多大学、韩国的KAIST和首尔大学、中国的清华大学也都名列前茅。

排名	科研机构	数量
1	ICT	12
2	Georgia Institute of Technology	10
3	University of Toronto	8
4	University of California	7
5	University of Florida	6
5	University of Illinois, Urbana-Champaign	6
5	Stanford University	6
8	KAIST	5
8	Tsinghua University	5
8	Seoul National University	5

另外，还有很多论文是来自企业，比如Nvidia，Intel，Qualcomm这些传统芯片巨头。随着AI产业的发展，一些科技巨头也开始自研芯片，它们也开始在这些会议上发表AI硬件加速的论文。比如Google在2017年的ISCA上发表的论文“In-Datacenter Performance Analysis of a Tensor Processing Unit”已经成为这个领域的经典文章。

我们也分析了一下来自中国的高校、研究所和企业的论文情况。除了上述中科院计算所和清华大学约论文数量较多外，其它论文也大多出自我国计算机体系结构和集成电路领域相关类专业比较有优势的单位和高校。但这些几个的论文数量并不多，除了中科院计算所、清华大学之外，其它高校和机构差别并不明显。

小结

从以上对体系结构顶会论文的分析可以看出，中美在AI加速器芯片及相关系统设计和研究领域仍有明显差距。虽然中国研究机构较早开始了相关研究，但由于美国高校和企业在体系结构领域的传统优势，导致后续研究成果的爆发式增长。我国的研究成果单位比较集中，多在高校和科研院所，企业的参与度较低。

科研创新是整个产业的先导。如果说现在是体系结构的黄金时代，我们需要更多努力，抓住这个机会。

参考：AI Chip Paper List

我们在github上对相关论文给出了更为详细的信息，并从algorithm and workload，programming and software stack、hardware architecture、circuit and device、cross-boundary optimization and design methodology等几个方面对这些论文进行了分类，以帮助读者能够快速在这些论文中找到各自的兴趣点，促进相关行业的工程师、研究人员和学生都能够从中获得有益的参考。