原文地址
通过GPU 加快人工智能的发展：新型计算模型 March 10, 2016 by Jen-Hsun Huang
Yann LeCun 邀请我在本周于纽约大学举办的“人工智能的未来”学术研讨会上演讲。本次学术研讨会云集了这个领域中的多位重量级人物，目的是讨论人工智能的现状及其未来发展。以下是我所讲的内容：深度学习这个新软件模型为何需要新的计算模型；人工智能研究人员为什么采用 GPU 加速计算；随着采用速度的大幅加快，NVIDIA 对推动人工智能的发展不断做出的努力；以及人工智能为什么会在好多年以后才实现蓬勃发展。
大爆炸式的发展
在设计计算机的漫长历史中，人工智能一直是最后一个待开发的领域。五十多年以来，制造能够像我们一样感知这个世界、理解我们的语言并能从例子中学习的智能机器一直是计算机科学家们的毕生工作。然而，在结合了 Yann LeCun 在卷积神经网络方面的研究成果、Geoff Hinton 的反向传播和随机梯度下降训练方法，以及吴恩达的大规模使用 GPU 后，才加快了深度神经网络 (DNN) 的发展速度，促进了现代人工智能（即深度学习）的大爆发。
当时，NVIDIA 正忙于推进 GPU 加速计算的发展，这是一种新型的计算模型，使用大量并行的图形处理器来加快本质上并行的应用程序的处理速度。科学家和研究人员争相使用 GPU 进行分子级别的模拟，以便确定救命药物的效果，以 3D 形式实现器官可视化（根据 CT 扫描的光剂量进行重建），或者进行超大规模模拟来发现支配宇宙的规律。一个使用我们的 GPU 进行量子色动力学模拟的研究人员对我说：“正是因为 NVIDIA 所做出的贡献，我现在才可以在有生之年成就毕生事业。”这是对我们的极大褒奖。我们的使命一直是为人们提供创造更好未来的能力。NVIDIA GPU 现了超级计算的大众化，研究人员如今已经发现了这种威力。
到 2011 年，NVIDIA GPU 进入了全世界人工智能研究人员的眼帘。Google Brain 项目刚刚取得了惊人的成果，它通过观看 YouTube 上的视频学会了识别猫和人类。但是背后需要使用 Google 的一个大型数据中心，在服务器中安装和冷却 2,000 个 CPU。很少有数据中心可以拥有这么大规模的计算机。再来就进入了 NVIDIA 和 GPU 的时期。NVIDIA 研究部门的 Bryan Catanzaro 与吴恩达在斯坦福大学的团队合作，将 GPU 用于深度学习研究。事实证明，12 块 NVIDIA GPU 所提供的深度学习性能相当于 2,000 块 CPU。纽约大学、多伦多大学和瑞士人工智能实验室的研究人员使用 GPU 加速其 DNN 的运算速度。然后，大爆炸时期就此拉开序幕。
深度学习施展魔法
多伦多大学的 Alex Krizhevsky 是 2012 年 ImageNet 计算机图像识别大赛的冠军。(1)Krizhevsky 的计算机以大比分击败了由计算机视觉专家编写的手工制作的软件。Krizhevsky 及其团队并未编写任何计算机视觉代码，而是使用深度学习技术让计算机自行学习识别图像。他们设计的神经网络名为 AlexNet，此神经网络接受了一百万张样本图像的训练，这需要在 NVIDIA GPU 上运行数万亿计的数学运算。Krizhevksy 设计的 AlexNet 已经打败了超棒的人工编码软件。
人工智能竞赛的战火已经点燃。到 2015 年，达到了另一个重大里程碑。通过使用深度学习，Google 和 Microsoft 都在 ImageNet 挑战中击败了人类的辨识成绩。（2、3）他们击败的对象不是人类编写的程序，而是真人。不久以后，Microsoft 和中国科学技术大学宣布 DNN 的 IQ 测试得分达到大学研究生水平。(4)然后，百度推出的一个名为 Deep Speech 2 的深度学习系统使用一种算法学会了英语和普通话。(5)2015 年 ImageNet 大赛的所有优秀结果都是基于运行在 GPU 加速深度神经网络上的深度学习产生的，很多结果在精确度方面都超越了人类水平。
2012 年，深度学习打败了人工编码的软件。到 2015 年，深度学习已达到“超人”的感知水平。
适用于新型软件模型的新计算平台
计算机程序包含的命令大部分需要按顺序执行。深度学习完全是一个新型的软件模型，其中会并行训练数十亿计的软件神经元和数万亿计的连接。通过运行 DNN 算法和从样本中学习，计算机基本上会编写出自己的软件。这种截然不同的软件模型需要新的计算机平台才能高效运行。 加速计算是一种理想的计算方法，而 GPU 是一个理想的处理器。《自然》杂志最近指出，深度学习的早期发展是“随着高速图形处理器 (GPU) 的出现而发生的，这种处理器编程方便，并且可让研究人员训练网络的速度提高 10 或 20 倍。”(6)结合性能、编程效率和开放的可访问性这些因素才能创建新型的计算平台。
性能。NVIDIA GPU 天生擅长处理并行工作负载，可让 DNN 提速 10-20 倍，从而将各个训练迭代周期从几个星期缩短为几天。我们并没有就此停止不前。通过与人工智能开发者协作，我们继续改进 GPU 的设计、系统架构、编译器和算法，在仅仅三年时间里，就将深度神经网络的训练速度提升了 50 倍，比摩尔定律提出的时间还要快。在未来几年中，我们希望将速度再提高 10 倍。
可编程性。人工智能正以极快的速度进行创新。简化编程和提高开发者的工作效率成为最重要的事情。NVIDIACUDA 平台具有可编程性和丰富性，可让研究人员快速创新，构建 CNN、DNN、深度初始网络、RNN、LSTM 和强化学习网络的新配置。
可访问性。开发者想要随时随地进行创造和部署。您可以通过世界各地的每个 PC OEM；台式机、笔记本电脑、服务器或超级计算机；以及由 Amazon、IBM 和微软提供的云服务使用 NVIDIA GPU。所有主要的人工智能开发框架都通过 NVIDIA GPU 进行加速，从互联网公司到研究机构再到新创公司，不一而足。不管选择的是何种人工智能开发系统，都可以通过 GPU 加速来提速。同时，我们也为每种尺寸的计算机创建了 GPU，以便 DNN 能为所有类型的智能机器提供支持。比如，GeForce 是为 PC 而设计的，Tesla 是为云服务和超级计算机设计的。Jetson 适用于机器人和无人机。DRIVE PX 适用于汽车。这些 GPU 都采用相同的架构，并且能加快深度学习的运算速度。
各行各业都想要智能
百度、Google、Facebook 和 Microsoft 是采用 NVIDIA GPU 进行深度学习的第一批企业。这项人工智能技术用于回应你说出的话、将语音或文本翻译为另一种语言、识别和自动标记图像，以及推荐我们喜欢和关心的新闻、娱乐和产品。产业界的业者无论新旧，现在都争相使用人工智能创建新产品和服务，或改善其运营状况。仅仅两年时间，与 NVIDIA 合作开发深度学习的公司数量已经增长将近 35 倍，达到 3,400 多家。医疗保健、生命科学、能源、金融服务、汽车、制造和娱乐等行业将会通过洞察海量数据获益。随着 Facebook、Google 和 Microsoft 开放其深度学习平台供所有人使用，基于人工智能的应用程序将会飞速发展。鉴于这一趋势，《Wired》杂志最近预告了“GPU 的崛起”一事。
自动驾驶汽车。无论是为人类增添一名超人副驾驶，还是变革个人出行服务，或是降低城市对大型停车场的需求，自动驾驶汽车都具有有益于社会的潜质。驾驶是一件复杂的事情，会出现很多意外情况。冷冰冰的雨将路面变成溜冰场、通往目的地的道路封闭、有孩子突然跑到车前。您编写的软件无法预测自动驾驶汽车可能会遇到的所有可能发生的情况，而那正是深度学习的价值所在，它可以学习、适应和改进。我们正在为自动驾驶汽车构建名为 NVIDIADRIVE PX 的端到端深度学习平台，涵盖从训练系统到车内人工智能计算机的每个层面。结果非常激动人心。未来拥有超人副驾驶和无人驾驶的交通车将不再只是科幻作品里才有的剧情。
机器人。业界领先的机器人制造商 FANUC最近展示了一种流水线机器人，这种机器人学会了从箱子中随机“捡取”目标物体。这款由 GPU 提供技术支持的机器人依靠反复试错进行学习。这种深度学习技术由 Preferred Networks 开发，《华尔街日报》通过标题为“Japan Seeks Tech Revival withArtificial Intelligence”（日本寻求通过人工智能实现技术复兴）的专题文章介绍了这家公司。
医疗保健和生命科学。Deep Genomics 公司正在应用基于 GPU 的深度学习了解基因变异如何导致疾病。Arterys 使用基于 GPU 的深度学习加快医学影像的分析速度。这项技术将部署在 GE Healthcare MRI 机器上，用以协助诊断心脏病。Enlitic 正在运用深度学习分析医学影像，以识别肿瘤、几乎看不见的骨折和其他病况。
这些仅仅是数千个例子中很少的一部分。
通过GPU 加快人工智能的发展：新型计算模型
深度学习领域的突破成为了引爆人工智能革命的导火索。基于人工智能深度神经网络的机器可以解决对于人类程序员而言过于棘手的问题。这些机器可以从数据中学习，在使用的过程中改进。即使是非程序员也可以训练同一个 DNN 来解决新问题。发展进度越来越快，采用数量越来越多，我们相信对社会造成的影响也非常深远。KPMG 最近的一项研究预测，20 年后，计算机化驾驶辅助技术可以减少 80% 的交通事故，相当于一年可以挽救近百万人的生命。深度学习人工智能将会是其中的基础技术。
深度学习对计算机行业的影响也极其深远。深度学习完全是一种新型的软件模型，因此，我们需要新的计算机平台来运行这一软件，一个可以高效执行程序员编码命令并且可以大规模并行训练深度神经网络的架构。我们确信 GPU 加速计算架构是理想的工具。《新科技时代》杂志最近称 GPU 为“现代人工智能的主力”，我们完全赞成。
参考资料
1. A. Krizhevsky、I. Sutskever 和 G. Hinton。ImageNet classification with deep convolutional neural networks。在 Proc.Advances in NeuralInformation Processing Systems 25 1090–1098 (2012) 中。
2. K. He、X. Zhang、S. Ren 和 J. Sun。Delving deep intorectifiers:Surpassing human-level performance on ImageNet classification。arXiv:1502.01852 [cs] (2015)。
3. S. Ioffe 和 C. Szegedy。Batchnormalization:Accelerating deep network training by reducing internal covariateshift。在 International Conference onMachine Learning (ICML) 448–456 (2015) 中。
4. H. Wang、B. Gao、J. Bian、F. Tian 和 T.Y. Liu。Solving Verbal Comprehension Questions in IQ Test byKnowledge-Powered Word Embedding。arXiv:1505.07909[cs.CL] (2015)。
5. D. Amodei、R. Anubhai、E. Battenberg、C. Case、J. Casper、B. Catanzaro、J. Chen、M. Chrzanowski、A. Coates、G. Diamos、E. Elsen、J. Engel、L. Fan、C. Fougner、T. Han、A. Hannun、B. Jun、P. LeGresley、L. Lin、S. Narang、A. Ng、S. Ozair、R. Prenger、J. Raiman、S. Satheesh、D. Seetapun、S. Sengupta、Y. Wang、Z. Wang、C. Wang、B. Xiao、D. Yogatama、J. Zhan 和 Z. Zhu。“Deep speech2:End-to-end speech recognition in English and Mandarin”，arXiv preprint arXiv:1512.02595 (2015)。
6. Y. LeCun、Y. Bengio 和 G. Hinton。Deep Learning – Review。Nature (2015)。
| 
