为什么跑AI往往更需要GPU而不是CPU？

老牛

http://www.server2008.cn/newsinfo1027.html   作者：server2008    时间：2021-12-07
为什么是GPU而不是CPU？


GPU难道不是我们日常使用的电脑里的，用于提高游戏性能或设计图形所需的图形处理单元吗，为什么在AI方面，我们计算机里的“大脑”（CPU）反而很少提及呢？今天小编就来解答这个问题。


  为什么AI需要GPU


要了解为什么GPU更适合AI，我们就要从GPU的诞生说起。图形处理单元 (GPU) 最初开发用于生成计算机图形，是具有专用内存的专用处理器，通常执行渲染图形所需的浮点运算。从GPU的诞生我们可以看到，GPU是专为计算机开发的，旨在提高它们处理3D图形的能力。这种特性决定了GPU仅用于参与任务或应用程序代码的某些部分，而不是整个过程。因此，GPU通常有较多的内核，用于处理频繁且彼此独立的简单计算。而CPU又被称为通用处理器，因为它几乎可以运行任何类型的计算。不过CPU通常只有几个内核，即使是服务器专用的CPU也不过几十个内核，与GPU动辄成百上千个内核相比完全不是一个数量级。



但这并不意味着CPU不够好，CPU内核虽然更少，但比数千个GPU内核更强大。例如同时处理操作系统、处理电子表格、播放高清视频、提取大型zip文件，这些是GPU根本无法完成的。说到这里，你该明白GPU和CPU的区别了吧。总结一下，CPU最擅长按顺序处理单个更复杂的计算，而GPU更擅长并行处理多个但更简单的计算。


至于为什么AI需要的GPU，答案也很明显了，因为训练AI模型的过程需要同时对所有数据样本执行几乎相同的操作，而GPU的架构设计具有快速同时处理多个任务所需的并行处理能力。


过要注意的是，尽管GPU非常适合于AI模型算法，但并不意味着GPU在所有情况下都适用：


规模较小的训练：CPU完全可以执行训练AI模型所需的算法，特别是如果数据集规模相对较小，可以使用CPU避免高昂的前期成本。


非并行算法：本质上，GPU是为图形处理而设计的，因此当某个AI模型算法并不是并行算法时，CPU就是更好的选择。某些涉及逻辑或密集内存要求的AI算法也是CPU的强项。

老牛

https://fsc.fzu.edu.cn/info/1041/1191.htm

芯片：人工智能竞争的制高点

AI芯片提供算力，承载算法，是实现人工智能的物理载体，因此是人工智能领域竞争的制高点。

什么是AI芯片？从广义上说，所有面向AI应用的芯片都可以称为AI芯片，但目前人们普遍认为，AI芯片是针对AI算法做了特殊加速设计的芯片。AI深度学习需要很高的并行计算、浮点计算以及矩阵运算能力，基于CPU的传统计算架构无法充分满足人工智能高性能并行计算(HPC)的需求，因此需要发展适合AI架构的专属芯片。

对于人工智能计算架构来说，CPU配合加速芯片的模式是典型的AI部署方案：CPU提供算力，加速芯片提升算力并助推算法的产生。常见的AI加速芯片按照技术路线可以分为GPU、FPGA、ASIC三类。其中，应用于图形、图像处理领域的GPU 可以并行处理大量数据，非常适合深度学习的高并行、高本地化数据场景，是目前主流的人工智能计算架构。

GPU用于大量重复计算，由数以千计的更小、更高效的核心组成大规模并行计算架构，配备GPU的服务器可取代数百台通用CPU服务器来处理高性能计算和AI业务。

FPGA是一种半定制芯片，灵活性强集成度高，但运算量小，量产成本高，适用于算法更新频繁或市场规模小的专用领域。

ASIC专用性强，适合市场需求量大的专用领域，但开发周期较长且难度极高。