一文搞懂什么是GPU、什么是CUDA(通俗易懂版)

1 评论 1146 浏览 2 收藏 8 分钟

本文详细探讨了GPU的重要性、设计初衷及其在AI训练和推理中的应用,同时介绍了CUDA平台及其对GPU计算能力的扩展。通过深入了解GPU和CUDA,读者可以更加明晰当前AI技术发展的趋势和需求,以及如何利用这些技术推动行业的前进。

身处AI时代的我们,想必都听过”GPU“、英伟达。但是真正了解GPU的人,可能并不多。本文,通过与chatGLM一系列对话,对GPU相关问题,刨根问底,得到了答案。让我们一起来看看吧…

记得本人刚入行,做私有化交付型的一些AI产品和项目的时候,一些AI算法模型,我们会同时给出CPU版本性能参数和GPU性能参数,有些AI算法服务需要客户自行准备GPU机器,用于算法前期POC测试和运行。印象最深刻的就是:几乎所有涉及到图像处理、CV领域的算法,比如车辆检测、物体检测、人脸识别等都需要GPU机器。当时,我就是那么去“记”的,也没怎么耽误推进产品和项目进度,所以也没深究到底什么是GPU?、什么是CUDA?

恰逢本人今年4月份,在面试某公司大模型产品经理岗位时(偏技术型),被问到了 “什么是CUDA?”——所以趁有时间,分享一下~

当前AIGC的时代浪潮已经掀过一翻,目前遗留的最大问题就是:【算力短缺问题】。所以,未来大力发展“算力”,是大势所趋。我们AI的从业者们,也可再往深入探究一些,为行业的共同发展和认知普及,做一些贡献。——这也是本篇本章产出的另一原因。

一、GPU是啥?干嘛用的?非它不可吗?

众所周知,在【电脑】里,有个充当”脑子“的东西,叫做:CPU(中央处理单元),它能够进行各种计算任务,包括图像处理和数据分析。

好,那直接用CPU进行各种运算不就得了,为啥做深度学习、搞AI模型的这帮团队,非得用GPU?

—————一个字:快!七个字:并行计算,所以快!

好,那下面再深究一下:

  1. 为何GPU就能并行计算了?
  2. GPU怎么个并行计算法?
  3. GPU的发明,是为了解决什么问题的?

1. GPU的设计初衷——为了加速图形计算和图形渲染

背景:在20世纪90年代,计算机游戏和多媒体内容的兴起,对于能够快速生成复杂3D图形的硬件需求日益增长,而那时的CPU只能顺序执行指令。

2. 为什么图像图形计算,就非得需要“并行运算“提效呢?

并行计算提效的原因:一个工人一个点一个点喷涂 v.s. 一堆工人同时喷涂。

图形计算与渲染需要计算每个像素点的亮度、颜色等数值,如果一个点一个点顺序执行,那太慢,而并行运算就快很多啦。——GPU 有多个核。

下面这张图更直接:

3. 为何AI训练、AI推理等深度学习任务,也需要高性能运算?为何选GPU?

在AI推理中,有很多重复性的计算,比如大量的加减乘除运算。

在AI深度学习任务中,建模的目标就是:求解目标函数。——而目标函数求解,需要求解出每个特征对应的参数。——比如现在的AI大模型,动不动10亿级别、百亿级别参数量级。

图:目标函数示例

所以,需要提高训练和在线推理性能的东西。——那有个现成的东西:GPU。可以拿来即用。

GPU的应用场景,也由最初的”加速图形渲染“,演变到了现在的”通用计算“场景。

二、什么是CUDA?

好了,了解了前面GPU是什么、GPU的设计初衷、GPU能干嘛?(加速图形计算–通用高性能计算:AI训练&AI推理);

下面再了解一下,什么是CUDA吧?

——CUDA,是在英伟达Ian Buck(CUDA项目负责人)率领下,于2006年正式推出的全球首款GPU上的通用计算解决方案。可以理解为,它是一个软件平台,里面包含各种库函数,包括:图形库、数学库、深度学习库、runtime库等;个人理解,CUDA它就是实现AI深度学习任务的一个软件平台或框架,类似的还有Pytorch、Tensorflow。

三、除了英伟达的V100、A100、H100等GPU,还有哪些厂家有哪些GPU?

1. 国外除了英伟达做AI芯片的厂商,还有:

数据来源:chatGLM-2024年7月.

2. 国内做AI算力的厂商,以华为昇腾为主力代表,其它厂家还有:

遂原科技(腾讯投资)、地平线、寒武纪、百度(昆仑芯片)、比特大陆、中科曙光、海光、壁仞科技、摩尔线程(GPU芯片“春晓”)、砺算科技(G100)、象帝先(天钧一号)、智绘微(IDM9系列)、芯动力(RPP-R8)等等;

更多国产算力芯片厂商,可详见这篇文章:GPU国产替代逆流而上 盘点九个值得关注的国产GPU产品(https://new.qq.com/rain/a/20230108A00HNE00),或者自行翻一翻历年的《算力行业研究报告》~

四、本文参考资料

1、一文读懂 GPU 的发展历程:https://juejin.cn/post/7125824952342675464

2、英伟达为什么这么红:说说GPU计算背后的故事:https://new.qq.com/rain/a/20230108A00HNE00

3、GPU国产替代逆流而上 盘点九个值得关注的国产GPU产品:https://new.qq.com/rain/a/20230108A00HNE00

本文由 @南方碟道 原创发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于CC0协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 为什么超链接都最终给我搞成了文本,对后台编辑不能不服🫠

    来自北京 回复