黄仁勋、CUDA搭英伟达个崛起
引言
1993年黄仁勋搭人家一道创办英伟达个辰光,目标是将3D图形带到电脑游戏搭多媒体里向。今朝,同一家公司个处理器被用来训练搭运行人工智能模型。要想明白搿个转变,顶好从黄仁勋个工程背景搭英伟达造个软件平台 CUDA 讲起。[1] [1]
1. 黄仁勋个工程生涯
黄仁勋生勒台湾,1984年勒俄勒冈州立大学拿到电气工程学士学位。1984到1985年,伊勒 AMD 做微处理器设计师,之后勒1985到1993年勒 LSI Logic 做过好几个职位。伊后来做仔 Coreware 个总监,搿个部门负责公司将电脑系统多个组件整合到单一芯片上个战略。搿段辰光,伊还勒1992年勒斯坦福大学拿到电气工程硕士学位。[2] [1]
1993年4月5号,黄仁勋搭 Chris Malachowsky、Curtis Priem 一道创立仔英伟达。自从公司成立,伊一直做总裁、首席执行官搭董事会成员。1999年,英伟达进行首次公开募股。同一年,公司推出仔 GeForce 256,是公司图形处理器(GPU)历史个一个里程碑。[1] [1]
2. CUDA 是啥?
英伟达勒2006年推出 CUDA,作为勒 GPU 上头并行执行大量运算个软件平台搭编程模型。GPU 是执行运算个硬件;CUDA 提供开发者勒搿个硬件上头运行运算所用个编程工具。搿能介让为图形而造个 GPU 向科学研究、高性能运算搭人工智能个应用开放。[1] [1]
想象一下提亮一张有一百万个像素个图片。一个像素个运算可以脱其他像素独立进行。CUDA 程序可以将搿项工作拆成更小个运算,勒 GPU 上头运行。勒 GPU 上头运行个函数叫内核。交关线程并行执行伊,每个线程处理分配到个搿部分数据。将工作拆成可以并行执行个部分搿个原理,同样适用于大型矩阵乘法等 AI 运算。[3] [1]
3. CUDA 哪能帮到 AI 行业
训练神经网络个辰光,模型首先会做预测。训练过程会测量误差,然后更新模型参数,反复交关趟。GPU 加快仔矩阵乘法搿类运算,让研究人员有辰光做更多实验,也让训练更大个模型变得可行。GPU 勒训练之后个推理阶段也会用到,比方语言模型为用户生成回答个辰光。[4] [1]
AlexNet 勒2012年提供仔一个实际示范。伊勒英伟达 GPU 上头训练,赢仔 ImageNet 图像分类比赛。伊个表现显示,用来打游戏个图形处理器也可以训练识别图像个模型。[1] [1]
4. CUDA 哪能畀英伟达持久优势
英伟达为开发者经常需要个运算造仔优化个库搭工具。cuBLAS 加快矩阵运算,cuDNN 支持常见个神经网络运算,NCCL 处理跨 GPU 通信,TensorRT 帮助训练好个模型跑得更快。PyTorch 等框架支持 CUDA,所以开发者勿使从零开始写每个 GPU 操作,也用得着搿些功能。[5] [1]
结论
搿个软件生态系统强化仔英伟达个硬件业务。一个团队可以从小型实验扩展到跨多个 GPU 运行个系统,同时继续用熟悉个软件搭工具。换硬件可能需要团队检查伊个 CUDA 依赖、调整部分软件搭重新测试性能。英伟达多年来勒硬件之外还投资软件,所以当 AI 运算需求增长个辰光,伊已经为熟搿些工具个开发者准备好仔。[1] [1]
参考资料
- https://www.nvidia.com/en-us/about-nvidia/corporate-timeline/
- https://s201.q4cdn.com/141608511/files/doc_financials/annual/2013/NVDA_2013AR_Proxy_10K-FINAL.pdf
- https://docs.nvidia.com/cuda/cuda-programming-guide/02-basics/writing-cuda-kernels.html
- https://docs.nvidia.com/cuda/cuda-programming-guide/index.html
- https://developer.nvidia.com/machine-learning
关于黄仁勋、CUDA 搭英伟达崛起个问题
CUDA 是啥?英伟达为啥要造伊?
CUDA 是英伟达勒2006年推出个软件平台搭编程模型,用来勒 GPU 上头并行运行大量运算。GPU 是硬件;CUDA 提供编程工具,让图形硬件向科学研究、高性能运算搭 AI 开放。
CUDA 哪能帮到 AI 行业?
训练神经网络就是说,要反复做预测、测量误差搭更新参数交关趟。GPU 加快仔矩阵乘法搿类运算,让研究人员可以做更多实验、训练更大个模型。勒英伟达 GPU 上头训练个 AlexNet,就凭赢仔2012年 ImageNet 比赛证明仔搿一点。
为啥 CUDA 可以畀英伟达持久优势?
英伟达造仔开发者经常需要个优化库——矩阵运算用个 cuBLAS、神经网络运算用个 cuDNN、多 GPU 通信用个 NCCL 搭更快推理用个 TensorRT——而 PyTorch 等框架支持 CUDA,所以团队可以从小型实验扩展到多个 GPU,而勿使重写软件。
Powered By K7