局外人、AI与未来

字数 4572阅读 3162评论 7赞 2

内容摘要：

OpenAI发布ChatGPT-4o，国内AI企业凭借政策支持、资本投入、市场需求的强劲推动正在迅速崛起，国产AI基础设施发展稳步前进，有望成为全球人工智能发展的新动力。

当前摘要为AI生成

5 月 13 日， OpenAI 用一场春季发布会再次让 AI 整个产业链都为之沸腾。 ChatGPT 的新产品 ChatGPT-4o ，感知能力更强，不再是一个只会帮你生成内容的聊天的工具，而能实时对音频、视觉以及文本进行推理，神似一名智能的 AI 助理。不由得让我联想到 2018 年发售的一款游戏《 Detroit: Become Human 》，身临其境的全智 AI 体验，游玩的时候相当震撼，这一天似乎也快到来了？
  
　　前些天收到了社区寄出第 8 期《迈向 YB 数据时代》，恰巧本次的主题也是“大模型行业应用”，虽然笔者是一名非 AI 专业的局外人，但对 AI 大模型发展趋势的关注却与日俱增。随着 AI 技术的迅猛发展，大模型在各行各业的应用越来越广泛。从语言模型到计算机视觉， AI 大模型正在改变我们的生活和工作方式。在拜读完各位专家的大作后，就 AI 的基础架构唠个嗑，聊表慰藉。
  
　　2023 年 9 月，在处理器和系统工程师年度盛会 Hot Chips 上 NVIDIA 首席科学 Bill Dally  介绍了加速计算和 AI 背后的硬驱动力，从三个方向介绍了基础硬件带来的效率提升： 新的运算方法（混合运算及结构化稀疏功能）、 GPU 高速互联传输（ NVLINK 及 NVIDIA SpectrumX 网络）以及半导体工艺制程革新。从 Bill Dally 这个 1 小时 5 分的主题分享中，我们可以看到 NVIDIA GPU 集群的优化对于生成式 AI (GenAI) 效率有着显著的提升，这也慢慢衍生到了当前 AI 大模型面临的一个核心难题 ---- 如何通过合理优化基础架构最大程度发挥 GPU 集群最大的性能表现。
  
　　大型 AI 集群的规模逐年提升，目前主流的都来到了 64K 甚至更多 GPU （如 2024 年 3 月 Meta 公开的第二代 AI 集群，单集群 GPU 数量达到了 24576 张 NVIDIA H100 ）。大型 AI 集群首先面临的就是网络数据交换问题。巨型的 GPU 集群需要更低延迟、更高吞吐、更可靠的网络集群来支撑， RoCE 虽然可以在已有以太网基础设施上部署升级，在低廉成本的前提下获得低延迟的网络架构，但性能和扩展性层面上， InfiniBand 还是略胜一筹。众般皆好，必有一失。 InfiniBand 高昂的 TOC 成本、复杂的部署方式却让用户爱不起来。网络解决方案的问题，最终转换为效率与成本的平衡、投入与产出的性价比抉择。
  
　　其次是 GPU （互联）效率，随着 GPU 数量规模的升级，不论在 GPU 主机内支持更多 GPU 互联，还是在 GPU 系统间的高速互联，效率都是最为关注的问题。 GPU 数量的增加，也催生了更高带宽和更低延迟的互联需求。在通用 GPU 架构中（可参考下图的 NVIDIA DGX A100 System ），同一主机内 GPU 之间多采用 NVSwitch 互联以获得更低延迟和更高的带宽，跨主机的 GPU 之间多考虑 RoCE 或 InfiniBand 互联。当然在实际中也有企业单位采用 Intel 的 CXL （ Compute Express Link ）来进行集群组网，据公开资料表明其效率低于 NVIDIA 解决方案，万卡以上的 AI 集群更多 NVIDIA 方案部署。从目前的局势来看，主流的卡间互联仅二者可选。此外跨主机的通讯效率大幅低于主机内通讯（ NVLink 带宽约 PICe Gen4 的 10 倍），这也使得大型 AI 集群更倾向提升单主机规格，支持 GPU 数量更多和性能更强。在过去 20 多年里，在摩尔定律的催生下 XPU 的计算能力增加了 9000 多倍，然而 DRAM 内存的带宽仅增加了 30 倍，内存堆叠封装技术的升级逐步放缓，在此趋势之下单主机 GPU 性能堆砌的穷途末路必是三墙 --- 内存墙、通讯墙以及存储墙．
![](/home/attachment/202405/20/395213_171619903646081.png)

从 2024 年的风向标来看， AI 计算架构正逐渐向分布式和异构计算转变。集群通过将计算任务分散到多个节点，并利用不同类型的加速器（如 GPU 、 TPU 、 FPGA 等）协同工作，可以更好地应对内存、通讯和存储带来的瓶颈。同时，软件层面的优化，如模型并行和数据并行策略，也在不断推进，进一步提升系统的整体性能和效率， Meta 公开的第二代 AI 集群便是其中的一个事实印证。
  
　　对于国内的用户， AI 大模型建设投资的最后一环必然是成本考量。这些成本分为两类：硬件采购成本和技术拥有成本。受制于美国《出口管理条例》，国内企业获得高性能显卡与技术的难度越来越大，当前国内企业 HPC 领域的芯片制造能力还在培育阶段，与英伟达、超威半导体等国际一线还有很长距离。 AI 大模型几乎不可能上演一场没有显卡的战斗。然而曾经简单的物料采购，如今对国内核心企业已成为一道难以逾越的鸿沟。在通用 AI 集群中，英伟达显卡和 NVLINK 往往组合应用，其产品技术支撑占据了半壁江山，可替代性选择暂无二致。也正式借着 AI 这股强心剂， 2024 年 2 月 16 日英伟达一举击败谷歌和亚马逊成为全球 TOP4 市值最高的公司，整体市值年度环比 222.22% 的涨幅。
  
　　与英伟达欣欣向荣之势截然相反的是国内的 AI 境况。 2024 年 5 月 8 日，美国众议院提出了 “ 加强海外关键出口国家框架法案 ” （ ENFORCE 法案），加强管制 AI 模型出口，甚至 Llama 这样的开源模型也在出口管制之内。回顾过往，自 2018 年起，美国便开始陆续对中国等特定国家实施更为严格的人工智能软件和硬件出口管制并层层升级。针对 AI 领域的围剿层层加码，很难令人相信这仅是大国博弈，而不是端到端的技术封锁。曾经高喊 Freedom 的国度，也并不 Free 。
  
　　俗话说得好，雄关漫道真如铁，而今迈步从头越。近年来，国内 AI 企业在面临重重挑战的情况下，依然展现出顽强的创新精神和技术突破。尽管在技术积累和产业生态方面起步较晚，但凭借政策支持、资本投入、市场需求的强劲推动，中国的 AI 基础设施建设正在迅速崛起。
  
　　以华为的 Atlas 900 为例， Atlas 900 集群的持续迭代体现了国产 AI 硬件的飞速进步。 Atlas 900 搭载的 Ascend 910B 芯片，在 AI 训练场景中的表现已经能够媲美 NVIDIA 的 A100 和 A800 ，尽管在 HCCS （ Huawei Cache Coherence System ）与 NVLINK 带宽性能方面还存在差距，但其计算能力和效率已经达到了国际领先水平。当然华为的 Atlas 多以集群形式整体交付，几乎很少存在定制，性能至上的同时少了一点灵活。
  
　　与华为 Ascend 系列走 ASIC 线路一致，另一家最具代表性的国产 AI 芯片厂商也值得说道 ---- 寒武纪。凭借着持续高强度的投资研发，寒武纪逐步扭亏奔盈，构建了智能加速卡、智能加速系统、只能边缘计算模组、终端只能处理器 IP 以及软件开发平台等产品线，在智能加速的细分场景，通过产品的灵活组合打造优异的竞争力，满足市场的多样性需求，规避了 ASIC 可编程性不足的劣势。其高端智能加速卡思元 370 系列采用 7nm TSMC 制程工艺，基于自研的 MLUarch3 （ Machine Learning Unit ）架构，支持 LPDDR5 内存，搭载 MLU-Link 多芯互联技术。其中基于双芯思元 370 打造的 MLU370-X8 整合了两倍于标准思元 370 的内存、编解码资源，借助 MLU-Link 多芯互联技术，每张加速卡可获得 200GB/s 的吞吐性能，胜任多心多卡训练和分布式推理任务。

|   |
| ------------ |
| 寒武纪思元370系列产品 |
|     | MLU370-S4/S8 | MLU370-X4 | MLU370-X8 |
| 面向场景 | 视觉/推理任务 | 推训一体AI任务 | 多芯多卡、分布式推理 |
| 产品特点 | 能效出色、高密部署 | 多精度单卡算力高 | MLU-Link互联，算力高 |
| 算力-INT8 | 192 TOPS | 256 TOPS | 256 TOPS |
| 算力-INT16 | 96 TOPS | 128 TOPS | 128 TOPS |
| 算力-FP16 | 72 TFLOPS | 96 TFLOPS | 96 TFLOPS |
| 算力-FP32 | 18 TFLOPS | 24 TFLOPS | 24 TFLOPS |
| 算力-BF16 | 72 TFLOPS | 96 TFLOPS | 96 TFLOPS |
| 互联带宽 | 307.2 GB/s | 307.2 GB/s | 614.4 GB/s |
| 内存类型 | LPDDR5 | LPDDR5 | LPDDR5 |
| 内存容量 | 48GB | 24GB | 48GB |

相别于华为 Ascend 、寒武纪思元，海光则走授权 + 创新的模式搭上快车，并同时兼容了广泛使用的“类 CUDA ”环境，另辟蹊径，这种战略使得海光在激烈的市场竞争中占据了一席之地，既能满足国内市场的需求，又具备国际竞争力。
国产 AI 芯片在算力指标上的追赶和突破已不再是梦想，而是一步一步的照进现实。

在数据交换层面，国内互联网三巨头——阿里巴巴、腾讯和字节跳动同样出色，推出了自研的旗舰级 51.2T 高性能交换机。阿里的“白虎”交换机、腾讯的 TCS9500 交换机以及字节跳动的 B5020 交换机已经成为全球旗舰级 51.2T 高性能交换机网络性能的标杆。它们不仅在数据传输速度和稳定性方面具备卓越的表现，还在定制化和场景优化上具有明显优势，这些创新为国内 AI 集群提供了强大的网络支持。
  
　　此外，国内 AI 基础设施的崛起还离不开软件生态的繁荣。飞桨（ PaddlePaddle ）、 MindSpore 等国产深度学习框架不断更新迭代，推动了 AI 应用的普及和技术的进步。这些框架不仅适配了本地硬件，还在性能优化、易用性和社区支持方面取得了长足的进展，为 AI 开发者提供了有力的工具支持。
  
 　　总而言之，尽管国内 AI 基础设施的发展还面临诸多挑战，如起步晚、技术积累不足、生态体系不完善等，但在企业的自主创新和市场需求的推动下，中国的 AI 产业正以稳健的步伐向前迈进。希望这次不再是武汉弘芯事件的延续，而是国产制造及企业科技的觉醒。未来，随着更多技术突破和产业协同，相信国产 AI 基础设施有望在全球范围内成为人工智能发展的新的动力，这将不仅是一部发展史，更是一部自主创新崛起的抗争史。

人工智能

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论7 条评论

匿名用户
1天前

算力、数据和算法构成了AI快速发展的基础。当前受限于形势发展，算力的硬件收到很多限制，但相信未来会逐步从行业层面结果。虽然当前言必称大模型，真正有技术实力和经济实力去做大模型的公司并不多，可能最终犹如从战国归一到大秦，更多泡沫终将破灭。大模型实现了统一的模型底座，也并将进行行业化的定制，但切实带来收益的场景，大家都在探索中，到底在哪里领域可以充分利用并带来很好的价值，还有待观察。

menglunyang

系统工程师中国银行
4天前

一篇立足当下、放眼未来的观察和思考。作者在阐述国外AI科技发展现状的同时,更着眼于国内AI企业面临重重挑战但依然砥砺前行的进取姿态,寄予厚望于中国AI基础设施建设迈向自主可控的新阶段。

byson存储研发工程师平安科技(深圳)有限公司
4天前

文章《局外人、AI与未来》深入分析了人工智能领域的最新进展，尤其是中国在AI基础设施建设上的显著成就。通过OpenAI的ChatGPT-4o发布，NVIDIA的技术革新，以及国内企业如华为Atlas 900和寒武纪Ascend系列的硬件发展，文章展现了AI技术如何推动行业变革。同时，它也讨论了在国际出口管制下，中国企业如何通过自主创新和市场需求推动AI技术的发展。文章强调了软件生态的繁荣，如国产深度学习框架的迭代，以及数据交换技术的创新，这些都为中国AI产业的崛起提供了坚实的基础。尽管面临挑战，文章对中国AI产业的未来持乐观态度，认为其有望成为全球AI发展的新动力。

匿名用户
5天前

OpenAI的ChatGPT-4o的发布标志着AI技术的又一次飞跃，它不再局限于文本生成，而是能够实时处理音频、视觉和文本，展现出类似智能助理的能力。与此同时，国内AI企业如华为、寒武纪等在政策和市场需求的双重推动下，正迅速缩小与国际巨头的技术差距。尽管面临出口管制等挑战，国产AI芯片和基础架构的快速发展，预示着中国在全球AI领域将扮演越来越重要的角色。这一进步不仅体现了技术创新的力量，也是国产科技自主崛起的有力证明。

三虎

系统运维工程师中国邮政储蓄银行
5天前

本文详细的介绍了如何通过合理优化基础架构最大程度发挥 GPU 集群最大的性能表现。从底层物理架构出发，说明了GPU互联架构在不同场景下的不同搭配组合，让用户能选择适合自己的产品或架构，非常实用。

Jerry Miku其它The Global 500
5天前

这里贴一篇十四届全国人大常委会专题讲座关于人工智能的专题报告，主讲人系中国工程院院士孙凝晖，这份专题报告一改工作报告的笔杆子文学风气，对国内人工智能的发展境况相对真实、直接、详尽、客观，推荐阅读。报告地址： http://www.npc.gov.cn/c2/c30834/202404/t20240430_436915.html

cc： @Jerry Miku 详细阅读了该报告，非常值得推荐，结合我国实情站在更高的层面看待人工智能与智能计算的发展。

5天前

添加新回复