搅动100亿美金的ChatGPT，竟然这么依赖TA？

传感器技术 | 2023-01-13 14:43:50 阅读：236

编辑：Aeneas 好困

【导读】搅动了百亿美金市场的ChatGPT，再一次证明了：AIGC，将在2023年给我们的生活带来革命性的剧变。
这几天，「微软砸下百亿美金注资OpenAI」的消息疯狂刷屏。

作为一家没有商业模式的公司，OpenAI怎么就能估值百亿美金？投资人这么好忽悠吗？其实，拉出OpenAI背后的ChatGPT，大家就多少能明白一点了。这个语言模型「顶流」，最近可谓是无人不知，无人不晓。而近水楼台先得月的微软，已经悄咪咪地在互联网巨头混战中，先下了一城。前脚刚表示ChatGPT即将整合进自家搜索引擎必应，后脚就放出ChatGPT计划加入Office「办公全家桶」这个重磅炸弹。

AIGC革命，又到了拼算力的环节

2022年，是AIGC的革命元年。

DALL·E 2的诞生让「文生图」火了整整一年，紧跟其后的Stable Diffussion、Midjourney更是启发了无数人的艺术灵感，甚至让不少画手感到了「失业危机」。到了年末，ChatGPT更是在全民中掀起AIGC的风暴。虽然是压轴出场，但「强化学习」（RLHF）赋予它的魔力，成功地掀起了一场全民的狂欢。刚刚我们提到的这些应用，虽然看起来花里胡哨，但在背后提供支撑的依然是大家熟知的大模型们。

众所周知，对于大模型来说，不管是前期的训练还是后期的推理，都离不开巨量的「算力」。举个例子，「当红炸子鸡」ChatGPT和DALL·E 2基于的GPT-3，以及国产自研的源1.0、悟道和文心等等，不仅在参数量上达到了千亿级别，而且数据集规模也高达TB级别。想要搞定这些「庞然大物」的训练，就至少需要投入超过1000PetaFlop/s-day（PD）的计算资源。

也难怪OpenAI在大炼GPT-3之前，会让微软花10亿美元给自己独家定制了一台当时全世界排名前五的超级计算机。但是问题在于，并不是每个需要到大量AI算力的企业或高校，都能财大气粗地斥巨资搞一个自己的「人工智能高性能计算中心」。那么，如果我们换一个思路，让算力变得更加「普适普惠」，是不是也能实现相同或更好的效果呢？于是，在2020年12月的时候，国家信息中心和浪潮信息联合发布了《智能计算中心规划建设指南》。其中，便提到了一个全新的概念——智能计算中心（简称，智算中心）。

智算中心是什么？

为了能更好地解决人工智能领域的问题，智算中心的发展就需要基于最新的AI论和先进的AI计算架构，并以AI芯片、AI服务器、AI集群为算力的载体。首先，当前主流的AI加速计算，主要是采用CPU系统搭载GPU、FPGA、ASIC等异构AI加速芯片。由于GPU芯片中原本为图形计算设计的大量算术逻辑单元（ALU），可为以张量计算为主的深度学习计算提供很好的加速效果，因此广受学术界和工业界的欢迎。

随着越来越深入的应用，GPU芯片本身也根据AI的计算特点，进行了针对性的创新设计，如张量计算单元、TF32/BF16数值精度、Transformer引擎（Transformer Engine）等。而更加「专一」的AI计算加速芯片，主要脱胎于GPU芯片。

特斯拉Dojo人工智能训练芯片其次，作为智算中心算力机组的AI服务器，则采用CPU+AI加速芯片的异构架构，通过集成多颗AI加速芯片实现超高计算性能。为了满足各领域场景和复杂的AI模型的计算需求，AI服务器对计算芯片间互联、扩展性也有着极高要求。最后，智算中心还需要对业界主流、开源、开放的软件生态提供充分的支持。比如，用于开发AI算法的深度学习框架TensorFlow和PyTorch，为适应CV、NLP等特定场景开发而构建的一系列开源库等等。

智算中心总体架构不过，和国外那些大厂给自己定制的高性能计算中心不同，智算中心其实是一个面向公众的基础设施，更好地解决建不起、用不起算力的问题。其中最为直观的便是，作为「神经中枢」的智算OS（智算中心操作系统）就是为了让智算中心可以对算力资源池进行高效管理和智能调度，从而更好地对外提供算力、数据和算法等服务。如今，距离2020版《智能计算中心规划建设指南》的发布已经时隔两年，而我国的智算中心发展也已经进入了新阶段。为此，国家信息中心和浪潮信息联合开展了与时俱进的研究，于2023年1月推出了更新的《智算中心创新发展指南》（以下简称「指南」）。

所以，为何还要兴建智算中心？

智算中心是数字经济时代促进产业转型升级、优化产业结构、提升城市竞争力的关键基础设施，并为快速增长的人工智能算力需求提供了必不可少的支撑。具体来说可以分为四个方面：推进AI产业化、赋能产业AI化、助力治理智能化、促进产业集群化。

AI产业化

AI产业化的一个重要例子，就是自动驾驶。在自动驾驶的场景中，需要基于AI技术，让车辆能够像人类驾驶员一样准确识别驾驶环境中的关键信息，并对周围运动单元的潜在轨迹做出预判。

在训练算力消耗上，自动驾驶感所采用的知模型要远大于一般的计算机视觉感知模型。比如，特斯拉的L2级FSD自动驾驶融合感知模型，训练过程使用了百万量级的道路采集视频，算力投入约为500PD。而且，随着自动驾驶级别从L2提升到L4，对算力的需求将进一步提高。对此，智算中心提供的普惠算力，可以极大降低自动驾驶所需算力的成本。

产业AI化

在2022年，有一个概念非常流行，叫「AI for Science」。这是一种新的科研范式，指科学家们用AI技术作为生产工具。要说今年AI for Science最广为人知的例子之一，就是DeepMind开发的AlphaFold 2了。

截至目前，AlphaFold 2已经可以预测出2亿多个蛋白质结构，几乎覆盖了整个「蛋白质宇宙」。通过AlphaFold 2，单个蛋白结构的预测时间缩短到了分钟级，准确率也达到了92.4%。AlphaFold 2的开发，就是以巨量算力为支撑的。仅在训练数据准备阶段，AlphaFold 2就消耗了约2亿核时的CPU算力，训练过程中更是消耗了约300PD的AI算力。而非常契合AI for Science算力需求的智算中心，将成为支撑高校和科研院所高质量科研的重要基础设施。

治理智能化

另外，智算中心还能为城市公共服务和智能化治理，提供智算能力支撑。

产业集群化

智算中心能够聚合当地人工智能的研发优势、人才优势、产品优势与产业投资，实现产业链协同，促进产业集群化发展。

智算中心产业链现在，智算中心更是成为提升国际竞争力的关键基础设施。我们都知道，人均GDP指标可以衡量一个国家经济发展，人均算力水平的高低也可以衡量一个国家的智能化水平。根据《2021-2022全球计算力指数评估报告》，国家计算力指数与GDP的****呈现出了显著的正相关，计算力指数平均每提高1点，数字经济和GDP将分别增长3.5‰和1.8‰

计算力指数与GDP回归分析趋势经研究测算，「十四五」期间，在智算中心实现80%应用水平的情况下，城市对智算中心的投资，可带动人工智能核心产业增长约2.9-3.4倍、带动相关产业增长约36-42倍，城市/地区在智算中心建设投入的增长量对创新产出的贡献率约为14%-17%。不难看出，智算中心对于城市经济发展，已经形成一股不可忽视的力量。

智算中心项目的经济社会效益基于这些原因，智算中心这个概念一经提出，便引发了建设热潮。据统计，现在全国有超过30个城市正在建设或提出建设智算中心。

然而，问题也随之而来

不可忽视的是，在如火如荼的建设过程中，这些智算中心也暴露出了很多问题和挑战。

首先，我国对智能算力的需求与日俱增。《2022-2023中国人工智能计算力发展评估报告》数据显示，2021年我国智能算力规模达155.2 EFLOPS（FP16），预计到2026年，我国的智能算力规模将达到1,271.4 EFLOPS。在未来80%的场景都将基于AI，它们所占据的大部分算力资源，都是由智算中心承载。

我国智能算力发展情况其次，围绕算法的服务模式也需要完善。自2011年以来，全球AI领军企业和研究机构纷纷加入AI大模型研究，模型参数急剧增长。在短短三四年时间内，参数规模快速从亿级突破至万亿级，同时出现了很多代表性大模型，如谷歌发布的BERT，OpenAI发布的GPT-3等。传统计算范式的改变，也必然推动智算中心的服务模式从提供算力为主，向提供「算法+算力」转变。

最后，现阶段存在的概念认知尚不清晰、建设标准尚不统一、应用场景尚不丰富、运营模式尚不成熟等问题，也直接影响着智算中心的发展。

怎么解决？

对此，《指南》给出的解决思路是：1. 普适普惠；2. 开放兼容。

先来说什么叫「普适普惠」。普适普惠是指，发挥公共基础设施的社会价值，既要满足用户对通用算力的需求，又要满足不同用户不同场景对多元化算力的需求。具体来说，智算中心要朝着标准化、低成本、低门槛方向发展，使智能计算可以像水电一样，成为社会基本公共服务，满足不同用户不同场景对算力多元化的需求。其次，就是要「开放兼容」。具体来说，就是要开源开放、培育生态。以开放硬件和开源软件为主，融合多元算力，实现算力的聚合、调度、释放，让智算中心「用起来、用的好」。同时，要加强对智算中心关键软硬件产品的研发支持和大规模应用推广。

智算中心建设架构而为了实现算力服务的普适普惠、高效利用，也就是智算中心如何「好用、用好」的问题，《指南》指出智算中心建设还需要构建「算力基建化、算法基建化、服务智件化、设施绿色化」的「四化」技术路线。算力基建化是指，智算中心要具备对外提供高性价比、普惠、安全算力资源的能力，使AI算力像水、电一样成为城市的公共基础资源，供政府、企业、公众自主取用。算法基建化是指，智算中心通过提供预置行业算法、构建预训练大模型、推进算法模型持续升级、提供专业化数据和算法服务，让更多的用户享受普适普惠的智能计算服务，实现「带着数据来、拿着成果走」的效果：服务智件化是指，智算中心的发展将由传统的硬件、软件向「智件」升级。「智件」是指智算中心提供人工智能推广应用的中间件产品和服务。「智件」的构建，通过可视化操作界面，以及低代码开发甚至无代码开发的模式，为用户提供功能丰富、使用便捷的人工智能算力调度、算法供给和个性化开发服务。最后，还要做到设施绿色化，目前主要发展趋势就是采用液冷技术。

展望未来

现在，以AIGC、元宇宙、智慧科研（AI for Science）为代表的新兴场景，正在走进我们的日常生活，给我们的未来带来无限的可能。

与之相应的，智算中心建设布局浪潮正在全国快速掀起。智能算力的普适普惠，对于大多数企业来说，尤其是中小企业，创新的门槛大大地降低了。相信在不久的将来，我们会很快见证「以数据输入，让智能输出」，智能计算会如水电一般，真正惠及每一个人。来源：新智元

*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。