JN SPORTS英伟达首席财务官Colette Kress在上周表示，英伟达最大的营收来源数据中心部门中，
去年有超过40%的业务是有关部署AI模型，而非训练——这一比例是AI芯片市场开始转向的重要迹象。
训练AI模型的芯片需求一举推升英伟达成为“芯片新王”，随着该行业的迅速发展，下一个市场焦点将是实际运行时用于推理的芯片。
相较于训练芯片而言，推理芯片对功耗和成本的要求没那么高，这同时也意味着竞争市场会变得更为激烈，英伟达的“新王”地位还能否延续？
在训练阶段，公司往往会给模型“喂”海量数据进行大规模神经网络的训练。由于高计算密度、低能耗、内存带宽大等要求，目前大多数AI模型的训练均依赖于英伟达的GPU。
在推理阶段，AI模型在训练的基础上，利用神经网络模型进行推理预测，从而响应用户指令。这类芯片（LPU）对整体性能的要求没有GPU那么高，但推理引擎性能更强。
对于AI芯片制造商们来说江南，推理芯片正在变得越来越重要江南，并在市场中占据越来越多的机遇。
重点将转向从AI模型中创收，推理领域相较于英伟达主导的训练领域更具竞争力。
从英伟达给出的“40%”比例来看，现在推理技术的发展速度可能要比此前预期的快得多。今年年初，瑞银分析师曾预计，到明年，有90%的芯片需求将源于训练，推理芯片仅占到市场的20%。
有观点认为，随着客户越来越讲求降低AI模型的运营成本，英特尔的芯片将越来越具吸引力。有消息称，英特尔擅长制造的芯片类型已经广泛用于推理领域，和英伟达更尖端、更昂贵的H100在实际推理应用中差别不大。
英特尔的CEO Pat Gelsinger在去年年底的一次采访中曾提到：
“从经济学的角度看推理应用的话，我不会打造一个需要花费4万美元的全是H100的后台环境，因为它耗电太多，并且需要构建新的管理和安全模型，以及新的IT基础设施。”
谷歌前人工智能芯片工程师Jonathan Ross创立的公司Groq是挑战者之一，该公司开发的LPU宣称是“史上最快大模型”，以每秒500个token，彻底颠覆了GPT-4的40 tok/s的速度纪录。
成本仍然是一道坎。包括亚马逊、谷歌、微软在内的巨头们一直致力于内部开发推理芯片，希望缩减运营成本。
“在谷歌，有很多模型都能训练成功，但其中的80%都没能部署，因为投产的成本太高了。”
“人们开始意识到，80%以上的成本将用于推理，我需要寻找替代解决方案。”
据悉，英伟达一款即将推出的芯片在去年一项关键的人工智能推理基准测试中取得了行业领先的结果，延续了该公司多年来在竞争中的主导地位。
显示，该公司在AI芯片领域仍占有80%以上的市场份额。这意味着，在可预见的未来，
美东时间2月23日，英伟达CEO黄仁勋在接受《连线（Wired）》采访时表示，英伟达目前业务中推理占到40%，这意味着AI模型将会很快落地。他表示：
“我们热爱推理江南。让我估算的话，我认为英伟达今天的业务构成可能是40%的推理和60%的训练。为什么这是一件好事呢？因为这意味着人工智能终于取得了成功（AI is finally making it）。”
“今天，每当你在云中输入一个提示，它会生成一些东西——可能是视频，可能是图像，可能是2D，可能是3D，可能是文本，可能是图表——这背后很可能就有一块英伟达GPU。”
本文不构成个人投资建议，不代表平台观点，市场有风险，投资需谨慎，请独立判断和决策。
官方微博
