JN SPORTS这几天，Sora横空出世，让AI大模型的热度又上升了不止一个level。
在AI推理技术上，这款芯片通过优化架构和减少内存瓶颈，在处理大模型时实现了高效率和低延迟，速度超过英伟达GPU（图形处理器）10倍。
刚过去的一年，ChatGPT爆火引发AI算力需求热潮，英伟达AI芯片大规模短缺，供不应求。
除了Groq，科技巨头微软也在研发一种新的网卡芯片，意欲替代英伟达ConnectX SmartNIC智能网卡产品。OpenAI也被曝出计划花费“7万亿”造芯的传闻。
受上述消息及外部环境影响，截至2月20日美股收盘，英伟达单日股价下跌4.35%，一夜之间总市值缩水780亿美元（约5600亿元人民币）。
随着Sora的推出，多模态大模型对AI算力的消耗更高，算力的可获取性以及成本将是行业挑战之一。
据介绍，Groq的LPU芯片推理速度较英伟达GPU提高10倍，运行的大模型生成速度接近每秒500 tokens，直接碾压GPT-3.5近40 tokens/秒的速度。
还有更直观的列表对比。 据Groq在2024年1月的第一个公开基准测试，由Groq LPU驱动的Meta Llama 2-70B模型，推理性能比其他顶级云计算供应商快18倍。
第三方机构artificialanalysis.ai给出的测评结果也显示，Groq的吞吐量速度称得上是“遥遥领先”。
Groq成立于2016年，由谷歌TPU团队原班人马创立，定位于基于自研芯片推出推理加速方案。
Groq创始人兼 CEO乔纳森·罗斯（Jonathan Ross）曾设计并制作出了第一代谷歌TPU芯片的核心元件，TPU20%的研发项目都由他完成。
在Groq的创始团队中，有8人来自仅有10人的谷歌早期TPU核心设计团队。
虽然团队脱胎于谷歌TPU，但Groq没有选择TPU、GPU、CPU等路线，而是选择了一个全新的系统路线——LPU。
“我们（做的）不是大模型，”Groq表示，“我们的LPU推理引擎是一种新型端到端处理单元系统，可为AI大模型等计算密集型应用提供最快的推理速度。”
不难看出，“速度”是Groq的产品的最显著特点，而“推理”是其主打的细分领域。
之所以速度飞起，核心奥义在于LPU克服了两个大模型瓶颈——计算密度和内存带宽。
据Groq介绍，在LLM方面，LPU较GPU/CPU拥有更强大的算力，从而减少了每个单词的计算时间，可以更快地生成文本序列。此外，由于消除了外部内存瓶颈，LPU推理引擎在大模型上的性能比GPU高出几个数量级。
Groq表示，英伟达GPU生成每个tokens需要约10焦耳到30焦耳，而Groq仅需1焦耳到3焦耳。 因此，推理速度提高10倍，成本却降低十分之一，相当于性价比提高了100倍。
在第三方网站上，搭载Groq芯片的加速卡售价为2万多美元，差不多15万人民币。
虽然Groq的芯片成本较高江南体育官网，但其创始人Jonathan Ross表示江南体育官网，随着GPU短缺和成本上升，Groq的LPU将有巨大的市场潜力。
不是喊话奥特曼“你们推出的东西太慢了……”，就是痛斥马斯克“剽窃”自己的名字。 毕竟，Groq与马斯克的X AI团队的大模型Grok读音确实也太相近了。
最近，Groq似乎又有了新操作。 一 名自称Groq工作人员的用户与网友互动时表示，Groq的目标是打造最快的大模型硬件，并扬言：
有分析人士称，在A100和H100相对紧缺的时代，LPU或许会成为大模型开发商的新选择。
其实，不止Groq在挑战英伟达的“霸主”地位，不少科技巨头也纷纷布局AI芯片。
据媒体报道，全球最高市值的科技巨头微软正在开发一款新的网卡芯片，类似于英伟达的网卡 ConnectX-7，用它确保数据在微软的服务器之间快速移动。
除了微软，亚马逊旗下云计算部门AWS、Meta等科技巨头也在自研对标英伟达A100的多款AI芯片产品。
2023年11月，AWS推出全新基于ARM架构、自研的高性能计算服务器CPU芯片Graviton 3E，同时发布第五代Nitro网络芯片硬件，借此提升云端虚拟机的计算效率。
2月5日，Meta正式计划今年部署一款新的自研 AI 芯片，即第二代自研AI芯片Artemis，预计将于2024年正式投产，以减少对英伟达芯片的依赖。
不久前，奥特曼公布通过筹集7万亿美元制造AI芯片，目前正与日本软银集团、阿联酋政府、美国商务部及其他中东主权财富基金等投资者洽谈江南体育官网。
有分析人士表示，微软和其他云提供商都“不想受制于英伟达（Nvidia）生态系统”。
2月20日，Lepton AI创始人兼CEO 贾扬清分析称，如果运行未来三年的话，Grog的硬件采购成本是1144万美元，运营成本远高于76.2万美元，而同等性能的8卡英伟达H100 的硬件采购成本仅30万美元，运营成本大约为7.2万美元以内。英伟达的性价比显然更高。
另外，目前LPU仅用于推理，而为了训练模型，很多公司仍少不了使用NVIDIA GPU或类似的芯片。
对于奥特曼的7万亿美元计划，黄仁勋则称，（7万亿美元）显然能买下所有GPU。
黄仁勋曾坦言，这些云计算厂商自研AI芯片是有一定理由的，主要还是服务自家的数据中心，但这不会影响英伟达在全球的AI生态系统发展。
截至2月20日美股收盘，英伟达单日股价下跌4.35%，创下去年10月以来的最大单日跌幅，一夜之间总市值蒸发780亿美元（约5600亿元人民币）。
官方微博
