JN SPORTS近日，硅谷初创企业Groq推出一款全新的AI芯片，声称实现了“地表最强推理”——在Groq上运行大模型的推理速度较英伟达GPU提高10倍甚至更高。该消息一出，迅速攻占了各大科技媒体板块头条。这样的推理速度无疑是AI芯片领域的一次技术飞跃，也为国产AI芯片企业如何突围发展带来一些新启示。
Groq芯片是一种LPU（语言处理单元），其优越的推理性能，再一次展示了专用AI芯片在特定场景中的应用价值。因此，参考Groq芯片在某个应用场景做到替代或者超过英伟达，将有可能是国产AI芯片现阶段一条行之有效的发展路径。
比如这款推理芯片主打一个“快”。常规生成式AI主要使用英伟达A100、H100芯片来进行训练与推理工作，大模型推理过程中等待是相对比较正常的事情，字符一个个蹦出，半天才能回答完毕。但在Groq的演示平台上，模型收到提示词后，几乎能够立即生成答案。这些答案不仅相对质量较高，还附有引用，长度更是达到数百个单词。更令人惊讶的是，它超过3/4的时间是用于搜索信息，而生成答案的时间却短到只有几分之一秒。
虽然暂时有着种种缺点，但是Groq芯片的优势点太为突出，足以在某些场景下完全替代英伟达，甚至能做得更为优秀江南体育官网，自然而然吸引了大量关注及认可。可以想象，在Groq芯片的成本控制优化至合适区间后，将会有大量实际应用场景前来适配和使用。
Groq芯片凭借推理速度脱颖而出，充分说明了其性能与应用场景之间的强相关性，这也再次提醒我们应用场景的重要性。国产AI芯片产业应当重视在实际应用场景中的性能匹配度，并在这一基础上开展芯片的优化和创新。
语言推理赛道上，谁是冠军也尚未一锤定音。目前来看，Groq芯片综合素质仍有相当的不足。比如Groq芯片每张卡的内存是230MB，在运行Llama-2 70B模型时，需要305张Groq卡才足够，而用H100则只需要8张卡。从目前的价格来看，这意味着在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。另外，Groq芯片目前只能适配少数几个大模型的推理工作，并且需要大量调试，广泛应用性还相对较差。其中的差距，也是中国企业的创新机会。
最终，一种AI芯片产品能否胜出，和多种因素密切相关，包括芯片本身的技术路线、产品推出的时间点，以及大模型的成熟度，等等。对于大模型来说，目前有观点认为大模型已经开始趋向稳定了，在这个基础上开发芯片是有机会的；也有观点认为大模型变化还很快，过两年大模型一改，所有的投入又得重新开始。这些争论还有待时间检验。
当前，美国政府对我国芯片出口管制的层层加码对国产AI芯片行业既是挑战又是机遇。从产业发展的整体视角来看，亟需构建一个中立、客观并具有权威性的评测体系，为各种芯片提供一个公平竞技的舞台和场景匹配的渠道。
在2023年世界人工智能大会上江南体育官网，人民日报社传播内容认知全国重点实验室（人民网）与中国电子技术标准化研究院共同发起的“智越计划”提出，要共同推动建立包含人工智能芯片性能评测、场景评测与综合评测的整体评估评测标准体系。其中的场景评测就是测试不同人工智能应用场景中各款芯片的实际使用效果。
“智越计划”将最终形成针对特定应用场景的综合报告和产品推荐目录江南体育官网，从而助力优化市场供需匹配，为政府、企业和研究机构建设智算中心提供芯片选型的重要参考和决策依据。
随着AI技术的飞速进步，市场对芯片产品的性能、稳定性和适用性有了更高要求。一个科学完善的评测体系将有效地指引企业研发方向，推动生态的繁荣发展和行业的整体进步。
近日，硅谷初创企业Groq推出一款全新的AI芯片，声称实现了“地表最强推理”——在Groq上运行大模型的推理速度较英伟达GPU提高10倍甚至更高。该消息一出，迅速攻占了各大科技媒体板块头条。…
椰影摇曳，春日暖阳，海南省儋州市白马井镇学兰村里，是一派忙碌热闹的场景。在省级非物质文化遗产“海儋”土糖扶贫基地，工人们忙着进行甘蔗压榨、熬糖、晒糖，对于他们而言，这是一份最“甜”的工作。…
人民日报社概况关于人民网报社招聘招聘英才广告服务合作加盟供稿服务数据服务网站声明网站律师信息保护联系我们
人 民 网 股 份 有 限 公 司 版 权 所 有 ，未 经 书 面 授 权 禁 止 使 用
官方微博
