IBM 与 Groq 合作，为企业客户提供一种可靠且具有成本效益的方式，加速 AI 推理应用。

具体而言，IBM 正在将 Groq 的推理平台 GroqCloud 以及其定制的语言处理单元（LPU）硬件架构，集成到 IBM 的 watsonx Orchestrate 中。watsonx Orchestrate 帮助客户构建、部署和管理 AI 代理及工作流，以自动化业务操作。IBM watsonx Orchestrate 提供了超过 500 种工具和来自 IBM 及第三方贡献者的可定制领域特定代理。Groq 声称，其 GroqCloud 提供的推理速度比传统 GPU 系统快 5 倍以上，同时更具成本效益。

此外，IBM 和 Groq 计划集成并增强 Red Hat 的开源大语言模型（vLLM）框架，该框架包括其自有的推理服务器，能够在 Groq 的 LPU 架构上运行，并让 IBM Granite 模型在 GroqCloud 上运行。

这一合作中的技术将使客户能够以熟悉的方式使用 watsonx 的功能，并在加速推理的同时使用其首选工具。IBM 表示：“这次集成将解决 AI 开发者的关键需求，包括推理调度、负载平衡和硬件加速，最终简化推理过程。”

对于运行生产 AI 工作负载的企业，特别是代理型 AI、实时决策系统（如客户服务机器人、欺诈检测和物联网监控），推理速度可能成为瓶颈，IBM 表示。其目标是帮助客户在代理型工作流中提高生产力和成本效益。IBM 进一步指出：“这对医疗、金融、政府、零售和制造等领域尤为关键，这些行业在实施 AI 时面临速度、成本和可靠性的挑战。”

IBM 软件和首席商业官 Rob Thomas 在一份声明中表示：“许多大型企业在实验阶段有多种 AI 推理选择，但当他们希望进入生产阶段时，必须确保复杂的工作流能够成功部署，以确保高质量的体验。”

IBM 在 AI 领域的最新进展

最近，IBM 与初创公司 Anthropic 合作——该公司由前 OpenAI 专家创立，并获得了亚马逊和谷歌的支持，目的是将 Anthropic 的大语言模型 Claude 集成到 IBM 的软件产品组合中。IBM 表示，Claude LLM 能够理解和生成自然语言，并提供治理、安全性、可审计性和可扩展性。Claude 将被集成到 IBM 的 select 软件产品中，首个集成的产品是 IBM 的 AI 优先集成开发环境（IDE），该环境为企业软件开发生命周期中的任务生成提供了先进的功能，包括软件现代化。IBM 表示，IDE 目前处于私有预览阶段。

IBM 旨在扩大其 AI 软件生态系统，涵盖更多的大语言模型开发者和技术，为客户提供多种服务选项。