清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布，成功开源大模型推理引擎“赤兔Chitu”。这一突破性技术首次实现了在非英伟达Hopper架构GPU及多种国产芯片上原生运行FP8精度模型，有效解决了FP8精度模型对NVIDIA Hopper架构（如H100/H200）的硬件依赖问题，为国内AI芯片广泛应用和生态建设提供了全新机遇。

硬件依赖破局，推理效率大幅提升

“赤兔Chitu”推理引擎在A800集群测试中表现抢眼，数据显示，在GPU使用量减少50%的前提下，其推理速度实现了3.15倍的提升。这一成果不仅显著降低了企业在大规模AI应用部署中的硬件成本，还极大提高了系统整体的性能输出。通过智能优化技术，赤兔引擎能够快速适配不同芯片架构，帮助国产厂商避免重复软件开发，从而将更多精力和资源集中于硬件升级。

原生支持FP8精度模型，开源生态构建新机遇

传统大模型推理系统普遍依赖英伟达Hopper架构，而“赤兔Chitu”打破这一限制，实现了在非英伟达硬件上的原生运行。特别是在FP8精度模型方面，赤兔引擎展现出极高的兼容性和稳定性，这为国产AI芯片的应用带来了实质性突破。清程极智已与沐曦、燧原等国内知名厂商展开合作，推出“开箱即用”的推理一体机，并广泛应用于金融、医疗等高端场景。

自主创新推动国产芯片生态升级

清华团队与清程极智此次合作，充分体现了我国在大模型推理技术上的自主研发能力。通过开源“赤兔Chitu”引擎，不仅为国内AI企业提供了高效、灵活的推理工具，也推动了国产芯片生态的进一步完善。业内人士认为，此举将促使更多企业采用国产芯片，并逐步打破对海外硬件的依赖，加速我国在AI领域的整体布局和技术突破。

清程极智CEO汤雄超表示：“国内在推理引擎这一核心环节长期缺乏生产级开源产品，我们开源‘赤兔Chitu’是推动国产AI生态建设的重要一步。未来，我们希望通过这一平台，为行业提供更高效、更灵活的技术支持，助力各行业实现数字化转型。”

市场前景与应用价值

随着大模型在各行各业的广泛应用，企业对高效推理引擎的需求不断上升。赤兔引擎的高性能表现不仅适用于金融风控、医疗影像分析等数据密集型场景，更为智能制造和自动驾驶等领域提供了强大技术支撑。特别是在当前全球对人工智能技术日益重视的背景下，能够显著降低硬件成本和提升运行效率的推理引擎，无疑将成为未来AI产业的重要发展方向。

此外，开源模式的引入也有助于构建一个更加开放和协作的技术生态，鼓励更多开发者和企业参与到国产AI芯片及软件的研发中来，形成一个多方共赢的局面。

“赤兔Chitu”大模型推理引擎的开源发布，不仅标志着我国在大模型推理技术上的又一重大突破，也为国产AI芯片的普及与应用提供了全新动力。通过智能优化和多芯片适配，赤兔引擎实现了GPU使用量降低50%、推理速度提升3.15倍的显著成果，这为金融、医疗、制造等行业的数字化转型创造了有利条件。未来，我们有理由相信，随着这一平台的不断完善，国产AI生态将迎来更加开放、高效和协同的发展新纪元。

相关文章

相关标签： 清华团队 赤兔Chitu 开源大模型推理引擎 国产AI芯片 FP8精度 GPU成本削减 清程极智 沐曦 燧原 AI生态