月之暗面科技有限公司与清华大学MADSys实验室联合发布了一项名为Mooncake的开源项目，旨在共建以KVCache为中心的大模型推理架构。2024年6月，双方曾联合发布Kimi底层的Mooncake推理系统设计方案，该方案基于PD分离和以存换算架构，显著提升了推理吞吐量，受到业界广泛关注。
Mooncake项目从论文延伸而来，以超大规模KVCache缓存池为中心，通过以存换算的创新理念减少算力开销，提升推理吞吐量。项目采用分阶段开源方式，逐步开源高性能KVCache多级缓存Mooncake Store的实现，并针对各类推理引擎和底层存储/传输资源进行兼容。目前，传输引擎Transfer Engine部分已在GitHub全球开源。
月之暗面Kimi工程副总裁许欣然表示，通过与清华大学MADSys实验室的紧密合作，共同打造了分离式大模型推理架构Mooncake，实现了推理资源的极致优化。Mooncake不仅提升了Kimi的用户体验和降低了成本，还为处理长文本和高并发需求提供了有效的解决方案。公司相信，通过与产学研机构的开源合作，可以推动整个行业向更高效的推理平台方向发展，并邀请更多企业和研究机构加入Mooncake项目共建，共同探索更高效和先进的模型推理系统架构创新，让基于大模型技术的AI助手等产品惠及更广泛人群。
相关推荐
近年来，随着文化和旅游行业的快速发展，沉浸式体验成为了旅游的新潮流。尤其是结合了“剧本杀”玩法的景区沉浸式项目，逐渐成为游客的新宠。那么，景区中的沉浸式“剧本杀”到底是什么？它又是如何把游客带入到独特的剧情世界中的呢？让我们一探究竟。什么是沉浸式“剧本杀”？沉浸式“剧本杀”是一种结合了角色扮演、推理和情节互动的娱乐形式，通常由一群玩家共同参与。在这种游戏中，玩家会根据事先设定的剧情与角色扮演任务进...
硅谷讯——人工智能巨头OpenAI近日发布了其全新的高端订阅服务ChatGPT Pro，引发业内高度关注。此次更新标志着OpenAI在人工智能推理能力和人机交互领域的又一次重大突破。ChatGPT Pro：高端AI体验的新里程碑ChatGPT Pro订阅月费200美元，旨在为研究人员、企业用户及开发者提供更高级的人工智能工具。Pro用户可无限制地使用OpenAI旗下最先进的模型，包括新推出的推理模...
随着2024年接近尾声，全球人工智能领域迎来了年末的“狂欢”。多家科技巨头纷纷发布重磅产品和技术，展现了AI技术的飞速发展和未来趋势。从OpenAI到谷歌、Meta，再到李飞飞教授所领导的团队，AI技术正以更强的创新力和应用广度，不断刷新我们对未来的认知。OpenAI：大模型技术的突破性进展OpenAI作为当前人工智能领域的领军者之一，在年末发布了其最新的大模型产品—GPT-5。这个新版本不仅在生...
2024年12月16日，清华系AI基础设施创业公司无问芯穹（Infinigence）宣布正式开源其端侧全模态理解小模型 Megrez-3B-Omni，并同步发布其纯语言版本 Megrez-3B-Instruct。此次开源的Megrez-3B-Omni具有强大的图片、音频和文本三种模态数据处理能力，成为端侧智能设备的一项重要技术突破。Megrez-3B-Omni：为端侧设备量身定制的全模态理解模型M...
2024年12月18日，智源研究院与腾讯集团正式签署战略合作协议，标志着双方在人工智能领域的深度合作进入新的阶段。此次合作，双方将携手推进大模型研发、AI技术的前沿探索以及开源生态建设等多个方向，推动AI技术在产业场景中的深度应用与落地。这一合作不仅为两家公司带来了技术创新的新机遇，也为中国乃至全球的人工智能发展注入了强大的动力。1. 战略合作的背景与意义随着大数据、云计算和人工智能技术的不断发展...
在AI技术飞速发展的今天，我们对人工智能的期望越来越高。从日常生活到复杂的科学问题，AI逐渐走进我们的生活，而Kimi推出的最新AI模型K1，打破了传统的“做题机器”局限，不仅能分析数学、物理题目，还能对图片进行推理、风水分析，甚至识别古董，表现出令人惊叹的多维能力。K1的核心优势：思考与视觉的结合K1模型的最大亮点在于其综合的推理能力和视觉能力的结合。与之前的数学推理模型K0-Math相比，K1...
2024年12月21日，OpenAI在其为期12天的发布活动中，推出了新一代推理系列模型——o3及其精简版o3-mini。作为o1系列的继任者，这两款模型专为增强推理能力而设计，旨在提升模型在回答问题前的思考深度，最终提高回答的准确性。o3：接近人类水平的推理能力o3模型的发布标志着OpenAI在人工智能推理能力上的重大突破。通过在ARC-AGI基准测试中的优异表现，o3成为了首个突破该基准的AI...
2024年12月21日，人工智能领域迎来了精彩的一周，随着多个重磅新闻的发布，AI技术在推理能力、视觉理解和音视频交互等方面迈出了重要一步。从OpenAI发布最强推理模型o3，到阿里云百炼大模型平台推出创新功能，再到“抖品牌”借明星代言抢占市场，这一周的AI新闻热度不断飙升，行业前景也充满无限可能。OpenAI发布“超人”级推理模型：AI推理进入新纪元本周的最大新闻无疑是OpenAI发布的o3及其...
随着人工智能技术的迅猛发展，2025年将成为AI技术在全球经济和社会中占据主导地位的关键年份。无论是在企业生产力提升、消费者服务、医疗健康、金融服务，还是娱乐行业，AI技术的深度渗透将改变各个行业的面貌。本文将分析2025年AI市场的规模、估值以及哪些AI技术可能会在激烈的竞争中脱颖而出。2025年AI市场规模与估值根据多家市场研究机构的报告，2025年全球AI市场预计将突破8000亿美元，并继续...
腾讯正式发布其最新的 混元视频生成大模型（Hunyuan Video Generation Model），并宣布该模型将 全面开源。该模型拥有 130亿个参数，标志着腾讯在人工智能领域，尤其是在 视频生成 和 多模态技术 方面的一项重要突破。强大技术实力：130亿参数助力创意内容生成腾讯混元视频生成大模型的亮点之一是其 130亿个参数，这使得该模型在生成任务中能够处理更加复杂的输入，并且能够生成更...
大屏时代 (DapingTime.com) 12月5日 消息 — 在人工智能领域的最新动向中，OpenAI近日宣布将在未来三周内举行12场新品发布会，展示其在AI技术上的最新创新和突破。作为全球领先的人工智能公司之一，OpenAI的这一宣布引发了业内广泛的关注，许多科技爱好者和行业专家纷纷猜测，OpenAI将带来哪些重磅产品和技术？期待新一代大模型的发布自从OpenAI发布GPT-3、GPT-4等...
大屏时代 (DapingTime.com) 12月5日 消息 — 人人影视字幕组创始人梁良（网名“梁永平”）今日通过官方渠道宣布，人人影视将正式开源分享过去二十年积累的字幕数据。这一消息引发了影视爱好者和字幕翻译领域的广泛关注。二十年积累全面开放根据人人影视官方声明，本次开源将包括以下内容：字幕文件及数据库：涵盖二十年来翻译的数万集海外影视作品字幕。字幕软件及源码：包括字幕编辑工具和内部开发的辅助...
最新文章
随着人工智能（AI）的飞速发展，我们正见证着从基础算法到强大深度学习的革命性变化。各行各业在AI的推动下迎来了前所未有的变革。然而，谈到“AI的终极发展”，这是一个充满复杂性、争议性和未知数的议题。AI的终极形态将会是什么样子？我们究竟需要多久才能达到那个阶段？AI终极发展的愿景：超越人类智慧AI的终极发展，许多人设想的最理想状态是“强人工智能”（AGI，Artificial General In...
12月21日消息——在全球对人工智能（AI）隐私和数据安全问题的关注日益增加之际，意大利数据保护局（Garante）宣布对生成式人工智能应用程序ChatGPT的制造商OpenAI处以1500万欧元（约合1558万美元）的罚款。此次罚款是在对OpenAI使用个人数据进行调查后作出的决定，涉及到未遵守欧盟的数据保护法律，特别是在数据透明度和用户知情权方面的违规行为。调查结果：ChatGPT数据使用涉嫌...
近年来，随着人工智能（AI）技术的飞速发展，AI眼镜这一概念逐渐从科幻走向现实，成为消费电子产品领域的热点。从Meta推出的Ray-Ban Meta到国内多家企业的布局，AI眼镜正引领着一场新型智能硬件的变革。尽管当前技术仍处于发展初期，但AI眼镜的潜力与未来发展趋势不容忽视。本文将深入剖析AI眼镜的发展现状、面临的技术挑战以及未来可能的市场变革。AI眼镜的崛起：科技与时尚的完美融合AI眼镜的兴起...
在生物医学的前沿，人工智能（AI）正在成为一种颠覆性技术，深刻影响着研究、治疗和疾病预防的各个方面。2024年12月16日，斯坦福大学、基因泰克制药公司与陈-扎克伯格基金会的科学家团队发布了一项重磅研究，提出利用AI创建虚拟人类细胞的大胆构想。这一创新不仅为理解人类生物学的复杂性提供了新的视角，还可能成为加速医学研究和个性化治疗的关键推动力。AI虚拟细胞：模拟生命的数字化尝试在《细胞》杂志最新发表...
2024年12月19日，第三届6G前沿技术与趋势论坛在北京盛大召开，主题为“6G通感算智融合创新，引领未来通信新潮流”。本届论坛由北京市科学技术委员会和中关村科技园区管理委员会指导，中关村泛联移动通信技术创新应用研究院主办。此次论坛不仅汇聚了6G领域的权威专家、学者和行业领袖，还深入探讨了AI与通信、感知与通信、算力与通信等多个关键技术方向，标志着6G技术发展的重要里程碑。在论坛期间，与会者就6G...
在全球人工智能（AI）技术快速发展的推动下，数据中心正面临前所未有的电力需求。根据美国能源部支持的一项研究，预计到2028年，美国数据中心的电力需求将激增近三倍，并可能占到全美电力消耗的12%。这一现象的根本原因，是各行各业纷纷向人工智能转型，数据处理和存储需求急剧上升，推动了电力需求的大幅增长。AI与数据中心电力需求的急剧增长根据美国劳伦斯·伯克利国家实验室（LBNL）发布的报告，随着AI应用的...
2024年12月20日，随着LED技术的不断突破，全球显示技术领域正迎来一波技术革新。近期，多个企业和研发机构纷纷发布新的技术成果和市场动态，展示了LED行业在产品创新、生产能力和市场需求方面的强劲增长势头。从Mini LED的技术创新到Micro LED的量产突破，LED行业正在加速步入更加成熟的阶段，预示着未来显示技术的巨大潜力和广泛应用。Mini LED技术再创新高，TCL引领行业发展在Mi...
随着人工智能（AI）技术的飞速发展，3D视频创作进入了一个全新的时代。过去，制作一部精美的裸眼3D视频通常需要复杂的专业知识、昂贵的设备和繁琐的制作过程。然而，如今随着AI工具的普及，创作者们无需深厚的编程背景和昂贵的硬件支持，就能轻松生成惊艳的裸眼3D视频，迅速引领行业变革。从实时渲染到智能建模，从虚拟角色生成到动态场景设计，AI技术赋能了3D视频制作的每个环节，极大地提升了创作效率和视觉效果。...
最新网站
