即梦AI - 一站式AI创作平台

Xiaomi MiMo:小米开源的首个“为推理而生”的大模型下载即梦

Xiaomi MiMo 是小米公司于 2025 年 4 月 30 日宣布开源的首个为推理而生的aiai的软件大模型。MiMo - 7B 系列模型通过充分挖掘语言模型的推理潜力,不仅关注后训练,还注重针对推理的预训练策略。该系列模型在相对较小的 7B 规模下,展现出超越许多 32B 模型的推理能力,其中 MiMo - 7B - RL 在数学和代码推理任务上的表现可与 OpenAI o1 - mini 相媲美。

Xiaomi MiMo:小米开源的首个“为推理而生”的大模型.webp

MiMo核心特点全免费ai人工智能

预训练密鸽官方

  • 数据预处理优化:改进文本提取工具造梦次元入口包,采用多维数据过滤,增加预训练数据中的推理模式密度。

  • 合成数据生成:运用多种策略生成大量多样化的合成推理数据。千问网页版官网入口

  • 三阶段数据混合:预训练采用三阶段数据混合策略,MiMo - 7B - Base 在约 25 万亿个标记上进行预训练。哪个ai比较懂法律

  • 多令牌预测:引入多令牌预测作为额外训练目标,提升模型性能并加速推理。豆包a i生成

后训练豆包a i生成

  • 优质训练数据:精心挑选 130K 个数学和代码问题作为 RL 训练数据,每个问题都经过仔细清理和难度评估,并使用基于规则的验证器确保数据质量。ai在线使用

  • 代码奖励机制:针对具有挑战性的代码问题,引入测试难度驱动的代码奖励,通过为不同难度的测试用例分配细粒度分数,优化策略。ai的软件

  • 数据重采样:对简单问题实施数据重采样策略,提高滚动采样效率,稳定策略更新。ai大模型

RL 基础设施ai智能软件怎么用

  • 无缝滚动引擎:开发无缝滚动引擎,集成连续滚动、异步奖励计算和提前终止功能,减少 GPU 空闲时间,使训练速度提高 2.29 倍,验证速度提高 1.96 倍。说的ai

  • MTP 支持:在 vLLM 中支持 MTP,并增强 RL 系统中推理引擎的鲁棒性。ai指的是什么意思

MiMo模型版本密鸽官方

  • MiMo - 7B - Base:具有卓越推理潜力的基础模型豆包a i生成

  • MiMo - 7B - RL - Zero:从基础模型训练的 RL 模型哪个ai比较懂法律

  • MiMo - 7B - SFT:从基础模型训练的 SFT 模型ai大模型

  • MiMo - 7B - RL:从 SFT 模型训练的 RL 模型,性能与 OpenAI o1 - mini 相当。哪个ai比较懂法律

技术细节与创新点万联摩尔

  • 预训练数据优化:通过多维度数据过滤和合成推理数据生成,提升了预训练数据的质量和推理模式密度。万联摩尔

  • MTP模块:在预训练中引入MTP模块,显著提升了推理任务的性能和推理速度。ai智能软件怎么用

  • RL基础设施:开发了无缝回放引擎(Seamless Rollout Engine),加速了RL训练和验证过程,分别实现了2.29倍和1.96倍的速度提升。ai智能软件怎么用

  • 测试难度驱动奖励机制:为解决代码问题中的稀疏奖励问题,提出了基于测试难度的奖励机制,提升了模型在困难问题上的学习效率。ai起什么作用

实验与结果度加ai下载

预训练模型性能ai起什么作用

  • MiMo-7B-Base:在多个基准测试中超越了其他7B参数规模的开源模型,如BBH、SuperGPQA等。ai的软件

  • 推理潜力评估:采用pass@k指标评估模型的推理潜力,MiMo-7B-Base在所有基准测试中均展现出更高的pass@k分数。密鸽官方

后训练模型性能ai破解版免费下载

  • MiMo-7B-RL-Zero:直接从MiMo-7B-Base进行RL训练,展现了强大的推理能力。千问网页版官网入口

  • MiMo-7B-RL:从SFT模型进行RL训练,最终在数学和代码任务上超越了OpenAI的o1-mini模型。造梦次元入口

  • 具体表现:密鸽官方

  • 在AIME 2025中,MiMo-7B-RL得分55.4,超过o1-mini 4.7分。造梦次元入口

  • 在LiveCodeBench v5和v6中,MiMo-7B-RL显著优于o1-mini。ai大模型

相关链接

Hugging Face平台:ai在线使用https://huggingface.co/XiaomiMiMo       

GitHub 仓库:下载即梦https://github.com/XiaomiMiMo/MiMo  

技术报告:ai对话聊天系统https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf

收藏
最新工具
GameKee
GameKeeai的软件

玩家共建的游戏攻略百科平台,收录上百款热门游戏攻略、角色数据和最...下载即梦

Banana Slides
Banana Slides说的ai

AI原生PPT生成工具,基于图像生成模型,描述想法就能自动生成从...密鸽官方

PPTBot
PPTBot说的ai

AI 驱动的PPT生成工具,支持主题生成、文档转 PPT、PDF...全免费ai人工智能

Cola Skill
Cola Skill造梦次元入口

Cola平台的精选Skill,汇聚创作设计、职场办公、电商运营等...ai智能软件怎么用

SkildArt思可达
SkildArt思可达ai对话聊天系统

AI电商设计平台,提供智能画布、商品图生成、营销海报制作、电商模...千问网页版官网入口

PixTV AI
PixTV AIai人工智

一站式AI视频生成与无限画布创作平台,集合Seedance、Kl...ai破解版免费下载

PixPix
PixPix造梦次元入口

一个面向跨境电商卖家的一站式AI电商图视频AI Agent,聚合...ai智能软件怎么用

可灵Kling 4.0
可灵Kling 4.0万联摩尔

快手推出的最新AI视频生成模型,支持30 秒原生视频、4K HD...ai起什么作用

Vivago R1
Vivago R1下载即梦

智象未来新推出的AI视频图像创作平台。内置Sora、Veo、Kl...豆包a i生成

Seele AI
Seele AI豆包官网免费使用

一个一句prompt 就能生成游戏、图片、视频、3D 资产和代码...豆包a i生成