MiniMax-01开源：新架构开启Agent时代｜绿洲生命力
参赞生命力
从 2023 年初开始，我们便相信，这次 AI 革命的核心在于 Agent（《投AI最猛的人》）；过去两年中，我们访谈了全球近百位 Agent 研究方向的教授学者，感知 Agent 的生命智慧，更坚定了我们对 Agent 的信念（《AI Agent，一种新的生命体》）。
今天，MiniMax-01 的正式发布并开源，将这份信念具象化。它突破了传统架构的限制，以超长的上下文和全新的创新设计，推动 Agent 的认知与能力走向全新高峰。正如生命力是万物生长的动力，Agent 的进化，将成为推动社会、科技、创造力发展的源泉。我们坚信，Agent 这个新生命的载体，将会带领我们进入一个更加充满生命力的时代。
Enjoy。
MiniMax 发布并开源了 MiniMax-01 全新系列模型，其中包含两个模型，基础语言大模型 MiniMax-Text-01 和视觉多模态大模型 MiniMax-VL-01。 论文链接：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf
全新模型架构、性能比肩 GPT-4o
在 MiniMax-01 系列模型中，我们做了大胆创新：首次大规模实现线性注意力机制，传统 Transformer 架构不再是唯一的选择。这个模型的参数量高达 4560 亿，其中单次激活 459 亿。模型综合性能比肩海外顶尖模型，同时能够高效处理全球最长 400 万 token 的上下文，是 GPT-4o 的 32 倍，Claude-3.5-Sonnet 的 20 倍。
超长上下文、开启 Agent 时代
我们相信 2025 年会是 Agent 高速发展的一年，不管是单 Agent 的系统需要持续的记忆，还是多 Agent 的系统中 Agent 之间大量的相互通信，都需要越来越长的上下文。在这个模型中，我们走出了第一步，并希望使用这个架构持续建立复杂 Agent 所需的基础能力。
极致性价比、不断创新
受益于架构的创新、效率的优化、集群训推一体的设计以及我们内部大量并发算力复用，我们得以用业内最低的价格区间提供文本和多模态理解的 API，标准定价是输入 token 1 元/百万 token，输出 token 8 元/百万 token。欢迎大家在 MiniMax 开放平台体验、使用。
MiniMax 开放平台： https://www.minimaxi.com/platform
MiniMax 开放平台海外版： https://www.minimaxi.com/en/platform
MiniMax-01 系列模型在 https://github.com/MiniMax-AI 开源，后续也会持续更新。
基于业界主流的文本和多模态理解测评，结果如下图所示，我们在大多数任务上追平了海外公认最先进的两个模型，GPT-4o-1120 以及 Claude-3.5-Sonnet-1022。 在长文任务上，我们对比了之前长文最好的模型 Google 的 Gemini。如图(c)所示，随着输入长度变长，MiniMax-Text-01 是性能衰减最慢的模型，显著优于 Google Gemini。
受益于我们的架构创新，我们的模型在处理长输入的时候有非常高的效率，接近线性复杂度。和其他全球顶尖模型的对比如下：
我们使用的结构如下，其中每 8 层中有 7 个是基于 Lightning Attention 的线性注意力，有 1 层是传统的 SoftMax 注意力。
这是业内第一次把线性注意力机制扩展到商用模型的级别，我们从 Scaling Law、与 MoE 的结合、结构设计、训练优化和推理优化等层面做了综合的考虑。由于是业内第一次做如此大规模的以线性注意力为核心的模型，我们几乎重构了训练和推理系统，包括更高效的 MoE All-to-all 通讯优化、更长的序列的优化，以及推理层面线性注意力的高效 Kernel 实现。 在大部份的学术集上，我们都取得了比肩海外第一梯队的结果：
在长上下文的测评集上，我们显著领先：
在 400 万的 Needle-In-A-Haystack（大海捞针）检索任务上全绿：
除了学术数据集，我们构建了一个基于真实数据的助手场景中的测试集。在这个场景中，MiniMax-Text-01 的模型表现显著领先，具体的对比如下：
在多模态理解的测试集中，MiniMax-VL-01 的模型也较为领先：
为方便开发者做更多的研究，我们开源了两个模型的完整权重，https://github.com/MiniMax-AI。这一系列模型的后续更新，包括代码和多模态相关的后续强化，我们会第一时间上传。 选择开源，一是因为我们认为这有可能启发更多长上下文的研究和应用，从而更快促进 Agent 时代的到来，二是开源也能促使我们努力做更多创新，更高质量地开展后续的模型研发工作。 除了开源和极高性价比的API之外，在海螺AI（国内APP以及网站hailuoai.com），以及海外网站（hailuo.ai）上都可以访问使用。 如有技术上的建议与合作，欢迎发邮件到 model@minimaxi.com 与之交流。
