腾讯混元两大核心模型开源

作为互联网大厂大模型的典型代表，腾讯混元大模型正在加快开源步伐。

11月5日，腾讯混元宣布最新的MoE模型“混元Large”以及混元3D生成大模型“ Hunyuan3D-1.0”正式开源，支持企业及开发者精调、部署等不同场景的使用需求，可在HuggingFace、Github等技术社区直接下载，免费可商用。

本次开源是腾讯混元继文生图模型后持续开放的一大举措。其中，腾讯混元Large是目前开源领域参数规模最大、效果最好的MoE模型，而腾讯混元3D生成大模型则是业界首个同时支持文字、图像生成3D的开源大模型。两个模型均属腾讯自研，在架构、算法、数据等方面有独特创新，填补了行业空白。目前，两个模型均已经在腾讯业务场景中落地应用，经过实践的检验，是面向实用场景的应用级大模型。

同时，腾讯云TI平台和高性能应用服务HAI也开放接入这两个模型，为模型的精调、API调用及私有化部署提供一站式服务。

腾讯大模型的一大特点是坚持MoE架构，模型持续升级开放。腾讯混元Large模型总参数量389B，激活参数量52B，上下文长度高达256K，公开测评结果显示，腾讯混元Large 在CMMLU、MMLU、CEval、MATH等多学科综合评测集以及中英文NLP任务、代码和数学等九大维度全面领先，超过Llama3.1、Mixtral等一流的开源大模型。

2024年年初，腾讯混元就宣布在国内率先采用MoE架构模型，总体性能比上一代Dense模型提升50%。此后，腾讯混元推出基于MoE架构的多模态理解大模型以及基础模型“混元turbo”。

在模型结构和训练策略方面，腾讯混元Large全面探索了MoE ScalingLaw，进行了MoE共享专家路由、回收路由等策略上的创新，并引入了专家特化的学习率适配训练策略，有效提升不同专家利用率和稳定性，带来模型效果的提升。腾讯混元Large模型专项提升的长文能力已经应用到腾讯AI助手腾讯元宝上，最大支持256K上下文，相当于一本《三国演义》的长度，可以一次性处理上传最多10个文档。

同时，腾讯还推出业界首个同时支持文字、图像生成3D的开源大模型。

腾讯混元3D生成大模型首批开源模型包含轻量版和标准版，轻量版仅需10s即可生成高质量3D资产，目前已在技术社区公开发布，包含模型权重、推理代码、模型算法等完整模型，可供开发者、研究者等各类用户免费使用。

开源已经成为腾讯混元大模型的一个战略选择。腾讯方面表示，混元将继续带来更多模态、更多尺寸的开源模型，将更多经过腾讯业务场景打磨和检验的模型开源，促进大模型技术进步和行业生态繁荣。