蚂蚁集团震撼发布：1030亿参数全模态AI，仅激活90亿即实现文字、图像、视频、语音全能交互！

type

status

date

slug

summary

蚂蚁集团发布Ming-flash-omni-Preview全模态AI模型

蚂蚁集团旗下的inclusionAI团队推出了名为Ming-flash-omni-Preview的开源全模态大语言模型。该模型参数总量达到1030亿，但在实际运行中仅激活90亿参数，采用了Ling 2.0的稀疏MoE架构设计，兼顾了模型容量和运行效率。

这款AI系统具备跨模态的理解与生成能力，在多个领域展现出独特的技术优势。它不仅能处理传统的文本信息，还能够对图像、视频、语音等多种数据形式进行深度理解和内容生成。

模型支持图像、文本、视频、音频等不同模态的输入与输出，实现了真正意义上的全模态交互。这种能力使得AI可以在更复杂的场景中提供服务，例如同时处理用户的语音指令和图像上传。

通过创新的"生成式分割范式"，模型在图像生成方面实现了前所未有的精确控制。用户可以对图像的特定区域进行语义级编辑，而不会影响其他部分的内容完整性。

对于持续输入的视频流，模型能够进行实时分析和理解，准确识别视频中的物体变化和交互行为，并支持基于这些信息的连续对话交互。

语音识别功能得到了显著增强，特别是在中文方言处理方面。模型能够识别15种不同的中国地方方言，同时具备上下文感知的语音理解能力。音色克隆技术的升级使得中英文混合语音的生成更加自然流畅。

基于稀疏MoE架构的设计理念，模型通过序列打包、弹性编码器分片等技术手段，有效解决了多模态训练中的异构性难题，大幅提升了训练效率。

对这款全模态AI模型感兴趣的开发者和研究人员可以从以下平台获取相关资源：

人工智能领域的研究人员可以利用该模型探索多模态融合的新技术和应用场景，推进相关学术研究的发展。

软件开发工程师能够将模型集成到各类智能应用中，包括但不限于智能视频分析系统、语音交互平台、图像内容生成工具等。

数据科学专业人士可以借助模型的强大处理能力，对复杂的多模态数据进行预处理和特征提取工作。

用户体验设计师和产品规划人员可以运用模型的多模态生成功能，打造更具创意和互动性的数字产品。

教育行业从业者能够将模型应用于智能教学系统开发，通过语音识别和图像生成等功能丰富教学手段。

创意工作者，包括视频制作人、平面设计师、文案撰写者等，可以使用模型快速生成多样化的内容素材，提高创作效率。

该模型的开源特性为整个AI社区提供了宝贵的实践资源，有助于推动全模态人工智能技术的普及和进步。