首页 > AI教程资讯

Qwen2.5-Omni：阿里巴巴发布的端到端全能多模态旗舰模型

文章来源：08AI导航网发布时间：2025-04-10 13:19:07

Qwen2.5-Omni是什么？

Qwen2.5-Omni 是阿里巴巴发布的Qwen 系列中的新一代端到端多模态旗舰模型。它专为全方位多模态感知设计，也就是可以理解文本、音频、图像、视频，可以同时进行思考和说话，并通过实时流式响应同时生成文本与自然语音合成输出的一个ai模型。

screenshot (23).webp

Qwen2.5-Omni核心特点

创新架构：

Thinker-Talker 架构：Thinker 负责处理和理解来自文本、音频和视频模态的输入，生成高级语义表征和对应的文本内容；Talker 则将这些内容转化为自然语音输出。

TMRoPE 技术：提出了一种名为 TMRoPE（Time-aligned Multimodal RoPE）的新型位置编码技术，用于同步视频输入与音频的时间戳。

实时交互：

支持完全实时交互，能够处理分块输入并即时输出。

自然流畅的语音生成：

在语音生成的自然性和稳定性方面超越了许多现有的流式和非流式替代方案。

全模态性能优势：

在多模态任务（如 OmniBench）中表现出色，同时在单模态任务（如语音识别、翻译、音频理解、图像推理、视频理解等）中也表现出色。

端到端语音指令跟随能力：

在端到端语音指令跟随方面表现出与文本输入处理相媲美的效果，在 MMLU 和 GSM8K 等基准测试中表现优异。

Qwen2.5-Omni架构设计

Thinker：类似于大脑，负责处理和理解来自文本、音频和视频模态的输入，生成高级语义表征和对应的文本内容。

Talker：类似于人类的嘴巴，接收 Thinker 生成的高级语义表征和文本内容，并以流式方式输出自然语音。

整体架构：Thinker 是一个 Transformer 解码器，配备用于音频和图像的编码器以提取信息。Talker 是一个双轨自回归 Transformer 解码器架构。在训练和推理过程中，Talker 直接接收来自 Thinker 的高维表征，并共享 Thinker 的所有历史上下文信息，整个架构作为一个统一的模型进行端到端训练和推理。

Qwen2.5-Omni架构设计.jpg

Qwen2.5-Omni性能表现

在多模态任务（如 OmniBench）中，Qwen2.5-Omni 实现了最先进的性能。

在单模态任务中，它在语音识别（Common Voice）、翻译（CoVoST2）、音频理解（MMAU）、图像推理（MMMU、MMStar）、视频理解（MVBench）和语音生成（Seed-tts-ｅｖａｌ 和主观自然性）等方面表现出色。

Qwen2.5-Omni性能表现.jpg

相关链接

Qwen Chat：https://chat.qwenlm.ai

Hugging Face：https://huggingface.co/Qwen/Qwen2.5-Omni-7B

ModelScope：https://modelscope.cn/models/Qwen/Qwen2.5-Omni-7B

DashScope：https://help.aliyun.com/zh/model-studio/user-guide/qwen-omni

GitHub：https://github.com/QwenLM/Qwen2.5-Omni

Demo体验：https://modelscope.cn/studios/Qwen/Qwen2.5-Omni-Demo

Mureka O1：昆仑万维发布的全球首款音乐推理大模型

上一篇: Mureka O1：昆仑万维发布的全球首款音乐推理大模型

Mureka O1是昆仑万维发布的全球首款音乐推理大模型。它采用思维链技术，通过多轮推理和结构化生成，能够创作高质量音乐作品。

MoshiVis：一款能听还能看，并用流畅的语音跟你讨论图像内容的视觉语音模型

下一篇: MoshiVis：一款能听还能看，并用流畅的语音跟你讨论图像内容的视觉语音模型

MoshiVis 是一个在Moshi​基础上开发的一款视觉语音模型，能够以自然对话风格讨论图像内容。支持多轮对话，可以描述图片的文字内容并回答有关于图片的问题。

相关攻略 更多

热门AI工具更多

最新资讯 更多

Framer-成功从网站开始

Framer-成功从网站开始

AI工具

更新时间：2025-02-25

查看