Cao Jiahao

Master’s student in Software Engineering at HUST, focusing on multimodal LLMs, AIGC, computer vision, and AI applications. Passionate about sharing knowledge and building open-source projects.

目录

  1. 概述
  2. 多模态架构范式
  3. 统一分词器
  4. 原生多模态模型
  5. 任意到任意生成（Any-to-Any）
  6. 语音多模态
  7. 统一理解与生成
  8. 实践建议
  9. 参考文献

1. 概述

当前多模态大模型正从”拼接式”架构（视觉编码器 + 适配器 + LLM）向”原生多模态”架构演进。前者以 LLaVA、Qwen-VL 为代表，用外部视觉编码器将图像转换为 LLM 可理解的 Token；后者以 Chameleon、GPT-4o、Gemini 为代表，从底层将图像、语音、文本统一表示和建模。

这一演进的核心驱动力：

  • 模态统一：减少对外部编码器和解码器的依赖，用统一 Transformer 处理所有模态。
  • 端到端联合训练：所有模态从预训练阶段就深度融合，而非后期对齐。
  • 实时多模态交互：语音、视觉、文本同时输入输出，实现自然对话。
  • 生成质量：原生架构能生成更一致、更高质量的多模态内容。

技术演进路径：

\[\text{拼接式（CLIP + LLM）} \rightarrow \text{统一分词器} \rightarrow \text{原生多模态 Transformer} \rightarrow \text{Any-to-Any Omni}\]

2. 多模态架构范式

2.1 三种架构对比

范式 代表模型 视觉编码 视觉生成 特点
拼接式 LLaVA, Qwen-VL 外部 CLIP/ViT + 投影 不支持 训练简单，理解为主
统一分词 Chameleon, Emu3 VQ Tokenizer VQ 解码器 所有模态离散 Token，统一建模
原生多模态 GPT-4o, Gemini 端到端 端到端 连续+离散混合，实时交互

2.2 拼接式架构回顾

拼接式架构在 multimodal-alignment.md 中有详细讨论，核心流程为：

\[\text{图像} \xrightarrow{\text{ViT}} \text{图像特征} \xrightarrow{\text{Q-Former/投影}} \text{LLM Token 序列} \xrightarrow{\text{LLM}} \text{文本输出}\]

其局限：

  • 视觉编码器独立训练，特征可能不是 LLM 最优输入。
  • 只能理解不能生成（生成需额外对接扩散模型）。
  • 多轮多模态交互延迟高（语音需 ASR → LLM → TTS 三级流水线）。
  • 模态间信息在投影层有损失。

3. 统一分词器

3.1 核心思想

统一分词器（Unified Tokenizer）将图像（和其他模态）编码为离散 Token 序列，与文本 Token 共享同一词表空间。这样所有模态都变成”语言”，标准 Transformer 即可统一处理。

3.2 VQ-GAN 与视觉分词

VQ-GAN（Esser et al., 2021）用 CNN 编码器将图像压缩为离散 Token 网格：

  1. 编码器将图像映射为连续特征图 $z \in \mathbb{R}^{h \times w \times d}$。
  2. 每个空间位置在码本 $\mathcal{C} \in \mathbb{R}^{K \times d}$ 中查找最近向量，得到离散索引。
  3. 解码器从离散 Token 重建图像。
\[z_q = \mathbf{e}_k, \quad k = \arg\min_j \|z - \mathbf{e}_j\|\]

码本通过 EMA 更新和承诺损失（commitment loss）训练：

\[\mathcal{L}_{\text{VQ}} = \|\text{sg}[z] - z_q\|^2 + \beta \|z - \text{sg}[z_q]\|^2\]

其中 $\text{sg}$ 为停止梯度操作。

3.3 VQ 模型的改进

  • VQGAN：加入 GAN 损失和感知损失，提升重建质量。
  • MaskGiT / VQ-Diffusion：用掩码预测替代自回归，加速图像生成。
  • Open-MAGVIT2：3D 因果卷积 + 查找无关量化，Tokenizer 质量大幅提升。
  • Cosmos Tokenizer（NVIDIA, 2024）：同时支持图像和视频，8x8 或 16x16 压缩率。
  • LlamaGen：在 VQ Token 上训练自回归 Transformer 生成图像。

3.4 多模态统一分词

  • BEiT-3：对图像用 VQ-KD 获得视觉 Token，文本用文本 Token，统一做 Masked Data Modeling。
  • Chameleon（Meta, 2024）：图像用 Spatial Pair-Encoded Tokenizer，将 256×256 图像编码为 1024 个 Token，与 65K 文本词表联合。文本和图像 Token 在同一序列中混合。
  • Emu3（智谱, 2024）：统一图像、文本、视频分词器，下一 Token 预测同时处理所有模态，实现”一个模型、一个目标、所有模态”。

4. 原生多模态模型

4.1 Chameleon

Chameleon（Meta, 2024）是早期原生多模态的代表：

  • 早期融合（early fusion）：文本和图像 Token 在第一层就混合处理。
  • 自回归生成：文本和图像 Token 都由同一个 Transformer 自回归预测。
  • 不需要单独的视觉编码器或扩散模型。
  • 支持图文混合生成（在文本段落中插入生成的图像）。
  • 训练数据：严格过滤的 4.4T 文本 + 图像对。

Chameleon 的局限：图像生成质量低于当时的扩散模型（SDXL），且图像生成速度慢（自回归逐 Token 生成）。

4.2 GPT-4o

GPT-4o（OpenAI, 2024）”o”代表 omni，核心特点：

  • 原生端到端：文本、视觉、语音在同一个模型中端到端训练，非拼接式。
  • 实时语音：语音直接输入输出，不经 ASR/TTS 级联，延迟降至 ~200ms。
  • 视觉理解：直接处理图像和视频帧，无需外部 ViT。
  • 情感与语调：能感知和生成语音中的情感、语调和歌唱。
  • 多模态交错：在对话中同时处理文本、图像和语音。

4.3 Gemini

Gemini（Google DeepMind, 2023-2024）系列在预训练阶段即原生多模态：

  • 在文本、图像、音频、视频、代码上联合训练。
  • 长上下文能力（Gemini 1.5 Pro 支持 1M+ Token）。
  • 高效注意力架构和 TPU 基础设施支撑大规模多模态训练。

4.4 原生 vs 拼接的本质区别

维度 拼接式 原生
训练阶段 视觉编码器单独训练，后接 LLM 对齐 所有模态从零联合训练
信息融合 投影层存在信息瓶颈 全层跨模态注意力
语音延迟 ASR → LLM → TTS（秒级） 端到端（~200ms）
视觉生成 需外挂扩散模型 内置生成能力
训练成本 较低 极高

5. 任意到任意生成（Any-to-Any）

5.1 定义

Any-to-Any 模型能同时接受和生成文本、图像、语音、视频等多种模态的任意组合，如：

  • 文本+图像 → 语音回答
  • 语音+图像 → 文本+图像回答
  • 视频 → 文本描述+语音解说

5.2 关键挑战

  • 模态对齐：不同模态的采样率、序列长度、语义粒度差异巨大。
  • 实时性：语音交互要求低延迟，但多模态推理计算量大。
  • 同步性：语音和图像输出需在时间上对齐（如说话时配合手势和表情）。
  • 流式生成：语音和视频需要流式输出，而非等全部生成完再播放。

5.3 代表性模型

  • NExT-GPT：文本+图像+视频+音频的 Any-to-Any 系统，通过编码-投影-解码实现。
  • Unified-IO 2：统一图像、文本、音频、深度、姿态等 12 种模态。
  • Qwen2-VL / Qwen-Audio：分别支持视觉和语音的原生多模态。
  • MiniCPM-o：端侧 Any-to-Any 模型，支持实时语音对话和视觉理解。
  • Moshi（Kyutai, 2024）：全双工语音对话模型，支持同时听说和情感表达。

6. 语音多模态

6.1 语音大模型的三条路线

路线 方法 延迟 代表
级联式 ASR → LLM → TTS 高（1-3秒） 传统语音助手
语音 Token 拼接 语音分词器 + LLM + 语音解码器 中（~500ms） SpeechGPT, Voicebox
原生端到端 语音直接输入输出 低（~200ms） GPT-4o, Moshi

6.2 语音 Tokenizer

  • SoundStream / EnCodec（Meta）：神经网络音频编解码器，将音频压缩为离散 Token，支持 24kHz 高保真重建。
  • WavTokenizer：减少 Token 数量，提升语音语言建模效率。
  • Moshi 的 Helium 模型：流式语音 Tokenizer，支持全双工。

6.3 语音 LLM

  • VALL-E（Microsoft）：用音频 Token 做语音合成，3 秒音频即可克隆声音。
  • SpeechGPT：语音离散 Token 与文本联合建模。
  • Qwen-Audio / Qwen2-Audio：音频理解大模型，支持语音、音乐、声音事件。
  • Moshi：全双工对话，同时听说，预测用户和自身的语音流。
  • GPT-4o Realtime API：原生实时语音交互，支持函数调用和情感表达。

语音模型的深入讨论见 architectures/speech-audio.md。

7. 统一理解与生成

7.1 理解-生成鸿沟

传统模型要么擅长理解（ViT、CLIP），要么擅长生成（扩散模型），难以兼顾。统一架构需要在同一模型中同时具备强理解和强生成能力。

7.2 统一方法

  • 多任务预训练：同时训练图像-文本对比学习（理解）和图像生成（生成）。
  • 统一离散表示：所有模态编码为 Token，下一 Token 预测天然支持理解和生成。
  • 混合连续/离散：理解用连续特征（保留细节），生成用离散 Token（稳定训练）。如 Chameleon 在理解时连续、生成时离散。

7.3 Show-o 与统一 Transformer

Show-o（Yu et al., 2024）是代表性统一模型：

  • 文本：因果自回归。
  • 图像：离散掩码预测（类似 MaskGiT）。
  • 两种模式在同一 Transformer 中混合，根据输入类型切换注意力掩码。
  • 一次前向传播可同时处理图像理解和生成。

7.4 Janus 与解耦视觉编码

Janus（DeepSeek, 2024-2025）发现理解和生成对视觉编码的需求不同：

  • 理解：需要全局语义表示，适合 ViT 类编码器。
  • 生成：需要局部细节重建，适合 VQ Tokenizer。

Janus 采用解耦设计：理解路径用 SigLIP 编码器，生成路径用 VQ Tokenizer，两者共享 LLM 主干但独立适配。这一简单设计在统一理解与生成上取得了优异表现。

8. 实践建议

8.1 模型选型

  • 纯视觉理解（图文问答、OCR、文档理解）：拼接式模型（Qwen-VL、InternVL）已足够成熟。
  • 高质量图像生成：仍推荐扩散模型（SD3、Flux），自回归图像生成质量尚在追赶。
  • 实时语音对话：原生端到端模型（GPT-4o Realtime、Moshi）。
  • 端侧多模态：MiniCPM-o、Qwen2-VL（量化版）。
  • 研究原型：统一分词器 + 开源 LLM 是最灵活的起点。

8.2 训练建议

  • 拼接式模型的视觉编码器选择对性能影响大：SigLIP > CLIP（开源场景），InternViT 等更大编码器提供更强能力。
  • 多模态 SFT 数据应包含图像、文本、（可选）语音的交错样本，而非简单的图文对。
  • 原生多模态训练成本极高，多数团队应在已有开源基座上微调，而非从零训练。
  • 语音交互需关注 VAD（语音活动检测）、打断处理和全双工逻辑。

8.3 评估维度

  • 图像理解：MMMU、MathVista、MMBench、DocVQA。
  • 图像生成：GenEval、DPG-Bench、人工偏好评测。
  • 语音：语音识别 WER、TTS 自然度 MOS、对话延迟、情感一致性。
  • Any-to-Any：多模态指令跟随、跨模态一致性、端到端延迟。

9. 参考文献

[1] T. Sun, Y. Zhang, Q. Dong, et al., Chameleon: Mixed-Modal Early-Fusion Foundation Models, arXiv preprint, 2024.

[2] P. Esser, R. Rombach, B. Ommer, Taming Transformers for High-Resolution Image Synthesis, CVPR, 2021.

[3] X. Wang, Z. Wang, S. Wang, et al., Emu3: Next-Token Prediction Is All You Need, arXiv preprint, 2024.

[4] OpenAI, GPT-4o System Card, 2024.

[5] Google DeepMind, Gemini: A Family of Highly Capable Multimodal Models, 2024.

[6] A. Défossez, J. Copet, G. Synnaeve, Y. Adi, High Fidelity Neural Audio Compression, arXiv preprint, 2022.

[7] K. Kawamura, X. Ma, A. Fang, et al., Moshi: A Speech-Text Foundation Model for Full-Duplex Spoken Dialogue, arXiv preprint, 2024.

[8] J. Yu, X. Wang, Y. Li, et al., Show-o: One Single Transformer to Unify Multimodal Understanding and Generation, arXiv preprint, 2024.

[9] Z. Chen, X. Wang, T. Wu, et al., Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation, arXiv preprint, 2024.

[10] W. Zeng, W. Wang, Z. Wu, et al., NExT-GPT: Any-to-Any Multimodal LLM, arXiv preprint, 2023.

留下评论