目录一、为什么多模态的主线不是“模型越来越大”而是信息接口不断重写一从“视觉识别”到“可语言化世界”的问题迁移二三阶段可以被重新解释为三个核心问题1、Stage1怎样把视觉变成可对齐、可迁移的语义表示2、Stage2怎样把已经很强的视觉模型和LLM组合成一个系统3、Stage3怎样让模型在空间、时间和行动闭环中保持可靠状态三贯穿三阶段的四条隐藏主线1、信息带宽多少视觉Token真正有必要进入LLM2、监督粒度从类别标签到自然语言再到过程和动作3、参数更新范围从端到端训练到冻结复用再到选择性解冻4、输出形式从分类分数到自由文本再到结构化动作二、Stage1先让视觉进入Transformer再让图像和文本共享语义空间一ViT视觉Token化打开了统一序列建模的大门1、真正重要的不是“Transformer也能做CV”而是接口统一2、ViT的代价把卷积的先验换成数据与规模二CLIP与ALIGN自然语言成为可扩展视觉监督1、CLIP把封闭类别识别改写成开放语义检索1.1 对比学习的本质是“批内配对识别”1.2 CLIP的优势与限制来自同一个结构选择2、ALIGN证明“脏数据 × 大规模”也可以形成强表示三ALBEF与BLIP从“对齐”走向“对齐之后的融合与生成”1、ALBEF先对齐再融合是一种信息组织原则1.1 ITC先解决“同义空间”再交给跨模态编码器做细粒度交互1.2 动量蒸馏把噪声标签问题转化为教师—学生一致性问题2、BLIP模型不只消费数据也开始反过来加工数据2.1 一个文本Transformer承担多种角色2.2 CapFilt把数据质量治理纳入预训练闭环三、Stage2视觉—语言连接器成为系统设计中心一Frozen与Flamingo冻结LLM把视觉变成语言模型能消费的上下文1、Frozen把图像表示成连续前缀证明LLM能力可以跨模态迁移2、Flamingo从单图前缀升级到图文交织上下文2.1 Perceiver Resampler解决视觉Token数量不稳定问题2.2 Gated Cross-Attention在保留LLM能力的同时注入视觉二BLIP-2Q-Former把“连接器”升级为主动信息查询器1、Q-Former不是普通投影层而是可学习的信息瓶颈2、两阶段训练把“视觉语义抽取”和“语言生成适配”解耦2.1 第一阶段学习与文本相关的视觉表征2.2 第二阶段把压缩后的视觉Token接到冻结LLM三LLaVA把复杂度从架构迁移到数据与指令学习1、视觉指令微调让“会看”变成“会按要求用视觉解决问题”2、两阶段训练成为后来开源MLLM的事实标准之一2.1 预对齐阶段解决视觉特征与词向量空间的尺度和语义差异2.2 指令微调阶段让LLM真正参与视觉任务适配四、Stage3从图片对话走向高分辨率、长视频、空间定位和视觉Agent一高分辨率视觉模型必须同时看见全局结构和局部细节1、固定分辨率会把大量真实任务变成信息损失问题2、动态分辨率带来新的计算和位置编码问题二空间表达从“知道有什么”升级到“知道在哪里”1、视觉定位把语言回答变成可验证结构2、空间输出要求评估指标从“文本相似”转向几何精度三视频理解时间不是“多张图片”而是一种独立结构1、长视频的核心矛盾是时序覆盖率与Token预算2、时间编码决定模型能否做事件定位与过程推理四视觉Agent多模态模型开始成为行动系统的感知与决策中枢1、屏幕、文档和真实环境本质上都是“可观察状态”2、Agent化提高了错误成本也迫使多模态模型走向自校验五、把不同模型放到统一坐标系连接器、训练目标与数据结构共同决定能力一连接器不是小模块而是多模态系统的信息瓶颈1、连接器的第一职责是控制Token预算2、连接器的第二职责是定义“什么视觉信息值得进入语言空间”二分阶段训练的本质是把困难问题拆成可监督子问题1、先学“什么是同义”再学“怎么交互”2、先学“怎么描述”再学“怎么按要求完成任务”3、进入Agent阶段后监督应覆盖状态—动作—反馈链三数据结构比数据条数更容易被低估1、单图文对无法天然教会多图上下文关系2、视频和Agent任务尤其依赖序列数据的真实结构六、从Benchmark到真实系统多模态能力至少要拆成五个评估面一感知与识别模型到底“看见”了多少1、小目标、文字和布局比自然图像分类更接近生产难题2、分辨率鲁棒性应单独测试二对齐与检索模型能否稳定建立跨模态对应三生成与指令遵循正确不仅是“内容对”还包括“按要求输出”1、结构化输出比自然语言更适合自动化链路2、多轮一致性应纳入评估四时空与推理不要把“答案命中”误认为“过程可靠”五行动与可靠性Agent系统必须用任务成功率和风险衡量七、工程选型方法论不要问“哪个模型最强”要问“哪条信息链最适合任务”一先根据任务决定视觉带宽而不是先决定模型大小1、自然图像问答中等视觉Token预算通常足够2、文档/表格/GUI优先高分辨率、OCR、定位与结构化输出3、视频优先检查抽帧、时间编码和长上下文策略二再根据训练资源决定冻结、部分微调还是端到端更新1、资源有限冻结强视觉编码器和LLM训练连接器或LoRA2、视觉域差异大应考虑更新视觉侧3、追求统一全模态端到端联合训练收益更高但工程复杂度陡增三最后根据风险决定是否允许模型直接行动1、低风险任务可以“模型直接生成 规则校验”2、中风险任务采用“模型建议 工具执行 环境反馈”3、高风险任务必须保留明确的人类确认点八、下一阶段从多模态LLM到统一多模态世界模型一“全模态”真正要统一的是状态不是输入格式二理解与生成正在重新合流三视觉推理将越来越依赖外部工具而不是只依赖更长的思维链1、OCR、代码执行、搜索、计算和定位工具可以把模型从“猜”变成“验证”2、工具使用使模型评估从静态准确率转向系统级成功率四长期瓶颈将从“有没有能力”转向“能否稳定、低成本、可控地使用能力”九、结语把多模态理解成“信息流设计”比记住模型谱系更重要可参考的文章与技术报告干货分享感谢您的阅读多模态大模型的发展并不是“给语言模型加一个摄像头”这么简单。它经历了三个本质不同的技术阶段第一阶段解决“视觉如何被Transformer处理、图像与文本如何共享语义空间”第二阶段解决“如何复用成熟视觉编码器与成熟大语言模型并把视觉信息以合适带宽注入语言推理”第三阶段则把问题推进到“如何在高分辨率、长视频、结构化文档、空间坐标与交互环境中持续感知、推理和行动”。我们以原始的三阶段框架为历史骨架对 ViT、CLIP、ALIGN、ALBEF、BLIP、Frozen、Flamingo、BLIP-2、LLaVA 等关键工作进行重新组织并结合 InternVL、Qwen2.5-VL、InternVideo2 以及统一理解—生成模型的公开技术报告进一步提炼多模态大模型背后的统一方法论视觉Token化、跨模态对齐、信息瓶颈、连接器设计、分阶段训练、指令化、时空建模与Agent化。文章的重点不是罗列模型而是解释这些设计为什么出现、解决了什么旧问题、又制造了什么新问题以及这些规律如何用于今天的模型选型、训练和工程落地。多模态大模型的三阶段演进。真正连续变化的不是模型名称而是“表征学习—模态桥接—原生时空智能”的问题重心。一、为什么多模态的主线不是“模型越来越大”而是信息接口不断重写一从“视觉识别”到“可语言化世界”的问题迁移如果把过去几年的多模态模型只按参数量排序会得到一个非常容易误导的故事模型更大、数据更多、榜单更高。但从技术机制看更重要的变化是机器内部对“视觉信息是什么”的定义被连续改写。早期视觉模型把图像理解为一个二维像素阵列卷积网络通过局部感受野逐层提取边缘、纹理、物体部件和高层语义。ViT 的贡献并不只是“用 Transformer 替代 CNN”而是把图像转换成可进入通用序列模型的 Token。CLIP 进一步改变监督信号图像不必再被限定到人工类别标签而可以由自然语言提供开放语义监督。到了 Flamingo、BLIP-2、LLaVA 这一代视觉信息开始被视为可以注入语言模型上下文的连续Token而到了动态分辨率、长视频、视觉定位和GUI Agent阶段视觉Token已经不只是“描述图片”它们必须携带位置、尺度、时间、对象关系乃至可执行动作所需的状态。因此多模态模型真正演化的是三层接口第一层是像素到视觉Token的接口第二层是视觉Token到语言语义空间的接口第三层是语言推理到环境动作与反馈的接口。三层接口一旦打通模型才从“识图模型”变成“以视觉为感知通道的通用智能系统”。二三阶段可以被重新解释为三个核心问题1、Stage1怎样把视觉变成可对齐、可迁移的语义表示Stage1 的关键词是视觉Transformer、对比学习、双塔结构、跨模态融合和图文预训练。它解决的核心问题不是生成而是表示图像和文本能不能在同一个语义空间里彼此找到视觉模型能否摆脱固定类别集合利用自然语言的开放词汇实现零样本迁移这一阶段的代表工作从 ViT、CLIP、ALIGN 延伸到 ALBEF、BLIP。前半段强调“视觉表示与图文对齐”后半段开始把跨模态交互与文本生成纳入统一框架。原材料概括的“结构设计多样、任务简单、文本生成能力弱”非常准确地抓住了这一时期的状态模型还在寻找最有效的视觉—语言接口不同论文在双塔、融合编码器、编码器—解码器之间快速探索。2、Stage2怎样把已经很强的视觉模型和LLM组合成一个系统当大语言模型展示出强大的零样本、少样本和指令遵循能力后研究重心发生变化既然语言能力已经由大规模预训练获得就没有必要从头训练整个视觉语言系统。新的问题变成如何把视觉信息接到LLM上而且尽量不破坏LLM原有能力Frozen、Flamingo、BLIP-2 和 LLaVA 给出了不同答案。Frozen 训练视觉侧把图像映射为可被冻结语言模型接收的连续前缀Flamingo 使用 Perceiver Resampler 把可变长度视觉特征压缩成定长潜变量并在冻结语言模型中插入门控交叉注意力BLIP-2 用 Q-Former 作为信息查询器让少量可学习 Query 主动从冻结视觉编码器中提取与语言相关的信息LLaVA 则把连接器简化到线性/MLP投影并用视觉指令数据把“桥接能力”更多交给数据和LLM本身。3、Stage3怎样让模型在空间、时间和行动闭环中保持可靠状态进入 Stage3问题已经超出“图片问答”。原材料最后几页直接展示了 Image reason、Video reason、Segment、视频对话等任务模型需要根据影子推断对象在视频帧序列中做导航推理理解空间分割并在移动视觉输入上持续对话。这里的技术难点不再只是“看懂内容”而是在高分辨率空间与长时间序列中维护可更新的世界状态。这也是为什么动态分辨率、坐标表达、绝对时间编码、长视频压缩、视觉定位、结构化输出、工具调用和Agent训练会在这一阶段集中出现。多模态系统从“回答关于视觉的问题”转向“以视觉参与决策”。三贯穿三阶段的四条隐藏主线1、信息带宽多少视觉Token真正有必要进入LLM视觉输入天然比文本稠密。一张高分辨率图片可以产生数百到数千个视觉Token视频更会把Token数量乘以帧数。连接器的本质问题因此是一个信息带宽分配问题哪些细节值得进入语言模型哪些可以在视觉侧压缩如果压缩过度小目标、文字、空间关系会丢失如果压缩不足计算成本和上下文占用会迅速失控。2、监督粒度从类别标签到自然语言再到过程和动作监督信号经历了类别标签、图文配对、描述生成、指令数据、推理过程、工具调用轨迹的连续升级。监督越开放模型越能覆盖长尾任务但监督越开放数据噪声和错误归因也越严重。因此多模态发展一直伴随着“规模与质量”的拉扯ALIGN证明海量弱监督可以抵消部分噪声BLIP又证明对网络图文进行Caption与Filtering能进一步提高有效监督质量。3、参数更新范围从端到端训练到冻结复用再到选择性解冻早期模型通常需要端到端训练视觉与文本模块Stage2 更强调冻结已有强模型只训练桥接层随后实际系统又逐渐走向“选择性解冻”视觉编码器、连接器、LLM不同层按任务需要开放参数。这说明“冻结”不是终点而是降低训练成本和灾难性遗忘风险的一种工程手段。4、输出形式从分类分数到自由文本再到结构化动作CLIP 的输出可以是相似度BLIP、Flamingo、LLaVA 输出自由文本Qwen2.5-VL 类模型进一步强调目标点、边界框、表格字段、文档结构和设备操作。输出越接近动作模型错误的外部成本越高所以可靠性评估、坐标精度、结构约束和执行前验证也会变得更重要。二、Stage1先让视觉进入Transformer再让图像和文本共享语义空间一ViT视觉Token化打开了统一序列建模的大门ViT把二维图像转换为Token序列CLIP/ALIGN把视觉Token和文本表示放入共享语义空间。两步共同奠定了后续多模态模型的基础。1、真正重要的不是“Transformer也能做CV”而是接口统一ViT 将图片切分为固定大小 Patch把每个 Patch 展平后线性投影成向量再加入位置编码形成与自然语言Token形态相似的序列输入。原始分享强调的结论包括Transformer 可以较少改动地用于计算机视觉在小数据规模下可能不如卷积网络但在中大规模预训练数据下具有更强表现训练同等精度模型时具备有竞争力的计算效率。这些结论背后有一个更深层的工程价值从此以后图像和文本虽然模态不同但都可以被转换为序列化表示。这使跨模态模型不再需要在架构层面维持完全不同的计算范式。后来的交叉注意力、Q-Former、视觉前缀、动态视觉Token本质上都在这个统一接口上继续工作。2、ViT的代价把卷积的先验换成数据与规模CNN 内置局部性和平移等变等归纳偏置因此在中小数据集上更容易学习Transformer 更自由但也更依赖大规模数据预训练。ViT 的经验告诉后续多模态模型一个反复出现的规律当模型先验减少时数据规模、训练目标和预训练质量必须补上这部分结构性约束。这一规律后来在 LLaVA 式简化架构中再次出现。连接器越简单数据质量和指令覆盖就越重要视觉Token越原生模型越需要通过训练学习空间和局部关系。二CLIP与ALIGN自然语言成为可扩展视觉监督1、CLIP把封闭类别识别改写成开放语义检索1.1 对比学习的本质是“批内配对识别”CLIP 使用图像编码器和文本编码器分别得到向量表示在一个 Batch 内最大化真实图文对的相似度同时降低不匹配组合的相似度。训练完成后文本编码器可以把类别名或描述转成文本向量再与图像向量比较从而形成无需为每个新类别重新训练分类头的零样本分类方式。这种设计的意义是把“类别集合”外包给语言。传统监督分类器的类别边界写死在训练标签里CLIP 的类别可以在推理时用自然语言定义。对于开放世界任务这种变化比某个数据集上提升几个点更重要。1.2 CLIP的优势与限制来自同一个结构选择双塔结构非常适合大规模训练和检索因为图像、文本可以独立编码并缓存表示计算效率高但图像和文本直到最终相似度计算前都没有细粒度交互。因此它擅长“这张图和哪段文字更像”却不天然擅长“图中左下角第二个表格单元为什么与问题相关”这类需要局部、组合和多步交互的任务。这直接催生了后来的跨模态融合编码器与交叉注意力设计。可以说ALBEF和BLIP不是否定CLIP而是在回答CLIP故意没有回答的问题什么时候必须让图像Token和文本Token真正彼此看见2、ALIGN证明“脏数据 × 大规模”也可以形成强表示ALIGN 使用简洁双编码器与对比目标在约18亿规模的噪声图文数据上训练。原始分享把它概括为“大量脏数据VS少量精数据”并指出其结果略优于当时的CLIP说明海量弱监督可以在一定程度上抵消数据噪声。这带来两个长期影响。第一多模态预训练的数据瓶颈从“有没有人工标注”转为“能否构建规模化清洗、去重、过滤和安全治理流水线”第二后来的模型不再把数据清洗看成单一离线步骤而是把模型本身用于数据再生成和再过滤。BLIP 的 CapFilt 就是这种思路的典型化。三ALBEF与BLIP从“对齐”走向“对齐之后的融合与生成”Stage1并不是单一路线。双塔擅长大规模对齐ALBEF强调先对齐再融合BLIP进一步把理解与生成、模型与数据处理纳入统一框架。1、ALBEF先对齐再融合是一种信息组织原则1.1 ITC先解决“同义空间”再交给跨模态编码器做细粒度交互ALBEF 的核心思想是 Align Before Fuse。图像和文本先通过 Image-Text ContrastiveITC目标在单模态表示空间完成粗对齐再由跨模态注意力处理 Image-Text MatchingITM和 Masked Language ModelingMLM等任务。原材料特别强调三个损失以及 momentum distillation这些设计共同解决的是一个现实问题如果视觉和文本在进入跨模态融合层之前完全不对齐融合层就要同时学习“语义对齐”和“细粒度交互”两件难事。从优化角度看先对齐相当于降低了后续融合任务的搜索空间。这一“分阶段降低问题难度”的思想后来在 BLIP-2 中更加明确第一阶段先让 Q-Former 学到与文本相关的视觉表示第二阶段再把这些表示接给LLM学习生成。1.2 动量蒸馏把噪声标签问题转化为教师—学生一致性问题Web 图文数据并不天然准确。ALBEF 维护一个指数滑动平均的动量模型用它产生软目标帮助主模型在噪声监督下学习更稳定的图文关系。这个机制的重要性在于它预示了后续多模态数据工程的一种方向与其假设所有原始数据都正确不如让模型在训练过程中参与“监督再估计”。2、BLIP模型不只消费数据也开始反过来加工数据2.1 一个文本Transformer承担多种角色BLIP 让文本Transformer根据注意力掩码和跨注意力配置分别承担单模态文本编码、图像条件文本编码和图像条件文本解码等角色因此既可以做检索、匹配等理解任务也可以进行图像描述等生成任务。这种统一化使“理解”和“生成”不再是完全独立的模型路线。2.2 CapFilt把数据质量治理纳入预训练闭环BLIP 的 Captioning and Filtering 机制非常关键Captioner 为网络图像生成合成描述Filter 则剔除不匹配或低质量图文对。原材料指出 CapFilt 在实验中十分有效。它的长期价值在于揭示了一个后来被大量大模型训练采用的原则当原始互联网数据质量不足时可以用更强模型生成中间监督再用判别/过滤机制做数据重构。也就是说从 BLIP 开始多模态模型已经不只是“被数据训练”它开始成为数据管线的一部分。三、Stage2视觉—语言连接器成为系统设计中心一Frozen与Flamingo冻结LLM把视觉变成语言模型能消费的上下文1、Frozen把图像表示成连续前缀证明LLM能力可以跨模态迁移Frozen 的思想非常简洁冻结预训练语言模型训练视觉编码器使图像被映射成少量连续向量并作为语言模型的前缀。原材料把其目标概括为“将LLM的zero/few-shot能力迁移到MLLMs”这正是它的历史意义。这个实验说明LLM内部已经学到大量任务结构、知识和上下文学习机制。如果视觉信息能被转换成它熟悉的隐空间形式就可以复用这些能力而无需重新训练一个同等规模的多模态模型。后来的连接器路线都在继承这个前提只是对“怎样转换”给出了更强的方案。2、Flamingo从单图前缀升级到图文交织上下文2.1 Perceiver Resampler解决视觉Token数量不稳定问题实际图像和视频输入长度并不固定。Flamingo 使用 Perceiver Resampler通过一组可学习Latent Query从视觉特征中读取信息把可变长度输入压缩成固定数量视觉Token。这样无论图像分辨率或视频帧数如何变化进入语言模型的视觉带宽都相对可控。2.2 Gated Cross-Attention在保留LLM能力的同时注入视觉Flamingo在冻结语言模型层之间插入门控交叉注意力与前馈模块并把门控参数初始化为零。这样模型训练初期近似原始LLM视觉分支的影响逐步学出来降低了训练不稳定和破坏原有语言能力的风险。更重要的是Flamingo能处理图文任意交织序列。这使少样本学习不再局限于“文本示例”而可以在上下文中给出多个图像—文本例子。原始分享指出模型会关注交错序列中出现在当前文本之前的相应图像视觉标记本质上就是为“多图、多轮、图文混排”的上下文管理建立结构规则。从Frozen到LLaVA连接器从连续前缀、Resampler、Q-Former逐渐走向更简单的投影层。结构越简单越依赖大规模高质量指令数据和LLM本身的吸收能力。二BLIP-2Q-Former把“连接器”升级为主动信息查询器1、Q-Former不是普通投影层而是可学习的信息瓶颈BLIP-2 同时冻结视觉编码器和LLM只训练轻量 Q-Former 与连接层。Q-Former 内部包含一组可学习 Query它们通过交叉注意力从图像编码器输出中读取信息。与简单线性投影相比这种机制会主动选择哪些视觉内容值得被压缩到有限Token中。原材料提到其 Q-Former 使用 ITC、ITG、ITM 共同监督包含32个可训练Query并在两阶段训练中先学习表征、再连接冻结LLM。这些设计共同体现一个重要思想连接器要先学会“从视觉中问对问题”再负责把答案翻译成LLM可消费的表示。2、两阶段训练把“视觉语义抽取”和“语言生成适配”解耦2.1 第一阶段学习与文本相关的视觉表征如果直接把未经选择的视觉特征送给LLMLLM既要理解视觉表示又要学习任务很容易把昂贵容量浪费在底层对齐上。BLIP-2 先训练 Q-Former使它从冻结视觉编码器中提取与文本相关的视觉信息降低第二阶段的学习负担。2.2 第二阶段把压缩后的视觉Token接到冻结LLM第二阶段通过线性映射把 Q-Former 输出接入LLM。由于视觉侧已经完成语义抽取LLM主要学习“这些视觉前缀如何条件化生成”。原材料把结果概括为“更少的参数更好的效果”这一点非常重要多模态能力增长并不总要求全部参数联合训练合理的信息瓶颈可以显著提升训练效率。同时原材料也指出 BLIP-2 在 In-Context VQA 场景中表现一般并将原因归因于预训练数据每个样本通常只有一个图文对导致模型没有充分学会单个序列中多个图文对之间的相关性。这一观察进一步说明架构决定能力上限数据序列结构决定模型是否真正学会某种交互模式。三LLaVA把复杂度从架构迁移到数据与指令学习1、视觉指令微调让“会看”变成“会按要求用视觉解决问题”LLaVA 的核心创新不是更复杂的视觉连接器而是把大语言模型的 instruction tuning 思想系统引入视觉领域。原材料记录了其使用GPT-4构建约158K视觉指令样本并将视觉编码器特征通过简单投影层连接到LLM。这改变了多模态训练的重点。过去的预训练目标多围绕图文匹配、掩码建模、描述生成视觉指令数据则直接描述用户想让模型完成的任务形式包括对话、详细描述、复杂推理等。模型开始学习“视觉内容 用户意图 → 符合指令的回答”。2、两阶段训练成为后来开源MLLM的事实标准之一2.1 预对齐阶段解决视觉特征与词向量空间的尺度和语义差异LLaVA先冻结视觉编码器和LLM训练投影层用大量图文对建立基本对齐。原材料提到约595K image-text pairs用于这一阶段。这个过程看似简单却对后续训练稳定性十分重要因为它避免在指令微调初期让LLM同时面对完全陌生的视觉分布。2.2 指令微调阶段让LLM真正参与视觉任务适配第二阶段使用视觉指令数据训练通常冻结视觉编码器、更新连接器和语言模型部分参数。LLaVA的成功说明只要视觉表示足够强、预对齐足够稳定连接器不一定需要非常复杂。这为后续大量“ViT MLP LLM”结构提供了工程模板。但简化结构并不代表问题消失而是把问题转移到了数据侧高分辨率细节、OCR、坐标、视频、长上下文等任务会重新暴露简单投影的带宽瓶颈。因此 Stage3 的演进很大程度上就是对“简单连接器 低分辨率单图”范式的补课。四、Stage3从图片对话走向高分辨率、长视频、空间定位和视觉AgentStage3的技术中心从“图像描述”转向“高分辨率空间 长时间序列 语言推理 可执行结构”。一高分辨率视觉模型必须同时看见全局结构和局部细节1、固定分辨率会把大量真实任务变成信息损失问题文档、表格、发票、海报、网页截图和复杂图表不同于自然图像。它们的关键信息经常位于很小的文字、单元格、图例或坐标轴上。如果先把原图统一缩放到固定低分辨率再送入视觉编码器模型的失败可能不是“不会推理”而是输入阶段已经看不清。InternVL 1.5 等路线使用动态高分辨率把图片按比例切成多个高分辨率Tile并保留缩略图用于全局上下文Qwen2.5-VL进一步强调原生动态分辨率视觉Transformer让不同尺寸图片产生不同长度的视觉Token。其共同目标是让视觉Token预算随信息密度变化而不是让所有图片被迫适配同一个画布。2、动态分辨率带来新的计算和位置编码问题视觉Token变多意味着注意力成本上升也让不同长宽比输入的位置信息更复杂。因此近期模型普遍结合窗口注意力、视觉Token合并、动态切块或多尺度策略。设计上必须在三项指标之间找平衡局部细节保真、全局结构连贯、LLM上下文占用。这也是工程落地时经常被忽略的一点所谓“支持4K图片”并不等于模型对4K输入的有效计算方式相同。真正需要关注的是切块规则、Token上限、局部与全局融合方式以及文字/小目标在切块边界处的稳定性。二空间表达从“知道有什么”升级到“知道在哪里”1、视觉定位把语言回答变成可验证结构当模型需要返回目标点、边界框、区域或分割结果时输出从模糊自然语言变成可度量坐标。Qwen2.5-VL 技术报告强调边界框/点定位、文档解析、表格和图表理解等能力并采用更直接的空间尺寸表示。这类能力对Agent非常关键。例如GUI操作不能只说“点击右上角按钮”系统最终需要一个可执行坐标机器人抓取不能只描述“红色杯子在桌上”还需要区域与空间关系。定位能力因此是从视觉问答走向行动模型的中间层。2、空间输出要求评估指标从“文本相似”转向几何精度对于描述任务多个文本答案都可能正确对于定位任务偏差20个像素可能直接导致点击错误。多模态系统一旦进入执行环节就必须增加 IoU、点距离、区域召回、步骤成功率等可操作指标并在执行前加入二次验证与环境反馈。三视频理解时间不是“多张图片”而是一种独立结构1、长视频的核心矛盾是时序覆盖率与Token预算视频输入可以简单抽帧但抽帧频率越低短事件越容易漏掉抽帧越密视觉Token和计算成本越大。InternVideo2 等工作把视频理解拆成时空表征、跨模态对齐和下一Token预测等逐阶段训练并通过语义切分、视频—音频—语音联合描述等方式提高时间语义一致性。这说明“视频模型”不能只把同一图像模型循环调用。真正有效的视频系统需要回答四个问题什么时候发生、先后顺序是什么、哪些状态在持续、哪些动作导致后续结果。2、时间编码决定模型能否做事件定位与过程推理Qwen2.5-VL 强调绝对时间编码和长视频事件定位。这类机制的价值在于把“第N帧”转换为更有实际意义的时间坐标使模型可以回答“2分35秒发生了什么”“某个对象在多长时间后消失”之类问题。原材料最后展示的视频导航示例很有代表性模型需要根据一组房间视频帧判断从书架到洗手池的动作序列。这里不只是识别“书架、门、洗手池”还要把它们组织成连续路线并验证动作顺序。多模态推理从静态语义关系进入动态状态转移。四视觉Agent多模态模型开始成为行动系统的感知与决策中枢1、屏幕、文档和真实环境本质上都是“可观察状态”当模型能够解析页面布局、读取文字、定位按钮、理解视频和记忆多轮上下文时GUI Agent、手机Agent、网页Agent和具身机器人在抽象层面开始趋同它们都在执行“观察状态—生成计划—选择动作—获取反馈—更新状态”。视觉模型负责把环境转成可推理的内部状态LLM负责计划与工具调用执行器把输出变成鼠标、键盘、API或机器人控制信号。2、Agent化提高了错误成本也迫使多模态模型走向自校验纯对话模型答错一句话用户可能重新提问执行型模型点错“删除”按钮、提交错误表单或给机器人错误动作代价更高。因此可靠Agent不能把单次生成当作最终答案而应增加环境验证、动作前确认、工具返回解析、失败重试和权限边界。从这个角度看Stage3 的“推理过程”不是为了让回答看起来更长而是为了让决策链可以被拆解、检查和纠错。五、把不同模型放到统一坐标系连接器、训练目标与数据结构共同决定能力一连接器不是小模块而是多模态系统的信息瓶颈1、连接器的第一职责是控制Token预算视觉编码器可能输出数百到数千个Token但LLM上下文并不是无限资源。Perceiver Resampler用固定潜变量压缩Q-Former用Query抽取MLP投影则直接映射。三者分别代表不同的信息选择假设固定容量总结、语义查询式抽取、最小结构映射。2、连接器的第二职责是定义“什么视觉信息值得进入语言空间”如果连接器只做线性变换它假设视觉编码器已经把需要的信息组织得很好LLM可以自己完成剩余选择如果使用 Q-Former则显式假设“需要一个可训练的信息检索器”。没有绝对更优的结构选择取决于视觉编码器质量、训练数据规模、任务细粒度和可接受计算成本。二分阶段训练的本质是把困难问题拆成可监督子问题从表示学习、图文对齐到指令与Agent每一阶段都为下一阶段降低不确定性。好的多阶段训练不是流程堆叠而是问题分解。1、先学“什么是同义”再学“怎么交互”CLIP/ALIGN先建立跨模态相似度ALBEF再做融合BLIP-2先做视觉语言表征学习再做生成桥接。这些方案虽然结构不同却共享一个优化原则先用相对容易、监督密集的目标塑造表示空间再把开放式生成问题交给更后面的阶段。2、先学“怎么描述”再学“怎么按要求完成任务”图像描述训练教会模型把视觉语义映射成语言但它不自动带来指令遵循。LLaVA式视觉指令微调把用户意图加入输入使模型学习同一张图在不同问题下应该选择不同信息。这也是为什么高质量多任务指令数据通常比简单扩大Caption数据更能提升对话体验。3、进入Agent阶段后监督应覆盖状态—动作—反馈链如果最终目标是操作设备或完成流程只训练“正确答案文本”是不够的。模型需要看到动作序列、工具调用结果、失败恢复、权限限制和环境反馈。未来多模态Agent的数据单位会从“图文对”进一步升级为“轨迹”。三数据结构比数据条数更容易被低估1、单图文对无法天然教会多图上下文关系BLIP-2 在 In-Context VQA 上的局限就是典型例子。即使数据量巨大如果每条训练样本始终只有一张图和一句话模型也很难凭空学会“多个图像—文本对在同一上下文中的示范关系”。2、视频和Agent任务尤其依赖序列数据的真实结构如果视频训练数据只是随机抽帧独立描述模型可能学会帧级识别却未必学会时间因果如果Agent数据只有成功轨迹模型可能不会恢复错误。因此数据构造必须匹配最终推理结构多图任务要有多图上下文长视频要保留事件跨度Agent要包含失败、恢复和工具反馈。六、从Benchmark到真实系统多模态能力至少要拆成五个评估面一感知与识别模型到底“看见”了多少1、小目标、文字和布局比自然图像分类更接近生产难题真实业务中的发票、合同、报表、网页、设备仪表盘经常依赖细文字和空间布局。评估时应覆盖OCR准确率、阅读顺序、表格结构、图表元素、密集目标和超宽/超长页面而不是只看通用VQA。2、分辨率鲁棒性应单独测试同一内容在不同缩放、截图、压缩和拍摄角度下是否稳定是衡量视觉前端的重要指标。很多“推理错误”其实源自视觉信息被压缩或切块时丢失。二对齐与检索模型能否稳定建立跨模态对应图文检索、区域—文本匹配、零样本分类仍然有价值因为它们可以把生成模型复杂行为拆解成更基础的对齐能力。对于需要建立大规模视觉知识库的企业场景双塔式Embedding模型甚至可能比生成型MLLM更经济。三生成与指令遵循正确不仅是“内容对”还包括“按要求输出”1、结构化输出比自然语言更适合自动化链路如果下游需要解析JSON、表格字段、坐标或标签必须测试格式遵循率、字段完整率和模式稳定性。一个自然语言上“看起来正确”的回答如果结构经常破坏Schema就无法可靠进入自动化系统。2、多轮一致性应纳入评估多轮视觉对话要求模型记住前文指代、之前查看的区域和用户约束。模型如果每轮都重新解释图片但无法保持状态就很难成为真正的助手。四时空与推理不要把“答案命中”误认为“过程可靠”图表推理、几何、视觉数学、长视频事件定位、导航和多步空间关系都需要组合推理。评估时不仅要看最终答案还应设计可诊断子任务例如对象是否被正确识别、坐标是否正确、顺序是否正确、关键帧是否被召回、推理失败发生在哪一层。五行动与可靠性Agent系统必须用任务成功率和风险衡量单一Benchmark无法代表多模态系统。感知、对齐、生成、时空推理和行动可靠性需要分别测量。Agent类系统应至少记录步骤成功率、最终任务成功率、无效动作率、危险动作拦截率、恢复成功率和平均调用成本。对于高风险流程还应增加人工确认点和最小权限策略。模型越接近执行层“幻觉率”就越不能只作为语言质量问题看待而必须转化为风险控制指标。七、工程选型方法论不要问“哪个模型最强”要问“哪条信息链最适合任务”一先根据任务决定视觉带宽而不是先决定模型大小1、自然图像问答中等视觉Token预算通常足够如果任务主要是商品、场景、人物行为等自然图像理解重点是通用语义与对话能力。此时不一定需要极高分辨率或复杂切块模型的语言能力、视觉语义覆盖和推理稳定性更重要。2、文档/表格/GUI优先高分辨率、OCR、定位与结构化输出这类任务对视觉细节最敏感。选型时应先确认动态分辨率策略、最大有效像素、文字识别、边界框/点输出、长页面处理再比较LLM规模。3、视频优先检查抽帧、时间编码和长上下文策略支持“视频输入”并不代表支持“长视频理解”。需要明确最大时长、采样策略、事件定位精度、音频/字幕是否参与、长视频Token压缩方式以及推理成本随时长如何增长。二再根据训练资源决定冻结、部分微调还是端到端更新1、资源有限冻结强视觉编码器和LLM训练连接器或LoRA这一路线继承 BLIP-2/LLaVA 的核心工程思想成本较低适合领域快速适配。关键是准备高质量对齐与指令数据并确保视觉分布与基础模型差异不要过大。2、视觉域差异大应考虑更新视觉侧医学影像、遥感、工业检测等视觉分布与互联网自然图像差异明显仅训练语言侧可能无法补足底层视觉特征缺陷。此时需要视觉域预训练、选择性解冻或专用视觉编码器。3、追求统一全模态端到端联合训练收益更高但工程复杂度陡增如果系统需要同时理解、生成、编辑图像/视频并共享上下文状态模块之间的表示一致性变得更重要。端到端或深度联合训练可以减少接口割裂但数据配比、损失权重、算力和稳定性都更难控制。三最后根据风险决定是否允许模型直接行动1、低风险任务可以“模型直接生成 规则校验”例如图片标签、摘要、内部检索可以用结构化Schema和简单置信机制控制输出。2、中风险任务采用“模型建议 工具执行 环境反馈”例如网页表单填写、数据录入可让模型产生计划和参数由工具层检查并执行然后把结果回传模型继续决策。3、高风险任务必须保留明确的人类确认点涉及删除、付款、权限变更、设备控制等操作应把确认作为系统协议的一部分而不是依赖Prompt提醒模型“小心”。这类约束属于产品与安全架构不能只靠模型能力解决。八、下一阶段从多模态LLM到统一多模态世界模型一“全模态”真正要统一的是状态不是输入格式下一阶段的统一多模态系统将围绕共享世界状态形成感知—推理—生成—行动—反馈闭环。今天许多系统已经支持图像、视频、音频、文本但这仍可能只是多个编码器把不同输入都转换成Token后交给LLM。更进一步的“全模态”应该让不同模态共同维护同一个世界状态视频提供时间变化音频补充不可见事件文本给出任务目标GUI或机器人动作改变环境新的视觉输入再验证动作结果。这时多模态不再是“多种输入 一种文本输出”而是一个持续更新的状态机。二理解与生成正在重新合流早期视觉语言模型主要做理解扩散模型等负责图像生成两套体系长期分离。2026年前后的统一多模态研究开始把理解、推理、生成与编辑放入同一系统例如 InternVL-U 报告提出在保留多模态理解和推理能力的同时接入专门视觉生成头。这条路线值得关注的原因不是“一个模型什么都做”而是生成可以成为推理和行动的一部分模型可以先生成中间视觉草图、编辑候选、空间计划再根据反馈修改。对于设计、内容生产、机器人模拟和科学可视化这种统一上下文会减少理解模型与生成模型之间的语义损失。三视觉推理将越来越依赖外部工具而不是只依赖更长的思维链1、OCR、代码执行、搜索、计算和定位工具可以把模型从“猜”变成“验证”复杂图表和文档任务中模型可以先识别区域再调用OCR或表格解析工具数学图形任务可以把读取的数据交给代码计算GUI操作可以在执行前截图复核目标位置。多模态推理的最佳形态并不一定是一个端到端网络独立完成所有细节而可能是模型作为控制器选择合适工具。2、工具使用使模型评估从静态准确率转向系统级成功率一旦工具进入环路单模型Benchmark不能直接预测最终表现。系统结果取决于视觉识别、工具选择、参数生成、执行可靠性、反馈解析和重试策略。未来模型能力报告需要更强调Agent轨迹与端到端任务成功率。四长期瓶颈将从“有没有能力”转向“能否稳定、低成本、可控地使用能力”多模态模型在演示中已经能完成很多惊艳任务但生产系统更在意四个问题第一输入很长时成本是否可接受第二同一任务重复十次是否稳定第三遇到信息不足时会不会承认不确定第四输出进入执行链时是否可验证。因此下一轮竞争未必只是参数量或榜单分数而会集中在Token效率、视觉缓存、长视频压缩、结构化输出、工具协议、安全边界和在线自校验上。从“会做”到“可靠地做”将是多模态真正进入生产系统的分水岭。九、结语把多模态理解成“信息流设计”比记住模型谱系更重要从 ViT 到 CLIP核心变化是把图像转成序列并用自然语言提供开放监督从 ALBEF、BLIP 到 Frozen、Flamingo、BLIP-2核心变化是寻找更有效的跨模态交互和信息瓶颈LLaVA 把复杂度进一步迁移到视觉指令数据进入 InternVL、Qwen2.5-VL 和视频/Agent阶段系统又必须重新面对高分辨率、空间坐标、时间和执行反馈带来的Token爆炸与状态管理问题。如果只记住模型名字这条路线会显得杂乱如果从信息流看它其实非常一致视觉首先被离散/连续地Token化然后与语言建立语义对齐再通过连接器决定进入LLM的带宽和粒度最后通过指令、推理和行动数据把“理解”变成“完成任务”。这也给今天的模型设计一个简单而实用的判断框架先问输入中哪些信息绝不能丢再问这些信息以什么粒度进入语言模型先用低熵目标完成表征和对齐再把昂贵计算留给开放式推理最后根据任务错误成本决定模型输出是文本建议、结构化参数还是可以直接触发动作。按照这个框架多模态技术的快速迭代就不再是一串难以追赶的模型名而是一组可以迁移到新模型、新数据和新业务中的设计原则。可参考的文章与技术报告An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleViTLearning Transferable Visual Models From Natural Language SupervisionCLIPScaling Up Visual and Vision-Language Representation Learning With Noisy Text SupervisionALIGNAlign before Fuse: Vision and Language Representation Learning with Momentum DistillationALBEFBLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and GenerationMultimodal Few-Shot Learning with Frozen Language ModelsFrozenFlamingo: a Visual Language Model for Few-Shot LearningBLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language ModelsVisual Instruction TuningLLaVAInternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic TasksInternVL 1.5: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks技术报告版本InternVideo2: Scaling Foundation Models for Multimodal Video UnderstandingQwen2.5-VL Technical ReportInternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing
