跳到正文

#多模态

今日 3 条
今天9月29日周二
  1. 量子位58

    匿名模型 Space Bunny 登顶调用双榜后的编码能力实测

    匿名模型 Space Bunny 在登顶 OpenRouter 与 OpenCode 调用日榜后,多项实测显示其在编码任务中兼具较快的生成速度与自主补全细节的能力。测试覆盖了 Three.js 交互式天坛构建、Mac 桌面应用编写以及代码审查等场景,模型在首轮交付后通常仅需一轮交互即可修复细节缺陷,多数任务的缓存命中率超过 95%。目前开发者群体整体评价偏向积极,其背后的具体归属厂商仍未公开。

  2. 爱范儿72

    神秘匿名模型 Space Bunny 实测:草图直接生成 3D 网页,分词特征指向 MiniMax

    爱范儿实测了近期在海外走红的神秘匿名模型 Space Bunny Alpha,该模型能够根据简单手绘草图快速生成可交互的 3D 网页与小游戏。测试显示其在多模态理解和 Agent 编程中响应迅速且原型可用度高,但在复杂运动和极端精细度上仍与旗舰模型存在差距,高推理档位下存在耗时较长的问题。此外,分词特征与开源代码线索均显示该模型可能与 MiniMax 存在关联。

9月24日周四
9月23日周三
9月22日周二
9月3日周四
  1. Hugging Face Blog68

    开源原生多模态编码器 NeoMME 发布

    开源原生多模态与多语言编码器 NeoMME 正式发布,提供 260M 和 800M 两个尺寸版本。该模型摒弃了独立的预训练视觉 tower 与因果语言解码器,由单个双向 Transformer 统一处理文本 token 与图像 patch,在下游微调模型 NeoMME-Retriever 中单次前向即可同步输出稠密与后期交互嵌入。

    推荐理由:原生单塔双向架构摆脱了生成式视觉语言模型的冗余计算,配合向量压缩技术为文档级视觉检索提供了低成本部署方案。

8月28日周五
8月12日周三
  1. Google DeepMind70

    Google DeepMind 推出手语转文本模型 SL2T

    Google DeepMind 推出多语言手语转文本模型 SL2T,并在 Pixel 11 的 Gboard 与 Live Transcribe 中率先支持美式手语转英语输入。该模型使用覆盖 50 多种手语的超 100,000 小时数据联合训练,借助端侧 MediaPipe Holistic 提取身体姿态关键点坐标直接翻译为文本,在 FLEURS-ASL 基准测试中达到 70 BLEURT 分数。

    推荐理由:该模型将端侧姿态坐标提取与云端序列翻译结合并绕过中间标注,为视觉多模态语言落地提供了具体方案。

8月10日周一
  1. Hugging Face Blog84

    Meta 发布开源多模态模型 Muse Glimmer

    Meta 发布了 30B 参数的开源多模态模型 Muse Glimmer,采用 Apache 2.0 协议,专为端侧智能体用例与代码任务设计。该模型由 2B 视觉编码器和 28B 文本解码器构成,支持基于 DFlash 的推测解码技术以提升生成速度;Hugging Face、transformers、llama.cpp 和 vLLM 已同步提供全面部署支持。

    推荐理由:该模型结合了轻量视觉编码与推测解码机制,为端侧多模态智能体部署与本地代码辅助提供了兼顾隐私与性能的参考方案。

8月4日周二
  1. Mistral AI70

    Mistral AI 发布 3B 多模态安全分类模型 Shieldstral

    Mistral AI 开源发布 3B 参数的多模态安全分类模型 Shieldstral,采用 Apache 2.0 协议。该模型将内容审核重构为自然语言问答任务,支持在推理时动态传入安全策略以统一评估文本与图像,无需针对新分类标准重新训练。模型可在单张 16GB GPU 上运行,单次前向传播即可输出校准的安全置信度分数,性能比肩或超过 7 倍于其体积的基准模型。

    推荐理由:它将内容审核抽象为问答任务,支持在推理时直接用自然语言定义策略,为低成本构建自定义多模态防护栏提供了实用方案。

7月30日周四
  1. Google DeepMind65

    Google DeepMind 在 Flow Music 中推出音乐生成模型 Lyria 3.5

    Google DeepMind 宣布在 Google Flow Music 中上线最新音乐生成模型 Lyria 3.5,全面升级音乐性、歌词、人声表现和创作控制。新模型支持更复杂的旋律结构与发音更准、情感更自然的人声,同时增强了歌词生成的提示词遵循度,并允许用户直接调整输出的节奏与时长。

    推荐理由:模型在旋律、歌词、人声以及节奏和时长控制上的升级,为创作者在音乐生成工具中微调成品提供了更细致的调节空间。

7月28日周二
  1. Google DeepMind76

    Google DeepMind 发布 Gemini Robotics 2 机器人模型系列

    Google DeepMind 发布机器人模型系列 Gemini Robotics 2,首次实现对人形机器人的全身运动控制、高灵巧度末端操作及多机器人协作。该系列包含负责视觉语言动作控制的 VLA 模型、负责长流程规划的具身推理模型 ER 2,以及适配新本体仅需数小时数据的端侧模型 On-Device 2。

    推荐理由:该系列将控制范围扩展至人形机器人全身协调与灵巧操作,为具身智能从桌面任务迈向多机长周期协作提供了落地方案。

7月27日周一
  1. Hugging Face Blog66

    NVIDIA 发布手术机器人实时生成式模拟模型 Cosmos-H-Dreams

    NVIDIA 推出面向手术机器人的实时动作驱动生成式模拟器 Cosmos-H-Dreams,支持在单张 GPU 上实现闭环交互控制。该模型将 Cosmos-H-Surgical-Simulator 蒸馏为因果少步扩散学生模型,配合 FlashDreams 流式推理库在单张 NVIDIA RTX PRO 6000 上达到约 160 fps 的生成速度。

    推荐理由:该系统将手术世界模型蒸馏为少步因果架构并结合流式推理,在单张工作站显卡上实现了百帧级交互与闭环控制。

7月16日周四
  1. Hugging Face Blog34

    新模型迭出下专攻巴西葡语的 DharmaOCR 依然保持优势

    专攻巴西葡萄牙语的 OCR 模型 DharmaOCR 在葡语基准测试中取得 0.925 分,大幅超越更新的 Mistral OCR4(0.798)与 Unlimited-OCR(0.7587)。该模型先通过监督微调将全部参数专门对齐巴西葡语的词汇与文档结构,再结合 DPO 抑制重复与不连贯输出,从而在复杂文档提取中实现了更高的稳定性和更低的退化率。

7月15日周三
  1. Hugging Face Blog80

    Thinking Machines 推出开源全模态大模型 Inkling 与 Inkling-Small

    Thinking Machines Lab 在 Hugging Face 上线开源全模态模型 Inkling 及小尺寸版本 Inkling-Small,原生支持文本、图像和音频输入并具备 1M 上下文窗口。

    推荐理由:该模型给出了万亿参数原生全模态与长上下文的开源落地范式,读者可据此参考其混合注意力架构与量化部署成本。

7月8日周三
7月1日周三
6月23日周二
  1. Mistral AI71

    Mistral AI 发布 Mistral OCR 4

    Mistral AI 正式推出文档解析模型 Mistral OCR 4,支持输出文本边界框、文本块分类以及行布置信度分数。该模型覆盖 170 种语言,可在单个容器中自托管部署,并直接适配企业级搜索、RAG 和智能体工作流。

    推荐理由:原文给出了边界框和置信度分数的具体输出形态,有助于评估文档解析接入检索与智能体管线的改造成本。

6月9日周二
  1. Google DeepMind83

    Google DeepMind 发布统一无编码器多模态模型 Gemma 4 12B

    Google DeepMind 推出开源多模态模型 Gemma 4 12B,支持在配备 16GB 显存或统一内存的普通笔记本上本地运行多模态与智能体任务。该模型采用无编码器的统一架构,移除传统的独立视觉与音频编码器,将视觉和原始音频信号直接投影至大语言模型主干网络,性能接近其 26B MoE 模型。

    推荐理由:模型采用无编码器的统一架构直接处理视觉与音频输入,使笔记本端在 16GB 内存下也能本地运行多模态推理与智能体工作流。

5月18日周一
  1. Google DeepMind82

    Google DeepMind 发布 Gemini Omni,首款模型 Gemini Omni Flash 上线

    Google DeepMind 发布 Gemini Omni 模型家族,主打从任意输入生成内容,首款模型 Gemini Omni Flash 率先支持视频。Omni 可组合图像、音频、视频和文本输入生成视频,并支持用自然语言多轮对话编辑视频,同时生成画面基于 Gemini 的世界知识,对重力、动能和流体动力学有更好的直观理解。

    推荐理由:Gemini Omni 把视频生成与多轮对话剪辑合到同一模型中,读者可了解其输入方式与首批上线渠道。

5月16日周六
  1. Google DeepMind88

    Google DeepMind 发布 Gemini 3.5 系列并上线 3.5 Flash

    Google DeepMind 正式推出 Gemini 3.5 模型系列并上线首发版本 Gemini 3.5 Flash,主打长流程编码与复杂智能体任务执行。该模型在 MCP Atlas 达 83.6%、Terminal-Bench 2.1 达 76.2%,输出 token 速率达到其他前沿模型的 4 倍,系列旗舰 3.5 Pro 计划于下月推出。

    推荐理由:模型在兼顾生成速率的同时强化了编码与多步智能体执行能力,可作为评估长流程任务端到端自动化成本的重要参考。

4月13日周一
4月3日周五
  1. Google DeepMind88

    Google DeepMind 发布开源模型 Gemma 4

    Google DeepMind 正式推出开源模型 Gemma 4 系列,包含 E2B、E4B、26B MoE 和 31B Dense 四种尺寸,专为高级推理与智能体工作流设计。

    推荐理由:Gemma 4 转向 Apache 2.0 商业许可并覆盖端侧至 31B 规模,展示了小尺寸开源模型在多模态与智能体工作流上的落地路径。

3月17日周二
12月17日周三
  1. Mistral AI73

    Mistral AI 发布文档解析模型 Mistral OCR 3

    Mistral AI 正式推出文档解析模型 Mistral OCR 3,在表单、扫描件、复杂表格与手写体识别上相比前代取得 74% 综合胜率。该模型支持将文档解析为 Markdown 并保留富 HTML 表格结构,同时提取内嵌图像。

    推荐理由:新版本大幅强化了低质扫描件、手写笔记与多层合并单元格的表格还原能力,为知识库与智能体的数据预处理提供了低成本方案。

12月3日周三
  1. Mistral AI85

    Mistral AI 发布 Mistral 3 系列开源模型,涵盖 675B MoE 与端侧版本

    Mistral AI 正式推出下一代 Mistral 3 系列模型并全部采用 Apache 2.0 协议开源,涵盖旗舰混合专家模型与小尺寸端侧模型。旗舰 Mistral Large 3 采用 41B 激活与 675B 总参数的 MoE 架构,支持图像理解并提供 NVFP4 量化格式,可通过 vLLM 在单台 8×A100 或 8×H100 节点上运行。

    推荐理由:全系模型采用开源协议并提供端侧到超大规模 MoE 的梯度覆盖,配合量化格式显著降低了本地与私有化部署门槛。

7月15日周二
  1. Mistral AI81

    Mistral AI 发布开源语音理解模型 Voxtral

    Mistral AI 发布开源语音理解模型系列 Voxtral,提供 24B 与 3B 两种尺寸,采用 Apache 2.0 协议在 Hugging Face 开源并同步上线 API。

    推荐理由:原文给出了 24B 与 3B 两种尺寸的开源权重与低成本 API,读者可以据此评估本地端侧部署与长语音智能体工作流的可行性。

5月7日周三
  1. Mistral AI76

    Mistral AI 发布 Mistral Medium 3 模型

    Mistral AI 正式推出企业级模型 Mistral Medium 3,主打前沿性能与高性价比。该模型在综合基准测试中达到 Claude Sonnet 3.7 90% 以上的表现,并在编码与理科任务中超越 Llama 4 Maverick,API 定价为每 1M token 输入 $0.4、输出 $2。

    推荐理由:原文对比了同代前沿模型的定价与基准表现,并给出了本地四卡及云端部署门槛,适合评估企业级替代方案的成本效益。

3月17日周一
3月7日周五
  1. Mistral AI78

    Mistral AI 发布文档理解模型 Mistral OCR 及 API

    Mistral AI 正式推出文档理解模型 Mistral OCR 及 API 服务 mistral-ocr-latest,支持图文穿插提取复杂排版、表格与数学公式。该模型已成为 Le Chat 的默认文档理解工具,单节点每分钟可处理多达 2000 页。API 标准定价为每美元 1000 页,支持提取结构化 JSON 用于构建智能体,并针对敏感数据场景开放私有化部署。

    推荐理由:该模型以图文穿插方式解析复杂版式并支持结构化输出,为构建处理复杂图表与公式的多模态检索工作流提供了高效工具。