跳到正文

#多模态

今日 1 条
今天9月29日周二
  1. Microsoft Research58

    微软研究院发布生物学 AI 研究系统 Quine

    微软研究院推出面向复杂生物学研究的 AI 系统 Quine，由生物多模态世界模型与交互式实验调度框架组成。在与 Broad 研究所合作的胰腺癌研究中，系统在一个周末内预测并筛选出能诱导肿瘤细胞状态转换的候选化合物，并在湿实验中完成验证。微软同步启动了 Quine Fellows 访问计划，并计划未来通过 Microsoft Discovery 等产品逐步扩大访问权限。

9月25日周五
  1. Google Research64

    Google 发布长视频连贯生成多智能体框架研究

    Google Research 提出多智能体视频协导框架及系列研究，通过在 Gemini 与 Veo 之上构建编排层，实现多镜头叙事长视频的自动化与视觉连贯性生成。

    推荐理由：研究将长视频生成解耦为多智能体规划、视觉记忆与闭环评测，为多镜头叙事中的角色与场景连贯性提供了可参考的系统化方案。

8月28日周五
  1. Google Research60

    Google 推出行星预测引擎 PPE：实现地理空间预测模型端到端自动化构建

    Google 推出实验性研究能力行星预测引擎（PPE），可通过自然语言输入端到端自主执行从数据检索、多模态特征工程到模型训练与评估的完整地理空间建模流程。该系统将传统需数周的人工数据工程缩短至数分钟，并在美国公共卫生指标、尼日利亚粮食安全降尺度以及刚果（金）埃博拉疫情预测等基准任务中均超过基线表现。

    推荐理由：原文给出了基于多模态大模型自主编排地理空间建模的完整架构，展现了将数周人工特征工程压缩至分钟级的可行路径。

8月26日周三
  1. Google Research47

    AgentHands：在 XR 中为空间定位智能体对话生成交互式手势

    Google Research 推出研究原型 AgentHands，通过将大语言模型推理映射为 3D 物理动作，为 XR 环境中的 AI 智能体生成与语音同步的交互手势。系统结合轻量级物体注册、手势事件库与本地解析器，利用词级时间戳让虚拟手在空间中精准执行指示与动作模拟。该方案在兰花养护和 3D 打印机操作等场景中显著提升了空间交互指导的直观性。

8月13日周四
  1. Microsoft Research47

    MindTopo 揭示 VLM 的空间推理能力

    新评测基准 MindTopo 评估了多模态模型在连通性、包围、顺序、分离及打结等维度的拓扑推理与规划能力。评测显示，现有开源与闭源模型在静态图像识别上的表现普遍明显优于交互式规划任务，但整体均远低于人类水平。模型在多步规划中往往会丢失结构关系或违反物理动态约束，难以随场景动态变化持续维持拓扑理解。

8月12日周三
  1. Google Research74

    Google 推出 AMIE (Video) 实时视频临床问诊系统

    Google Research 与 Google DeepMind 推出基于 Gemini 与 Project Astra 的临床问诊系统 AMIE (Video)，支持在实时视频问诊中感知非语言线索并引导虚拟体检。

    推荐理由：研究提出了拆分对话、规划与感知的异步多智能体架构，为高延迟深度推理与低延迟实时音视频交互的共存提供了参考方案。

  2. Microsoft Research48

    微软研究院发布放射学 VLM 研究模型 CARE-X

    微软研究院推出胸部 X 光多模态研究模型 CARE-X，将自由文本生成与结构化预测相结合，以覆盖报告生成、病灶定位与管线分类等多项放射学判读任务。该模型采用强化学习 DAPO 优化临床正确性，支持生成式与辅助头双推理模式，并在印度 Narayana Health 的真实临床数据上完成了验证。

7月9日周四
  1. Google Research70

    Google 提出 SensorFM：面向可穿戴健康数据的传感器基础模型

    Google Research 联合 Google DeepMind 推出可穿戴健康数据基础模型 SensorFM。该模型基于 500 万参与者超过 1 万亿分钟的未标注多模态传感器信号进行预训练，通过自适应掩码框架直接适应数据缺失，在心血管、代谢、睡眠和心理健康等 35 项任务中均展现出跨领域迁移能力。

    推荐理由：作者利用自监督掩码学习打通了多源可穿戴传感器数据，为稀缺医疗标注场景下的生理特征建模提供了通用方案。

6月13日周六
  1. Google Research26

    Google 研究：AI 如何帮助用户理解皮肤状况

    Google 分享其在皮肤健康领域的 AI 研究，一项发表于 JAMA Dermatology 的大规模研究显示，2345 名参与者使用 AI 工具时尝试命名皮肤状况的比例超 62%（对照组 41%），命名准确率 23%，接近未使用 AI 对照组（8%）的三倍；"Wizard of Oz"组准确率为 36%。但标准 AI 组在判断下一步就医建议上未显示出统计学显著改善。

3月25日周三
  1. Google Research42

    S2Vec 如何学习现代城市的地理语言

    Google Research 推出自监督框架 S2Vec，通过将地理要素光栅化并结合掩码自编码（MAE）学习人造环境的通用嵌入向量。该方法利用 S2 Geometry 多分辨率网格表征建筑与道路等空间分布，无需人工标注即可捕捉区域特征。在全美人口密度与中位数收入等零样本跨区域预测基准中，S2Vec 表现优于 SATCLIP 等对比模型。