跳到正文
原文
Hugging Face Blog·· 26 天前精选AI 评分68

开源原生多模态编码器 NeoMME 发布

NeoMME: an efficient Multimodal-native and Multilingual Encoder

AI 导读

开源原生多模态与多语言编码器 NeoMME 正式发布,提供 260M 和 800M 两个尺寸版本。该模型摒弃了独立的预训练视觉 tower 与因果语言解码器,由单个双向 Transformer 统一处理文本 token 与图像 patch,在下游微调模型 NeoMME-Retriever 中单次前向即可同步输出稠密与后期交互嵌入。

推荐理由

原生单塔双向架构摆脱了生成式视觉语言模型的冗余计算,配合向量压缩技术为文档级视觉检索提供了低成本部署方案。

来源:Hugging Face Blog · huggingface.co