Hugging Face Blog·· 26 天前精选AI 评分68
开源原生多模态编码器 NeoMME 发布
NeoMME: an efficient Multimodal-native and Multilingual Encoder
AI 导读
开源原生多模态与多语言编码器 NeoMME 正式发布,提供 260M 和 800M 两个尺寸版本。该模型摒弃了独立的预训练视觉 tower 与因果语言解码器,由单个双向 Transformer 统一处理文本 token 与图像 patch,在下游微调模型 NeoMME-Retriever 中单次前向即可同步输出稠密与后期交互嵌入。
推荐理由
原生单塔双向架构摆脱了生成式视觉语言模型的冗余计算,配合向量压缩技术为文档级视觉检索提供了低成本部署方案。
来源:Hugging Face Blog · huggingface.co