在 SageMaker AI 上利用 vLLM-Omni 构建实时语音应用 – 第 1 部分
AWS 发布教程指导开发者利用 vLLM-Omni v1.5 深度学习容器（DLC），在 Amazon SageMaker AI 上部署 Qwen3-TTS 模型。该方案基于 HTTP/2 全双工 WebSocket 建立持久双向连接，实现输入文本流与 24 kHz PCM 音频块流的实时互传。部署还支持配置 ml.g6.xlarge 等机型的实例池，并提供配套 Gradio 交互示例。
#语音
#语音
今日 1 条AWS Machine Learning BlogAI 评分4646
AWS Machine Learning BlogAI 评分4949 在 Amazon SageMaker AI 上部署 Qwen3-TTS 实现实时个性化语音
阿里云千问团队的语音合成模型 Qwen3-TTS-12Hz-1.7B-Base 已上线 Amazon SageMaker JumpStart，可部署为全托管实时推理端点。该模型覆盖中、英等 10 种语言，支持仅凭数秒参考音频实现跨语言声音克隆，并能以 24 kHz 规格进行低延迟流式生成。
Google DeepMind精选AI 评分7474 Google DeepMind 推出 Gemini 3.8 Live 实时数字人功能 Live Avatar
Google DeepMind 推出 Gemini 3.8 Live 的 Live Avatar 功能，为原生实时对话模型提供低延迟的流式视频虚拟形象。该功能支持自然表情和精准唇形同步，可在 97 种语言间无缝切换，并支持在保持对话流畅的同时于后台异步调用工具执行复杂任务。输出内容均默认嵌入 SynthID 水印防伪，即日起在 Gemini Enterprise 开放可用。
推荐理由：原文展示了流式视频形象与后台异步工具调用的结合，读者可以据此评估实时数字人在企业端交互场景中的落地可行性。
AWS Machine Learning BlogAI 评分4343 在 Amazon SageMaker AI 上使用 WhisperX 实现带说话人标签的语音转录
AWS 推出适配 Amazon SageMaker AI 的 WhisperX 深度学习容器（DLC），可开箱即用部署 GPU 端点以实现带说话人分离与词级时间戳的高精度语音转录。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 语音生成模型
Google DeepMind 推出 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款语音生成模型，分别面向深度创意导演与大规模高性价比配音场景。
推荐理由：原文给出了两款语音模型的具体定位与提示词控制机制，读者可以据此评估长音频生成和双人剧本对话的落地精度与成本。
OpenAI NewsAI 评分2828 Ringg 的 AI 智能体借助 OpenAI 解决高达 65% 的客户通话
Ringg 借助 GPT-5.6 构建覆盖语音、聊天、WhatsApp 与网页端的多语言 AI 智能体，可自主解决高达 65% 的客户通话。相较于采用 GPT-4.1，该方案将相关运行成本降低了 90%。
Google DeepMind精选AI 评分8282 Google DeepMind 推出 Gemini 3.8 Live 与 3.8 Live Extended Thinking 语音对话模型
Google DeepMind 正式推出 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 实时对话模型，主打近实时推理与语音智能体任务执行能力。
推荐理由：官方展示了实时多步推理与边思考边交谈的交互机制，为语音智能体的落地架构提供了参考范式。
OpenAI News精选AI 评分7575 OpenAI 在 API 中推出 GPT-Live-1 语音模型
OpenAI 在 API 中推出 GPT-Live-1，支持自然的全双工语音对话。该模型具备更强的指令遵循能力，并支持自定义声音以及电话协议集成。
推荐理由：该模型在 API 中支持全双工语音交互与电话集成，为开发者构建实时语音应用提供了新的官方原生接口。
Hugging Face BlogAI 评分5454 Open ASR Leaderboard 新增首个全球南方语言评测集
Hugging Face 联合 Voice Arena 在 Open ASR Leaderboard 中上线 Monsoon 印地语与印度英语语音评测集。该数据集包含 4,888 位说话人及 12 项人口统计学元数据，涵盖公有与私有切分，支持按地区、年龄和设备等多维度排查识别错误。
Google DeepMind精选AI 评分7575 Google DeepMind 推出语音转文本模型 Gemini 3.5 Transcribe
Google DeepMind 推出语音转文本模型 Gemini 3.5 Transcribe，支持将原始音频直接转换为格式规范的文本，并能自动处理口语自纠错和过滤语气词。
推荐理由：该模型强化了口语自纠错与多语种实体识别能力，为构建低延迟实时语音交互应用提供了更精确的转录基底。
Mistral AIAI 评分3333 Mistral 与 HUMAIN 达成战略合作，推进沙特及中东主权 AI
Mistral 与 HUMAIN 宣布战略合作，涵盖 AI 基础设施、先进模型开发与解决方案部署，初期聚焦网络安全和语音，并计划开发阿拉伯语表现强劲的前沿模型，合作规模达数亿欧元。Mistral 将探索使用 HUMAIN 数据中心基础设施满足本地算力需求，双方还计划在沙特制定联合市场策略，面向金融、制造、电信、网络安全和公共部门等受监管行业推广主权 AI。
Hugging Face Blog精选AI 评分7171 Hugging Face 量化语音识别模型的基准过拟合现象
Hugging Face 针对语音识别模型刷榜和基准过拟合现象提出三种量化测试，并评估了 11 个主流开源 ASR 模型。实测显示部分基准高分模型会直接复现参考文本里的历史标注错误，在音频数字被静音时仍有 30% 至 40% 的概率猜出被抹去的数字，甚至依赖背景声学线索切换不同数据集的拼写习惯。
推荐理由：该研究量化了语音模型利用声学线索迎合测试集的过拟合行为，为评估模型真实泛化能力提供了实用检测方法。
Hugging Face Blog精选AI 评分7171 NVIDIA 开源 Magpie 多语言 TTS 模型
NVIDIA 开源 364M 参数的多语言语音合成模型 Magpie TTS，支持英语、中文、韩语、现代标准阿拉伯语等 12 种语言并开放权重。模型采用帧堆叠与局部 Transformer 架构降低解码步数，在 B200 GPU 单流运行下首音频延迟为 32ms，64 并发下吞吐达 320 倍实时。
推荐理由：模型通过开源权重与帧堆叠架构将单流首音频延迟压缩至最低 32 毫秒，为自建低延迟多语言语音智能体提供了完整可控的落地参考栈。
Google DeepMind精选AI 评分6565 Google DeepMind 在 Flow Music 中推出音乐生成模型 Lyria 3.5
Google DeepMind 宣布在 Google Flow Music 中上线最新音乐生成模型 Lyria 3.5，全面升级音乐性、歌词、人声表现和创作控制。新模型支持更复杂的旋律结构与发音更准、情感更自然的人声，同时增强了歌词生成的提示词遵循度，并允许用户直接调整输出的节奏与时长。
推荐理由：模型在旋律、歌词、人声以及节奏和时长控制上的升级，为创作者在音乐生成工具中微调成品提供了更细致的调节空间。
Hugging Face BlogAI 评分5757 语音 AI 评测基准 Real World VoiceEQ 发布，评估人机交互拟真度
语音 AI 基准 Real World VoiceEQ 正式发布，基于超过 100 万项人类真实评分，全面评测 40 多款主流专有及开源语音模型的实际交互质量。
Hugging Face Blog精选AI 评分7070 Hugging Face 联合 Cerebras 将 Gemma 4 引入实时语音 AI 流水线
Hugging Face 联合 Cerebras 推出基于 Gemma 4 31B 的实时语音到语音开源流水线，大幅降低语言模型推理与多轮交互延迟。该级联系统采用完全模块化设计，整合 Nvidia Parakeet 语音识别、Cerebras 加速的 Gemma 4 推理以及阿里 Qwen3TTS 文本转语音，重点优化高分位延迟瓶颈。
推荐理由：原文展示了通过专用推理芯片与模块化开源模型串联消除长尾延迟的方案，为具身智能与实时语音助手的架构设计提供了落地参考。
Google DeepMind精选AI 评分8181 Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译模型
Google DeepMind 发布音频模型 Gemini 3.5 Live Translate，支持 70 多种语言的近实时流式语音互译，并在生成中保留原发言者的语调、节奏和音高。
推荐理由：材料展示了流式语音互译的技术落地路径，读者可以参考其在跨语种会议与移动端传译中的产品集成方式。
Google DeepMind精选AI 评分6565 Google DeepMind 发布 AI co-clinician 医疗协作研究计划
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生监督下协助患者诊疗。在 98 个真实初级保健问题的盲测中，该系统在其中 97 个案例未出现关键错误，医生对其回答的偏好也高于主流证据合成工具。
推荐理由：Google DeepMind 披露 AI co-clinician 的评测设计与多模态问诊模拟结果，可了解医疗 AI 从文本走向实时音视频的路径。
Google DeepMind精选AI 评分7272 Google DeepMind 推出 Gemini 3.1 Flash TTS 语音模型
Google DeepMind 正式推出文本转语音模型 Gemini 3.1 Flash TTS，支持通过自然语言音频标签精确控制语音风格、节奏和表达，并原生支持多说话人对话与 70 多种语言。
推荐理由：该模型通过自然语言行内标签实现对语调和语速的精细调度，为构建多角色对话系统提供了更具成本效益的语音方案。
Mistral AI精选AI 评分8181 Mistral AI 发布 4B 多语言语音合成模型 Voxtral TTS
Mistral AI 正式发布多语言文本转语音模型 Voxtral TTS，采用基于 Ministral 3B 的流匹配架构，总参数量为 4B，支持英语、法语、阿拉伯语等 9 种语言的情感化语音生成。
推荐理由：原文披露了基于自研编解码器与流匹配的架构细节及延迟数据，读者可据此评估端到端语音智能体的落地成本。
Google ResearchAI 评分4949 WAXAL：面向非洲语言语音技术的大规模开源资源
Google Research 联合非洲机构推出开源语音数据集 WAXAL，覆盖 26 个以上国家超 1 亿人使用的 27 种子撒哈拉非洲语言。该资源采用 CC-BY-4.0 许可开源，包含约 1,846 小时用于 ASR 的自然无脚本转录语音数据，以及超 565 小时用于 TTS 的高保真录音数据，旨在支持开发全双工对话系统并促进低资源语音技术研发。
Mistral AI精选AI 评分7878 Mistral AI 发布 Voxtral Transcribe 2 语音转录模型家族
Mistral AI 正式发布 Voxtral Transcribe 2 语音转写模型家族，包含用于批量转写的 Voxtral Mini Transcribe V2 和开源权重的实时流式模型 Voxtral Realtime。
推荐理由：提供了流式架构和开源权重，开发者能以更低延迟和端侧部署成本搭建实时语音智能体。
Mistral AI精选AI 评分8181 Mistral AI 为 Le Chat 推出深度研究、语音模式与项目空间等多项功能
Mistral AI 宣布为助手 Le Chat 推出一系列重大更新，包括提供结构化研究报告的 Deep Research 预览版，以及由新模型 Voxtral 驱动的低延迟语音模式。新版本还集成了推理模型 Magistral 以支持原生多语言深度思考，并增加用于归类管理对话与文件的 Projects 功能，同时携手 Black Forest Labs 支持直接通过提示词进行图像连续编辑。
推荐理由：原文集中展示了深度研究、语音和推理模型等多项能力更新，读者可以了解该助手在工作流组织与多模态交互上的最新进展。
Mistral AI精选AI 评分8181 Mistral AI 发布开源语音理解模型 Voxtral
Mistral AI 发布开源语音理解模型系列 Voxtral，提供 24B 与 3B 两种尺寸，采用 Apache 2.0 协议在 Hugging Face 开源并同步上线 API。
推荐理由：原文给出了 24B 与 3B 两种尺寸的开源权重与低成本 API，读者可以据此评估本地端侧部署与长语音智能体工作流的可行性。