Higgs Realtime Duplex
全双工 · 实时 · 带头像的全模态对话模型
这是 Boson 首个「全双工」交互式全模态（omni）模型：像人一样，同时倾听、观看和说话，并拥有自己的面孔。在做这些的同时，它还能思考、调用工具、在后台处理任务，自己决定何时开口、何时沉默。
开篇：这是什么？
一句话概括
Higgs Realtime Duplex 是一个可以像真人一样进行实时视频/语音对话的 AI 模型：你开着摄像头或共享屏幕，它就能一直「听+看」，同时用自己的声音和一张实时渲染的脸来回应你，中间还能自己思考、调用工具，甚至把难题转交给更强大的模型。
全双工（Full duplex）
以 160ms 的块为单位，同时进行倾听、观看、说话和渲染面部表情——不是「你说一句我回一句」的轮流模式。
后台工作
在不打断对话的前提下思考、调用工具，并把任务委托给更大的模型，全程无冷场。
45B MoE 前端模型
基于约 2 万亿 token 的文本、音频和视频数据训练，规模中等、智能扎实。
前置知识：什么是「全双工」语音 AI
在聊 Higgs 之前，先建立一个关键概念。传统的语音助手（比如早期的 Siri、智能音箱）大多是「半双工」：你得先说完一句话、等它「滴滴」一声，然后它才开始回答——像对讲机，一次只能有一方说话。而「全双工」像打电话：双方可以同时说、同时听，随时插话、随时被打断。
一个好的对话模型需要什么？
1. 感觉像人（Feels human）
人类对话中，回应通常在对方说完后 200ms 内出现，有时甚至提前回应。人要自己决定何时说「嗯哼」、何时插话、何时在对方卡住时帮忙，以及何时保持安静。
2. 聪明（Smart）
大多数对话是为了完成某件事。它既需要「情商」（读懂人和情境），也需要「真正的推理能力」（把模糊请求拆成任务并执行）。
3. 成本低（Costs little）
对话将成为人与智能体协作的主要方式，每天持续数小时。设计目标是：和模型聊一小时的成本 ≤ 人类一小时时间的 1/10。
它能做什么？
看见并展示面孔
全程观看用户的摄像头或共享屏幕，用自己的面孔实时回应，声音与表情同步。
何时说话或停下
会说「嗯哼」、在你说完前就回答、你插话时停下、忽略背景噪音和「不是对它说」的话。
思考与工作中
你还在说话时就开始推理；异步运行工具、委托任务；结果没回来前保持对话不断。
自己决定何时开口
能识别出某句话是否「并非对它说的」，从而在该沉默时保持安静。
四个真实场景演示
- 团队会议：展示架构图、在句子中间回答问题、读取白板、在演讲过程中更新图表。
- 英语口语辅导：计时图片描述练习、纠正 "west / vest" 的发音、观察练习者的口型、像真人教练一样控节奏。
- 得来速点餐：被要求查行情和训练状态，但在司机与收银员点单时保持安静，点完才汇报；并确认司机没点过 animal-style fries——它听到了每一个字，且知道哪些话是「对它说的」。
- 免提工程：工程师全程在读书，仅凭语音让它对比两个引擎版本、让 Claude Code 在后台写质量工具、期间跑合规检查、给设计师发邮件，工具完成后报告新数据。
技术架构：一个模型，多线程
Higgs 的设计核心是「一个模型，多线程（One model, many threads）」。它同时运行多个线程：用户的语音和视频持续流入，模型的语音和面部持续流出；与此同时它还能思考、调用工具、把难题交给更大的模型——这些都不会打断它继续倾听和观看。
核心创新：切分时间，而非轮次
这是全篇最核心的技术思想。传统模型按「轮次」（turn）工作——你说一句、它想一下、回一句。Higgs 则把所有流都切成 160ms 的小块（chunk），每走一步就「读一个刚到的块、写出下一个要播的块」。静默也是块，视频帧即使在没人说话时也持续流入，所以它从未停止倾听和观看。
输入块（每个 160ms）
- 用户的声音和摄像头画面
- 工具返回的结果
- 后台（后端模型）的回复
输出块（每个 160ms）
- 模型的声音
- 模型的面部（表情）
- 后台工作（思考/调用/委托）
几个关键机制
- 思考/工具调用可以跨越多个块：把这些块拼起来，就能恢复完整的输出流（推理不是「一锤子买卖」，而是持续滚动）。
- 工具结果作为 payload 进入输入块，没有固定的「每块文本 token 配额」——结果来了就喂进来。
- 有些工具分阶段返回中间结果，模型不必等完整结果才开始说话，可以先用部分结果先答。
如何变聪明：思考、工具调用、委托
思考（Think）
思考通常要数秒，没人愿意每次都等。于是当每个有意义的短语到达时，模型就在正在进行的推理线程上继续构建，无需等完整问题——推理跨越块持续进行，边说边想。
调用工具（Call tools）
搜索、知识库、预订、CRM 查询等。调用尽可能早地发出、异步执行，模型从部分结果开始回答，工具工作时它继续听、想、说。
委托（Delegate）
任务超出能力时，把它交给更大的后端模型并附上完整上下文。后端工作时前端继续陪聊（包括别的话题），结果好了再带回来。
成本控制：紧凑的 Token 预算
全双工模式下，模型要处理每一个块，即使没人说话，上下文也会飞快填满。所以 Boson 把每一条流都压缩到极致：
| 流（Stream） | 压缩方式 | 速率 |
|---|---|---|
| 音频输入 | 每块 1 个 token | 6.25 tokens/秒 |
| 音频输出 | 每块 2 个 token | 12.5 tokens/秒 |
| 摄像头帧 | 每 6 块才采 1 帧 | 约 12 tokens / 每 6 块一次 |
| 面部 | 2 个 latent | 每块 2 个 latent |
每分钟总用量
- 基础音视频流：约 2.6K tokens/分钟
- 加上思考/工具及结果：约 2.6–5K tokens/分钟（看负载）
生产环境窗口
- 通常保留最近 5 分钟的音视频流 + 压缩文本
- 约 13K–25K tokens（看活动和压缩）
- 更早历史以文本保留，另算
零样本声音与面孔
Boson 提供默认声音和面孔，但它们并非内置在模型里，而是在部署时零样本加载：一段简短参考音频设定声音，一张参考图像设定面孔，无需微调。参考不进入模型本身，而是进入两个渲染模型的解码器。
音频解码器（声音）
使用因果流匹配（causal flow-matching）模型。参考片段被编码成解码器的「条件向量」，生成的语音就匹配该声音。
视频解码器（面孔）
需要更多细节，用因果 DiT（扩散解码器）。每一步从参考图和最近两个 latent 生成，让面孔在整个对话中保持视觉一致、连续。
模型与训练
45B 混合专家模型（MoE）
前端模型是 45B MoE，不大也不小。Boson 试过更大的模型——分数确实更高，但运行成本也更高。因为最难的问题可以交给后端大模型，所以「中等规模 + 扎实智能」的前端模型是最佳平衡点。
2 万亿 token 训练
从文本预训练模型出发，继续在约 2 万亿 token 的文本、音频、视觉数据上训练。文本训练保留语言中学到的通用智能；音视频训练让它直接处理两种模态、连接「所听/所见/所说」。训练在 Boson 自建数据中心的 NVIDIA H100 集群上进行，训练栈部分基于 Megatron。
多教师在线策略蒸馏（MOPD）
从相同基础模型出发，用强化学习（含 GRPO）训练多个「专家教师」，分四组任务：自然对话 / 交互行为 / 动态委托 / 任务完成。教师通过交互学会「说什么、何时行动」——何时发言或让出、何时开始或延伸推理、何时调工具或委托。最后蒸馏成一个整合所有能力的单一学生模型。
递归自我改进循环（RSI）
系统与模拟环境交互 → 审视失败 → 合成针对性数据 → 训练模型 → 再循环。模拟必须复现真实交互的时序和多样性（打断、重叠语音、旁白对话、背景噪音）。目标是整个「模拟器+工具+评判器」的整体框架，而非孤立的模型。
基准测试
对比对象：Thinking Machines Lab 交互模型、OpenAI 的 Realtime & Live 系列、Google 的 Gemini Live 系列。测试覆盖口语问答、全双工交互、音视频联合理解、主动视频（模型看片段并选择何时发言）、智能体任务完成、文本指令遵循。声音克隆和头像克隆未报告，因为其他模型不支持这些功能。
| 基准（越高越好） | Higgs 45B MoE | TML Interaction Small | GPT Realtime/Live | Gemini Live |
|---|---|---|---|---|
| Big Bench Audio（准确率↑） | 98.9 🏆 | 96.5 | 72 / 97 / 90 | 71 / 97 / 98 |
| Audio MultiChallenge（APR↑） | 44.9 | 43.4 | 37.6 / 48.5 | 26.8 / 36.1 |
| Full-Duplex-Bench v1.5（平均↑） | 75.5 | 77.8 🏆 | 46.8 / 47.8 / 80.1 | 54.3 / 45.5 |
| QIVD（流式准确率↑） | 56.0 | 54.0 | 57.5 / 58.2 | 54.7 / 56.1 |
| ProactiveVideoQA（AUC↑） | 31.9 | 33.5 🏆 | 25.0 | 未运行 |
| τ-Voice（任务完成率↑） | 69.8 | 未运行 | 30.8 / 39.8 / 74.5 | 26.2 / 37.7 / 68.6 |
| IFEval（准确率↑） | 94.1 | 89.7 | 89.6 / 95.2 | 85.8 / 90.0 |
观察 1
GPT 和 Gemini 通常在「思考设为高」时才拿到最好分数。
观察 2：规模对比
Boson 前端 45B vs TML Interaction Small 276B —— 约 6 倍参数，结果仍互有胜负。
观察 3：结论
领域仍处早期，数据、架构、训练方法比原始规模更重要。
术语表
- 全双工（Full duplex）
- 同时进行倾听、观看、说话和渲染面部，以 160ms 块为单位，而非「一句一回合」。
- 前端模型（Front model）
- 直接与用户对话的部分，45B MoE，是对话的「门面」。
- 后端模型（Backend model）
- 更大的模型，处理前端委托的超能力任务。
- MoE（Mixture-of-Experts）
- 混合专家架构：多个「专家」子网络，每次只激活一部分，用较少算力获得大模型能力。
- 160ms 块（chunk）
- 所有输入/输出流的基本时间单位，全篇的核心机制。
- 零样本（Zero-shot）
- 无需微调，仅凭一段参考音频/一张参考图即可设定声音/面孔。
- 因果流匹配（Causal flow-matching）
- 音频解码器使用的生成方法，把参考音频编码为条件向量。
- 因果 DiT（Causal DiT）
- 视频解码器使用的扩散模型，DiT = Diffusion Transformer。
- Latent（潜在表示）
- 面孔的压缩表示，每个输出块 2 个。
- 渐进压缩（Progressive compaction）
- 对中间推理和工具轨迹的持续压缩，长对话不爆上下文的关键。
- MOPD
- 多教师在线策略蒸馏：多个 RL 专家教师 → 蒸馏为单一学生模型。
- GRPO
- 一种强化学习算法，用于训练专家教师。
- RSI
- 递归自我改进：与模拟环境交互 → 找失败 → 合成数据 → 训练 → 循环。
总结
Higgs Realtime Duplex 的三大支柱
感觉像人
160ms 时间切片、自己决定何时说话、200ms 内回应、「嗯哼」与打断、忽略旁白。
真正聪明
前端自己思考+调工具+委托后端；MOPD 蒸馏四类能力；RSI 循环持续进化。
成本低廉
紧凑 token 预算（2.6–5K/分钟）、渐进压缩、45B 中等规模换高性价比。
如何试用
Higgs Realtime Duplex 的 API 即将推出，可加入等待名单。当前已可用的端到端带头像模型是 Higgs Realtime（已有文档和定价页）。