摘要：数字人英语老师的90%时间在不说话——那段5秒聆听态idle视频，才是决定老师抖不抖、糊不糊、像不像活人的地基。从商用网关真人脸403、288px相机漂移讲起，复盘八版迭代：2D贴片眼睑为何造不出生命感、稳像路线怎么只治病保宝、warp眨眼+胸腔呼吸+gaze眼神三要素全本地确定性合成、循环高斯平滑治理逐帧bbox脉动（Arthur 14.9px→1.4px）。附TTS克隆废音的参考音频切点根因、字幕事件驱动策略的无头仿真验收、可直接抄走的5秒idle SOP与验收判据。
一、数字人老师的第一件资产，为什么是一段 5 秒视频
这套系统的口型引擎是 MuseTalk 路线：先对一段”说话头”素材逐帧检测人脸、抠嘴区、编码成潜空间特征（genavatar 四件套：latents / coords / mask_coords / 帧图），实时会话时由音频特征驱动嘴部重绘，再用粘贴回算法贴回原帧。
关键约束由此而来：老师 90% 以上的时间并不说话，屏幕上循环播放的就是所谓 idle 视频——学生开口时老师必须”像在听”。它不是背景装饰，而是引擎素材包本身：idle 视频的稳定性直接决定说话期的抖动基线（每帧 bbox 从哪来、脸在画面什么位置，全部继承自它）。
为什么钉死 5 秒 @24fps=120 帧：
- 25 帧以内循环感肉眼可见（呼吸/眨眼周期被压缩成抽搐）；10 秒以上素材包体积和显存成倍涨，逐帧 latents 是实打实的磁盘账；
- 人类舒适眨眼节奏约 2-4 秒一次，5 秒正好容下 2 次眨眼，周期能取整；
- 无缝循环铁律：眨眼、呼吸、眼神漂移的周期必须是 5 秒的整数分份，首帧=尾帧，否则引擎循环到接缝处”啪”地跳一下，前面全白做。
初始资产只有一张官方肖像 PNG（RGBA 透明底，704×896 构图）。从这张静图到一段合格的聆听态视频，我们走了八版，下面按时间线复盘。
二、商用水位的第一堵墙：真人脸 403 与相机级漂移
第一反应当然是用图生视频大模型网关。实测结论：
- 写实人脸图生视频一律 403 审核拦截，两种措辞的提示词都被拒；皮克斯风卡通脸能过审。参考图底色还会玄学触发审核——绿底/品红底参考图连撞 4 次 403，换白底参考图+提示词里指定绿幕一次过。
- 过审的视频带来新问题。用探针逐帧量化（下面这套判据后来贯穿全程）：
| 指标 | Marcus 源视频 | Arthur 源视频 | Sarah 基线 | Mia 基线 |
|---|---|---|---|---|
| 帧间 MAD | 37.69 | 4.86 | 0.34 | 0.99 |
| 画心纵向漂移 | 288.6px | — | 1px | 1.5px |
| 缩放振荡 | 22.4% | 21.7% | — | — |
| 肩部漂移 | 978px | 54px | 2.6px | 6.9px |
| 嘴部动幅 | 18.6% | 33.0% | 5.9% | 11.2% |
| 原生眨眼 | 4 次(开度比 0.20) | 4 次(0.13) | 1 次 | 3 次 |
Marcus 的 288px 纵向漂移意味着什么：genavatar 忠实继承素材，引擎循环播放时整张脸上下翻滚。网关生成还附带 900 秒超时玄学（连超两次，第三次成；超时不计费但耗人）。
三、v1-v4 的弯路：2D 贴片眼睑造不出生命感
想要”会眨眼”，最直觉的做法是 2D 合成——画两片眼睑贴上去盖住眼球。v1 到 v4 四轮全是这个思路，vision 逐帧目检的判词很统一：矩形贴片感、灰蓝色块、无睫毛、无体积，评分天花板 6 分（10 分制）。写实脸的贴片 rig 上限就是这么低，不要再试。
同期还做过”纯呼吸静态版”：以脸部中心为锚做 ±0.10% 正弦缩放（周期 5 秒），嘴部/眼角位移≈0、胸腔仅 0.6px 起伏，绝对稳定。结果被一句话否掉：“不是聆听状。” 没有眨眼的眼神是死的，稳定不等于活着。
四、v5 稳像路线：生命感是宝，病在相机——稳像而不是重画
转折来自把源视频的”解剖”拆开看：原生眨眼和呼吸质感是 2D 合成造不出来的宝，而它所有的病（漂移/推拉/头晃/耸肩）全是相机级违规运动。病和宝不在一层，正解就是只治病、保宝：
- MediaPipe FaceMesh 逐帧定位眼中心、眼宽（脸尺寸代理）、嘴部 bbox、肩线；
- 轨迹做中值+高斯双重平滑；
- 以眼中心为锚构建人脸锁定裁剪窗，窗高按眼宽归一化：
crop_h = TARGET_H * (ew_median / ew) * ZOOM——这一行直接吃掉推拉缩放振荡；窗中心=平滑眼中心+固定构图偏移——吃掉漂移、头晃、耸肩； - 裁剪后 Lanczos 缩放到 704×896，脸的屏幕位置和大小完全恒定；
- 嘴部冻结（体验硬约束：idle 时嘴角不能动）：取”嘴部开度最接近中位数”的那帧当参考帧（恰是最自然的闭合微笑态），每帧嘴区用参考帧对应区域做椭圆羽化替换。稳像后脸已锁定，逐帧嘴区空间对齐，替换无错位；
- 残留微动=原生眨眼+极轻微呼吸——这部分不该消，也消不掉，正是生命感。
五、v6 全本地确定性合成：把”聆听态”拆成三个可计算量
网关这条路即使稳像后仍有审核与超时成本，v6 索性彻底本地化，不依赖任何生成服务。三要素全部写成显式参数：
- 眨眼=上睑皮肤 warp 下推，不是填色贴片：沿眼裂椭圆弧形闭合线，把上睑真实皮肤按列向下拉伸扫过眼球，上缘空出的区域用眉/额头皮肤延展补齐；随行 crease 阴影 + 从睁眼态采样的睫毛暗弧 + 下睑微微上抬迎接。有皮肤纹理、有体积、有睫毛，贴片感归零。眨眼窗设在第 26/76 帧（@24fps 即 1.08s 与 3.17s），各 9-10 帧≈400ms，两次都落在 5s 整数周期位。
- 呼吸=仅肩线以下 ±0.4px 正弦：脖子、肩、头位移强制为 0（硬保证不耸肩），嘴部 y±40px 行带位移强制清零（硬保证嘴角零动）。呼吸只发生在胸腔像素带上——位置错了就是”头在浮”。
- 眼神=±0.6px 水平 gaze settle：传达”注视着你”的亲切感，窗口故意错开眨眼帧。写实脸对眼动极敏感，幅度只敢给卡通方案（2px）的三分之一。
编码统一 h264 / yuv420p / crf17，引擎和 genavatar 通吃；所有运动周期取 5 秒整数分份，首尾帧同相位，无缝循环达成。
六、验收闭环：像素分区裁判 + 双探针
素材合出来不算完，必须有裁判。这套系统里 idle 的验收标准全是可计算量：
- 稳定裁判：逐帧 FaceMesh，画心纵向漂移、缩放振荡、肩漂移三项全部归零才算过；帧间 MAD 目标 ≤1（Sarah 基线 0.34）。
- 生命感裁判：开度比曲线必须有眨眼尖峰（眼睑开度<0.3 记一次闭眼），且呼吸在胸腔带可测。纯静态直接判死。
- 嘴部裁判：mouth_y±40px 行带帧间位移必须≈0，嘴角动=说话期干扰。
两条独立探针互验：像素分区 MAD（快、稳、可对全帧扫描）+ landmark 开度比（细、能定性”眨的是不是眼”）。单指标会撒谎，双探针一致才签字。最后 vision 逐帧目检当终审官：贴片感、接缝跳帧、眼神死寂这类问题，数值看不见，眼睛看得见。
七、透明融入桌面：绿幕是算出来的，不是生成的
透明背景链路（桌面悬浮老师形态）：视频通道本身不带 alpha，走纯绿 #00FF00 底 + 客户端 WebGL chroma-key shader 实时抠回透明。三个必须做的预处理：
- 绿幕归一化：生成视频的绿普遍带渐变/暗角，不处理的话抠像后人物边缘一圈绿 halo。规则
g>120 且 g>r+50 且 g>b+50 → 强制纯绿；人物本身没有绿主导像素（蓝绿挑染发丝走 b 通道，安全）；边缘 100px 带加弱掩码收 vignette。 - 构图清洗：模型自作主张加的道具（实测给一位老师脑补了一张木桌）直接裁掉底部 30%，只留头肩。
- rembg 兜底：网关反复超时/403 时，用白底生成版 + rembg(u2net_human_seg) 本地逐帧抠像合纯绿，零审核零网关，眼镜框、白发边缘都干净。模型缓存后纯本地批量，成本只有时间。
八、部署进引擎：备份-回滚-热重启三件套
idle 视频定了稿，走 genavatar 重跑素材包（约 121 帧、25fps 循环包，GPU 上 5-25 分钟一位），完成后：
- 旧素材包整体改名
*_bak_<stamp>，任何一步失败自动回滚； - 封面 cover.png 用官方 PNG 复原（不是从视频抽帧——抽帧版带绿底），或从 idle 定帧抽
select=eq(n\,30)再抠绿； - 服务由看门狗托管：改完素材杀进程，绝不手动起，让看门狗用干净环境拉起，避免双实例抢 GPU 显存；
- 上线前必须过一轮端到端：连接→老师见面语→学生插话→打断→再见，延迟、内容、口型三项全查。
九、同一批体验问题连环排错：音频、字幕、口型三案
素材链路收尾后，真人试用又报了三组问题。三个案子共同的教训是：修过的东西要用新维度重验，不能拿旧验收结论挂账。
案一：TTS 克隆音色的”废音”——病根在参考音频的切点
症状：一位老师的合成语音每次句首和句尾都带一个”de/t”类的爆破杂音。第一轮把锅归给”开头没淡入”，重切参考音频头部+40ms 淡入，ASR 首词验证干净，结案——被用户打回：句尾还有。
第二轮把参考音频波形拆开看才定真凶：语音段结束后尾部只剩约 20ms 就硬截断，零静音垫；头部则是 40ms 就从 0.025 幅度的硬擦音起音直接进。零样本克隆的机制是参考音频的每一个声学特征都会被当成”说话方式”学走——首尾的截断毛刺本身就是一种特征，于是每一句合成都复读一遍这个毛刺，出现在句首句尾。这不是滤波问题，高通滤波只会毁音色。
处置（可复用的参考音频修整工艺）：
1. 头部从语音起点前 ~80ms 的静音谷下刀，加 30ms 余弦淡入；
2. 尾部补 ~120ms 纯静音垫，再加 80ms 缓降——让克隆模型学到”语音自然结束于静音”；
3. 文本标注按实际听感改（截残的半词必须删，否则音文对不上，模型学出含糊尾音）；
4. 合成侧兜底：每句输出统一做首尾包络检查，头部静音<5ms 才淡入、尾部先找静音点再淡出（有语音就裁到静音点，没有才补淡出），避免二次伤正文；
5. 重灌运行时配置前把旧参考包成 zip 备份——配置是热加载的，不留后手改不回。
案二：字幕盖脸——显示策略要跟着”谁在说话”走
症状：学生说的话、AI 老师说的话层层堆在屏幕底部，老师说话时被自己的字幕和学生的回显盖住脸。
规则重写成三条，全部是事件驱动、零延时：
1. 老师开口瞬间，清空全部学生行（老师自己的历史行保留滚动）——”开始说话后只显示 AI 内容”；
2. 学生发新句时只替换自己的旧行（”听写中…”占位被真句顶掉），不动老师行；
3. 总量硬顶 3 行，插顶挤底；5 秒静默自动清屏兜底。
验收不用肉眼看运气：把渲染层逻辑原样抄进无头脚本，构造 6 个场景断言 DOM 终态（学生说→老师开口=0 行；老师连说 3 句=3 行全 T；学生回话=替换 S 行保 T 行；占位→真句；硬顶；混合）。全过才合并进渲染层。UI 逻辑能程序化验证的，永远不要靠手点。
案三：嘴部发虚+抖动——清晰度与稳定性是两个病人
这是被返工最狠的一案。第一轮只查了清晰度：把贴回链路的 resize 从双线性改 Lanczos 重采样，离线受控实验（同输入帧、唯一变量插值）证明清晰度 Marcus +63%、Arthur +70%，在线抓帧 +66%，视觉目检也过——报告”修好”，用户回来：还在抖，速度还不正常。
第二轮换维度。抖动的本质在逐帧 bbox 的时序信号上：把每位老师 121 帧的 coords/mask_coords 序列做一阶差分，Arthur 的贴回框高度逐帧脉动均值 14.9px、最大 27px——每帧嘴区被裁成不同大小再拉伸贴回，等于给嘴加了一层”呼吸缩放”，这就是”抖动发虚”。而 Marcus 的在线指标此前一直受同样问题污染。
处置：对 bbox 序列做循环高斯时域平滑（素材是 5 秒循环包，普通平滑在接缝处把首帧当边界会跳；平滑核在环形索引上计算+两端接界校验）。量化结果：
| 老师 | 尺寸脉动 mean(w/h) | 相邻帧最大位移 | mask 抖动 Σ|Δ| |
|---|---|---|---|
| Arthur | 4.54/14.87 → 0.55/1.40px | 27px → 3px | 1371 → 127 |
| Marcus | 4.30/3.52 → 0.68/0.42px | 22px → 2px | 408 → 51 |
平滑会不会让贴回框和帧里真脸错位、产生重影？实测最大错位 2~3px，椭圆羽化边缘完全吸收；修后在线复测：Marcus 清晰度 120.6→230.1（+91%），idle 段前后完全一致（271.9=271.9，证明管线无副作用）；连续帧口部条带目检：帧间嘴位置稳定、无重影无涂抹。”速度不正常”同源：循环包 121 帧、驱动侧 25fps 定步长推进，帧率与视频时长在生成期钉死对齐，播放侧不再有任何倍速自由度。
十、可抄走的清单与铁律
5 秒 idle 视频生成 SOP（从零到上线）：
1. 官方 RGBA 肖像 → contain 到 704×896 铺纯绿画布；
2. 有真实”说话头”源视频 → 稳像路线（FaceMesh 锚点锁定裁剪+嘴部冻结），只治病保宝；
3. 无源视频 → 全本地三要素（warp 眨眼 400ms/次×2、胸腔带 ±0.4px 呼吸、±0.6px gaze），周期全部 5s 整数分份；
4. h264 yuv420p crf17；绿幕归一化+边缘掩码；道具穿帮裁构图；
5. 双探针验收：MAD≤1、漂移≤2px、眨眼尖峰在、嘴角零动、首尾帧同相位；
6. vision 逐帧目检终审；
7. genavatar 重跑素材包，备份旧包、失败回滚、看门狗热重启，端到端五步会话验证。
方法论铁律（每条都有学费）：
– 图生视频网关对写实脸 403 是常态，本地确定性合成永远是你的 Plan B，而且 Plan B 往往才是终解；
– 生成模型给的画面”病”和”宝”要分层判：相机级运动全删，眼睑级生命感全留；
– 循环素材的一切时域处理必须按环形做（接缝帧校验），这是循环播放器的隐形地雷；
– 清晰度与稳定性是两个独立病人，各配各的指标；离线受控实验（唯一变量）才能定因果，在线抓帧会被口型相位噪声骗；
– 克隆音色的参考音频是”发声模板”，首尾每一毫秒的毛刺都会被复读——修整下刀只选静音谷，永远给尾部留静音垫；
– UI 行为用无头场景仿真断言，视觉质量用 vision 目检，数值用探针——三堂会审，缺一堂就会返工；
– 上一轮”已修复”不是结论，是待办：用户复现的问题必须换新维度重查到底。
