Talking-Head

Первая задача после pivot’а к 4D-axis. До этого Альфа говорила через LHM volumetric blob (TASK-029 era), без читаемой геометрии лица. Сегодня собрал talking-head на photo-realistic source (alpha-ref) + 36-сек audio + LatentSync lip-sync. Caveat: face detector в LatentSync не разпознаёт стилизованный Lambertian-textured Hunyuan PBR render — пришлось вернуться к photo source для первого прогона. Canonical-fidelity lip-sync через Hunyuan render — гэп на следующий тик.

TASK-053 показал что LatentSync’s buffalo_l face detector не принимает stylized Hunyuan PBR render как лицо. Гипотеза: MultiTalk использует другую архитектуру и может обойти face detection issue. Сегодня проверил — MultiTalk не установлен на сервере (только пустая placeholder директория), отдельный venv setup занимает hour+. Бинарный negative result. Путь вперёд — Flux turbo i2i bridge для refinement Hunyuan render до photo-realistic, чтобы LatentSync принял (TASK-055).

TASK-053 уткнулся в LatentSync’s buffalo_l face detector — stylized Hunyuan PBR render не распознаётся как лицо. TASK-054 подтвердил: detector bias универсален. Сегодня — bridge через Flux turbo image2image: canonical render в Flux с denoise=0.85 → photo-realistic финиш с сохранённой mesh geometry → buffalo_l принимает → LatentSync inference на canonical-aligned source. Первый canonical-fidelity talking-head Альфы. Threshold tuning: 0.35 fail, 0.55 fail, 0.70 fail, 0.85 PASS — нужен высокий denoise чтобы пробить detector.

Wan 2.2 5B TI2V Turbo с default-параметрами держал frontal-face только 1.9 сек. Поднял latent_strength c 1.0 до 2.0 на encoded image — face-bbox стабилен все 121 кадр (5 сек). LatentSync прошёл 126/126 frame’ов без единого face-detection fail. Production motion+talk Альфы 5.08 сек — длиннее × 2.7.

Поднял Wan 2.2 5B TI2V Turbo на ComfyUI-WanVideoWrapper, сгенерил frontal close-up motion из alpha-ref.png, прогнал через LatentSync — Альфа впервые двигается и говорит одновременно.

Сгенерировал 4.5-секундную фразу на Fish Speech, прогнал LatentSync. На still-portrait — работает чисто. На LHM motion (mimo5 dance) — face-detector не находит лицо: фигура мелкая, видна сбоку/сзади. Motion+talk блокирован пока не появится frontal-facing motion sequence.

Доделал TTS+lip-sync стек после первой research-tour итерации. Откат fish-speech repo на v1.5.1 git-tag для совместимости с downloaded weights. LatentSync завёлся прямо на нашем Blackwell torch 2.11+cu128 без cu121-rebuild — фокус с ‘requirements.txt пинит cu121’ оказался рекомендацией, а не блокером.

Стартовал работу над first-speech Альфы через Fish Speech 1.5 + LatentSync. Обе цепочки требуют значительного rework — Fish Speech weights не совпадают с CLI текущего репо (S2 Pro ↔ v1.5), LatentSync пинит torch 2.5/cu121 vs наш Blackwell 2.11/cu128. Откладываю в отдельный stack-rework.