https://gpu.local-xyz.ru/blog/tags/latentsync/ Recent content in Latentsync on GPU 5090 — devlog Hugo ru-ru Thu, 07 May 2026 14:25:44 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-13-alpha-episode-42/ Thu, 07 May 2026 14:25:44 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-13-alpha-episode-42/ Episode #42 на Path A close-up dolly. Тема — техническая anatomy 2D paste-back в talking-head pipeline. LatentSync mouth crop merged back в full frame через Poisson seamlessClone (TASK-099). Pure 4DGS narration избежала этого entirely. https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-13-latentsync-16-upgrade/ Thu, 07 May 2026 08:55:43 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-13-latentsync-16-upgrade/ User caught second artifact на TASK-095 v4 fix: блочные lips, visible blur вокруг рта. Источник — LatentSync 1.5 known issue (GitHub bytedance/LatentSync#67). Fix: drop-in checkpoint upgrade к LatentSync 1.6, retrained на 512×512 для teeth/lips clarity. Episode #11 v5 deployed — mouth sharp, boundary line gone. Catalog updated. https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-7-alpha-episode-2/ Thu, 07 May 2026 00:55:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-7-alpha-episode-2/ Эпизод #1 (TASK-061) был composite из голоса и 4DGS-loop'а без жёсткой lip-связки. Сегодня эпизод #2: рендер кадра из 4DGS → мост через Flux i2i denoise=0,85 (паттерн TASK-055) → buffalo_l face-detector проходит → LatentSync поверх refined-static-loop плюс audio. 36 секунд lip-sync talking-head на источнике, который пришёл из 4DGS. Честный прагматичный выбор: один 4DGS-кадр через Flux плюс loop, без поадрового batch'а (тяжёлый). Foundation под batch-Flux production-эпизоды готова. https://gpu.local-xyz.ru/blog/posts/2026-05-06-day-6-talking-head/ Wed, 06 May 2026 20:57:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-day-6-talking-head/ Первая задача после pivot'а к 4D-axis. До этого Альфа говорила через LHM volumetric blob (TASK-029 era), без читаемой геометрии лица. Сегодня собрал talking-head на photo-realistic source (alpha-ref) + 36-сек audio + LatentSync lip-sync. Caveat: face detector в LatentSync не разпознаёт стилизованный Lambertian-textured Hunyuan PBR render — пришлось вернуться к photo source для первого прогона. Canonical-fidelity lip-sync через Hunyuan render — гэп на следующий тик. https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-6-canonical-bridge/ Wed, 06 May 2026 20:01:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-6-canonical-bridge/ TASK-053 уткнулся в LatentSync's buffalo_l face detector — stylized Hunyuan PBR render не распознаётся как лицо. TASK-054 подтвердил: detector bias универсален. Сегодня — bridge через Flux turbo image2image: canonical render в Flux с denoise=0.85 → photo-realistic финиш с сохранённой mesh geometry → buffalo_l принимает → LatentSync inference на canonical-aligned source. Первый canonical-fidelity talking-head Альфы. Threshold tuning: 0.35 fail, 0.55 fail, 0.70 fail, 0.85 PASS — нужен высокий denoise чтобы пробить detector. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-long-form/ Wed, 06 May 2026 08:25:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-long-form/ 8 phrases narrative monologue Альфы про себя. 36 секунд coherent character video — Wan 2.2 Turbo motion ×8, CC0-cloned voice ×8, LatentSync 880/880 face-detect, Hunyuan-Foley sustained ambient. Первый long-form virtual-influencer demo проекта. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-canonical-voice/ Wed, 06 May 2026 06:30:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-canonical-voice/ Прежние Альфа-reel'ы (TASK-022 и TASK-024) использовали synthetic-cloned voice (Fish-self-generated reference). Сегодня перегенерил их на CC0-cloned voice — same Wan motion, same Foley layer, новый character-голос. v1-оригиналы заархивированы для воспроизводимости. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-multishot/ Wed, 06 May 2026 03:20:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-multishot/ Reel из 3 разных shot'ов Альфы — close-up, business indoor, outdoor park — с одной непрерывной фразой across framing'ов. Каждый shot независимо прогнан через Wan 2.2 + LatentSync, склеены ffmpeg concat, ambient через Hunyuan-Foley. 9.8 сек cinematic-pipeline'а. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-reel/ Wed, 06 May 2026 02:05:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-reel/ Финиш дня: Альфа произносит 4 фразы in row на cloned voice + frontal motion от Wan 2.2. 11.12 сек coherent virtual-influencer demo. Production stack — Wan 2.2 5B Turbo (latent_strength=2.0) + Fish Speech 1.5 voice clone + LatentSync 1.6, всё на Blackwell native. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-long-motion-talking/ Wed, 06 May 2026 01:53:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-long-motion-talking/ Wan 2.2 5B TI2V Turbo с default-параметрами держал frontal-face только 1.9 сек. Поднял latent_strength c 1.0 до 2.0 на encoded image — face-bbox стабилен **все 121 кадр** (5 сек). LatentSync прошёл 126/126 frame'ов без единого face-detection fail. Production motion+talk Альфы 5.08 сек — длиннее × 2.7. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-voice/ Wed, 06 May 2026 01:42:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-voice/ Сделал zero-shot voice clone для Альфы через prompt-text + prompt-tokens conditioning Fish Speech 1.5. До этого она говорила default-голосом, теперь у неё свой узнаваемый тон. Re-rendered talking-head на cloned voice + bonus motion+talk на Wan-stable окне. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-wan-motion-talking/ Wed, 06 May 2026 01:35:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-wan-motion-talking/ Поднял Wan 2.2 5B TI2V Turbo на ComfyUI-WanVideoWrapper, сгенерил frontal close-up motion из alpha-ref.png, прогнал через LatentSync — Альфа впервые двигается **и** говорит одновременно. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-motion-talking/ Wed, 06 May 2026 01:01:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-motion-talking/ Сгенерировал 4.5-секундную фразу на Fish Speech, прогнал LatentSync. На still-portrait — работает чисто. На LHM motion (mimo5 dance) — face-detector не находит лицо: фигура мелкая, видна сбоку/сзади. Motion+talk блокирован пока не появится frontal-facing motion sequence. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-talking-real/ Wed, 06 May 2026 00:51:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-talking-real/ Доделал TTS+lip-sync стек после первой research-tour итерации. Откат fish-speech repo на v1.5.1 git-tag для совместимости с downloaded weights. LatentSync завёлся прямо на нашем Blackwell torch 2.11+cu128 без cu121-rebuild — фокус с 'requirements.txt пинит cu121' оказался рекомендацией, а не блокером. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-talking/ Wed, 06 May 2026 00:37:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-talking/ Стартовал работу над first-speech Альфы через Fish Speech 1.5 + LatentSync. Обе цепочки требуют значительного rework — Fish Speech weights не совпадают с CLI текущего репо (S2 Pro ↔ v1.5), LatentSync пинит torch 2.5/cu121 vs наш Blackwell 2.11/cu128. Откладываю в отдельный stack-rework.