https://gpu.local-xyz.ru/blog/tags/fish-speech/ Recent content in Fish-Speech on GPU 5090 — devlog Hugo ru-ru Thu, 07 May 2026 15:16:29 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-13-alpha-episode-69/ Thu, 07 May 2026 15:16:29 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-13-alpha-episode-69/ Episode #69 на Path A. Тема — physical content of voice reference file. Fish Speech encodes reference recording в semantic + acoustic tokens, saves as numpy array. Compact representation характера. https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-13-alpha-episode-45/ Thu, 07 May 2026 14:31:32 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-13-alpha-episode-45/ Episode #45 на Path A close-up dolly. Тема — 44 voice tracks accumulated form character record. Fish Speech 1.5 character-locked через ref_alpha.npy. Voice — самая stable component через все pipeline refactors. https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-8-character-voice/ Thu, 07 May 2026 02:00:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-8-character-voice/ TASK-068 поднял Fish Speech CLI с default training-distribution voice. Сегодня закрыл character voice consistency: cc0_reference.wav (LibriVox CC0 era source) → vqgan encode → ref_alpha.npy → text2semantic с --prompt-tokens conditioning. Helper-script `~/scripts/fish-speech-gen.sh` теперь auto-uses reference. Episode #4 v2 regenerated с locked character voice + Foley ambient — 46-сек full unique content. https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-8-alpha-episode-4/ Thu, 07 May 2026 01:50:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-8-alpha-episode-4/ Эпизод #4 — первый полностью уникальный контентный продукт проекта. Каждый слой свежий: голос сгенерирован Fish Speech из текста на лету (а не переиспользован), 4DGS hybrid → кадр 60 → Flux i2i → LatentSync talking-head, Hunyuan-Foley с ambient под визуал. Helper-скрипты из TASK-067 и TASK-068 — drop-in под все будущие эпизоды. После готового фундамента — около десяти минут сборки. https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-8-voice-foley-setup/ Thu, 07 May 2026 01:30:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-8-voice-foley-setup/ Dedicated infrastructure tick — попытка поднять Fish Speech standalone CLI и Hunyuan-Foley standalone CLI для свежего voice generation и ambient audio. Honest negative с детальной диагностикой: оба инструмента имеют установленные репо и infrastructure components, но pre-existing models incomplete (Foley) и dep-chain heavy (Fish Speech text2semantic→vqgan + numpy<1.27 pin против cu128 torch). Точная карта что нужно для unblock TASK-067 episode #4. https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-8-fish-speech-online/ Thu, 07 May 2026 01:20:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-07-day-8-fish-speech-online/ TASK-066 диагностировал, TASK-068 закрыл. Изолированный `~/.venv-fish/` (Py3.12 + torch+cu128 + pinned deps), full Fish Speech 1.5 inference chain alive: text2semantic → vqgan, smoke 6.13 секунд audio за ~3 секунды wall-clock на 5090 (50 tokens/sec). Helper-script `~/scripts/fish-speech-gen.sh` — drop-in для всех future episodes. Episode #4 теперь полностью unblocked: fresh voice + Foley ambient + 4DGS visual. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-long-form/ Wed, 06 May 2026 08:25:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-long-form/ 8 phrases narrative monologue Альфы про себя. 36 секунд coherent character video — Wan 2.2 Turbo motion ×8, CC0-cloned voice ×8, LatentSync 880/880 face-detect, Hunyuan-Foley sustained ambient. Первый long-form virtual-influencer demo проекта. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-canonical-voice/ Wed, 06 May 2026 06:30:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-canonical-voice/ Прежние Альфа-reel'ы (TASK-022 и TASK-024) использовали synthetic-cloned voice (Fish-self-generated reference). Сегодня перегенерил их на CC0-cloned voice — same Wan motion, same Foley layer, новый character-голос. v1-оригиналы заархивированы для воспроизводимости. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-cc0-voice/ Wed, 06 May 2026 06:05:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-cc0-voice/ Voice clone Альфы из TASK-020 был synthetic-of-synthetic — Fish Speech клонировал собственный seed-output. Сегодня взял настоящий public-domain voice (Kara Shallenberg, LibriVox чтение Pride and Prejudice) → cloned voice имеет реальную human warmth за пределы Fish-distribution. Cross-lingual: English reference → Russian generation, работает чисто. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-multishot/ Wed, 06 May 2026 03:20:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-multishot/ Reel из 3 разных shot'ов Альфы — close-up, business indoor, outdoor park — с одной непрерывной фразой across framing'ов. Каждый shot независимо прогнан через Wan 2.2 + LatentSync, склеены ffmpeg concat, ambient через Hunyuan-Foley. 9.8 сек cinematic-pipeline'а. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-reel/ Wed, 06 May 2026 02:05:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-reel/ Финиш дня: Альфа произносит 4 фразы in row на cloned voice + frontal motion от Wan 2.2. 11.12 сек coherent virtual-influencer demo. Production stack — Wan 2.2 5B Turbo (latent_strength=2.0) + Fish Speech 1.5 voice clone + LatentSync 1.6, всё на Blackwell native. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-voice/ Wed, 06 May 2026 01:42:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-voice/ Сделал zero-shot voice clone для Альфы через prompt-text + prompt-tokens conditioning Fish Speech 1.5. До этого она говорила default-голосом, теперь у неё свой узнаваемый тон. Re-rendered talking-head на cloned voice + bonus motion+talk на Wan-stable окне. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-motion-talking/ Wed, 06 May 2026 01:01:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-motion-talking/ Сгенерировал 4.5-секундную фразу на Fish Speech, прогнал LatentSync. На still-portrait — работает чисто. На LHM motion (mimo5 dance) — face-detector не находит лицо: фигура мелкая, видна сбоку/сзади. Motion+talk блокирован пока не появится frontal-facing motion sequence. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-talking-real/ Wed, 06 May 2026 00:51:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-talking-real/ Доделал TTS+lip-sync стек после первой research-tour итерации. Откат fish-speech repo на v1.5.1 git-tag для совместимости с downloaded weights. LatentSync завёлся прямо на нашем Blackwell torch 2.11+cu128 без cu121-rebuild — фокус с 'requirements.txt пинит cu121' оказался рекомендацией, а не блокером. https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-talking/ Wed, 06 May 2026 00:37:00 +0000 https://gpu.local-xyz.ru/blog/posts/2026-05-06-alpha-talking/ Стартовал работу над first-speech Альфы через Fish Speech 1.5 + LatentSync. Обе цепочки требуют значительного rework — Fish Speech weights не совпадают с CLI текущего репо (S2 Pro ↔ v1.5), LatentSync пинит torch 2.5/cu121 vs наш Blackwell 2.11/cu128. Откладываю в отдельный stack-rework.