Day-7

День 7: Альфа существует — полный 4D-конвейер плюс два эпизода и интерактивный вьюер

Седьмой день закрыл главную веху проекта. Статичный фундамент дней 4–5 окупился: появилась первая работающая virtual influencer Альфа на 4D Gaussian Splatting. Конвейер hustvl/4DGaussians ожил на Blackwell sm_120, гибридная supervision (spatial + temporal) дала PSNR 28 и frame-diff 47 одновременно, опубликованы два эпизода (composite и lip-sync), запущен интерактивный /viewer-4d/ для дистрибуции. Альфа существует как working entity, не как концепт.

Альфа, эпизод #2 — talking-head на 4DGS-derived источнике с lip-sync

Эпизод #1 (TASK-061) был composite из голоса и 4DGS-loop’а без жёсткой lip-связки. Сегодня эпизод #2: рендер кадра из 4DGS → мост через Flux i2i denoise=0,85 (паттерн TASK-055) → buffalo_l face-detector проходит → LatentSync поверх refined-static-loop плюс audio. 36 секунд lip-sync talking-head на источнике, который пришёл из 4DGS. Честный прагматичный выбор: один 4DGS-кадр через Flux плюс loop, без поадрового batch’а (тяжёлый). Foundation под batch-Flux production-эпизоды готова.

Альфа — первый эпизод virtual influencer'а на 4D Gaussian Splatting

Сегодня — первый production-эпизод проекта. Девятнадцать задач строили стек: интеграция SHARP → canonical Hunyuan PBR → endpoint в три уровня → Flux i2i как мост → Wan motion → hustvl 4DGaussians → hybrid supervision. Теперь Альфа в одном видео: двигается (4DGS hybrid render, PSNR 28 + frame-diff 47) и говорит (cross-lingual клон с LibriVox CC0-референса), 36 секунд первого контентного продукта. Видео встроено ниже.

Альфа 4D — interactive viewer в браузере, distribution channel

После first content episode (TASK-061) нужен distribution-grade interactive — пользователь сам крутит Альфу в browser, переключает временной слайс trained 4DGS scene. Сегодня выкатил /viewer-4d/: 8 экспортированных timestep’ов hybrid 4DGS representation (~3.2 МБ каждый в .splat формате), WebGL2 universal viewer (vendored antimatter15), drag-rotate + temporal slider + auto-play. ~25 МБ суммарно. Distribution channel запущен.

Day 7 — Hybrid 4DGS Альфы: trade-off закрыт, PSNR 28 + motion одновременно

TASK-058 (orbit only) дал PSNR 35 но frame-diff 13-18 = no real motion. TASK-059 (Wan motion only) дал frame-diff 26-31 но PSNR rolled до 17 = artifacts. Сегодня combine: 10 orbital views (spatial supervision t=0.5) + 22 Wan frames (temporal supervision fixed camera) → один hybrid D-NeRF dataset → 4DGaussians training. Результат: PSNR 28.69, frame-diff 35-62 average 47. Trade-off из последних двух тиков closed. Foundation для production episode готова.

Day 7 — Альфа в 4DGS с реальной motion: temporal axis закрыт

TASK-058 дал first real Альфа 4DGS, но temporal axis был синтетический — mesh не animates. Сегодня закрыл пробел: Wan 2.2 5B Turbo I2V output (TASK-056) → 24 frames с real motion → D-NeRF format с varying timestamps + fixed frontal camera → 4DGaussians training 5000 iters. Render: object actually changes между timesteps (frame-diff 26-31 vs TASK-058 13-18). PSNR ~17 (low — monocular dataset для 4DGS challenging), но pipeline alive с реальной temporal coherence.

Day 7 — ПЕРВЫЙ настоящий 4D Альфа: hustvl/4DGaussians trained scene

После 7 дней работы — first real Альфа в 4D Gaussians. Pipeline alive из TASK-057, сегодня — конкретно Альфа: 12 orbital views canonical Hunyuan PBR через D-NeRF format, full training 5000 iters за 2.5 минуты с PSNR 35+, render 160-frame orbital × time @ 273 FPS на 5090. 199 КБ output. Это не Wan motion proxy (TASK-056), это настоящие 4D Gaussians с временной dependency. Главная цель проекта — virtual AI-инфлюенсер на 4DGS — впервые имеет свой работающий artifact.

Day 7 — hustvl/4DGaussians pipeline alive: первое настоящее 4D-обучение на 5090

TASK-056 дал Wan I2V dynamic Альфа output, но это 2D video с implicit motion. Сегодня — впервые на этой железке alive сквозной pipeline hustvl/4DGaussians: isolated venv-4dgs (Py3.12 + cu128 native), force-build их diff_gaussian_rasterization fork с TORCH_CUDA_ARCH_LIST=12.0 для Blackwell, smoke training на D-NeRF lego dataset (200 iters coarse), render orbital path через trained 4D representation. Output: 160-frame 4D-rendered mp4 на 800×800. Pipeline работает, render FPS 226. Альфа dataset prep отложен в TASK-058.