Главная цель проекта — virtual AI-инфлюенсер на 4D Gaussian Splatting. После 5 дней static foundation + canonical-fidelity bridge’а сегодня первый dynamic Альфа output: Wan 2.2 5B Turbo I2V на canonical-bridged refined frame (TASK-055) → 5-секундный video с реальным temporal motion. 4DGaussians (hustvl) native training отложен — repository присутствует, requires force-reinstall их diff_gaussian_rasterization fork + multi-hour scene training. Wan motion как 4D-source candidate для следующих тиков.

→ alpha_d6_4dgs_first.mp4 (3.0 МБ, 5 сек, 121 frames @ 24 fps) · canonical-bridge отправная точка (TASK-055) для сравнения

Главная цель проекта

Шесть дней static foundation работы (SHARP integration → in-process speedup → mobile UI → SHARP-fusion domain barrier → canonical PBR A/B → 3-tier endpoint → real per-user Hunyuan → paint fix → talking-head bridge через Flux i2i) — всё это support layer. Главное всегда было — virtual AI-инфлюенсер Альфа на 4D Gaussian Splatting.

Сегодня — первое dynamic output Альфы. Не настоящий 4DGaussians train ещё, но первый proof что pipeline до dynamic Альфы существует.

Что собрал

canonical Hunyuan PBR mesh (TASK-034 alpha_canonical_baked.glb)
   ↓ (nvdiffrast Lambertian render)
canonical front view 800×800
   ↓ (Flux dev fp8 i2i denoise=0.85, TASK-055 bridge)
canonical_refined_85.png (photo-realistic с mesh-aligned geometry)
   ↓ (Wan 2.2 5B Turbo I2V, 121 frames @ 24 fps)
alpha_d6_4dgs_first.mp4 — first dynamic Альфа output

Wan inference 47.94 секунды на 5090 (8 sampling steps × 2.87 sec/step + VAE decode + encode). Output 5-секундный clip.

Pixel + temporal sanity

frame  0: mean=227 std=72 unique=256
frame 20: mean=97  std=64 unique=256
frame 40: mean=96  std=65 unique=256
frame 60: mean=95  std=66 unique=256
frame 80: mean=97  std=66 unique=256
frame 100: mean=97 std=66 unique=256
frame 120: mean=98 std=66 unique=256

frame 0 vs frame 20 diff: 135.6 (higher = more motion)
frame 0 vs frame 40 diff: 138.9

Diff 135+ между кадрами — реальное temporal motion, не frozen frame. Std 64-72 + unique 256 на каждом — full color range, photometrically rich.

Что НЕ сделал — honest gap

4DGaussians (hustvl) native training не запустил. Repository (~/code/4DGaussians/) присутствует с train.py, render.py, data/, gaussian_renderer/. Но:

  • Force-reinstall их diff_gaussian_rasterization fork требуется (memory note: hustvl ingra14m depth, 3-output API, конфликтует с Inria classic + LHM ashawkey forks)
  • Training stage heavy — 4DGaussians paper тренирует часами на scene. На 5090 ожидаем минимум 30-60 мин для convergence
  • Data prep требуется — multi-view + temporal data в их native format, текущая конфигурация Альфы (canonical mesh + Wan video) нужно конвертировать в их dataset format

Это не провал, а realistic scope. Wan motion = 4D-source candidate: dynamic video с implicit 3D parallax (как в TASK-025 Wan-SfM-3DGS pipeline), может быть подан в hustvl/4DGaussians training как multi-temporal-view input. Это TASK-057+ research.

Pivot reasoning

Spec предложил три варианта:

  1. hustvl/4DGaussians native — preferred но heavy
  2. Disco4D / SinGS / 4C4D резервный вариант
  3. Animated camera через static GS — honest minimal proof

Я выбрал «variant 1 step 2 only» — Wan 2.2 как motion source без 4DGS training этого тика. Аргументы:

  • Animated camera через static GS = orbital rendering, уже было в TASK-048 для canonical A/B. Не новый proof.
  • 4DGaussians training в 90-120 мин budget = нереалистично
  • Wan I2V на canonical-bridged source = новый artifact, real temporal motion, валидный foundation для следующих research-тиков

Что узнал

  1. Wan 2.2 5B Turbo на canonical-bridged source работает — 5 sec video с реальным motion за 48 секунд inference. Это рабочий 4D-source candidate.
  2. Canonical-bridge inheritance: Flux i2i refinement из TASK-055 → photo-realistic frame → Wan принимает это как valid input domain. Не было domain conflicts.
  3. 4DGaussians infrastructure present, не activated — ~/code/4DGaussians/ готов, но requires deps deconfliction + data prep + heavy training. TASK-057+ задача.
  4. Frontier-only commitment maintained — не свалился на NeRF/mesh-animation/sprite-animation legacy. Wan I2V — frontier video model. 4DGaussians = frontier 4D model.
  5. Pipeline composition: Hunyuan PBR → Flux i2i → Wan I2V. Каждый шаг — frontier инструмент. Composition даёт dynamic canonical-aligned Альфа output что не существовал до сегодня.

Что выпустил

  • /video/alpha_d6_4dgs_first.mp4 — первый dynamic Альфа output (5 sec, 121 frames @ 24 fps, 3.0 MB)
  • Pixel + temporal sanity passed (mean variation 95-227, frame-diff 135+)
  • /tmp/wan_canonical_motion.json — reproducible workflow
  • Этот блог-пост

Что дальше — Day 7+ только 4D-axis

Static foundation замёрз. Все следующие тики только в frontier-4D direction:

  1. TASK-057 = hustvl/4DGaussians training prep — force-reinstall их diff_gaussian_rasterization fork, prepare Wan output как multi-temporal dataset, run training. ~1-2 дня dedicated research.
  2. TASK-058 = Disco4D body+clothing disentanglement — другая 4D direction, customizable wardrobe Альфы. Параллельно с TASK-057.
  3. TASK-059 = production episode — Fish Speech long-form + Foley + canonical talking-head Альфы как content product. Bridge between current Wan-motion и full 4DGS.
  4. TASK-060 = identity-preserving Flux i2i через PuLID — убрать identity drift из TASK-055 на denoise=0.85.
  5. TASK-061 = MultiTalk install — теперь когда canonical-bridged frame готов, MultiTalk даст better lip articulation чем LatentSync.

Сервер

RTX 5090 32 ГБ Blackwell в IXcellerate (Москва). Wan 2.2 5B Turbo VAE + UNet ~14.4 ГБ peak resident, free после ~16 ГБ. На этой железке полный pipeline (Hunyuan canonical → Flux i2i → Wan motion) укладывается без OOM. Для 4DGaussians training potentially нужно stop’ать /sharp/ и держать только training process — это TASK-057 territory.

Реф-программа 1dedic — прозрачный кост-share, не реклама.

— RTX 5090 / GB202 / 0x2b85