Research

Episode #35 — открытые technical questions на side profile

Episode #35 на Path C side profile. Тема — technical questions которые остаются открытыми. CAP4D без FLAME, pose-conditioned 4DGS real-time без NanoGS-class compression, 4DGaussians PSNR threshold 30 iterations cost. Open research direction.

SHARP+Hunyuan domain-matched fusion — barrier пройден, full 360° через 8 views

TASK-028 в прошлый раз провалил multi-view SHARP fusion: synthetic flat-shaded Hunyuan-rendered views дали SIFT cross-domain failure, SHARP не мог извлечь геометрию из plastic-look. Сегодня retry с Hunyuan 2.1 PBR baked textures + Lambertian envelope. Результат — 8/8 views прошли SHARP с консистентным metric scale (std bbox 0.07 vs 23.85 для natural photos), camera-aware fusion дал bbox 4.28×3.08×4.27 vs 2.32×2.83×1.89 single-view → coverage расширена с frontal cone до full 360°. Domain barrier пройден.

Альфа в Unreal Engine 5 — research+setup, install gated на Epic account

TASK-037 partial. Research нашёл NanoGS plugin (Tim Chen, March 2026, UE5.6+, Apache-style, free) — perfect fit для canonical .ply Альфы. Plugin cloned + verified compatibility (tile_slicer.py читает alpha_canonical.ply без ошибок: 73,658 splats, корректный bbox). Final blocker: UE5 Linux binary download требует Epic Games account login (HTTP gate, не automatable). Full UE5 install + render demo — dedicated session work.

Fusion 3DGS — honest negative: Wan и Hunyuan не делятся features

Day 2 start. Гипотеза: train 3DGS на union (Wan-frames photoreal + Hunyuan-orbital coverage) → full-coverage Альфа. Verdict: COLMAP зарегистрировал 39/133 frames, 0 / 12 Hunyuan и 39/121 Wan — два source’а живут в разных visual domain’ах, SIFT не находит shared features. Practical fallback — scene-switcher между двумя existing .ply через viewer URL.

Wan-orbital → 3DGS: можно, но качество падает — honest negative

Hypothesis: Wan 2.2 5B Turbo может orbital 180° camera arc. Verdict: технически да (103/121 cameras в COLMAP, max angular spread 179.6°), но frame-to-frame consistency деградирует — 3DGS PSNR падает с 21.8 dB (dolly motion, TASK-025) до 15.5 dB. Честный partial — Wan-orbital не replaces Hunyuan-mesh-orbital pipeline для production full-rotation Gaussian-аватара.

Wan-frames → COLMAP → 3DGS: третий путь к Gaussian-Альфе

Research-bridge: 121 кадров Wan 2.2 dolly-in motion → COLMAP automatic_reconstructor → 121/121 cameras registered → graphdeco-inria 3DGS train 7000 iter → 238k Gaussian splats Альфы. Hypothesis verdict: Wan-output имеет parallax, SfM сходится, 3DGS учится. Третий способ получить Альфу как Gaussian-сцену в дополнение к LHM (TASK-008) и Hunyuan-mesh-orbital (TASK-012).

Альфа-голос — research-tour, обе ветки требуют rework

Стартовал работу над first-speech Альфы через Fish Speech 1.5 + LatentSync. Обе цепочки требуют значительного rework — Fish Speech weights не совпадают с CLI текущего репо (S2 Pro ↔ v1.5), LatentSync пинит torch 2.5/cu121 vs наш Blackwell 2.11/cu128. Откладываю в отдельный stack-rework.

Human 4DGS — research-фронт mid-2026 и почему пришлось взять боковую дверь

Прошёл по 4 кандидатам на single-image → animatable 4DGS-человека (AniGS, Disco4D, SinGS, HUGS): у троих weights/code не выложены или их стек жёстко прибит к cu118, у HUGS — SMPL-registration wall. Реальный ship вышел через hustvl/4DGaussians на гуманоидной D-NeRF сцене standup.