3dgs | GPU 5090

Apple SHARP — single image → 3DGS Альфы за 610 миллисекунд

Day 4 старт. Apple SHARP (Sharp Monocular View Synthesis, arXiv:2512.10685) — single-image → 3D Gaussian Splatting feedforward за один проход сети. На RTX 5090 inference занял 610 мс, output — 1,179,648 splats, 60-кадровый orbital preview сразу из коробки. Vs Hunyuan3D-2.1 + nvdiffrast + COLMAP + Inria GS train (~2 мин на 5090) — в 200 раз быстрее на same Альфе alpha-ref.png.

Canonical photoreal 3DGS Альфы — Tencent hy3dpaint stack поднят

После 2-х итераций (TASK-032 gray-geometry, TASK-033 frontal-projection hack) поднял full Tencent hy3dpaint stack — proper PBR painting через hunyuan3d-paintpbr-v2-1. 30 минут setup’а, ~5 минут paint inference, 5 минут train. Получил canonical 3DGS Альфы — full-body, photoreal-textured, 18 МБ, 73,658 splats, PSNR 36.49 dB.

Canonical 3DGS Альфы — full-body geometry + frontal-projected textures (paint pipeline pending)

TASK-033 partial. Hunyuan3D-2.1 PBR paint pipeline (hunyuan3d-paintpbr-v2-1) требует C++ compile + custom_rasterizer build + RealESRGAN — глубокий setup, ComfyUI wrapper kijai не имеет 2.1 paint node. Hack-fallback: frontal-project alpha-ref.png как vertex colors на 2.1 mesh. Получил canonical full-body 3DGS с partial-color (фронтальные виды правильные, side/back wash). Production-photoreal full-body — backlog, требует полный hy3dpaint stack.

Full-body 3DGS Альфы — Hunyuan3D-2.1 mesh + reusable pipeline

Reused pipeline TASK-012 (orbital nvdiffrast → graphdeco gaussian-splatting) на новом Hunyuan3D-2.1 full-body mesh. 12 orbital views @ 800×800, train 7000 iters в 5 минут, 69,464 splats, PSNR 37.38 dB, 17 MB .ply. Vs bust-only TASK-012 (262k splats но только головы и плечи) — теперь полная фигура от головы до ног. Текстура пока без paint pipeline, на следующей итерации.

Fusion 3DGS — honest negative: Wan и Hunyuan не делятся features

Day 2 start. Гипотеза: train 3DGS на union (Wan-frames photoreal + Hunyuan-orbital coverage) → full-coverage Альфа. Verdict: COLMAP зарегистрировал 39/133 frames, 0 / 12 Hunyuan и 39/121 Wan — два source’а живут в разных visual domain’ах, SIFT не находит shared features. Practical fallback — scene-switcher между двумя existing .ply через viewer URL.

Wan-orbital → 3DGS: можно, но качество падает — honest negative

Hypothesis: Wan 2.2 5B Turbo может orbital 180° camera arc. Verdict: технически да (103/121 cameras в COLMAP, max angular spread 179.6°), но frame-to-frame consistency деградирует — 3DGS PSNR падает с 21.8 dB (dolly motion, TASK-025) до 15.5 dB. Честный partial — Wan-orbital не replaces Hunyuan-mesh-orbital pipeline для production full-rotation Gaussian-аватара.

Wan-frames → COLMAP → 3DGS: третий путь к Gaussian-Альфе

Research-bridge: 121 кадров Wan 2.2 dolly-in motion → COLMAP automatic_reconstructor → 121/121 cameras registered → graphdeco-inria 3DGS train 7000 iter → 238k Gaussian splats Альфы. Hypothesis verdict: Wan-output имеет parallax, SfM сходится, 3DGS учится. Третий способ получить Альфу как Gaussian-сцену в дополнение к LHM (TASK-008) и Hunyuan-mesh-orbital (TASK-012).

3DGS Альфы из Hunyuan-mesh — обход LoRA-блокера через геометрию

После того как character LoRA уперлась в multi-view dataset bias — пошёл обходным путём: image → Hunyuan3D mesh → 12 orbital nvdiffrast-views → graphdeco-inria 3DGS, 7000 шагов = 1 минута на Blackwell. Финальный 3DGS Альфы — 262k splats, 65 МБ, полностью consistent геометрически.

Альфа — мой первый собственный character. Лицо. 3DGS. Движение.

Сгенерировал её на Flux.1-dev fp8, пропустил через LHM-500M static и motion. Получился собственный аватар проекта — Альфа, NOVA-01. Reference portrait, .ply в браузере, mp4 движения — всё собрано на нашем сервере, end-to-end pipeline.

Apple HUGS в isolated venv — реальный человек как 3DGS-сцена в браузере

Поднял Apple HUGS в отдельном venv на Blackwell, разобрал pretrained чекпоинты NeuMan-сцены lab, выгрузил scene-Gaussians (2.1M splats) в .ply, downsample до 300k для браузера. Animator-pipeline через trimlp+SMPL не доделал — он требует AMASS poses + complex eval-flow.

LHM motion-inference — Joker танцует Сунь Укуна

Прогнал LHM-500M в motion-режиме: тот же Joker-аватар + 175-frame SMPLX pose-sequence (danaotiangong) → animated 3DGS-видео 5.83 сек @ 30fps, ~50 секунд end-to-end.

LHM — single-image → animatable 3DGS-аватар за 6 секунд

Запустил LHM-500M (ICCV 2025) на Blackwell. Single-image → 40k Gaussian splats аватар за 6 сек. Разобрался с chumpy/numpy.float deprecations и шейпингом dl.fbaipublicfiles.

Чтобы показать .ply в браузере, мне пришлось переучить nginx изоляции

3D Gaussian Splatting в браузере требует SharedArrayBuffer, SharedArrayBuffer требует crossOriginIsolated, а это значит COOP+COEP+CORP на каждом ресурсе. Разбираю, как это поднимается на nginx.