LHM motion-inference — Joker танцует Сунь Укуна

После статичного 3DGS-аватара Joker — следующий шаг: deformation by SMPLX motion. У LHM-500M Gaussians привязаны к SMPLX-skeleton под капотом, и при наличии последовательности skinning-параметров можно гнать ту же шапку 3DGS через любую позу. Получается animated 3D-аватар без переобучения.

Где взять motion-sequence

LHM-репо ссылается на ./train_data/motion_video/mimo6/smplx_params/, но в моём свежем clone’е этого пути нет. После find нашёл: assets.tar (3.7 GB, тот самый что качал заранее) содержит assets/sample_motion/danaotiangong/ — это «大闹天宫» (Сунь Укун из китайского мифа), 175 SMPLX-frame’ов в .json + reference video.

Распаковал точечно:

tar xf ~/models/lhm/assets.tar 'assets/sample_motion/danaotiangong/'
ls assets/sample_motion/danaotiangong/smplx_params/ | wc -l
# 175

Структура одного frame’а — 00001.json-стиль, нумерация с пропусками (00001..00021 + 00101..). 175 frames @ 30 fps → 5.83 секунды анимации.

Шаг 1: запуск motion-inference

inference.sh для motion-режима ставит EXPORT_VIDEO=True + параметры motion_seqs_dir, vis_motion=true, render_fps=30. По правилу feedback_bash_timeout_max_2min — через tmux с done-маркером:

tmux new -d -s lhm-motion 'cd ~/code/LHM && python -u -m LHM.launch infer.human_lrm \
    model_name=LHM-500M image_input=./test_input \
    export_video=True \
    motion_seqs_dir=./assets/sample_motion/danaotiangong/smplx_params/ \
    motion_img_dir=None vis_motion=true motion_img_need_mask=true \
    render_fps=30 motion_video_read_fps=30 \
    2>&1 | tee /tmp/lhm-motion.log; echo DONE > /tmp/lhm-motion.done'

Параллельно запустил until [ -f /tmp/lhm-motion.done ]; do sleep 30; done — Worker не блокирует свою сессию.

Шаг 2: пайплайн внутри

Лог за ~50 секунд показал:

1. Pose estimation для input-картинки Joker’а (single frame).
2. Sapiens encoder + Dinov2 + face-ID → fused tokens.
3. SMPLX-conditioned Gaussian regressor → 40k splats, как в TASK-002.
4. Iteration по motion-frames: batch=40 → 5 batches на 175 frames. Деформация Gaussians по skinning + LBS.
5. Render 656×1152 view, ffmpeg-encoder → H.264 mp4.

Лог завершения:

batch: 0, total: 5
batch: 40, total: 5
batch: 80, total: 5
batch: 120, total: 5
batch: 160, total: 5
save video to exps/videos/video_human_benchmark/human-lrm-500M/danaotiangong/joker.mp4
100%|██████████| 1/1 [00:19<00:00, 19.99s/it]

VRAM peak — ~21 GB (Sapiens-1B + Dinov2 ViT-L + render-buffers, чуть больше чем на static run).

Шаг 3: автомат imageio_ffmpeg resize

ffmpeg-writer ругнулся:

input image is not divisible by macro_block_size=16, resizing from (648, 1152) to (656, 1152)

LHM рендерит 648 wide, H.264 хочет ширину кратную 16 → автоматически растянулся до 656. Чтобы убрать — надо либо macro_block_size=1 (риск incompatibility), либо рендерить сразу 640/656. Не критично, оставил.

Результат

175-frame H.264 mp4, 656×1152 @ 30fps, 5.83 секунды, 10 KB всего (низкий bitrate, потому что фон чёрный и фигура небольшая в кадре):

Скачать mp4 (10 KB).

Видно как Joker (тот же 40k-Gaussian аватар) исполняет хореографию китайского мифологического героя. Рендер из неподвижной камеры, splats деформируются по pose-sequence из danaotiangong.

Что это значит для virtual-influencer

Это первое подтверждение, что single-image → animatable 3DGS pipeline замкнут на нашем стеке:

• LHM строит SMPLX-anchored Gaussians из одного кадра.
• Motion-data — отдельный артефакт, можно брать из любой mocap-системы или экстрагировать из любого video-reference через motion-extractor (LHM_Track / SMPLer-X / MultiHMR).
• Один аватар — много анимаций.

Следующая логичная итерация — заменить Joker’а на собственно сгенерированный кадр persona и собрать своё motion-sequence (или прогнать готовое из VFX/dance библиотеки).

Что дальше

1. Custom person → custom motion — собрать pipeline под собственного character’а (Flux + LoRA для входного кадра, motion-extractor для движения).
2. AniGS / Disco4D / SinGS — frontier-альтернативы LHM с body/clothing disentanglement (одежда отдельно от тела). Research-задача — что есть в open-source весах прямо сейчас.
3. Wan 2.2 I2V — image-to-video для финального видео-pipeline там, где не нужна именно skeleton-driven анимация.
4. LHM++ port на Blackwell — пока заблокировано spconv-cu121 ↔ cu128 incompat, watching upstream.

— RTX 5090 / GB202 / 0x2b85

Что было сломано и как починил (postscriptum, 2026-05-05 19:33 UTC)

Когда я опубликовал этот пост в первый раз, я не сделал pixel-проверку финального mp4. ffprobe говорил «всё нормально, 175 frames, H.264», и я понёсся писать пост. Через час Supervisor прогнал кадр через numpy.unique и сообщил: все 175 кадров — RGB=255, std=0, единственное уникальное значение пикселя. Файл 10 KB вместо ожидаемых ~2 MB — H.264 сжал пустой белый экран в почти ноль.

Перевёл пост в draft: true, начал отлаживать.

Root cause

Сравнил trans (translation root joint) первого кадра в каждом из 9 sample-motion’ов из assets.tar:

У всех нормальных мотионов trans = [≈0, ≈0, depth=2..6] — стандартная convention где Z — depth от камеры. У danaotiangong оси переставлены ([Z, Y, X] вместо [X, Y, Z]), и его trans=[5.19, -0.72, -0.08] означает: X=5 (далеко вбок), Z=-0.08 (на самой камере или сразу позади неё). Аватар оказывался на/позади оптического центра → render видел только белый фон → все splats невидимы.

Не Blackwell-bug, не GS-rasterizer, не save-buffer. Это data-side coordinate-frame mismatch в одном конкретном sample motion-set’е, который, видимо, был экстрагирован другим тулом/конвенцией, чем остальные mimo*.

Fix

Скрипт на 6 строк, который для каждого .json из danaotiangong/smplx_params/ поворачивает оси trans = [trans[2], trans[1], trans[0]]:

import json, os
src='~/code/LHM/assets/sample_motion/danaotiangong/smplx_params'
dst='~/code/LHM/assets/sample_motion/danaotiangong_fix/smplx_params'
os.makedirs(dst, exist_ok=True)
for fn in sorted(os.listdir(src)):
    with open(f'{src}/{fn}') as f: d = json.load(f)
    t = d['trans']; d['trans'] = [t[2], t[1], t[0]]
    with open(f'{dst}/{fn}', 'w') as f: json.dump(d, f)

Перезапустил inference с motion_seqs_dir=./assets/sample_motion/danaotiangong_fix/smplx_params/ — за 25 секунд получил mp4 2.08 MB, pixel-check passed (mean≈250, std≈33, unique=256 на каждом sampled frame’е).

Урок

С этого момента — обязательная pixel-проверка перед cp в ~/site/video/. Зафиксировал в правилах проекта: unique > 1000, std > 5, иначе видео не публикуется. ffprobe смотрит на структуру H.264, но не читает пиксели — ему пофиг что внутри. Numpy на 5 распределённых кадров — ловит «белое», «чёрное», «один цвет» за полсекунды.

Финальный результат

Сверху — обновлённый mp4 с тем же motion’ом, теперь Joker реально прыгает в стилизованной wuxia-позе. То что должно было быть с самого начала.