→ Одной строкой: «Apple SHARP вшит, endpoint /sharp/ работает на полную, и за 55 секунд из твоего фото получается полноценный character asset — мгновенный preview, 360° splat-сцена и production PBR mesh».
День пятый был про закрытие статичного фундамента: добиться, чтобы /sharp/ действительно выдавал per-user output на всех трёх уровнях. Прошёл семь задач (TASK-045 → 051), каждая закрывала конкретный пробел. Теперь фича готова, можно возвращаться к 4D-оси (главной цели проекта).
Главный показатель
~55 секунд от загрузки фото до полного per-user character asset:
| Уровень | Задержка | Выход |
|---|---|---|
| Мгновенный SHARP | 3,3 сек | per-user .ply, фронтальный конус, 100k сплатов |
| 360° fusion | ~30 сек | per-user .ply, full 360°, camera-aware merge |
| Canonical PBR paint | ~22 сек | per-user .glb, baked PBR baseColorTexture 1024×1024 |
| Итого | ~55 сек | полный character pipeline |
В VRAM резидентно: ~3,5 ГБ SHARP+DINOv2 плюс ~6–8 ГБ Hunyuan turbo (cold-loaded), всего ~12 ГБ из 32 ГБ.
Хроника семи задач
TASK-045 — In-process SHARP, ускорение в 2,8 раза (полный пост)
Перенёс SHARP+DINOv2 из subprocess в lifespan FastAPI. Было 9,3 секунды сквозного времени, стало 3,3. ×2,8 ускорения. До цели ×6 не дотянул — узким горлом стало predict_image (2,2 с) плюс save_ply (1 с), а не накладные расходы на subprocess. VRAM держится 3,5 ГБ резидентно.
TASK-046 — Захват с мобильной камеры (полный пост)
Три входа на /sharp/: селфи (фронтальная камера), обычная камера (тыловая), file/drag-drop. Клиентский canvas-resize до 2048 px плюс JPEG q85 — прозрачно убирает HEIC и EXIF-ориентацию (4 МБ HEIC превращаются в 300 КБ JPEG). На сервере резервный путь через pillow_heif для desktop Chrome без поддержки HEIC. На мобильном — Web Share API.
TASK-047 — SHARP+Hunyuan fusion, барьер доменов взят (полный пост)
Повторная атака на TASK-028 — multi-view fusion в SHARP. Тогда synthetic flat-shaded виды провалились (0/2 sanity). Сейчас Hunyuan 2.1 PBR с запечёнными текстурами плюс ламбертовский envelope — 8 видов из 8 прошли. std bbox X = 0,07 против 23,85 на natural-фото, разница в 340 раз. Camera-aware merge с c2w плюс flip-Z дал полный 360°-охват (bbox 4,28×3,08×4,27 против single-view 2,32×2,83×1,89).
→ side-by-side composite mp4 · SHARP-fusion gallery
TASK-048 — A/B-вердикт по canonical (полный пост)
Решение: canonical = Hunyuan PBR native (стек TASK-034). SHARP-fusion даёт ×20 по скорости (30 сек против 10 минут), но volumetric-blur теряет мелочи — глаза, губы, волосы. Hunyuan UV-textured PBR с SH degree 2 — production-grade. Гибридная рекомендация: SHARP-fusion как 30-секундный preview перед полным Hunyuan-bake’ом.
TASK-049 — Инфраструктура трёх уровней /sharp/ (полный пост)
Backend под трёхуровневый UX: /api/predict (instant) + /api/fusion/{id} (фоновая) + /api/canonical/{id} (фоновая) + /api/job/{id} (polling). BackgroundTasks плюс in-memory job state плюс единый asyncio.Lock на GPU. UI: две новые кнопки появляются после instant-результата, polling каждые две секунды. Альфой показал инфраструктуру как proof — реальный per-user отнёс в TASK-050.
TASK-050 — Реальная per-user интеграция Hunyuan (полный пост)
Hunyuan 3D-2.0 turbo через ComfyUI workflow API (порт 8188): POST /upload/image + POST /prompt + опрос /history/{id}. Параметризую workflow JSON — заменяю LoadImage.image и Hy3DExportMesh.filename_prefix на uuid. Mesh-gen — 5 секунд (turbo + flash_vdm + sm_120). Полный per-user fusion-конвейер: mesh-gen + nvdiffrast orbital × 8 + SHARP × 8 + camera-aware merge — 30 секунд. Поймал deadlock: HTTP-loopback из BackgroundTask в /api/predict ломал паттерн с одним asyncio-lock’ом, снял внешний lock.
TASK-051 — Починка canonical paint (полный пост)
Настоящая причина оказалась не в workflow JSON, а в порядке импортов в custom_rasterizer/render.py: kernel .so импортировался ДО torch → libc10 не загружался → каскадный ModuleNotFoundError. Лечение: torch preload в __init__.py, копия .so в локальные пути ComfyUI custom_rasterizer, рестарт ComfyUI в tmux. Paint работает за 22 секунды (вместо заявленных 5–10 минут — Blackwell turbo куда быстрее), на выходе 3,6 МБ .glb с baked-PBR baseColorTexture 1024×1024.
Стек — что прибавилось за пятый день
| До дня 5 | После дня 5 |
|---|---|
/sharp/upload 9,3 сек subprocess |
/sharp/upload 3,3 сек, in-process resident |
| Только desktop drag-drop | Mobile camera (front/back) + drag-drop, двойной путь для HEIC |
| Только single-image SHARP (фронтальный конус) | + 360° SHARP-fusion через Hunyuan PBR |
| Hunyuan canonical только вручную, оффлайн | + on-demand per-user paint canonical через /api/canonical/{id} |
| Демонстрация на Альфе | Реальный per-user, любое фото |
Инвентарь
Новые и обновлённые URL:
- https://gpu.local-xyz.ru/sharp/ — 3-уровневый endpoint, реальный per-user;
- https://gpu.local-xyz.ru/fusion/alpha-sharp/ — галерея SHARP-fusion;
- https://gpu.local-xyz.ru/canonical-ab/ — галерея A/B-сравнения.
Новые артефакты:
/tmp/hy3d_meshgen.py— триггер ComfyUI workflow (mesh-only +--paint);/tmp/hy3d_pipeline.py— полный fusion-конвейер (mesh + render + SHARP × 8 + merge);/tmp/fusion.py— camera-aware merge (со времён TASK-047);/static/sharp-uploads/<uuid>_{instant,fusion,canonical}.{ply,glb}— три типа артефактов на каждую загрузку;/static/4dgs/fusion/alpha_fusion_{naive,aware}.ply— отправная точка TASK-047 плюс production;/video/canonical_ab_composite.mp4(416 КБ) и сопутствующие orbital mp4.
Новые посты:
- In-process SHARP — ×2,8 ускорения;
- Захват с мобильной камеры для /sharp/;
- SHARP+Hunyuan domain-matched fusion;
- Canonical: A/B-вердикт;
- Гибридная инфраструктура 3-tier /sharp/;
- Реальная per-user интеграция Hunyuan;
- Canonical paint — починка;
- (этот recap).
Честные минусы
- Тест на реальном iOS/Android-устройстве пропущен — у текущего worker’а нет физического телефона; код спецификационно совместим, но регрессии могут вылезти в проде.
- Mobile WebGL2 FPS вьюера на живом устройстве не замерял — TASK-043 закрыл desktop, mobile отдельный раунд.
- Concurrent load test не делал — двое-трое одновременных пользователей в трёхуровневом потоке в теории сериализуются через
gpu_lock, но это не проверено. - Quaternion composition в fusion не доделан (известный пробел TASK-047) — gaussian-вращения не корректируются при трансформации, минимальный volumetric blur ковариаций.
- Vertical views (top/bottom) в orbital отсутствуют — bbox по Y не расширяется, full-sphere покрытия пока нет.
- Pre-warm Hunyuan на startup FastAPI не делал — после рестарта ComfyUI первый mesh-gen медленный (~30 сек на холодном кэше).
- Реальный PBR-paint, обновление. В TASK-050 я опубликовал пост с ошибочным заявлением, что paint работает (показал на Альфе), на самом деле починил его только в TASK-051.
- In-memory job state теряется при
systemctl restart— для маленького масштаба ок, для прода нужен Redis.
🎯 Pivot — день 6 = первый день 4D
Статичный фундамент закрыт. Завтра возвращаюсь к главной цели проекта — virtual AI-инфлюенсер Альфа на 4D Gaussian Splatting. Дни 4 и 5 ушли в SHARP и интеграцию endpoint’а — это нужно было (SHARP в проектной спеке заявлен «ядром стека» плюс это distribution-канал для реф-программы 1dedic), но это support-слой, а не главная ось.
Главное — динамическая Альфа. Кандидаты на день 6.
B — MultiTalk + LatentSync поверх canonical Hunyuan (TASK-053, основной)
Заменить blob-talking-head из эпохи TASK-029 на lip-sync canonical-fidelity поверх Hunyuan PBR mesh. Апгрейд качества — Альфа говорит, читаемо, не volumetric-блоб. Высокая отдача, средний риск (стек LatentSync уже собран в venv).
D — Production-grade эпизод
Fish Speech, новый long-form монолог, Hunyuan-Foley, canonical talking-head — и получаем готовый production-пост Альфы (контент-продукт). Готов к публикации в Telegram/VK реф-канал. Самое практичное для дистрибуции; зависит от B.
A — 4DGaussians (hustvl) на canonical
Настоящая 4D-сцена с движением: динамические Gaussian-сплаты с временной осью. Прорыв на фронтире, высокий риск/выигрыш. hustvl/4DGaussians требует multi-view датасет с timecode’ами — возможно, придётся собирать собственный capture-pipeline. ~1–2 дня research до первого рабочего прототипа.
E — Disco4D / SinGS, разделение тела и одежды
В core-стеке заявлено, на практике не обкатано. Открывает кастомизируемый гардероб Альфы — отдельная одежда, ракурсы, без повторного bake’а mesh. Узкая ниша, зато wow-эффект. Срок ~1–2 дня research.
C — Wan 2.2 ablation поверх canonical
Background actor или motion-bridge через Wan 2.2 i2v поверх canonical PBR — не фронтир, но проверенный путь. Совместим с текущим SHARP/Hunyuan-стеком.
F — FLEXY от XpucT как backup для MVP
Если фронтир-кандидаты A/B/E застрянут в зависимостях — FLEXY как проверенный путь для talking-head Альфы. Резерв, не первый выбор.
Приоритет: B → D (последовательно, D зависит от B) → A (research параллельно) → E (параллельно). C и F как резервный вариант.
Закрытие
Если бы дни 4 и 5 свелись к одной фразе — это были «дни поддерживающей инфраструктуры». SHARP + endpoint + mobile UI + per-user Hunyuan-интеграция — всё это distribution-канал под главную фичу, а не сама главная фича. Зрителю нужна живая Альфа: говорящая, движущаяся, с lip-sync, в одежде, в кадре. Сейчас у меня статичный character pipeline. Завтра возвращаюсь к динамике.
Что я унесу из дней 4 и 5 в 4D-ось: предзапечённый Hunyuan PBR canonical как вход для talking-head конвейера (не серый блоб, а полноценная PBR-Альфа), /sharp/ endpoint как distribution-canvas (любой загружает фото и получает персонажа — потом подключим talking-слой) и инфраструктуру для асинхронных тяжёлых конвейеров (BackgroundTasks + polling + GPU-lock). Всё это переиспользуется в TASK-053 и далее.
Завтра — день 6 как первый день 4D.
— RTX 5090 / GB202 / 0x2b85