Как ИИ помогает в генерации 3D-моделей
Нейросети упрощают генерацию: пользователь загружает фото, добавляет описание текстом в чат GPT-модели. После этого ИИ создает объект, который можно экспортировать на движок, редактор или в формат STL для печати на 3D-принтере.
Например, эту модель можно отправить в печать прямо из сервиса:
За несколько секунд нейросеть делает следующее:
- анализирует форму и структуру;
- строит геометрию;
- переводит объект в нужный формат.
Эти функции незаменимы в геймдеве, AR и VR (когда нужны десятки текстур для виртуальных сцен). Однако пока что китайские и другие нейросети подходят, чтобы сделать прототипы, которые скорее всего придется дорабатывать.
Механизм генерации в нейросети
На первый взгляд создание выглядит простым, но на самом деле внутри ИИ работают сложные алгоритмы.
Сочетание технологий, которое используют большинство нейросетей для генерации 3D:
- NeRF (Neural Radiance Fields). Восстановление трехмерной сцены из нескольких изображений, алгоритм анализирует фото с разных ракурсов и строит объемную структуру объекта.
- Анализ структуры формы предмета после обучения на миллионах моделей.
- Превращение формы объекта в mesh (сетку из полигонов), которая становится полноценной моделью.
Готовый результат сохраняется в форматах OBJ, FBX, GLB, STL (для 3D-печати).
Главные фичи AI для создания 3D-моделей
В нейросетях для генераций персонажей, текстур пользователи особенно ценят функцию создания из текста и изображения. Также имеет значение наличие авто-риггинга (разработка скелета героя для дальнейшей анимации), PBR-текстур (реалистичная визуализация материалов, поверхностей).
Еще одна важная функция таких нейросетей состоит в возможности генерации из разных референсов:
Ниже — краткое описание возможностей разных ИИ-сервисов для генерации и анимации объектов:
| Нейросеть | Главная особенность AI |
| Meshy AI | Реалистичные текстуры, авто-риггинг, адаптация формата под Unity, Blender |
| Tripo AI | Быстрая генерация скелетов персонажей, фотореалистичность (благодаря v3.0 Ultra) |
| Hunyuan 3D | Создание готовых моделей с реалистичными текстурами в 4K, адаптация формата под Unity, Blender |
| Trellis | Генерация по фото-референсу, авто-удаление фона, создание объектов с обычными 3D-сетками, облаками точек |
| Meshcapade | Создание реалистичной цифровой копии человека по фото, видео, которая естественно двигается |
| Krea | Мгновенная адаптация объекта под нужный визуальный стиль |
| Нейрохолст | Генерация моделей из текста, по фото с помощью нескольких ИИ-сервисов |
| Leonardo AI | Покрытие объекта цветом по текстовому описанию |
| Hedra | Оживление изображений |
| Rodin | Генерация на основе фото |
Нейросети также отличаются интерфейсом. Например, один из самых простых — у Rodin AI.
Выбирать ИИ также стоит по функции риггинга персонажей, иначе герой просто будет стоять как статуя, анимация будет невозможной.
Что можно делать бесплатно в ИИ
Чем больше функций доступно в пробном периоде, тем вы быстрее поймете, подходит вам нейросеть или нет. Подробнее об особенностях free-периода в AI-сервисах для генерации 3D:
| Нейросеть | Что доступно в бесплатном аккаунте |
| Meshy AI | Доступно 100 кредитов при регистрации, функции text-to- и image-to-3D |
| Tripo AI | Начисление 300 кредитов за месяц, создание по тексту и фото, авто-риггинг, экспорт GLB, OBJ |
| Hunyuan 3D | Локальная модель Tencent, поэтому можно полностью использовать бесплатно |
| Trellis | Доступно image-to-3D, базовое редактирование, экспорт в OBJ, GLB |
| Meshcapade | Доступно 25 попыток создания |
| Krea | Доступно 10-20 генераций за день, экспорт текстур в PNG |
| Нейрохолст | Доступно 25 запросов |
| Leonardo AI | Редактирование объекта по цвету, блеску в формате OBJ |
| Hedra | Начисление 100 кредитов на free-аккаунт |
| Rodin | Доступно несколько генераций в месяц по фото, скачивание моделей |
Генерация 3D-моделей все еще довольно сложная функция для ИИ, поэтому не все нейросети предоставляют пробный период. Новичкам рекомендуем начинать с AI-сервисов, у которых больше free-возможностей.
Отличия в тарифах
Чем реалистичнее модель, тем выше стоимость подписки. Чем отличаются тарифы разных ИИ-сервисов:
| Нейросеть | Какие тарифы есть |
| Meshy AI | Pro: 1000 кредитов Studio: 4000 кредитов, командный доступ |
| Tripo AI | Starter: 1000 кредитов Pro: 4000 кредитов + риггинг |
| Hunyuan 3D | Нет тарифов, т.к. локальная нейросеть |
| Trellis | Base: 3600 кредитов Pro: 9600 кредитов, увеличение скорости генерации Max: 24000 кредитов, увеличение скорости создания Ultra: 36000 кредитов, увеличение скорости генерации |
| Meshcapade | Информации о тарифах нет |
| Krea | Pro: неограниченные функции + API |
| Нейрохолст | Мини: 50 генераций Базовый: 200 попыток создания Профессионал: 400 генераций 1000 за 1000: 1000 попыток создания |
| Leonardo AI | Essential: 25 500 токенов, 10 нейросетей Premium: 75 000 токенов, 20 ИИ-моделей Ultimate: 180 000 токенов, 50 нейросетей |
| Hedra | Basic: дополнительные нейросетиCreator: неограниченный доступ к ИИ-моделям и клонирование голоса Professional: увеличение лимита на клонирование голоса, быстрая очередь |
| Rodin | Creator: создание из нескольких фото-референсов, HD-текстуры Business: доступ к API, текстуры 4К |
В большинстве случаев платные тарифы нейросетей также открывают возможность коммерческого использования моделей. Это важный пункт, если собираетесь зарабатывать на созданном контенте.
Какую выбрать нейросеть для работы с 3D-объектами: локальную или онлайн
Оба варианта подходят под разные задачи. В онлайн-нейросетях генерация происходит на сервере, поэтому работать можно даже на не очень мощном ПК. А еще в подобных сервисах часто есть пространство, куда выкладывают работы другие авторы, которыми можно вдохновиться:
Локальные же сервисы позволяют работать без подключения к сети, но при этом требуют минимум 8-16 ГБ оперативной памяти, мощную видеокарту (желательно NVIDIA). Если вы только начинаете путь в геймдизайне, лучше выбрать онлайн-сервис.
Преимущества создания 3D-модели в AI
Главное преимущество — скорость. Если раньше базовую модель делали несколько часов, то сейчас нейросеть может создать ее за несколько минут.
Например, этот домик получилось создать буквально за 2 минуты:
Какие еще плюсы есть у создания 3D-объекта с помощью ИИ:
- десятки вариантов готового объекта за короткое время;
- удобный интерфейс;
- автоматическое выстраивание окружения сцены;
- поддержка разных форматов: STL, OBJ, FBX, GLB.
Нейросети снижают порог входа в геймдизайн. Если раньше новичку приходилось изучать топологию, моделирование, UV-развертку, то сейчас можно начать с формулировки запросов.
Недостатки работы с 3D в нейросетях
Несмотря на все плюсы у AI-разработки есть серьезные ограничения. Например, частая проблема кроется в неправильной сетке, пересечениях. В этом случае помогает только исправление вручную.
Если делать объект по текстовому описанию, то вероятность ошибок, ломаных линий выше. Например, этот тюльпан мы делали на основе промпта с текстом:
Другие минусы создания в ИИ:
- ограниченная точность, упрощение формы сложных предметов, потеря деталей;
- слабая оптимизация: генерация слишком «тяжелой» геометрии;
- ограничения бесплатных сервисов на количество попыток создания.
В большинстве случаев для полноценной работы с AI-сервисами требуется подписка. Кроме того, многие программы предоставляют ограниченные возможности для редактирования.
Что в итоге
Генерация в нейросетях развивается быстро, но важно понимать, что у технологии существуют свои ограничения.
AI пока не заменяет художников, а создает основу, которую человек доводит до финального качества. Для чего подойдут нейросети для 3D:
- прототипирования объектов;
- разработки концептов;
- подготовки моделей для печати;
- быстрого наполнения сцен.
Главный тренд состоит в объединении нескольких AI-инструментов в одном сервисе. Например, генерация изображения, превращение его в 3D-объект, авто-создание текстур и анимация. Все это позволит делать персонажей, окружение сцен в ИИ еще быстрее.