Ещё пару лет назад 3D-модель можно было получить тремя способами: нарисовать в CAD, отсканировать или скачать готовую. Теперь появился четвёртый — описать предмет словами или показать фотографию, и нейросеть соберёт объёмную сетку за несколько минут. Разбираемся, как это устроено, что такие модели умеют и где их пределы.
Почему 3D сложнее картинок
Генераторы изображений учились на миллиардах картинок из интернета. С трёхмерными моделями так не получится: крупнейшие открытые наборы 3D-объектов вроде Objaverse насчитывают миллионы моделей, а не миллиарды, и качество у них очень разное. Кроме того, у картинки одно представление — сетка пикселей, а у 3D-модели их много: полигональная сетка, облако точек, воксели, неявные функции. Каждое удобно для одного и неудобно для другого.
Поэтому первые удачные подходы опирались не на 3D-данные, а на уже обученные 2D-модели: они много знают о том, как предметы выглядят с разных сторон, — эти знания можно «вытащить» в объём.
Три поколения подходов
Оптимизация через 2D: DreamFusion и наследники
В 2022 году Google показала DreamFusion. Идея — взять пустую трёхмерную сцену (нейронное поле излучения, NeRF), рендерить её со случайных ракурсов и спрашивать у генератора картинок: «похоже ли это на “деревянный стул” с этой стороны?». Ответ превращается в поправку, сцена шаг за шагом приближается к описанию. Метод работал без единой 3D-модели в обучении, но одна генерация занимала около часа на мощной видеокарте, а результат страдал «проблемой Януса» — лицо появлялось сразу с нескольких сторон.
Многоракурсная генерация и реконструкция
Следующий шаг — научить генератор рисовать сразу несколько согласованных видов одного предмета: спереди, сбоку, сзади, сверху. Затем отдельная сеть-реконструктор (например, из семейства Large Reconstruction Model) за секунды собирает по этим видам объём. Так работают многие сервисы «картинка → 3D»: сначала изображение, потом виды, потом сетка.
Это родственник классической фотограмметрии, о которой мы писали в статье про 3D-сканирование, только недостающие ракурсы не фотографируют, а «додумывает» нейросеть.
Нативные 3D-генераторы
Самые свежие модели — Hunyuan3D от Tencent, TRELLIS от Microsoft, TripoSR и их преемники — учатся прямо на 3D-данных. Они кодируют форму в компактное «латентное» пространство и генерируют её диффузией, как генераторы картинок генерируют пиксели. Обычно работа разбита на два этапа: сначала форма (геометрия), затем текстура. Для 3D-печати важен в первую очередь первый.
Что получается на выходе
Нейросеть не знает, что пальцы фигурки толщиной 0,3 мм не напечатаются, а у кружки должна быть ровная донная плоскость. Поэтому перед печатью модель проверяют: замкнута ли сетка, нет ли слишком тонких стенок, на что она будет опираться на столе.
Где AI-генерация уже полезна
- Фигурки и сувениры. Органические формы — животные, персонажи, декор — получаются лучше всего: им не нужна инженерная точность.
- Быстрый набросок. Показать идею дизайнеру или заказчику проще объёмом, чем словами.
- Заготовка для доработки. Сгенерированную форму можно открыть в Blender и довести руками — это быстрее, чем лепить с нуля.
- Модель по фото. Статуэтка, игрушка, предмет без чертежей — фотография даёт стартовую геометрию.
Где пока не стоит
Детали, которые должны куда-то вставляться, — корпуса, крепления, шестерни — нейросеть сделает «похожими», но не точными. Отверстие под подшипник окажется 21,7 мм вместо 22, а стенка — кривой. Для таких задач по-прежнему нужен CAD, о программах для него — в нашей статье «С чего начать 3D-моделирование». Ещё одно ограничение — авторские права: генерация «по мотивам» узнаваемого персонажа не делает его свободным для продажи.
Хорошее правило: AI — для формы, CAD — для размеров. Если предмет должен «на что-то налезать», моделируйте его по штангенциркулю.
Как попробовать
В Sloiko есть свой AI-генератор: опишите предмет словами или загрузите фото, выберите понравившийся вариант картинки — и получите 3D-модель, которую сразу можно отправить в печать. Сервис проверит сетку и посчитает цену, а модель можно поправить текстовым запросом: «сделай подставку шире», «убери надпись».
Уже есть сгенерированная модель?Загрузите GLB или STL — проверим сетку и посчитаем цену печати.
Рассчитать печатьИсточники
- DreamFusion: Text-to-3D using 2D Diffusion — Poole et al., 2022
- Objaverse — открытый набор 3D-объектов, Allen Institute for AI
- TRELLIS: Structured 3D Latents — Microsoft
- Hunyuan3D 2.0 — Tencent
- Neural radiance field — Wikipedia
Иллюстрации
- Обложка — Colin Kranz, CC BY-SA 4.0
- Каркас модели лица, восстановленной по 71 фотографии методом фотограмметрии — Okhrimenko Roman, CC BY 4.0
_and_Mesh_(right)_from_Meshroom_-_visualization.png){kind=link}
