Группа учёных из университета Карнеги-Меллона и Калифорнийского университета в Беркли разработали технику извлечения 3D-объектов с фотографий. Их метод позволяет осуществлять всяческие манипуляции с объектами, в том числе вращать их, масштабировать и перемещать в кадре.
Генерация 3D-модели с двухмерного фото — нетривиальная задача. Дело в том, что на фотографии видна только одна сторона объекта. Этого недостаточно для генерации полноценной 3D-модели. Поэтому авторы научной работы использовали публично доступный в интернете каталог 3D-моделей для дополнения невидимых на фотографии частей. Каждую «стоковую» модель программа автоматически адаптирует, чтобы она подходила по размеру и освещению к целой фотографии.
За счёт такого «трюка» стало возможным сгенерировать трёхмерные модели и осуществлять с ними манипуляции, которые недоступны в других графических редакторах.
При «извлечении» 3D-объекта с фотографии на его месте остаётся пустое пространство. Оно заполняется с помощью инструмента Context Aware Fill в редакторе Adobe Photoshop.
