Нейросеть научилась создавать миры в 3D без посторонней помощи

Ученые создали нейросеть, которой не нужны дополнительные данные для обучения. Об этом сообщает Science.

Программистам удалось создать сеть, которая самостоятельно исследует развернутую перед ней сцену и сама "додумает" расположение того или иного объекта при незнакомом ракурсе. В распоряжении сети большой набор изображений для обучения. Обычно на разработку подобных материалов уходит много времени и в результате многие сцены оказываются упущены, что ограничивает алгоритмы машинного зрения.

В данном случае разработчики сделали более "человечный" подход. Они создали среду, в которой агент самостоятельно наблюдает трехмерную сцену с нескольких ракурсов, а затем делает ее рендеринг с другого, произвольного угла обзора.

Опыты показали, что нейросеть весьма успешно воспроизводит реалистичные сцены без знания законов перспективы, освещения или окклюзии. Также алгоритм способен подсчитывать количество объектов и классифицировать их, даже если они до конца не видны. В итоге предсказания программы выглядят очень естественно и почти неотличимы от оригинала.