Ученые научили нейросеть предсказывать будущее

Ученые из ФРГ научили нейронную сеть распознавать на видео действия человека и угадывать, чем он будет заниматься через несколько минут. Результаты проведенного исследования будут обнародованы на конференции по компьютерному зрению и распознаванию образов в Солт-Лейк-Сити. Статья с описанием исследования и исходным кодом алгоритма доступна на университетской странице авторов работы.

Помощник шеф-повара всегда знает, что собирается сделать его начальник, какие продукты нужно порезать и какую посуду подать. Для компьютера работа такого помощника до сих пор была почти невозможной. Группа исследователей из университета в Бонне создала искусственную нейронную сеть, способную предсказывать поступки человека, выполняющего обычную работу, в частности занимающегося готовкой.

Для "обучения" нейросети исследователи записали 40 коротких видео, каждое из которых длится около шести минут, — на них разные люди готовили салаты. В каждом из видео повара выполняли порядка 20 действий, которые исследователи на подготовительном этапе описали вручную, например "разбивает яйцо", "добавляет соль" и так далее. Примерно в течение четырех часов компьютер изучал эти записи. В итоге нейросеть научилась предугадывать, что будет делать повар дальше и как долго.

Разработку исследователей можно будет использовать, в частности, для совершенствования системы "умного дома". Алгоритм сможет предсказывать, какие ингредиенты понадобятся в готовке следующими, и подавать команду роботу, который будет доставать их из холодильника. Такой помощник сможет заранее разогревать духовку, давать советы и сообщать, если человек вдруг добавил не те продукты или, например, забыл помешать суп.