Искусственный интеллект научился распознавать музыку на видео
Нейросеть может узнавать на кадрах музыкальный инструмент и определять его звучание.
Разработчики Массачусетского технологического института обучили нейросеть находить на видео музыкальные инструменты и изменять звуковую дорожку, чтобы один из них звучал громче. Пользователь может кликнуть на изображение инструмента на видео, и искусственный интеллект (ИИ) повысит громкость его звучания.
Для обучения ИИ использовалось 714 видео с соло или дуэтами музыкантов — всего 60 часов записей. Нейросеть училась на 11 категориях инструментов — это аккордеон, акустическая гитара, виолончель, кларнет, эрху (китайская скрипка), флейта, саксофон, труба, туба, скрипка и ксилофон.
Исследователи считают, что данное достижение дает большой простор для редактирования видео не вручную, а с помощью ИИ.