Ученые научились вычислять дипфейки по глазам

Ученые из США нашли новый метод, который позволит отличить дипфейковое изображение от настоящего. Он базируется на сравнении отражений в глазах человека, сообщает arXiv.org.

За последние годы технология подмены лиц на фотографиях сильно продвинулась. Подобные подделки уже сложно отличить не только людям, но и алгоритмам. Дело даже дошло до того, что некоторые государства стали принимать законы, запрещающие дипфейки. Сейчас выявить фейковые фото можно только по небольшим артефактам на изображениях.

Исследователи из Университета Баффало под руководством Сывея Люя смогли обнаружить очередной недостаток дипфейков, который позволит отличить его от обычного снимка. Это отражения в глазах. Из-за того, что глаза человека расположены значительно ближе друг к другу, чем источник света, на реальном фото отражения в обоих глазах практически одинаковы. Исключение может составить случай, когда свет падает только на один глаз.

При этом дипфейковые алгоритмы не имеют физических ограничений, которые описывают поведение отражений. Это приводит к тому, что отражения в глазах разнятся гораздо сильнее.

Опираясь на эти знания, ученые разработали алгоритм, способный автоматически определить дипфейки по отражениям. Он размечает на лице ключевые точки, а потом на их основании вырезает область, которая ограничена радужной оболочкой. Затем алгоритм начинает превращать пиксели с яркостью выше пороговой в черные, а остальные — в белые. По итогу получается две картинки с формой отражений, между которыми рассчитывается схожесть по коэффициенту Жаккара. Исследователи заверили, что точность их метода составляет 94%.

Однако авторы заявили, что столь высокого результата удалось добиться благодаря портретному расположению лица и яркому освещению. Если применять метод к фото, где не имеется явных отражений, то эффективность значительно снизится.

Ранее людям предрекли опасность порно и дипфейков в 2021 году.