Черепаха - это винтовка: Студенты MIT обманули ИИ Google

Черепаха - это винтовка: Студенты MIT обманули ИИ Google

Но легко ли обмануть эти сверхсложные высокотехнологические системы? На этот вопрос и попытались ответить группа студентов небезызвестного Массачусетского технологического института (Massachusetts Institute of Technology; MIT).

В рамках соответствующего исследования студенты занялись поиском надежного и эффективного инструмента, позволяющего обманом заставить нейросеть увидеть в коте, например, корову. То есть, ошибочно принять один объект или предмет за другой.

Исследователи использовали специфическую технику под названием «adversarial examples» – устоявшегося перевода на русский для этого термина нет, дословно можно перевести как примеры с противопоставлением/соперничающие примеры. Под этим термином скрываются изображения, звуки, текст, которые людям кажутся вполне обычными, машины видят их совершенно по-другому. Обманные изображения могут ввести глубинную нейросеть в заблуждение и принять одно за другое. Подобные обманные изображения создаются путем наложения на обычное изображение специфического «невидимого» слоя со случайным узором.

Справедливости ради отметим, что техника эта не доскональная, поскольку чувствительна к различным воздействия: масштабирование, кадрирование, поворот на определенный угол или прочие изменения могут ослабить обманный эффект и привести к правильному определению изображения. Авторы исследования ставили задачу создать обманное изображение, которое будет работать при любых условиях. И надо сказать, они добились определенных успехов.

Созданный студентами алгоритм показал высокую эффективность, причем как применительно к обычных плоским изображениям, так и к 3D-моделям. Обработанные им изображениями могут обмануть ИИ вне зависимости от ракурса. Студентам удалось обмануть систему ИИ Google Inception v3, заставив ее увидеть в напечатанной на 3D-принтере черепахе винтовку. 

Это важно в первую очередь потому, что одним ИИ Google эта проблема не ограничивается. Любая система ИИ на глубинной нейросети потенциально уязвима для такого рода атак.

Безусловно, системы искусственного интеллекта – одна из главных тенденций в IT-индустрии в последние годы и едва ли в ближайшем будущем что-то изменится. В то же время даже современные системы ИИ далеко не всегда работают хорошо.

Взять хотя бы недавний случай с системой ИИ в смартфонах Apple, которая умеет автоматически определять, что изображено на снимке, и группировать изображения по категориям. Только полное понимание того, каким образом можно обманывать подобные системы, позволит разработать соответствующие защитные механизмы и избежать серьезных проблем в будущем.


Самое читаемое сегодня

Главные новости дня