В OpenAI показали, как обмануть нейросеть бумажкой с надписью +15


AliExpress RU&CIS

Исследователи OpenAI рассказали, что они открыли простой способ обмануть свое собственное программное обеспечение для распознавания объектов. Для этого требуются всего лишь ручка и бумага.

Новейшую модель компьютерного зрения CLIP оказалось просто обмануть с помощью так называемой «типографской атаки». Если написать «iPod» или «пицца» на стикере и приклеить его к яблоку, то CLIP ошибочно классифицирует фрукт как плеер или блюдо.

Руководители проекта отметили, что «эта атака работает без ограничений» и «для нее не требуется серьезных технологий».

CLIP оказалось не единственным ПО, которое попалось на простую уловку. Ранее исследователям с помощью липкой ленты удалось обмануть автопилот Tesla и заставить его неправильно интерпретировать знак «35 миль в час» как знак «85 миль в час».

Модель OpenAI была обучена с использованием изображений текста, а также изображений объектов из Интернета. Этот подход применили для того, чтобы CLIP оставался универсальным без переобучения.

По словам представителей OpenAI, CLIP может изучать абстрактные концепции в различных представлениях. Например, модель может распознать Человека-паука, когда супергерой изображен на фотографии, в виде эскиза или описан текстом. Распознавание происходит с помощью так называемых мультимодальных нейронов.

Однако сильная сторона модели, которая заключается в ее универсальности, превращается в недостаток, поскольку мультимодальные нейроны не могут распознать яблоко, если видят слово «пицца».

OpenAI заявила, что CLIP пока используется только для исследовательских целей, и компания все еще думает над тем, публиковать ли ее код.

Подробнее о работе нейросети можно прочитать здесь.




Комментарии (22):

  1. v1000
    /#22778082 / +7

    Если на клетке слона прочтешь надпись: буйвол, — не верь глазам своим (с) Козьма Прутков

    • NikS42
      /#22782118

      К слову, помню, видел в зоопарке мать, которая показывала детям барсуков, рассказывая о среде их обитания, рационе и прочих любопытных фактах, зафиксированных на табличке. И все бы здорово, но в клетке в этот момент сидели фенеки. Так что, можно сказать, ИИ работает достаточно достоверно

  2. MikeVC
    /#22778104 / +5

    Чтоб ИИ был интелектным, он должен понимать СУТЬ вещей и явлений.
    А до этого далеко как до Луны пешком…

    • vedenin1980
      /#22778124 / +4

      C пониманием СУТЬИ вещей и явлений у большинства ествественных интеллектов тоже все плохо.

    • Goupil
      /#22778158

      Чтобы ИИ понимал суть вещей и явлений, он должен не уступать по сложности хотя бы мозгу пчелы. Пока до этого очень далеко.
      Но указанная проблема связана скорее с обучающей выборкой, где аннотация почти полностью совпадает с классом, чем с архитекторуй нейросети. Как вариант перед обучением надо просто размывать подписи на рисунках.

      • Alexus819
        /#22786862

        у пчелы нет МОЗГА. Кучки сплетений нервов — ганглии вот чем «думает» пчела. русская Викимедиа конечно пишет про мозг пчел но это просто такая аналогия что ли.

    • vics001
      /#22778260

      Суть проста — бей или беги, ИИ это и не надо.

    • BlackMokona
      /#22778358 / +1

      В этом примере у ИИ всё хорошо с распознанием, проблема в том что его ответ крайне ограничен.
      У него нету расширительной приставки "надпись". Чтобы он мог писать надпись Ipod,

      • Serg10
        /#22781042

        Нет, он говорит, что эта надпись — это и есть фрукт. То есть набор букв == яблоку

    • NeoCode
      /#22778388 / +1

      В статье не ИИ, а нейросеть. Так что поведение будет зависеть от того как нейросеть обучена. Если бы ее обучили распознавать бумажки, она бы и выдала «бумажка».
      А в данном случае просто смешали распознавание предметов и текста, что разумеется неправильно, и как раз таки является примером работы с «сутью» вещей, то есть не просто сопоставлению входной картинки и числа на выходе, а декомпозиции и выдаче какого-то семантического дерева.

  3. tmin10
    /#22778126 / +7

    Хм, порчей знака можно не только автопилот обмануть, но и реальных водителей. Только это не считается уязвимостью водителей...

    • Shpankov
      /#22778204

      Это уже уязвимость в системе.

    • Halt
      /#22778334

      Дьявол в деталях. Если достаточно информации и освещение хорошее, то человек поймет, что кусок ленты, наклеенный поверх и соединяющий хвостики цифры 3 это нифига не органичная часть цифры 8. Тогда как модели, опирающейся только лишь на признаки, этого достаточно.


      Немного классики

      — Где он? — завопил Модест, озираясь.
      — Вот, — сказал Роман, показывая на диван.
      — Не беспокойтесь, стоит на месте, — добавил Корнеев.
      — Я спрашиваю, где этот ваш… программист?
      — Какой программист? — удивился Роман.
      — Вы это прекратите, — сказал Модест. — Здесь был программист.
      Он стоял в брюках и без ботинок.
      — Ах, вот что вы имеете в виду, — сказал Роман. — Но мы же пошутили,
      Модест Матвеевич. Не было здесь никакого программиста. Это было просто…
      — Он сделал какое-то движение руками, и посередине комнаты возник человек
      в майке и в джинсах. Я видел его со спины и ничего о нем сказать не могу,
      но юный Ковалев покачал головой и сказал:
      — Нет, это не он.
      Модест обошел призрак кругом, бормоча:
      — Майка… Штаны… Без ботинок… Он! Это он.
      Призрак исчез.
      — Да нет же, это не тот, — сказал сержант Ковалев. — Тот был молодой,
      без бороды…
      — Без бороды? — переспросил Модест. Он был сильно сконфужен.
      — Без бороды, — подтвердил Ковалев.
      — М-да… — сказал Модест. — А по-моему, у него была борода...

    • Rsa97
      /#22778526

      Вот один из первых экспериментов. Нейросеть распознавала такой знак как ограничение скорости 45 mph.
      image

    • shaggyone
      /#22780640

      У реальных водителей ещё несколько степеней защиты есть. Глаз скорее всего распознает подмену, если не распознает, скорее всего водитель ездит по маршруту регулярно, и знает какой тут знак. Ну и… «не может быть знака 85 миль в час в городе», либо «не может быть в этом городе» и т.п.

  4. gagarinas
    /#22778330 / +2

    А если яблоками сложыть слово iPod?

    • perfect_genius
      /#22778578 / +1

      "сложыть" — это атака на нейросеть читателя?

      • gagarinas
        /#22778864

        Без права правки. Сложить. 2 раза «ку».

  5. fivehouse
    /#22778402

    А что вы хотите от правил (выражений) построенных тупым алгоритмом оптимизации? От того, что он может оптимизировать миллиарды переменных ни понимания, ни самокритики, ни построения структуры сцены распознавания у него ни откуда не появится все равно. Это все равно тупая доска с дырками для пристраивания кубиков разной формы. Хоть и с миллионами дырок, и дырки могут немного модифицироваться. Уверен, что найдется еще тысячи способов обмана такой тупой конструкции.
    Goupil

    Чтобы ИИ понимал суть вещей и явлений, он должен не уступать по сложности хотя бы мозгу пчелы. Пока до этого очень далеко.
    Тут явно проблема с так называемым здравым смыслом. Это сотни тысяч невербальных правил усваиваемых человеком на протяжении взросления. И с умением гибко строить модель сцены распознавания. В общем MLю с недоИИ до этого всего как до Луны, это точно. Хотя от конкретной атаки можно попытаться защититься.
    tmin10
    Хм, порчей знака можно не только автопилот обмануть, но и реальных водителей. Только это не считается уязвимостью водителей...
    Реального водителя никогда не обманет надпись на поло пешехода «Дорога свободна».
    NeoCode
    В статье не ИИ, а нейросеть. Так что поведение будет зависеть от того как нейросеть обучена. Если бы ее обучили распознавать бумажки, она бы и выдала «бумажка».
    Вообще то на вход сети на дороге может попасть вообще почти что угодно. Есть более вероятные предметы есть мение. Но сила человека-водителя именно в том, что он справляется с подавляюще большим количеством ситуаций. В том числе и с непредвиденными.

    • Goupil
      /#22779430

      Разумеется. Пока что даже самые мощные алгоритмы ML функционально больше напоминают отдельные структуры головного мозга (например сверточные сетки — визуальную кору), а не целый, даже очень простой мозг. Например визуальная кора вполне может «увидеть» предмет, но понять что он там делает и зачем — это не ее дело. У нее нет здравого смысла, этим завидуют другие участки мозга или же весь мозг как целое.

  6. Psionic
    /#22778836

    Ну я так понимаю ии и до этого не далеко.

  7. Thlan
    /#22783338

    Гениальный Пелевин и это предвидел — зенитные кодексы Эл-Эфэсби…