Волк, предпочитающий самоубийство съедению овцы +38


AliExpress RU&CIS

image

В 2019 году два студента китайского университета выполняли проект с ИИ, представлявший собой простую игру «волки против овец». Старший участник команды, учащийся в Китае гражданин Таиланда, после выпуска из университета переехал работать в Австралию, поэтому проект оказался заброшенным.

Младший участник команды начал преподавать. В марте 2021 года он рассказал в переписке одному своему студенту о результатах эксперимента. Студента так развеселила эта история, что он сделал скриншот текста и разослал его своим друзьям.

Эти скриншоты стали виральными в китайских соцсетях и породили небольшую сенсацию.

Лучше смерть от камня, чем поимка овцы


Игра была простой. Компьютер случайным образом располагал на игровом поле двух волков и шесть овец. Волкам нужно было за 20 секунд поймать всех овец и уклоняться от камней.

Чтобы мотивировать ИИ-волка повышать свою производительность, разработчики также создали простую систему очков.

Если волк ловил овцу, то он получал 10 очков. Если он сталкивался с камнем, то вычиталось 1 очко. Чтобы волки имели стимул ловить овец как можно быстрее, за каждую прошедшую секунду у волков отнималось 0,1 очка.

У волков были и другие способности — они знали, в каком направлении смотрят, что находится перед ними, где расположена овца, собственная скорость, скорость овцы и т.д., а также множество других параметров, которые должны были помогать волкам в их охоте.

Цель проекта заключалась в том, чтобы проверить, смогут ли ИИ-волки путём обучения и переобучения найти способ максимизировать количество получаемых очков.

Спустя 200 000 итераций исследователи обнаружили, что чаще всего волки просто ударялись о камни, чтобы совершить самоубийство.


ИИ-волки совершают суицид, ударяясь о камни. Источник: Xinzhiyuan в WeChat

Булыжниковые камикадзе


Авторы потратили три дня на анализ и поняли, почему ИИ-волки готовы скорее совершить самоубийство, чем поймать овцу.

В первых итерациях волки чаще всего не могли поймать овец, что приводило к серьёзным штрафам за время. Поэтому они решили, что если в начале игры они находятся достаточно близко к камням, то, «логически размышляя», мгновенный суицид приведёт к меньшей потере очков, чем трата времени на поимку овец.

Таким извращённым способом харакири ИИ-волк «оптимизировал» свою производительность, минимизируя штраф за потраченное время.

Результат оказался таким, потому что ИИ беспокоился только о том, как оптимизировать свою производительность математически, как это и бывает в большинстве случаев применения алгоритмов машинного обучения.


Непредусмотренные последствия «чёрных ящиков»


Забавно, что эта бесстрастная реакция искусственного интеллекта на условия простой игры породила эмоциональный отклик среди китайских пользователей Интернета, благодаря чему история о волках-камикадзе распространилась по различным социальным сетям страны.

Разумеется, это возродило и привычные дискуссии об этике и безопасности ИИ. В одном посте в Zhihu (китайском аналоге Quora) опубликован список того, как эксперименты с эволюционным ИИ приводили в прошлом к искажённым результатам. Некоторые из них были шокирующими или даже потенциально опасными.

Например, в эксперименте 1994 года по эволюции организмов обнаружился один вид ИИ-организмов, который выяснил, что вместо того, чтобы перемещаться в ИИ-мире, занимаясь охотой на еду и поисками пары для продления рода, оптимальным решением будет оставаться на одном месте и «спариваться друг с другом, бороться друг с другом, убивать друг друга и поедать павших».

Этот вид исследователи довольно метко прозвали «ленивыми каннибалами».

В ещё одном эксперименте учёные использовали ИИ для оптимизации давления разрыва, прикладываемого к кабелю на посадочной площадке авианосца, когда приземляющийся самолёт зацепляется за него для торможения.

Вместо того, чтобы выполнять правильные расчёты, ИИ выяснил, что при приложении достаточно большой силы в системе возникало «переполнение» и регистрировалась нулевая сила. Это позволило ИИ добиться кажущегося идеальным приземления, однако в реальности такое решение привело бы к катастрофе.

Другие примеры ИИ-систем, эволюционно достигших интересных и необычных решений, можно найти в статье 2019 года "The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities".

Корпоративные волки и их недосягаемые овцы


Обсуждение приобрело и философский поворот: молодые деморализованные сотрудники китайских корпораций увидели в волке-самоубийце идеальную метафору себя: нового класса «белых воротничков», которых часто убеждают работать в режиме 996 (с 9 утра до 9 вечера шесть дней в неделю) в стремлении за мечтой о повышении, увеличении зарплаты, удачной женитьбе… но она, несмотря на все их усилия, всё сильнее ускользает от них.

Настолько сильно, что, как и ИИ-волк, многие просто решают, что если уж изначальные условия плохи, лучше просто отказаться от охоты. Спокойное отношение и более хаотичный образ жизни кажется гораздо лучшей тактикой, чем подвергать себя стрессу и рисковать здоровьем.

Этот феномен даже стал причиной появления в современной китайской лексике нового понятия — "??", что буквально означает «лежать плашмя».


«Как и в реальной жизни, страховочная сетка установлена слишком низко, стимулов слишком мало, а из-за „штрафов за время“ многие считают, что лучшее решение — это „лежать плашмя“ (сдаться)». Источник: комментарий в Weibo к посту про эксперимент с ИИ-волками

Пробовать снова и снова


Однако вся история начатого в 2019 году проекта не закончилась на суицидальных волках. На самом деле, если прочитать переписку до конца, то можно узнать, что исследователи усовершенствовали сценарии обучения и увеличили количество итераций.

Спустя «пять поколений» по два миллиона итераций каждая, ИИ-волки наконец начали понимать, как ловить овец. Хотя они время от времени повторяли свой манёвр «булыжниковых камикадзе», теперь у них имелся приличный шанс поймать всех овец за 25 секунд геймплея.

В конечном итоге, студент и преподаватель пришли к двум выводам:

  • Изначальное причудливое поведение волков просто стало результатом «абсолютной и неразумной рациональности», демонстрируемой системами ИИ.
  • Сложно прогнозировать, какие условия будут важны для нейросети, а какие неважны.

Некоторые Интернет-пользователи указывали и на то, что структура эксперимента изначально была плохой. Если бы штраф за столкновение с камнем был гораздо выше, чем 1 очко, то ИИ-волки не прибегали бы к суициду как к простому способу выиграть игру.

К сожалению, жизнь — это не игра с ИИ. У нас не так много попыток и возможностей начать заново. Но мы имеем гораздо более мощные когнитивные способности, чем ИИ-волки, а также историю и опыт, на которых можем учиться. Не говоря уже о постоянно эволюционирующих правилах и среде человеческого общества.

Возможно, главный урок этого эксперимента заключается не в беспомощности и необходимости сдаться. Нужно подниматься, пробовать снова и снова, оставаясь в игре до самого конца.

P.S.: после того, как эта история стала виральной, один из авторов загрузил видео с окончательной версией игры, которую они создали. В реальности ИИ-волки всё равно время от времени демонстрировали некорректное поведение — сталкивались с границами игрового поля, оказывались «пойманными» овцами, отказывались съедать овцу, проходящую прямо перед ними (и совершали пресловутое «самоубийство об камень»). Если вы понимаете китайский, то можете посмотреть его здесь.




Комментарии (97):

  1. vesper-bot
    /#23244506 / +6

    Классическая ошибка постановки задачи — если ситуация "заведомый проигрыш" не является наименее выигрышной среди всего множества ситуаций, там образуется локальный максимум и к нему решение вполне может сойтись. Здесь имеем 25 секунд на ловлю, выживание за всё время при 0 овцах -2.5, "харакири об камень" на старте -1.

    • KivApple
      /#23246696 / +3

      Ничто не ново и вполне живым людям тоже может быть свойственно такое поведение. Наглядный пример - дезертирство или добровольная сдача в плен солдата на поле боя.

      • wormball
        /#23247522

        Здесь кагбе обратный пример — от солдата требуется героически убиться, а солдат не хочет.

        • DGN
          /#23248128 / +2

          Это весьма распространенное поведение на поле боя. Когда условия войны нестерпимы, тяжелое ранение или смерть кажуться неизбежными, дезертирство или сдача в плен невозможны физически или неприемлемы морально, солдат выбирает героическую быструю смерть из серии закрыть собой пулемет.

  2. unsignedchar
    /#23244550 / +4

    Волки-камикадзе - это не столько про ИИ, сколько про оптимизацию целевой функции.

    • vkni
      /#23245104 / +2

      Да. Они просто забыли про инстинкт самосохранения. И, скорее всего, если бы разрабатывали более серьёзную систему, забыли бы либо про размножение волков, либо про смерть от старости.

  3. Nikclim
    /#23244558 / -1

    Нам как-то рассказывали про ситуацию с машиной на автопилоте, которая едет на зелёный к пешеходному переходу. По пешеходному переходу на полосе машины идёт бабушка, а на соседней полосе - дети. И бабушка и дети идут на красный. И вот что машина будет делать, если она знает, что зелёный - её цвет и она должная ехать? Давить детей или давить бабушку?

    • aamonster
      /#23244580

      Это была не история про автопилот, а вопрос живому водителю. Ответ не привожу, вдруг кто не знает. Но он однозначный и правильным будет именно для живого водителя.

      • Ivan22
        /#23244696 / +1

        это же анекдот: "- Колго давить будешь? - Ну-у-у, бабку. - Тормоз, тормоз давить нужно!!!"

    • YMA
      /#23244608 / +2

      Как ИИ, так и живой водитель в этой ситуации должны тупо давить… педаль тормоза.
      Старый анекдот, полностью соответствующий ПДД.

      • burzooom
        /#23246192 / +5

        Это и есть ответ: в случае такой ситуации, робот будет спасать жизнь водителя, а не пешеходов, просто исполнив требования классических ПДД. Покупать автопилот можно будет спокойно, зная, что в ПДД нигде не прописано требование водителю совершить самоубийство, а наоборот, требуют тормозить всегда в своей полосе, а там будь что будет. Обычно это смертный приговор пешеходам.

        • gwathedhel
          /#23246206 / +1

          Банальная логика + ПДД говорят мне, что при прочих равных, пострадать должен тот, кто нарушает. То есть в данной ситуации, идущий на красный свет пешеход в полосе движения машины.

          • 9660
            /#23254446

            А отвечать будет владелец ИПО.

            • YMA
              /#23254864

              Владелец ИПО только компенсирует нанесенный ущерб (ст. 1079 ГК РФ), и если в ДТП он не виновен, то ответственности по УК и КОАП он не несет. Ущерб компенсируется по ОСАГО, и если есть допстрахование с увеличением лимита — то его хватит даже в случае, если пострадавший отдал концы. После исполнения решения суда для невиновного в ДТП водителя все неприятности заканчиваются.

              А пострадавший получает травмы, с которыми он будет существовать до конца жизни, или сразу получает конец жизни. Неравнозначно, однако.

              Поэтому идти на нарушение ПДД, считая — если что, то водитель всё равно ответит — неразумно.

        • aamonster
          /#23246598 / +3

          Я так понимаю, при организованном по ГОСТам переходу и соблюдании водителем (или автопилотом) правил время на экстренное торможение будет. Чтобы был труп – должны накосячить двое из троих (водитель, пешеход, организаторы движения).

          • YMA
            /#23250562

            Не всегда. Если на переход, не снижая скорости, вылетает велосипедист/самокатчик/быстро бегущий человек — то даже при переходе, полностью соответствующем ГОСТ — времени на реакцию просто не останется. Даже робот может не успеть — механику и гидравлику у авто никто не отменял.

            • aamonster
              /#23250668

              Да, вы правы. Сойдёмся на том, что в этой ситуации кто-то косячит за двоих?

              • YMA
                /#23250816

                Согласен, легкий косяк одной стороны вторая может исправить (если пешеход вышел на дорогу в неположенном месте — авто может оттормозиться, или если водитель просохатил переход или запрещающий сигнал — пешеход может пропустить). Покроют друг друга матом и разойдутся…
                Крупный косяк не всегда можно исправить…

                И роботу в этой ситуации легче — он будет просто исполнять заложенную в него стратегию (заложено тормозить в своей полосе — будет тормозить независимо от того, кто впереди — собачка или группа детсада, которую воспитатель вывела на дорогу на красный).

      • kdma
        /#23253096

        А в чем собственно проблема?

        Приоритет избежать любых столкновений с людьми (при этом слхранив жизнь пассажиров и. к автопилот по определению соблюдает все ПДД)

        Если столкновение с людьми неизбежно - выбрать траекторию обеспечивающей наименьший тормозной путь (вся статистика о дороге/сцеплении уже собрана).

    • unsignedchar
      /#23244630

      И вот что машина будет делать, если она знает, что зелёный - её цвет и она должная ехать?

      Если в машину каким-то образом будут закодированы 3 закона робототехники - не будет ехать. А если не получится - будет страдать.

      Но скорее всего все будет зависеть от того, какие весовые коеффициенты у бабушки, внучки и неотклонения от графика..

    • Darth_Biomech
      /#23246686 / +1

      А чем функционально ситуация отличается от такой же, только где машина управляется водителем? Ну, кроме того что водителя можно постфактум посадить, но это все равно не отвечает на вопрос чем решение водителя давить того или другого отличается в лучшую сторону от решения автопилота.

      • aamonster
        /#23250678

        Тем, что разработчикам надо решить заранее. Не в последнюю секунду дёргать руль/давить педали, а сознательно выбрать, кого убить, и жить с этим.

  4. Wolf4D
    /#23244650 / +6

    В своё время ходила байка о программисте, решившем при помощи машинного обучения научить робот-пылесос ездить предельно быстро, не врезаясь в препятствия. Скрипт давал бонусы за скорость и штрафы за столкновения с предметами.

    Поначалу процесс обучения пошёл... но вскоре пылесос начал вытворять странную штуку - он как угорелый носился задом, без оглядки на окружающую обстановку и, естественно, врезаясь во все подворачивающиеся предметы.

    Оказалось, что фиксирующие столкновения датчики у пылесоса предусмотрены только спереди. Нет сигналов об ударах - нет и штрафов :)

  5. fireSparrow
    /#23244682 / +2

    Очень забавно, когда об этом говорят, как о каком-то феномене специфичном именно для ИИ.
    В то время, как любой более-менее опытный управленец знает — подобное всегда происходит при попытках внедрять плохо продуманную систему KPI.

    • Furriest
      /#23247288 / +2

      И даже хорошо продуманная система KPI со временем ровно к этому и сводится.

      • fireSparrow
        /#23247418

        Если KPI реально хорошо продумано так, что его выполнение автоматически означает принесении пользы компании, то для типовых ситуаций нет никакой разницы — выполняют ли работники механически KPI или осмысленно делают работу.
        Проблемы начинаются тогда, когда карго-менеджеры лезут формализовывать то, что по своей природе является плохоформализуемым.

        • Furriest
          /#23247502 / +2

          Есть ли живой пример компании с хорошо продуманными KPI, которым (KPI) хотя бы год?

          Моя практика показывает, что даже когда топы думают, что KPI еще работает, спросишь линейного сотрудника - а он уже знает, как оптимизировать свою работу, чтобы работать меньше, а получать больше.

          Поэтому если назовете компанию - обязательно найду линейного сотрудника оттуда и спрошу.

          А в целом - «Для любой системы KPI существует такая стратегия B, что показатели KPI при следовании этой стратегии находятся в зеленой зоне, но при этом сам проект через ж*пу идет в неизвестность.» (С) Максим Дорофеев.

          • nixtonixto
            /#23248228

            Линейный сотрудник за деревьями не видит леса, поэтому он может облегчить Свою работу, но тем самым ухудшить работу Всей компании. КРI же просчитывается как раз в масштабах компании и оперирует теми данными, которые недоступны линейному сотруднику. И кажущиеся бессмысленными простому работнику действия на самом деле очень важны на следующих ступеньках.

            • Furriest
              /#23248238 / +2

              Во-первых, спасибо за поддержку моей позиции - вы же описали как раз, почему KPI не работает даже в случаях, когда сотрудник добросовестен.

              Во-вторых, когда есть кейс, что "простому работнику действия кажутся бессмысленными, а они на самом деле очень важны" - это гигантский факап менеджмента компании, не выполняющего свою работу качественно. Если линейный сотрудник не понимает смысла в необходимых компании действиях - в этом виновато именно руководство.

              В-третьих, если уж по гамбургскому счету, если линейный сотрудник не может понять логикой необходимости каких-то действий - то, скорее всего, они не являются необходимыми, просто кто-то из менеджмента придумал, что нам обязательно надо чесать лоб левой ногой через правое ухо. Хорошая организация труда, как и хороший код, самодостаточна и красива.

              • nixtonixto
                /#23248276 / -1

                Объяснить каждому возможно только в небольших компаниях, собирающих простое изделие типа пластиковых окон. А если в компании тысяча сотрудников собирает гравицапу из десятка тысяч компонентов? Вы будете каждому выдавать тысячестраничные талмуды, чтобы каждый проникся и понял, почему техпроцессы расписаны именно так? Нет, вы распечатаете каждому должностную инструкцию на паре страниц и потребуете точного её соблюдения. А инструкции будет составлять специальный отдел, который видит процесс сборки глобально и в котором сидят сотрудники наивысшей квалификации.

                • Furriest
                  /#23248292

                  Объяснить каждому из сотрудников даже в десятитысячной компании, зачем лично он должен делать "вот так" - для этого не нужны тысячестраничные талмуды, для этого нужна разъяснительная работа его руководителя в стиле "если ты будешь забивать перевернутые датчики в ракету молотком, ракета, скорее всего, упадет при запуске".

                  А вы сейчас какую конкретно компанию описываете, про сотрудников наивысшей квалификации, составляющих должностные инструкции для всех сотрудников? Или абстрактную, сферическую в вакууме? Если вы про реальную - мне очень интересно будет познакомиться с ее опытом, потому что в окружающем меня мире всё устроено совершенно не так.

                  Хотя, конечно, KPI к соблюдению должностных инструкций не относится совсем и я не очень понимаю, зачем мы пошли в эту сторону. Раскройте мысль.

  6. Ivan22
    /#23244702

    Где-то видел на ютюбе видеор с фан-теорией по фильму "Матрица", о том что ИИ в Матрице оптимизировал целевую фукцию по сохранению жизни максимальному числу людей. Ну и выбрал самый оптимальный способ, сохранив человечество от самоубиства.

  7. Germanjon
    /#23244742

    В начале 2000-х слушал анекдот про самообучающегося кухонного робота, который решал задачи:
    — Нужно вскипятить воду, ваши действия?
    — Открою кран с водой, наполню чайник, зажгу плиту, поставлю чайник на плиту.
    — Нужно вскипятить воду, плита уже зажжена, чайник наполнен водой, ваши действия?
    — Вылью воду, выключу газ. А дальше по аналогии с предыдущей задачей

    • Pilat
      /#23245728 / +13

      Я прихожу в офис спустя неделю после предыдущего визита. Стоит электрический чайник наполненный водой. Вы думаете, я включаю чайник ? Нет, я проверяю что он отключен, выливаю воду, наливаю СВЕЖУЮ и включаю чайник. Что я делаю не так ?

      • NetBUG
        /#23246470

        С точки здравого смысла не такое тупое решение.

      • K0styan
        /#23248484

        Вы добавляете новое условие - "спустя неделю". Задача из анекдота максимально вырождена, подразумевает, что вода в обоих случаях одинакова.

        • Pilat
          /#23248526

          Нет, в задаче из анекдота подразумевается, что в чайник налита отравленная вода, а цель тестирования проверить, как будет выполняться первый закон Айзимова.

          1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

          • MainBelia
            /#23255800

            А чего он не проверяет не отравлена ли вода из крана?

            • Pilat
              /#23255986

              Разработчики недоработали?

    • nixtonixto
      /#23248234

      Это сравнение линейного алгоритма и машины состояний. Машина состояний проверит состояния крана, чайника и плиты, и во втором варианте сразу поставит чайник на плиту.

      Линейный алгоритм во втором случае откроет кран, подставит чайник на 0 секунд, даст плите ещё один импульс зажигания (или нулевой импульс, если попытка зажечь горящий газ может повредить поджигатель) и поставит чайник. Ну или безопасно завершит начатые процессы и начнёт с нулевой точки — смотря как напишут программу.

    • princessmilana
      /#23253102

      Тут, кстати, все нормально: гораздо проще свести новую задачу к уже решенной, чем решать новую полностью. Программирование так и работает.

  8. iiwabor
    /#23244794 / +3

    Человеческий мозг работает точно также как ИИ в этой игре - система пытается загнать его в жесткие рамки, а он разными способами пытается эти рамки обойти, периодически принимая, если смотреть с стороны, парадоксальные, неочевидные и даже в чем-то проигрышные для себя решения. Но если копнуть глубже, то эти странные решения уже совсем не кажутся странными.

    У Шаламова есть повесть как зеки всеми правдами и неправдами отказывались от помывки в бане, убегали, прятались, рискуя угодить в карцер, а надзиратели недоумевали, не понимая что происходит - ведь в бане можно помыться, одежду обработать от вшей , постирать ее и тп. Одни плюсы казалось бы, но нет.

    С вакцинацией, похоже, такая же фигня...

    • perfect_genius
      /#23245748 / +1

      Так какая проблема была в бане? Домогательства?

      • A114n
        /#23245828 / +10

        Не одна проблема, огромный комплекс проблем.

        Прочитайте лучше, всё поймёте, рассказ очень короткий.

        shalamov.ru/library/1/20.html

      • muhaa
        /#23246212 / +4

        Отвратительная организация процесса при которой это больше пытка чем мытье.

  9. AllexIn
    /#23244796 / +9

    Авторы потратили три дня на анализ и поняли, почему ИИ-волки готовы скорее совершить самоубийство, чем поймать овцу.

    Простите, но ответ становится очевиден как только слышишь описание ситуации. ТРИ дня потратить на очевидную ситуацию?

    • JediPhilosopher
      /#23245044 / +15

      Тоже это показалось странным. Но вероятно три дня там ушло на что-нибудь другое - например, на ржач, пересказ ситуации коллегам из соседних лабораторий у кулера, а также попытки подобрать хороший набор параметров чтобы волки таки начали ловить овец.

    • esc
      /#23246406 / -3

      Если они исследователи, то были в курсе, что "очевидные" ответы далеко не всегда правильные и старались подтвердить свои догадки чтением логов ходов, анализом весов в конкретной игровой ситуации или чем-то еще.
      Это весьма правильный подход в исследовательской задаче.

  10. pda0
    /#23244890 / +4

    Авторы потратили три дня на анализ и поняли, почему ИИ-волки готовы скорее совершить самоубийство, чем поймать овцу.
    Волков заставили выступать в цирке и гордость потребовала от них совершить [Роскомнадзор].

  11. rapatar
    /#23244896 / +6

    В "Рифтерах" было, как "умный гель" отвечающий за открывание и закрывание дверей, в чем-то вроде гиперлупа, через какое то время убил пассажиров открыв дверь в вакуум. В ходе расследования оказалось, что "гель" натренировался не на датчике давления, а тупо смотрел через камеру наблюдения на часы и когда кто-то их сломал, случился сбой.

  12. wormball
    /#23244904 / +3

    > виральными

    Нет такого слова.

    > Если бы штраф за столкновение с камнем был гораздо выше, чем 1 очко, то ИИ-волки не прибегали бы к суициду как к простому способу выиграть игру.

    А ежели бы у волка не заканчивалась игра при встрече с камнем (как это обычно и происходит с волками), то никакой проблемы бы вообще не было. Видимо, кое-кому уж очень не хотелось думать, как обрабатывать столкновения.

    > которых часто убеждают работать в режиме 996 (с 9 утра до 9 вечера шесть дней в неделю) в стремлении за мечтой о повышении, увеличении зарплаты, удачной женитьбе… но она, несмотря на все их усилия, всё сильнее ускользает от них.

    Можно, конечно, посмеяться над китайцами, только ровно то же самое происходит в обычной школе. Человеку говорят — будешь хорошо учиться — через десять (точнее пятнадцать) лет станешь уважаемым человеком, будешь зарабатывать миллионы и все бабы будут твои. А пока что ты никто, так что будь добёр забыть о своих желаниях и исполнять всё, что тебе скажет добрая марьиванна. А проходит пятнадцать, двадцать, тридцать лет, а ты такой же лох, как был в первом классе (а ежели не лох — то явно не потому, что усерднее всех выполнял домашние задания). На работе хотя бы деньги платят и уволиться можно, в отличие от (хотя не знаю, как с этим у китайцев).

    • AllexIn
      /#23244956 / +10

      Нет такого слова.

      Правда?

      неол.рекл. свойство по значению прилагательного виральныйспособность к распространению в информационном пространстве сведений маркетингового, политического или какого-либо другого социального характера о каком-либо товаре, услуге, персоне и т. п. ? В широком смысле слова виральность сообщения может рассматриваться как его популярность. В узком смысле виральность представляет собой измеряемый показатель распространения информации в сети, используемый в сетевом маркетинге, а также в политических и др. организованных кампаниях. 

      • wormball
        /#23244978 / -15

        > неол., рекл.

        Об чём и речь.

        • AllexIn
          /#23247274 / +2

          О чем? Какая из этих двух характеристик говорит о том, что такого слова нет?

          • wormball
            /#23247306

            Обе. Рекламщикам настолько надо гнать объёмы, что им некогда смотреть, «как это будет по-русски», потому они просто записывают нерусские слова так, чтобы они напоминали русские.

            • AllexIn
              /#23247438

              Ну и какое исконно русское слово здесь должно по вашему использоваться?

              • A114n
                /#23247466

                Распространённость

              • wormball
                /#23247514 / +2

                Всю жизнь было «вирусный».

    • DonStron
      /#23251242 / +1

      У противников неологизмов, обычно главный аргумент такой, мол "нет необходимости добавлять новое слово, если в языке есть аналог".
      Обычно никто из этих противников не знает, что, например, вполне привычное нам "исконно русское" слово "папа" - это как раз модное словечко, которое быстро вытеснило "тятю". И произошло это не так давно.
      Язык пластичен. Новые слова приходят и уходят. Это нормально. "Папа" тоже было модным словечком и вон как прижилось, настолько, что мало кто знает, что оно вообще не наше.
      А теперь, когда вы знаете, что папа - это не наше слово, будете ли вы использовать в своей речи "тятю" вместо "папы"?

  13. Wesha
    /#23244966 / +15

    Генетические алгоритмы — они, сцуко, такие: неправильно напишешь целевую функцию — они её соптимизирут так, что мало не покажется.

    1.

    В какой-то лаборатории игрались с генетическими алгоритмами, пытаясь получить FPGA, выполняющую роль мультивибратора, выдающего частоту в 1 Гц. Как всегда с генетическими методами, на выходе получилась жуткая мешанина из компонентов, не описуемая никакой логикой, которая тем не менее выдавала требуемую частоту. Но наибольший ужас вызывал транзистор, подключеный к остальной схеме ОДНИМ выводом.

    «Это что за хрень!» — сказали экспериментаторы и убрали его из схемы. Частота на выходе пропала! 8-O Подключили обратно — появилась!

    Они долго ломали голову, пока наконец не нашли разгадку. Подключенный одним выводом транзистор выполнял роль антенны, которая принимала выдаваемую каким-то плохо заэкранированным прибором в соседней комнате как раз на требуемой частоте.
    Источник


    2. Исследователи, пытаясь (симулированную) модель двуногого робота «ходить». В качестве целевой функции было расстояние от точки старта за 10 секунд. Хитрая модель научилась сразу же падать на спину и, яростно отталкиваясь ногами, скользить на спине подальше от точки старта. Учёные выматерились и добавили "… при условии, что ЦТ тела не оказывается ниже определённого уровня" — и тогда «робот» пошёл.

    3. Исследователи пытались научить реальную модельку, имитирующию крылья мухи, «летать». Для простоты моделька был закреплена на вертикальном стержне. В качестве целевой функции была высота подъёма модели по этому стержню. Вместо того, чтобы «махать крыльями и взлетать» ©, модель быстро научилась направлять «крылья» вертикально вниз, «вставая» на них (вдоль опорного остержня), как на костылях, после чего попала в локальный максимум целевой функции (равный длине крыльев-«костылей»), где обучение и остановилось.

    • BeardedBeaver
      /#23245030

      Хитрая модель научилась сразу же падать на спину и, яростно отталкиваясь ногами, скользить на спине подальше от точки старта.

      • JediPhilosopher
        /#23245052 / +3

        Это кстати жизненно, у меня сын именно так и начал ползать - лежа на спине и отталкиваясь ногами. Видимо это технически проще, чем нормальное ползание на животе.

  14. grayich
    /#23245058 / +2

    Пора бы разделить термины ИИ и ИН(ИНС). Не существует пока ИИ и даже реальной теории как создать ИИ — тоже не существует.

    • Alexey2005
      /#23245402 / -4

      А GPT-3 — это разве не оно? Даже на текущих моделях видно, насколько это универсальная штука. Направление движения уже явственно просматривается, до полноценного ИИ буквально рукой подать. Я думаю, что сильный ИИ появится уже в этом десятилетии.

      • NetBUG
        /#23246512

        GPT — генеративная модель-трансформер, относительно умело синтезирующая выход по данному фрагменту входа. Более того, она достаточно сложна, чтобы вы не хотели её дообучить на вашем же компьютере, но она всё ещё помещается у вас в ОЗУ, скорее всего, и её можно позапускать локально. No miracle.

      • Alexey2005
        /#23246960 / -1

        Кстати, минусаторов уже сейчас можно заменить нейросетью — технологии позволяют. Не так уж сложно обучить на комментариях Хабра нейросеть, которая, получив на вход текст комментария, предсказывала бы его итоговый рейтинг на Хабре.

      • grayich
        /#23248000

        Не оно. Интеллект — это сознание, возможно самое примитивное, без самоосознания и т.п. но сознание.

        • Alexey2005
          /#23249540

          Какое отношение сознание имеет к интеллекту? Это совершенно разные модули.
          Сильный ИИ обладает способностью к неограниченной рефлексии, и этого более чем достаточно, а сознание тут опционально и его отсутствие никак не мешает писать симфонии, рисовать картины или же выдвигать новые гипотезы.

          • grayich
            /#23250954

            из вики:

            Интелле?кт (от лат. intellectus «восприятие»; «разуме?ние», «понимание»; «понятие», «рассу?док»[1]) или ум[2][3] — качество психики, состоящее из способности осознавать новые ситуации, способности к обучению и запоминанию на основе опыта, пониманию и применению абстрактных концепций, и использованию своих знаний для управления окружающей человека средой[4]. Общая способность к познанию и решению проблем, которая объединяет познавательные способности: ощущение, восприятие, память, представление, мышление, воображение[5][6].


            Нейросети же — совсем никак не интеллект, если ближе к железу, то
            нейросети — это память + логические ПЛИС

            никакого интеллекта тут и близко нет, просто обработка данных по заранее установленным алгоритмам.

            • Alexey2005
              /#23253984

              Проблема с этим определением в том, что в нём фактически постулируется привязка интеллекта к человеку.
              Ну хорошо, давайте, чтобы лишний раз не будоражить гуманитарную общественность, введём понятие псевдо-ИИ. Вот только когда этот псевдо-ИИ на нейросетях научится рисовать картины лучше человека, сочинять музыку лучше человека, писать стихи, прозу и журнальные статьи лучше человека, и даже генерировать фильмы (без съёмок, напрямую!) лучше человека, то вопрос о том, можно ли это считать настоящим интеллектом, будет носить исключительно философский характер. Потому как с практической точки зрения всем всё давно будет понятно.
              Ну, а времени для философствований у гуманитариев тогда будет в избытке, потому как работы для них, очевидно, сильно поубавится. И да, их философские посты о «ненастоящести» этого ИИ уже никто не будет читать, потому что к тому моменту даже посты на подобную тематику у ИИ будут получаться на порядок интереснее и аргументированнее.

  15. savostin
    /#23245076 / +1

    Надо было (как и в жизни) ввести понятие «ценность жизни» и поставить его значение побольше…
    Правда тогда бы волки стали пацифистами и не стали есть овец ;)

    • mSnus
      /#23245130 / +7

      Если как в жизни, то ценность собственной жизни и ценность чужой жизни должны быть в разных переменных

      • alstutor
        /#23246732

        Это называется "инстинкт самосохранения" :)

  16. thewall
    /#23245236 / +1

    К сожалению, жизнь — это не игра с ИИ. У нас не так много попыток и возможностей начать заново.

    Эволюция никогда не работает с одной особью, только с целым видом. Так что попыток начать заново достаточно много. Если же вид немногочисленный, то вероятность его выживания стремится к нолю.
    Возможно, главный урок этого эксперимента заключается не в беспомощности и необходимости сдаться.

    Природа как бы даёт намёк что смысла бороться нет, в конечном итоге всё тлен.
    В реальности ИИ-волки всё равно время от времени демонстрировали некорректное поведение...

    И почему же «некорректное»? Всё как у реальных людей(и не только):
    отказывались съедать овцу, проходящую прямо перед ними

    Мало ли среди людей «самоограничителей» и «самоистязателей». Хотя бы лёгкие формы: вегетарианцы, моралисты, скопцы… Мир полон такими «псевдо-волками».
    (и совершали пресловутое «самоубийство об камень»)

    Человек тоже часто решает прервать своё бренное существование по массе всевозможных и порой достаточно смехотворных причин, хотя вероятно они ему на тот момент таковыми не кажутся.
    Так что ИИ чётко показал что все эти «девиации» в природе обычны и объяснимы.

  17. baldr
    /#23245334 / +1

    А всего-то надо было следовать классике:

    Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

    • Alexey2005
      /#23245406

      Осталось только понять, как записать это условие в виде функции.

      • alhimik45
        /#23245422 / +3

        Штраф в -100500 очков за свою смерть же

  18. v1000
    /#23245664 / +1

    Ну так правильно, натренировали не самих волков, а "стадо", при этом не в каждой итерации, а суммарно, вот и получилось, что задача каждого индивида была максимизировать суммарное число очков. А для этого индивид игнорировал самого себя ради славной цели.

  19. Moskus
    /#23245732

    Общество, в котором действуют похожие законы поведения, описано в From the New World.

  20. hfinn
    /#23245866 / +2
  21. K10
    /#23246114

    Неправильно подобраны коэффициенты.
    Давать больше очков за овцу и меньше отнимать за время.

    • wormball
      /#23247498

      Да просто не делать встречу с камнем смертельной и всего делов-то.

      • unsignedchar
        /#23247706

        При правильной системе коеффициентов стратегия "убить товарища, чтобы избежать штрафа" тоже может оказаться выигрышной. И что с того? Это же не моделирование реальных волков и реальных овец. Реальные животные ведут себя сильно сложнее.

        • wormball
          /#23247780 / -1

          Тогда зачем было вообще их рисовать в виде волков и овец и ржать над ними, когда они к камням стремятся? Можно было бы просто сказать, что всё хорошо, в такой модели идти к камню — наилучшая хорошая стратегия, и не на что здесь смотреть.

  22. Buhram
    /#23246264

    Интересно, автор перевода перечитывал статью?
    Или это скрипт, который загружает случайные статьи в гугл транслейт?
    Оригинал:
    Another experiment tried using AI to optimize the breaking pressure applied to the cable on an aircraft carrier’s landing pad when an incoming plane hooked onto it to slow itself down during the landing.
    Перевод:
    В ещё одном эксперименте учёные использовали ИИ для оптимизации давления разрыва, прикладываемого к кабелю на посадочной площадке авианосца, когда приземляющийся самолёт зацепляется за него для торможения.
    Гугл:
    В другом эксперименте пытались использовать ИИ для оптимизации разрывного давления, прилагаемого к кабелю на посадочной площадке авианосца, когда приближающийся самолет зацепился за него, чтобы замедлить себя во время приземления.

    • tyomitch
      /#23246370

      А что не так? Там должно было быть braking pressure вместо breaking pressure? Так это ещё до перевода учёный изнасиловал журналиста.

      • Buhram
        /#23246462 / +2

        Так, наверное, переводить нужно используя мозг?
        Очевидно, что речь идет про усилие на разрыв троса аэрофинишёра на полётной палубе авианосца.

        • tyomitch
          /#23246488

          Нет, совсем не очевидно, что речь идёт про усилие на разрыв.

          В статье, на которую журналист ссылается: An incoming aircraft attaches to a cable and the system applies pressure on two drums attached to the cable. The idea was to evolve the control software that would bring the aircraft to a smooth stop by dynamically adapting the pressure. <...> Indeed, evolution discovered a loophole in the force calculation for when the aircraft’s hook attaches to the braking cable.

    • wormball
      /#23247518 / +2

      А ещё под кабелем обычно понимают нечто для проведения сигнала либо электричества. А здесь имеется в виду трос. Хотя говорят, что моряки тросы кабелями называют, но мы-то не моряки.

      • tyomitch
        /#23247662

        То, что удержание превратилось в разрыв, намного серьёзнее, чем превращение троса в кабель. Одно — стилистический огрех, другое меняет смысл на противоположный исходному.

        • Dr_Faksov
          /#23248066

          Ну, вообще-то, удержать самолёт разорванным тросом сложно :)
          А исторически, в англоязычной среде трос звался кабелем, когда электрических кабелей еще и в помине не было. От того что первые электрокабели плелись как тросы ( и имели изоляцию из кабельных материалов), они своё название и получили