Будущее интерактивного дизайна в руках +19


AliExpress RU&CIS

Когда я смотрю фантастические фильмы или ролики о том, какие гаджеты и техника нас будет окружать через 10-20-30 лет, то чаще всего вижу разные прозрачные экраны, голограммы или проекции на руку, лоб или пупок. Чтобы всем этим управлять нужен всего-то один палец. Всё выглядит красиво и фантастично. Но что, если я скажу вам, что подобные концепции ложные?

Не считая того, что там нет будущего, потому что авторы просто гиперболизируют уже существующие сенсорные экраны до предела, там нет взаимодействия. Что, если я скажу, что настоящее будущее взаимодействия в ваших руках?

Примечание. Это перевод статьи Виктора Брэта. Но не дословный — где-то сократили, где-то дополнили (с уважением), если это казалось уместным. Но смысл статьи от этого не поменялся. 

Немного про «видение»

Раньше я «играл» с экспериментальными аппаратными платформами и технологиями ввода, придумывал для них новые концепции пользовательского интерфейса и приложений. Затем я разрабатывал и создавал прототипы приложений для демонстрации этих идей — буквально занимался проектированием интерфейсов для будущего. Поэтому, скорее всего, мои рассуждения будет чем-то полезны и не далеки от истины.

Посмотрите это видео.

Там всё красиво: эффекты, визуализации, футуризм. Но я скептически отношусь к разным демонстрациям взаимодействий в подобных видеороликах, учитывая, что я действительно проектировал с реальными рабочими прототипами, а аниматоры работали только с зелеными экранами и After Effects. Но это не та проблема, которую я хочу затронуть.

Проблема в том, что это «видение» не визионерское, с точки зрения взаимодействия. Этот автор, как и многие другие, не придумал ничего нового. Он лишь робко «прирастил» чуть-чуть «футуризма» к текущему статусу-кво. А текущий статус-кво ужасен с точки зрения взаимодействия, потому что «видение» имеет значение. «Видение» даёт людям направление и вдохновляет действовать. Но как вдохновляться и что-то улучшать, если мы считаем новаторскими устаревшие технологии? 

Я расскажу, почему так считаю и что нам стоит делать. Я не собираюсь читать лекцию и менять ваше мировоззрение, устои и привычные паттерны мышления. Я лишь хочу поговорить о «деталях» и попрошу, чтобы вы немного подумали вместе со мной.

Что такое инструмент?

Прежде чем думать о том, как мы должны взаимодействовать с нашими инструментами будущего, давайте сначала поймём, что такое инструмент.

Инструмент удовлетворяет человеческие потребности, усиливая человеческие возможности.

Мне нравится это определение. Довольно точно описывает, что инструмент преобразует то, что мы можем сделать, в то, что хотим. Хороший инструмент соответствует обоим пунктам определения.

Возьмём молоток:

  • он увеличивает нашу силу — возможности;

  • и помогает нам забивать гвозди, например, чтобы прибить полочку и удовлетворить наши потребности.

Но я бы не хотел говорить о человеческих потребностях. И я не собираюсь говорить о технологиях. Это самая легкая часть, в некотором смысле, потому что мы их контролируем и изобретаем. 

Я собираюсь поговорить о забытом третьем факторе — человеческих способностях. О том, что могут сделать люди. Потому что если инструмент не предназначен для использования человеком, он не очень хороший, верно? Ведь способности первичны, а инструмент — вторичен.

Руки

Посмотрим ещё раз на кадры из видео и взглянем на то, как люди будущего взаимодействуют со своими будущими технологиями.

Видите чем все взаимодействуют? Видите центральный компонент этого интерактивного будущего? Он есть на каждой фотографии. Удивительно, но это руки!

И это здорово! Я думаю, что руки — это и есть фантастика! Ведь они делают две совершенно удивительные вещи, на которые мы полагаемся каждый день. Но при это большинство будущих концепций взаимодействия полностью это игнорируют.

Руки чувствуют вещи и манипулируют ими.

Руки чувствуют вещи

Идите вперед и возьмите книгу. Откройте её на какой-нибудь странице.

Чувствуете? Вы взяли книгу руками, перевернули страницу, и вы знаете, где находитесь в книге по распределению веса в каждой руке и толщине стопки страниц между пальцами. Переверните страницу и обратите внимание как вы понимаете, что взяли одну страницу, а не две. Когда вы возьмётесь за две страницы вы точно поймёте это, по тому, как они будут скользить между пальцами.

Возьмите стакан воды. Сделай глоток.

Обратите внимание, что вы знаете, сколько воды осталось, по тому, как её вес смещается в ответ на ваши движения.

Почти каждый объект в мире предлагает такую обратную связь. Это настолько само собой разумеющееся, что мы этого даже не осознаем. Найдите минутку, чтобы потрогать и поднять предметы вокруг вас. Ощутите их тактильную реакцию: текстуру, гибкость, температуру, распределение веса, края, изгибы и гребни. Как они реагируют на вашу руку, когда вы их используете?

Ваши чувства и есть фантастика.

На кончиках пальцев находятся одни из самых плотных участков нервных окончаний на теле (рецептивные поля) — они могут чувствовать детали предметов размером 0,4 мм. Именно так мы воспринимаем мир крупным планом. Вот как наши инструменты «говорят» с нами. Осязание необходимо для всего, что люди миллионы лет называли «работой».

«Картины под стеклом»

А теперь достаньте своё любимое магическое и революционное технологическое устройство и воспользуйтесь им.

Что вы почувствовали? Жар, холод, ребристость, упругость, твердость, плотность? Или вы почувствовали просто стекло? Как же это ощущение связано с той задачей, которую вы выполняете?

Я называю эту технологию «картинками под стеклом». «Картины под стеклом» жертвуют всем тактильным богатством работы руками, предлагая взамен фальшивый визуальный фасад.

Мы отказываемся от тактильных ощущений ради визуальных.

Действительно ли это плохо? Давайте попробуйте сделать вот что: закройте глаза и завяжите шнурки. Никаких проблем, верно? Но насколько хорошо вы могли бы завязать шнурки, если бы ваша рука «спала» — если бы ваши пальцы онемели? Уже не так просто завязать шнурки, верно?

Когда мы работаем руками, осязание «ведет машину», а зрение помогает нам с «заднего сиденья».

«Картины под стеклом» убирают «водителя». Это парадигма взаимодействия постоянного оцепенения. Это капельница с новокаином на запястье. Это лишает наши руки того, что они делают лучше всего. И всё же в любом «видении» будущего вы увидите эту концепцию.

Для меня утверждать, что концепция «стекла» это будущее взаимодействия, всё равно что говорить, что цветные фотографии устарели и будущее за черно-белыми. Очевидно, что это переходная технология. И чем скорее мы её перейдем, тем лучше.

Руки манипулируют вещами

Что вы можете сделать с картиной под стеклом? Сдвинуть.

Это фундаментальный жест в этой технологии — скольжение пальцем по плоской поверхности. Но в природе нет почти ничего, чем мы могли бы манипулировать подобным образом! Порисовать пальцами и написать что-то на грязном стекле — почти всё, что я могу придумать.

Зачем «обрезать» наши возможности, ведь наши пальцы обладают невероятно богатым и выразительным репертуаром, который мы постоянно используем даже не задумываясь.

Обратите внимание на положение всех пальцев на фотографиях. Посмотрите на то, что на что давит, и на то, как сбалансирован вес предмета. Почему ни одна концепция интерфейса будущего не использует это богатство?

Многие из них — это вариации четырех основных захватов.

Примечание. Если вам нравятся такие вещи и хотите узнать больше — прочитайте замечательную книгу Джона Нейпира.

Предположим, я дам вам банку, чтобы её открыть. Вы будете переключаться между двумя разными захватами.

Вы использовали комбинацию этих захватов с каждой банкой, которую когда-либо открывали. При этом, скорее всего, вы этому даже не учились и не осознавали, что и как вы делаете. Как это назвать, как не интуитивно понятным интерфейсом?

Мы живем в трехмерном мире. Наши руки предназначены для перемещения и вращения объектов в трех измерениях, для подбора объектов и размещения их над, под, рядом и внутри друг друга. Ни у одного существа на земле нет такой ловкости, как у нас.

В следующий раз, когда будете делать бутерброд, обратите внимание на свои руки. Серьезно! Обратите внимание на бесчисленные маленькие хитрости ваших пальцев для манипулирования ингредиентами, посудой и всеми другими предметами, участвующими в этом предприятии. Затем сравните свой опыт со скольжением по картинкам под стеклом.

Неужели мы действительно собираемся принять интерфейс будущего, который менее выразителен, чем бутерброд?

Я верю, что руки — это наше будущее.

Взаимодействие — это выбор

Самое важное, что я бы хотел сказать, так это то, что это — выбор. Технология не возникает спонтанно, беспомощно подталкивая нас к какой-то неизбежной судьбе. Революционная технология появляется в результате длительных исследований, а исследования проводятся и финансируются вдохновлёнными людьми. Люди сами выбирают, какое видение им следует развивать, люди сами выбирают, какие исследования финансируются, люди сами выбирают, над чем они будут работать.

Например, очень мало исследований о тактильных технологиях, об осязаемом пользовательском интерфейсе, и в смежных областях. Эта ситуация длится уже несколько десятилетий. Эти исследования всегда были довольно маргинальными и остаются такими до сих пор. 

Reactable — музыкальный инструмент, пример осязаемого пользовательского интерфейса.
Reactable — музыкальный инструмент, пример осязаемого пользовательского интерфейса.

Странно. Ведь когда дело касается устройств, от которых зависит жизнь — мы по-прежнему используем «альтернативные» интерфейсы. Например, в кабине пилота самолёта нет ничего сенсорного: переключатели, тумблеры, кнопки и штурвал — физические объекты, которые можно потрогать и ощутить.

Если рассмотреть не такие опасные сферы, то, например, в автомобильных симуляторах нам приятнее использовать игровые рули, чем геймпады (осмелюсь предположить). Мы можем поворачивать руль, нажимать на педаль, чувствовать виброотдачу. Равно как и с клавиатурами — приятнее нажимать физические кнопки, чем скользить по стеклу сенсорных клавиатур. Кто-то ими вообще пользуется? 

Результаты исследований выше всё ещё сырые, рудиментарные, а иногда и несколько сомнительные. Но посмотрите, в 1968 году — за три года до изобретения микропроцессора — Алан Кей случайно наткнулся на первый плоский дисплей Дона Битцера. Его разрешение было всего 16 на 16 пикселей. Хотя это впечатляющее улучшение по сравнению с предыдущим дисплеем размером 4 на 4 пикселя.

Алан увидел эти 256 светящихся оранжевых квадратиков, пошел домой, взял ручку и нарисовал чертов айпад.

И затем он преследовал эту «морковку» десятилетиями новаторских исследований, большая часть которых отвечает за аппаратное и программное обеспечение, с помощью которых вы сейчас читаете эту книгу.

Вот о каком амбициозном и дальновидном видении я говорю. «Картинки под стеклом» устарели.

Давайте начнем работать руками.

И это моя просьба — вдохновляйтесь неиспользованным потенциалом человеческих возможностей. Не надо просто экстраполировать вчерашние технологии, а потом «втискивать» в них людей. 

Эта фотография вполне может стать нашим будущим. Но почему? Почему вы выбрали именно это? Это портативное устройство игнорирует наши руки. Наши руки чувствуют вещи и манипулируют ими. Зачем стремиться к чему-то меньшему, чем динамическая среда, которую мы можем видеть, чувствовать и манипулировать?

Будущее не в одном пальце

Если вы всё ещё читаете статью, может быть, я смогу подтолкнуть вас ещё на один шаг. Посмотрите вниз на свои руки. Они вообще к чему-нибудь привязаны? Да — у вас есть руки, плечи, торс, ноги и ступни! И все они двигаются!

Любой танцор или врач скажет, что ваше тело невероятно выразительное устройство: 300 суставов, 600 мышц, сотни степеней свободы!

В следующий раз, когда будете готовить завтрак, обратите внимание на изысканно сложную хореографию открывания шкафов и наливания молока. Обратите внимание, как ваши конечности двигаются в пространстве, как легко вы используете свой вес и равновесие. Единственная причина, по которой ваш ум не взрывается каждое утро от абсолютного великолепия ваших балетных достижений, заключается в том, что все остальные в мире могут делать то же самое.

Имея в своем распоряжении все тело, неужели вы всерьез полагаете, что будущее взаимодействия заключается в одном пальце?


Что ещё почитать?

Подписывайтесь на чат Dodo Engineering, если хотите обсудить эту и другие наши статьи и подходы, а также на канал Dodo Engineering, где мы постим всё, что с нами интересного происходит. А ещё есть группа в ВК (ну мало ли).

??




Комментарии (31):

  1. Squoworode
    /#22902770 / +1

    в кабине пилота самолёта нет ничего сенсорного
    Ха-ха три раза: habr.com/ru/news/t/540260

    • riskov
      /#22903808

      Ну так мысль автора эта статья как раз и подтверждает, нет?

      • Squoworode
        /#22904160

        Не-е-ет, та статья говорит, что это критически неудобно, а тут написано, что такого категорически не существует.

  2. amarao
    /#22902776 / +1

    А мы не можем заменить руки на что-то более обобщённое? Например, на описание желаемого действия? А уж как передавать желания в машину — это вопрос к условному настоящему с нейроинтерфейсами.

  3. thatsme
    /#22903626

    Видео не доступно. Автор ограничил доступ к видео.

    • ad1Dima
      /#22903734

      Судя по скриншотам — это Microsoft Future Vision 2020 www.youtube.com/watch?v=ozLaklIFWUI
      В 2010 (если не 2008) году МС взяла свои наработки из Microsoft Research и представила в каком виде они дойдут до потребителя в 2020 году. Большинство технологий действительно присутствуют в нашей жизни, не все правда в масспродукте.

    • riskov
      /#22904194

      Обновил от автора выше.

  4. adictive_max
    /#22903652

    Ну ладно, мы где-то свернули не туда, и дружной колонной маршируем в пропасть, это я понял.
    Но дальше-то что? Что конкретно автор предлагает вместо «картины за стеклом»? Носить с собой ящик тактильных кубиков?

    • riskov
      /#22903816

      Конкретных действий автор не предложил, потому что он хотел, чтобы читатели просто задумались, что, возможно, сенсорные экраны это тупиковая ветвь в интерфейсах, и стоит посмотреть в другую сторону. Конкретных действий он не предлагал, возможно, потому что их нет, и они зависят уже от читателя.

    • leotada
      /#22904126

      Бретт Виктор продолжает развивать свои идеи и сейчас разрабатывает стартап dynamicland.org в котором совмещаются компьютеры и прямое взаимодействие с помощью рук и предметов.

  5. ad1Dima
    /#22903998

    Когда я смотрю фантастические фильмы или ролики о том, какие гаджеты и техника нас будет окружать через 10-20-30 лет, то чаще всего вижу разные прозрачные экраны, голограммы или проекции на руку, лоб или пупок. Чтобы всем этим управлять нужен всего-то один палец. Всё выглядит красиво и фантастично. Но что, если я скажу вам, что подобные концепции ложные?
    Сейчас, когда голограммы реальность и имеют свою, хоть и узкую нишу, конечно надо переводить статью десятилетней давности о 2020м.

    • riskov
      /#22904132

      Разве что-то изменилось с того времени принципиально?

      • ad1Dima
        /#22904168

        Большинство технологий показанных на видео пришли в нашу жизнь. Не такие прилизанные, но они тут:
        дистанционное обучение.
        Перевод в реальном времени
        складные устройства
        Колобаративные интерактивные доски
        Электронные посадочные
        Управление жестами в воздухе (хотя на видео конечно вырожденный пример)
        Дополненная реальность в смартфонах
        3д модели из фотографий (но надо сказать что это было уже на момент съёмки видео)
        Цветные гибкие e-ink дисплеи (кстати на видео как раз в формате газеты, как автор и хотел бы)

        И с точки зрения UX всё работает примерно так, как оно тогда предсказывалось

        • riskov
          /#22904208

          Я с точки зрения автора статьи спрашиваю — что-то принципиально во взаимодействии с устройствами изменилось? Вроде нет — всё те же «картинки под стеклом». Тактильные ощущения также игнорируются, нет? Или я не прав? Это, конечно, очень вероятно, но всё же.

          • ad1Dima
            /#22904250

            люди изменились. двигать пальцем по стеклу новому поколению легко и привычно. Уверен многие свайпом пишут быстрее, чем я на физической клавиатуре.

            Технологии тоже изменились. Тачпад на маке щелкает так же, как и физический. Курки в PS5 позволяют передать натяжение тетивы. А Hololens 2 использует руку целиком для взаимодействия с голограммами.

    • Beholder
      /#22904144

      Голограммы реальны с 60-х годов, но это совсем не то, что показывают в фантастических фильмах.

      • ad1Dima
        /#22904184

        я в данном случае имел ввиду HoloLens. В недрах Microsoft есть стенды для трансляции человека в виртуальный 3D мир. Это очень близко к тому, что показывали в фильмах, но для этого нужно 2-3 кинекта вокруг себя повесить.

  6. Nordicx86
    /#22904054

    Есть концептуальная разработка — тактильного дисплея — всё базируется на реально существующих технологиях — если кому интересно пишите в ЛС — но там нужен НИОКР тк не которые вещи пока не Существуют в пром производстве как единые технологические комплексы.

  7. SquareRootOfZero
    /#22904070 / +1

    «Картины под стеклом» жертвуют всем тактильным богатством работы руками, предлагая взамен фальшивый визуальный фасад.


    «Картины под стеклом» предлагают взамен универсальность — да, ограниченную визуальным фасадом, но все же универсальность: хотите — будет пианино, хотите — клавиатура компьютера, хотите — книга, фотография, кино. Попытки добавить тактильное богатство предпринимаются — всякие haptic interfaces, вибро-кнопки и пр.

    • ad1Dima
      /#22904192

      Если что, это было написано в 2011м )

      • SquareRootOfZero
        /#22905884

        А что-то принципиально изменилось с тех пор?

        • ad1Dima
          /#22907340

          ну, тот же хаптик появился )

          • SquareRootOfZero
            /#22907394

            Хаптику в обет сто лет. Я как раз примерно году в 2011 что-то пытался делать под Cyber Glove — и этот Cyber Glove, судя по разъемам, был хорошо из 90-х. Или вы о чем — хаптик в смартфонах появился, а я как-то пропустил?

            • ad1Dima
              /#22907526

              тачпады на маках нынче с хаптиком. Кнопка на айфонах, на которых еще была. Ну и под экраном у них сейчас тоже.

  8. bat654321
    /#22905654

    Был стартап с тактильной клавиатурой на экране смартфона. Предлогалось в определённые области закачивать гель, и выкачивать его обратно. Но не взлетело.
    И, да, устройства неизбежно деградируют, и поскольку бытие определяет сознание, то…
    Автор, кстати, неправ, заявляя, что люди создают вещи для себя. Это давно в прошлом, во времени натурального хозяйства. Сейчас обыватель — потребитель, от которого ничего не зависит, и ничего не могущий (и даже не имеющий такой возможности) сделать для себя.

  9. aliday
    /#22907068

    Oculus quest 2 уже здесь. Там можно управлять руками и рисовать все что угодно — давайте уже ваш удобный софт

  10. embden
    /#22907116

    Вы использовали комбинацию этих захватов с каждой банкой, которую когда-либо открывали. При этом, скорее всего, вы этому даже не учились и не осознавали, что и как вы делаете. Как это назвать, как не интуитивно понятным интерфейсом?

    Неправда, это не интуитивно понятный интерфейс. Если вы никогда не видели банку, то вы не будете пытаться открутить крышку, особенно, если она плотно закручена. Вы попытаетесь оторвать крышку, потом разобьете банку. Вы откручиваете крышку, потому что научились на примере родителей, которые открывали при вас другие банки. В этом и недостаток концепции автора — он пытается указать на то, что надо использовать руки, в том время как на самом деле, как мне кажется, надо использовать подходящие когнитивные конструкции.

    • SquareRootOfZero
      /#22908462

      На ютубе попадалось видео, как рыбаки поймали осьминога, а тот сбежал из емкости, куда его посадили, нашел стеклянную банку с приманкой, отвинтил крышку и все содержимое сожрал. Не знаю, как он догадался, что надо откручивать, но вряд ли научился от мамы.

      • ad1Dima
        /#22912790

        Для осьминога это более естественное движение. Он мог открыть её случайно.

  11. gekt0r
    /#22918530

    Ну да ну да. А то, что люди своими руками владеют сильно по разному это ничего?
    Интерфейс же должен быть универсальный, а значит большинство людей должны иметь возможность им пользоваться.

    Добавьте к привычным «движениям по стеклу пальцем», например, силу сжатия смартфона второй рукой — окажется, что чтобы ей все могли пользоваться придётся делать очень широкую шкалу сжатия всего на несколько ступеней, например на 3. Если сделать больше — многим уже будет трудно правильно воздействовать на инструмент.

    Этот же пример легко экстраполируется на другие «способности» чеовеческой руки.

    А касания и проведения по экрану — это очень примитивные действия, а значит доступны большинству