Как я делаю цифровую минигитару. Часть 2 +88


AliExpress RU&CIS

Прошло 4 месяца с написания предыдущей статьи, за это время произошло довольно много нового как по технической части, так и по позиционированию девайса.

Напомню какие требования к девайсу я поставил, когда начинал разработку:

  • Устройство должно имитировать гитару с 6-ю струнами и 12-ю ладами на грифе

  • Должно быть компактным, в идеале складным, чтобы можно было брать его с собой куда угодно

  • Должно подключаться ко всем популярным осям — Android, IOS, Windows, Linux, MacOS и определяться там как MIDI устройство без каких-либо драйверов

  • Работа от аккумулятора

  • Подключение должно производиться без проводов по Bluetooth Low Energy (но раз уж там будет USB разъем для зарядки, то и по проводу пусть тоже подключается)

  • Возможность сразу начать играть, без необходимости в долгих тренировках по адаптации кистевых связок

  • На каждой струне и каждом элементе грифа должно быть по светодиоду, чтобы можно было запустить табулатуру мелодии, и гитара сама показывала куда нужно прикладывать руки

  • Возможность использования основных техник игры на гитаре: hummer on, pull off, slide, vibrato

  • Задержка передачи midi команд не более 10мс

  • Все должно собираться из подручных материалов без сложных техпроцессов и дорогой электроники

Реализовать мне все это удалось, и даже больше. Был дополнительно интегрирован акселерометр для управления параметрами фильтрации звука наклоном гитары и вибромотор (правда, я до сих пор не придумал зачем).

На момент написания предыдущей статьи выглядело оно так:

Было принято решение пытаться делать стартап и выходить на кикстартер.

Итак, что было дальше?

Следующим шагом стал стандартный этап поиска pre-seed раунда инвестирования. Деньги нужны были на доработку и изготовление нового прототипа, проведения пиар кампании и оплату юридических манипуляций (для участия на кикстартере необходимо юр. лицо в США со всеми вытекающими организационными тратами). Эту задачу нам с моим партнером, отвечающим за бизнес процессы, удалось решить за 2 месяца.

Позиционирование

Для подтверждения полезности продукта и его функционала мы решили провести встречи со всеми Питерскими и Московскими музыкантами, с которыми смогли связаться, и заодно поснимать видеороликов для соц сетей.

Профессиональные гитаристы отнеслись к девайсу ожидаемо скептически. И я их полностью понимаю, это не замена настоящей полноценной гитаре. Это девайс для применений, в которых важны портативность, универсальность, простота, возможность играть в наушниках и т.д. Сидишь, например, в самолете, вокруг шум, суета, плачущие дети, кислородные маски выпадают. Спать невозможно. И тут внезапно наступает вдохновение, достаешь девайс, надеваешь наушники и записываешь новый трек.

Широкой публикой гитара была оценена очень позитивно не смотря на пока что ограниченный функционал и большие конструктивные неудобства. Девайс оказался настолько интересным, что даже популярный в рунете блогер Ваганыч снял на него обзор.

По результатам общения мы открыли для себя новую целевую аудиторию - саунд дизайнеры, мьюзик мейкеры - люди, которые пишут цифровую музыку. Оказалось, у них есть большие сложности с записью гитарных и других струнных партий на миди клавиатурах.  Это очень сложно, долго, муторно настолько, что зачастую им приходится отказываться от струнных инструментов, органичивая свое творчество. Наш девайс они восприняли с максимальным энтузиазмом, пророча ему большую популярность.

Конкуренты

Есть на этом рынке и конкуренты. Мы купили по экземпляру каждого для оценки.

1. Artiphon - панель, чувствительная к нажатию, по форме напоминает гитару, но позиционируется скорее как настольная клавиатура.

Интересная, но дорогая штука. В целом, работает неплохо, можно извлекать разнообразные звуки. Имеет встроенные динамики, но лучше их не включать. Подключается только по USB.

2. Jammy - гитарный форм-фактор, состоит из разъединяющихся элементов с реальными струнами. Датчики независимо отслеживают удары по струнам на деке и прикосновение струны к ладу на грифе. Знакомым гитаристам не удалось сыграть на ней что-то внятное - ноты то не извлекались, то извлекались по нескольку раз. Возможно, требуется длительное привыкание. На реальных роликах в интернете также не удалось найти полноценной гитарной игры, в основном это игра медленным перебором по отдельным струнам.

3. Jamtik - игрушка с 7-ю ладами на батарейках. Сыграть на ней не удалось даже «В траве сидел кузнечик».

Анализ конкурентов добавил нам оптимизма. Ни один из этих девайсов не позволяет играть реальные быстрые гитарные партии, не имеет обучающей подсветки.

Теперь самое интересное – новый прототип

На основе испытаний старого прототипа, конкурентов и личных предпочтений, я решил расширить функционал девайса и добавить несколько пунктов к требованиям:

  • Конечно, RGB подсветка

  • Подвижные струны на деке с детектированием как касания, так и величины отклонения при извлечении ноты. Это позволит избавиться от проблемы задевания пальцами соседних струн и расширит возможности игры за счет поддержки velocity (разные параметры нарастания звука и громкости ноты) и глушения струн прикосновениями как в настоящей гитаре

  • Детектирование силы нажатия на сенсоры грифа для реализации стандартных гитарных техник игры

  • Встроенный синтезатор со встроенной библиотекой инструментов и разъем Jack 3.5мм для подключения наушников или внешних колонок. Встроенные динамики делать не стал – добиться хорошего звучания было бы слишком сложно и дорого

  • Мобильное приложение со встроенным качественным синтезатором и функционалом обучения

  • Пады с подсветкой для записи лупов

  • Упоры на деке и удобного удержания сидя и стоя, крепления для ремешка

Корпус

Корпус получил множество изменений, особенно в узлах со струнами на деке и в механизме складывания. Сенсоры на грифе теперь покрыты матовыми рассеивателями и светятся всей поверхностью.

Основная задача - сделать девайс таким, чтобы был применим мануальный опыт игры на настоящей гитаре. Были проработаны расстояния между ладами, механика струн, геометрия деки и развесовка. Пока что это только рендеры корпуса, но изготовление прототипов уже идет полным ходом.

Электроника

Электронику пришлось разделить на 4 платы:

  • Гриф

Адресные RGB светодиоды подключены последовательно к одной ноге STM-ки. Пришлось повозиться с двойной буферизацией и выводом данных через DMA 100 раз в секунду. Зато, теперь оно работает очень быстро и можно запускать цветные визуальные анимации на поверхности грифа.

  • Плата с падами и подпружиненными контактами для соединения с грифом в разложенном состоянии гитары

  • Основная плата со струнами, мозгами, силовой частью, радио частью, синтезатором и датчиками

Здесь происходит детектирование как прикосновения к струнам, так и величины их отклонения. Это решает проблему со случайными задеваниями соседней струны при игре и дает возможность глушить струны как на настоящей гитаре.

  • Плата с разъемами USB type-C, Jack 3.5мм и тремя индикаторными светодиодами

Мобильное приложение

После выкладывания предыдущей статьи, мне написал мобильный разработчик Юрий Дубовой с предложением помочь в разработке приложения под iOS.

Мы сформировали протокол общения гитары с приложением и разбили его на несколько интерфейсов:

  • Midi команды, разумеется, по умолчанию передаются по стандартному BLE-Midi интерфейсу. Таким образом, к приложению при желании можно будет подключить и другие midi устройства, например, клавиатуру

  • Опционально поддерживается прием midi команд и по проводному USB-Midi интерфейсу. Это будет полезно для старых телефонов без поддержки BLE, а также в случае необходимости сокращения задержки до минимума (порядка 5мс)

  • Отдельный кастомный BLE сервис для передачи уникальных команд, связанных с управлением светодиодами, режимами работы девайса, синхронизацией состояния и т.д.

  • Стандартный BLE battery service для передачи уровня заряда аккумулятора. Он поддерживается на уровне операционной системы и, в случае в виндой, даже отображается соответствующая иконка в панели устройств

Приложение разбито на несколько экранов, соответствующих разным режимам работы:

Свободная игра

В этом режиме пользователь выбирает один из инструментов (акустика, электрогитара, пианино, укулеле, барабаны, и т.д.) и просто играет как ему хочется. Есть возможность загружать свои инструменты в виде саундфонтов в формате «.sf2».

Игра по табулатурам

В этом режиме нужно выбрать мелодию из списка табулатур и запустить интерактивное воспроизведение, при котором гитара светодиодами подсвечивается нужный аккорд и приложение ждет, пока юзер его не сыграет, и зажигает следующий. При этом происходит оценка правильности и скорости игры.

Обучение

Пока у нас нет даже прототипа этого режима, но предполагается интерактивное обучение нотной грамоте и гитарным основам в игровой форме с использованием светодиодов на девайсе.

Есть и другие интересные режимы, о которых я расскажу в следующей статье. Впереди еще очень много работы.

Теперь играть на ней можно тремя разными способами:

  1. Подключение через BLE MIDI протокол к телефону или компу, где девайс распознается как миди устройство, и игра через внешние виртуальные синтезаторы (Ableton, FL studio, Garage Band и т.д. или наше приложение)

  2. То же самое, но с подключением через USB MIDI (работает со всеми хостами, которые я проверял – Android, IOS, Windows, MacOS, Debian)

  3. Игра внутренним синтезатором, с подключением наушников или внешней колонки напрямую в гитару. В этом случае звук будет не самым Hi-Fi, но вполне приемлемым для игры для себя

Интересно, что можно играть всеми тремя способами одновременно, может кому-то пригодится.

Завершение

После завершения изготовления корпуса и тестирования нового прототипа я планирую написать следующую статью, в которой будет больше технических подробностей. Если среди читателей Хабра есть люди, желающие поучаствовать в создании контента, поделиться предложениями или помочь с продвижением – пожалуйста, пишите мне. А также будем рады помощи с изготовлением корпуса и разработкой мобильного приложения.

Кому интересно следить за новостями проекта или оформить предзаказ – оставляйте почту в форме на сайте Sensy и подписывайтесь на соцсети.

Спасибо за внимание! Буду рад обратной связи в комментариях.




Комментарии (49):

  1. DimanDimanyich
    /#22778738 / +2

    у Ваганыча в видео обзоре версия не такая. Очевидно, в статье более новая версия.
    Но по фото сразу понял, что уже видел на Ютубе очень похожую.

    • petr00vi4
      /#22779376

      Ваганыч настраивает гитары по смартфону. На этом всё.

      • tmin10
        /#22780218

        Но это самое простое, что может быть. Хотя необходимость тюнера, который подключается кабелем, я осознал, когда не смог настроить гитару в шумном помещении.

        • Fafhrd
          /#22780304

          прищепка на голову грифа нормально справляется, зачем кабель?

          • tmin10
            /#22781382

            Или так, да. Но отдельным девайсом.

      • ilyaplot
        /#22781074

        Какая разница, если результат достигнут?

  2. AntonSor
    /#22778868

    А в чем сложность записывать струнные на MIDI клавиатуре?

    • Daddy_Cool
      /#22779018

      Некоторые не умеют на клавишах.

    • Catslinger
      /#22779356

      Очень желательно иметь MPE клаватуру, а они пока дороговаты. Без MPE на клавиатуре не сделаешь бэнды, попытки их имитировать колесом звучат очень искусственно. Плагины для имитации стоят денег, жрут ресурсы, и играют так, как хотят их создатели, а не ты.

      • asakasinsky
        /#22782428

        Не бендами одними живы гитаристы. Вибрато, слайды, хаммеры, пуллофы ещё.
        Я, после того, как долгое время посидел за GeoSynthesizer (iPad), очень сильно сокрушался, что на midi-клавиатуре нет возможности делать вибрато клавишами — пальцы автоматически двигались, чтобы сделать вибрато :-)
        Вспомнил Haken Continuum, появилась мысль сделать себе такой же.
        Узнал про MIDI MPE, весьма вдохновился, и тут на просторах сети увидел Seaboard. Понял, что ничего делать самому не нужно.
        Seaboard, конечно, гитару не заменит, но даёт дополнительную свободу для выразительности.
        Под спойлером, в качестве демонстрации возможности контроллера Seaboard, спрятано немного выступлений Marco Parisi, на которых видны руки и сам контроллер.

        Marco Parisi и Seaboard

    • telefonist
      /#22783234

      Вот тут на видео Ваганыч играет "Всё идёт по плану". Боем. Попробуйте это запрограммировать на миди-клавиатуре. Желательно так же чуть криво. Вдруг вам надо изобразить посиделки у костра и надо чтоб криво? Думаю, неделю займёт.

  3. Fafhrd
    /#22778944

    But does it djent?

  4. Daddy_Cool
    /#22779016

    Прикольная игрушка.
    Интересно как звучит пассаж 16-ми в темпе 120.

    • Catslinger
      /#22779366

      Вот так: «Ды-ды-Ды-ды-Ды-ды-Ды-ды!»

  5. Retifff
    /#22779488

    Очень далёк от музыки и музыкантов, но выглядит и работает реально круто.

  6. vaboretti
    /#22779508 / +1

    Судя по прошлой статье, тут стоит stm серии f0. В новом прототипе тот же контроллер? Неужели не захлебывается с таким количеством процессов?

    • Dudarion
      /#22779770 / +1

      Все верно, весь опрос датчиков, индикация, логика и usb на совести stm32f042. Удалось большинство задач повесить на dma, разгрузив ядро.

  7. iShrimp
    /#22779526

    Я как любитель микротоновой музыки хотел бы узнать у автора: планируется ли версия с большим количеством ладов (до 24, а может и больше...)?
    Если можно будет получить на каждой струне полную октаву в 22-EDO, то уже неплохо. Но если получится 31-EDO, то это ещё круче, так как данный строй в отличие от 22-EDO является среднетоновым, и он просто создан для гитары :)
    Хотя есть музыканты, хорошо играющие и в 22-EDO,

    пример (9-минутный ролик)

    • telefonist
      /#22783200

      Так это ж цифровой инструмент, новая прошивка — и каждый лад может быть не полтона, а четверть. Только на грифе перестанет влезать октава, но на то нам и струны))

  8. FForth
    /#22779672

    Краткий курс «DSP для начинающих». ADAU1467+AD1938, ответы на вопросы, новые проекты для цифровой гитары.

  9. vanxant
    /#22779934

    Конечно очень нужен хотя бы простенький синтезатор (не отменяя чисто мидишную часть). Чтобы подрубил на пикнике или даче к колонке и давай про всё идёт по плану.

    • Dudarion
      /#22779992

      Это уже есть в новом прототипе, в статье описан встроенный синтезатор

    • Vsevo10d
      /#22780500 / +1

      Насколько я знаю современных студентов, они летом у костра находят ВК минусы любимых песен и горланят под них. Костры еще не на экране ноута, а из настоящего огненного пламени, но это не точно.

      • REPISOT
        /#22780666

        Мы сидим у костра в таких местах, где по телефону даже голосовой связи нет, не то что интернета.

        • ilyaplot
          /#22781082

          Современные студенты разводят костры под вышками 5G, пока не догорело — все ловит.

  10. vanxant
    /#22779964

    Ну и гитару-самоиграйку можно забацать, типа поставил ритм, пилишь соляк и по возможности одной нотой бас, а ритм-гитару и прочую оркестровку оно само делает. Это уже для кабацких исполнителей может быть очень интересно.

  11. Valery4
    /#22780068

    Вот более близкий к реальной жизни ролик, более сложный чем просто перебор по струнам, но всё равно печаль.

  12. TrifonovIS
    /#22780294 / +1

    Я поменял у Jamstick родные стальные струны на пластик, и играть стало удобнее.
    ( Могу дать попробовать.)
    Но даже по моим ощущениям (а я не профессионал) Jamstick до гитары не дотягивает, так что, с интересом буду следить за вашим проектом.

  13. Upd
    /#22780296 / +1

    Есть очень крутой инструмент, Misa Digital Kitara.
    У Pendulum гитара Starr Labs Ztar Z6. И вообще у Starr Labs куча подобных midi-контроллеров.

  14. RicoScrewdriver
    /#22780370

    Для того что бы сделать обучающий режим обратите внимание на приложения для игры на гитаре. Например, Yousician. Только да, создавать контент для такого приложения та ещё работа.

  15. Gordon01
    /#22780384 / -1

    А Pendulum на чем играют? У них тоже есть midi-контроллер в виде гитары.

    • Upd
      /#22784288

      У Pendulum гитара Starr Labs Ztar Z6.

  16. Vsevo10d
    /#22780496 / +1

    Если честно, то, не умаляя достоинств и усердности разработчика, никогда не понимал эту нишу имитаторов/падов/контроллеров.

    Это устройство несерьезное, для игры в игру на гитаре? Так есть же Guitar Hero.
    Это устройство серьезнее, чем несерьезные устройства-конкуренты? Так проще купить нормальную электрогитару.
    Это устройство с более низким порогом вхождения? Да нет, разучивать последовательность нот и последовательность движений для мелодий будет одинаково долго — паттерн мелодии-то не меняется.
    Это устройство более юзер-френдли для обучения? Так есть Ultimate Guitar и миллиард приложений для разучивания аккордов, настройки и прочего. Для обычной электрогитары тоже абсолютно не нужно обладать нотной грамотностью, для начала достаточно знать 5 аккордов и уметь читать табы, ну еще про хаммерхед и сдергивание.
    Это устройство более компактное, легкое и не жрет руки? Ну разве что.

    Как по мне, проще купить недорогую (не дешевую, а недорогую) электрогитару, самый маленький комбик (можно даже мониторные наушники в него втыкать, чтобы соседи жили спокойнее), погуглить, как отрегулировать мензуру и анкер грифа, чтобы потом мучительно не продавливать струны на полсантиметра до ладов, скачать Guitar Tuna и зарегиться в Ultimate Guitar. Все остальное зависит только от усидчивости. Зато никакие MIDI-сэмплы не заменят ощущения от звука на кончиках пальцев, даже если он на выходе пропущен через овердрайв или дисторшен.
    Но это мое личное мнение, и еще раз — автор устройства молодец, что умеет и делает.

    • tmin10
      /#22781398

      Тут ещё ставка на портативность. Обычную гитару тяжелее с собой взять.

  17. sith
    /#22780516 / -1

    Комментарий от живого гитариста (т.е. меня). Какой бы инструмент сделал бы я, если бы умел:

    1. Мензура и вообще все размеры — классические (ширина, толщина, грифа, расстояние между струнами и так далее).
    2. Настоящие струны для правой руки. При этом чем сильнее дёргаешь струну, тем громче звук. Это очень важно. В идеале ещё и понимать как именно она вибрирует, чтобы можно было придавать правильную окраску звуку (более мягкий, округлый, рёзкий и так далее).
    3. На грифе настоящие лады, чтобы левая рука могла их чувствовать, когда скользит по грифу и «струнам».
    4. Раскладывающийся «корпус», Т.е. не целиком корпус, а хотя бы его обводы, чтобы можно было удобно разместить инструмент на ноге. Т.е. как минимум два раскладывающихся элемента — один снизу для ноги, второй сверху, куда можно положить правую руку.
    5. Места для крепления ремня, для тех, кто хотел бы играть стоя.

    Интересный проект. Удачи вам.

  18. Rast1234
    /#22780582

    Начинал учиться играть на акустике, оттолкнула необходимость тренировать мозоли и силу нажатия… ощущалось что это легаси какое-то, хотел как раз эмулятор попроще)

    • neko_nya
      /#22781530

      Так купите себе гитар хиро. Самое оно.

      • Rast1234
        /#22782096

        он не учит играть на гитаре, он учит вовремя прожимать паттерны которые к воспроизводимой музыке никакого отношения не имеют

    • asakasinsky
      /#22782444

      Отдайте гитару мастеру, скажите, чтобы настроил гитару для начинающего — высота струн, нужная жёсткость струн.
      Получите удовольствие.

    • Vsevo10d
      /#22784760

      Купите электрогитару и комбик, будет звучать каждое прикосновение к струнам.
      Штатными шестигранниками опустите во стороны мензуры струны до пары мм над ладами, и все. Ну анкер открутите еще, если гриф посередине наружу выгнут.

  19. devlev
    /#22780936

    Мне нравится ваш проект! Я конечно не гитарист, но как инженер хочется поделиться некоторыми мыслями:


    1. Мне кажется складной механизм лучше сделать так чтобы гитара складывалась внутрь ладами а не наружу. При транспортировке велик шанс поврежения и ладов и струн так как это все торчит наружу. Если же они были бы внуть то шанс повредить гитару в сложенном виде был бы намного ниже. Да, возможно пришлось бы усложнить мехенизм складывания.
    2. По поводу самого механизма складывания, я так понял у вас там используются подпружиненные контакты (поправьте если я не прав) и мне кажется это плохой идеей. Если контакты будут открыты то велика вероятность их окисления и вследствии чего один из контактов иметь плохое соединение. Мне кажется что здесь лучше использовать провода. Есть масса способов как сделать подвижное соединение и чтобы все было полностью закрыто.
    3. Саму гитару оставить по форме как и в первом исполнении в виде прямоугольной палки (без корпуса для удобного расположения на ноге). Лучше предусмотреть возможность отстегивания корпуса чтобы опять же можно было иметь более компактную версию. Если в центральной палке будет предусмотренна продуманная система крепления внешнего корпуса разной формы, то тогда и гита будет компактнее, и корпуса можно будет делать разные.

    Я желаю вам успехов в вашем проекте, он реально крут!

    • aklimano
      /#22795596

      Тоже хотел написать про возможность подсоединения кастомных корпусов — один универсальный может быть не так удобен для всех, плюс гитаристы очень ценят индивидуальность) Или оставил дома удобный корпус размером с классическую деку, а с собой взял небольшую коробочку.


      Вообще мне очень понравился проект, автор, вы молодец! Надеюсь у вас все получится!

  20. Areso
    /#22781306

    Прикольная игрушка.
    Есть у самого электрогитара, но прожимать (недожал чуток и привет), бороться с дребезгом и т.п., надоедает до жути, а побренькать хочется иногда по лайту.

    Присматривался к подобным решением, но чего-то не нашёл ничего подходящего, что было бы лучше детской игрушки, но и без хардкора мозоли-крыв под ногтями-дребезги-недожатия и т.п.

  21. igorek_bg
    /#22782732

    Ну и от меня несколько непрошенных вопросов/советов:


    1. Расстояние между ладами одинаково по всей длине грифа? Как к такому отнеслись опрошенные гитаристы? Тяжело ли им было с соло партиями?
    2. Рассматривалась ли идея плату для грифа разбить на 12 одинаковых платок? Если да, то почему отказались? Силные стороны — ремонт, производство плат.
    3. Задумывается ли basic версия? Светодиоды, гироскоп, вибро и т.д. — ведь многим это не нужно. А уже в зависимости от спроса можно делать student, tourist, pro версии с разной компоновкой. Я понимаю, что кикстартеру свистелки показывать нужно. Сильные стороны: цена, надежность, легче следовать правильным пропорциям в ладах, меньше хлеба конкурентам, поджидающим, когда вы рынок создадите.

    • Dudarion
      /#22783560

      1) Расстояния в новом прототипе разные, в соответствии с пропорциями настоящих гитар
      2) Одна большая плата более эффективна с точки зрения стоимости изготовления, монтажа и количества проводов
      3) Отказ от светодиодов и акселерометра не сильно скажется на стоимости. Если пользователю это не нужно, он может отключить это в приложении.
      Но в случае успешного краудфандинге в мыслях есть идея сделать упрощённую детскую версию гитары.
      Спасибо за вопросы!

  22. Eldoor
    /#22787608

    Классная задумка, можно еще добавить одну функцию — запись треков. Допустим, сидишь вечером и запускаешь с помощью какого-нибудь переключателя запись игры, потом запись сохраняется в памяти. На следующий начинаешь играть для друзей, гитара начинает понимать, какую из загруженных дорожек ты играешь, и когда ты дошел до середины дорожки, то нажимаешь какую-нибудь кнопку и гитара начинает сама играть без тебя (лады загораются как при обучении), а ты в это время начинаешь «танцевать». Вау эффект гарантирован, все захотят. Сори за мой немузыкальный сленг, я просто не шарю, но идея классная.

  23. piratarusso
    /#22791432

    При производстве аудио продукции, всяческие контроллеры, особенно если они маленькие, удобные и позволяют записать дорожу на IPAD, вполне себе прижились. Вопрос что именно можно сделать с этой штукой, какие выразительные средства она может дать. Пока результат звучит, как на очень простой миди клавитауре — максимум долларов за 50. Зачем и кому именно этот инструмент нужен мне просто не понятно. Второй момент- конструкция инструмента- если вы сами не любите играть, как вы поймёте как именно должен работать контроллер?

  24. vanxant
    /#22795470

    Вот в этом видево хорошо видно, что нужно от гитары гитаристу
    (смотреть с 3:20)