Терменвокс онлайн: играем движениями рук перед веб-камерой

поделиться

Я выложил на сайт терменвокс на веб-камере: браузерный инструмент, в котором движениями рук можно менять высоту звука и громкость. У него есть привязка к нотам, несколько тембров и режим игры мышью без камеры. Расскажу, с чего начать, какие настройки помогают попасть в мелодию и как устроено распознавание рук.

Правая рука меняет тон, левая — громкость

На экране нарисованы две антенны: вертикальная справа и петля слева. Двигайте правую руку по горизонтали к правой антенне — звук становится выше; отводите обратно — ниже. Левую руку поднимайте для увеличения громкости и опускайте к петле, чтобы сделать звук тише. Изображение камеры зеркальное, как при обычном видеозвонке с собственным превью.

Программа смотрит на положение ладони в картинке. Приближать руку к объективу для изменения тона не нужно: здесь работает движение поперёк кадра. Если сжать левую руку в кулак, голос синтезатора замолкает, хотя при включённой реверберации остаётся короткий звуковой хвост. Так можно разделять отдельные фразы, не возвращая руку каждый раз к нижнему краю.

Первый звук проще получить без камеры

На странице инструмента есть две кнопки: «Играть руками» и «Без камеры (мышь)». Для начала я рекомендую вторую. Зажмите кнопку мыши на чёрном поле и подвигайте указатель: по горизонтали меняется тон, по вертикали — громкость. Отпустите кнопку, и голос замолчит.

Так проще понять расположение нот и послушать тембры, прежде чем разбираться с камерой. Регистрация и установка приложения не нужны. Для игры руками выберите соответствующий режим, разрешите доступ к камере и расположитесь так, чтобы обе ладони помещались в кадре. При первом запуске придётся дождаться загрузки модели распознавания.

Звук запускается после нажатия кнопки: браузеры ограничивают автоматическое воспроизведение. Для доступа к камере нужны разрешение пользователя и защищённая страница — это описано в документации браузерного API. На сайте инструмент открывается по HTTPS.

Узкий диапазон помогает удерживать ноту

По умолчанию выбран диапазон C3–C6 — три октавы. Привязка к нотам выключена, поэтому звук плавно проходит через все промежуточные значения. Это даёт протяжные переходы, но требует точного положения руки. На экране видны ближайшая нота, частота в герцах и отклонение в центах: 100 центов соответствуют одному полутону.

Для первых упражнений поставьте диапазон C4–C5. На то же движение руки придётся одна октава, и расстояние между соседними нотами на экране увеличится. Попробуйте найти до, перейти к следующей ноте и вернуться обратно. Громкость пока держите постоянной: осваивать два независимых движения одновременно сложнее.

Привязка к ладу облегчает первые мелодии

В списке «Привязка к нотам» доступны хроматика, мажор, минор, мажорная и минорная пентатоника, блюз. У ладов можно выбрать тонику — ноту, от которой строится их набор звуков. Для короткой импровизации удобно начать с пентатоники: вариантов нот меньше, и легче повторять удачные сочетания.

Ползунок «Сила привязки» определяет, насколько программа подтягивает высоту к ближайшей ноте выбранного лада. При 100% целевая высота попадает на разрешённые ноты; при меньшем значении сохраняется больше свободного скольжения. Портаменто при этом продолжает сглаживать переходы между ними. Чтобы упражняться в точном управлении высотой без такой помощи, выключите привязку.

Режим одной руки упрощает управление

Если две руки пока мешают друг другу, включите «Одной рукой (кулак = тишина)». Останется управление тоном, а уровень звучания будет фиксированным. Кулак на играющей руке выключает голос; общую громкость по-прежнему можно настроить ползунком. Получается отдельное упражнение на движение между нотами и паузы.

Для левшей предусмотрен переключатель «Левша (тон левой рукой)»: он меняет роли рук и зеркально разворачивает расположение управления тоном. В обычном режиме, когда камера видит обе руки, программа распределяет их по положению на экране. Поэтому лучше держать их по разные стороны и не перекрещивать во время игры. Если изображение мешает, его можно скрыть, сохранив управление жестами.

Тембр, вибрато и реверберация меняют звучание

Я добавил четыре тембра: «Терменвокс», «Чистый синус», «Флейта» и «Виолончель». Они получаются из разных наборов гармоник одного синтезатора. Названия флейты и виолончели описывают характер звука: записанных акустических инструментов внутри нет. Инструмент одноголосный, то есть ведёт одну ноту за раз.

Звук собирается через Tone.js: генератор, вибрато, фильтр, управление громкостью, реверберация и общий выход. Вибрато добавляет периодическую модуляцию, реверберация — ощущение пространства. Портаменто задаёт плавность перехода к следующей высоте. На первых попытках оставьте эффекты умеренными: так лучше слышно, что именно меняется от движения руки.

Нейросеть распознаёт руки, а звук создаёт синтезатор

Для камеры я использую MediaPipe Gesture Recognizer. Он возвращает координаты ориентиров кисти и распознанный жест. Программа вычисляет положение ладони по запястью и трём основаниям пальцев, а затем переводит его в частоту и громкость. Отдельно проверяется сжатый кулак.

Кадры обрабатываются в браузере; в коде приложения нет отправки видео на сервер для распознавания. Микрофон инструмент не запрашивает. Это не означает отсутствия любых сетевых обращений: опубликованная страница также загружает Google Analytics и рекламный скрипт. Переключатель «Показывать видео» скрывает только картинку — сама камера продолжает работать.

Для меня это ещё один музыкальный проект рядом с SongGiftBot и разбором локальной генерации музыки в ACE-Step. Здесь распознавание помогает управлять инструментом, а мелодию нужно сыграть самому. Другие проекты с такими технологиями собираю в разделе экспериментов с ИИ.

Камера и сглаживание определяют удобство игры

Дайте камере достаточно света и держите ладони целиком в кадре. Если в режиме двух рук звук пропал, посмотрите на индикаторы тона и громкости: программа должна распознавать обе управляющие руки. Ошибки запуска отдельно сообщают о запрете доступа, отсутствии камеры или её недоступности из-за другого приложения.

Настройка «Сглаживание дрожания» уменьшает колебания отслеживаемой позиции, а портаменто сглаживает изменение частоты уже в звуке. Сильное сглаживание делает управление менее резким, но может добавить ощущение запаздывания. Меняйте эти параметры по одному. Показатель FPS относится к обработке кадров и не измеряет полную задержку от движения до звука; сравнительных замеров на разных устройствах у меня пока нет.

Начните с мыши, затем попробуйте камеру с одной рукой, диапазоном в одну октаву и сильной привязкой к пентатонике. Когда получится повторить короткую последовательность нот, подключайте вторую руку для громкости. После этого уменьшайте привязку и возвращайте свободное скольжение — будет понятнее, какое движение отвечает за каждое изменение звука.

Добавить комментарий