Глава_3:\ Реакция на ввод данных.
Gif from Steam // Game Mutazione by Die Gute Fabrik // 2019
Эта глава рассматривает связку музыка-человек как динамическую систему реакций разных масштабов и разного уровня обратной связи. Речь идет об интерактивном звуковом синтезе, который чаще всего встречается в роботехнике, играх и в небольших авторских программах. В этом случае композиция не может существовать без медиума — кода, который прокладывает мостик между казалось бы непересекающимися реальностями: библиотекой звуков и действиями извне. Образуется система, внутри которой предусмотренное программистом или проектировщиком опыта действие влечет за собой музыкальный ответ. Музыка как обратная связь здесь устроена сложнее, чем в среднестатистических играх, где к каждому действию подвязан звук, потому что подразумевает под собой отдельную интерактивную систему, направленную на создание уникального аудиального опыта. Примеры сгруппированы по способу получения композиции и типу аудиального опыта.
Линии Андерс Линд, 2016 г.
Интерактивная аудио-выставка: линии, прикрепленные к стенам, полу и потолку, оснащены датчиками преобразовывающими движения в мелодичный звук.
Пространство галереи превращается в простой интуитивно понятный музыкальный инструмент, благодаря которому даже ребенок может создать приятную слуху мелодию. Линии на стенах напоминают нотный стан, а касания к ним регулируют питч — высоту звука.
Всего в галерее три уникальных инструмента разной формы, они работают похожим образом, но подвязаны к разным типовым действиям. Своей инсталляцией Андерс Линд дает возможность получить новый композиторский опыт в полуигровой форме.
Photo from The Nordic House // Exhibition LINES by Anders Lind // 2017
Лес Андерс Линд, Улла Карлссон, 2019 г.
Интерактивная аудио-выставка: стилизованная имитация леса с полевыми записями из Шведского леса и классическими партиями оркестра. Датчики дальности позволяют контролировать интенсивность и громкость звука.
Многопользовательская выставка позволяет воссоздать атмосферу Шведского леса в более футуристичной форме и дает посетителям возможность почувствовать себя в роли оркестра. Тонкая настройка датчиков дальности и движения делает процесс извлечения музыки интуитивно понятным даже тем, кто ни разу не сталкивался с музыкальными инструментами. Эдакий интерактивный мелодичный ландшафт северного леса в выставочном зале.
Photo from Norrlandsoperan // Exhibition THE FOREST by Anders Lind and Ulla Karlsson // 2019
Модель биполярной активности Программирование — Сергей Монахов. научный консультант — Тимур Щукин. Аудио — фрагменты композиций Рёдзи Икэды (рацио), Роберта Фриппа и проекта Kryptogen Rundfunk (хаос). Эрарта, 2008 г.
Устройство работает так: прибор биологической обратной связи в реальном времени реагирует на КГР кожи, после специально написанная программа связывает сигналы прибора со звуковым рядом.
Подключение к объекту позволяет выявить доминирование одного из полушарий мозга. В случае большей активности правого полушария усиливается звучание в правой экспрессивной части инсталляции. Если активнее левое, то сильнее звучит левая конструктивистская часть.
Объект по форме напоминает человеческую нейросистему и интересен тем, что предлагает человеку вступить в симбиоз с музыкой и специально написанной программой.
Photo from Erarta // Model of Bipolar activity // 2021
Шелк Дмитрий Морозов, 2015 г.
Компьютерный алгоритм отслеживает изменения курса криптовалют относительно мировых валют и регулирует натяжение струн и удары кирок по ним. Композиция пишется в режиме реального времени и зависит от динамических данных извне.
Криптовалюта — неуловимое явление, которое не зависит ни от политики, ни от географических ограничений. Ее изменения неуловимы — это продукт эры Интернета. Струнная музыка Шелка только подчеркивает эфимерность явления и вторит ему, используя новые компьютерные и вычислительные технологии. Произведение конвертирует изменения рынка криптовалют в звук, трансформируя ценность в динамическую бесконечную композицию.
Photo from: vtol: // Silk // 2015
Нефть Дмитрий Морозов, 2014 г.
Интерактивная инсталляция, во время которой посетителям предлагаются избавиться от ненужных вещей в обмен на уникальную композицию. Пресс разрушает объект, микрофон записывает звуки, а компьютерная программа генерирует 20-минутный альбом.
Photo from: vtol: // Oil // 2014
Прямое взаимодействие материального и нематериального, размышление на тему: что важнее вещь или искусство? Интерактивная инсталляция предлагает вырваться из рамок общества потребления, отказаться от хлама и получить нечто бестелесное, но ценное и уникальное.
Перекликается с идеей Буддизма о том, что смерть — это трансформация энергии. Нефть — помогает услышать предмет после метафорической смерти, разрушения.
Photo from: vtol: // Oil // 2014
Нефть в действии Запись со страницы Дмитрия Морозова, 2014 г.
Трамваи Хельсинки Теро Парвиайнен, 2017 г.
Генеративная среда, основанная на передвижении трамваев по Хельсинки. Написана на софте Сodepen.io. Программа интересна тем, что позволяет соединить собственный код с внешними системами, имеющими датчики, сенсоры, маячки слежения и интерфейсы.
Теро создал интерактивную карту слежения за трамваями города, которая позволяет присвоить каждому трамваю свою ноту. Композиция получается в результате движения трамваев, генерирующих каждый свою нотную последовательность. Горизонтальные линии на фоне — нотный стан, а точки трамваев — ноты.
Звуки транспортных артерий создают городской ландшафт, переведенных на язык привычной музыки.
Послушать можно здесь.
Screenshot from the website codepen.io // Trams of Helsinki by Tero Parviainen // 2022
Panoramical Разработчик Дэвид Канага, 2015 г.
Игра как многофункциональный отзывчивый музыкальный инструмент. Игрок исследует разнообразные ландшафты и преобразовывает их, задавая уникальный звук и ритм.
Panoramical — динамическая модель альтернативной вселенной, состоящей из 12 миров. В игре нет конкретных задач, никто заставляет гнаться за достижением целей или безумно исследовать каждый закоулок пространства, чтобы собрать все предметы. Пользователь скорее переживает демиуржий опыт трансформатора миров, где каждое действие преобразовывает звук и ландшафт, создает уникальную для каждого пользователя атмосферу и мелодию.
Screenshot from Steam // Game Panoramical by David Kanaga // 2015
Sound Shapes Разработчики: Джонатан Мак, Sony Interactive Entertainment Композиторы: Джим Гатри, Джонатан Мак, Beck, Deadmau5 2012 г.
Музыкальный платформер, в котором уровни выстроены в логике альбомов, а действия игрока поддерживаются ритмичной обратной связью, дополняющей общее звучание уровня.
Каждое движение персонажа имеет ритмичный звук, задающий аудио-ландшафт уровня. В процессе преодоления препятствий игрок должен собрать небольшие шарики — ноты — части саундтрека локации. Если собрать все — получится полная композиция уровня такая, как задумывали авторы.
Mini Metro Разработчик Dinosaur Polo Club, 2015 г.
Минималистичная стратегия-симулятор строительства метро. Каждое событие в игре, каждая линия — имеют уникальный звук, который постепенно складывается в масштабную композицию, шумы в которой регулируются строительством новых станций и разгрузкой старых.
Dinosaur Polo Club // Game Mini Metro // 2015
В процессе строительства новых линий метро создаются новые аудиальные последовательности и связи. Каждая человеко-пробка, каждая остановка и каждый поезд — наделены собственными звуками, которые складываются в уникальную для каждого пользователя композицию — подстать стилю игры.
Трейлер Mini Metro от Dinosaur Polo Club для Nintendo Switch, 2018 г.
Mutazione Разработчик Die Gute Fabrik, 2019 г.
Это игра, необычность которой заключается в связи нарратива с интерактивной музыкальностью. Это квест, в котором игроку предстоит узнать характеры и истории каждого жителя-мутанта уединенного острова, для этого игроку придется подобрать особый подход к каждому жителю через музыку.
Каждой истории соответствует мелодия, чтобы ее воссоздать нужно собрать семена растений. Каждое растение соответствует инструменту, настроению и типу звучания: абстрактные, струнные, электронные, духовые. Когда все компоненты будут собраны, героиня сможет вырастить персональный сад-композицию для каждого из жителей острова. Помимо основного сюжета игра предполагает выращивание интерактивного сада — там можно экспериментировать с музыкой, комбинируя инструменты-растения на свой вкус и настроение.
Gif from Steam // Game Mutazione by Die Gute Fabrik // 2019
Суть в том, что каждая история прекрасна и внутри каждого человека свой сад, свое формирующее событие с его уникальным звучанием, так внеигровой сад обретает новые смыслы: игрок становится новым персонажем Mutazione, реальности соприкасаются.
Очень тонкое сочетание интерактивности, музыки и искусства.
Gif from Steam // Game Mutazione by Die Gute Fabrik // 2019
Посмотреть и послушать персональный сад Mutazione можно в трейлере от Gute Fabrik за 2021 г.
