1. Моделирование пространства с помощью звука
Пользователь ожидает от саундтрека предсказуемой надежности за счет повторяемости и гомогенности. Расхожее правило «хорошего саунд-дизайна» — его незаметность: звуковые инженеры часто говорят о «невидимом звуке». Алеаторные и шумовые техники дестабилизируют слушание. Возможно, приемы электроакустики в фильмах ужасов обусловлены судорожным обострением восприятия.
Йоргенсен замечает [2], что некоторые видеоигры непроходимы без получения игроком звуковых сигналов. Механики жанра стелса используют контекстуальный звук для решения игровых задач. Например, в Amnesia: The Dark Descent некоторые монстры невидимы и локализуемы за счет шума плеска воды и мелких брызг. С помощью пространственного мышления через аудиальный канал игрок преодолевает испытания, а подслушивание периферийных шумов мутирует в механику.
Инклюзивный для глухих режим визуализации критичных звуков в Fortnite.
Фреймворк слуха как одного из органов чувств ИИ в Unreal Engine 5 имитирует звук на уровне метафоры. Когда актор «слышит» звук, на самом деле ему приходит сообщение с координатами локации. Нынешние технологии DSP позволяют нам читать поток звуковых данных напрямую через виртуальных слушателей, симулируя восприятие с помощью алгоритмов FFT-анализа. Вероятно, такие реалистичные модели слуха будет трудно настраивать под конкретные ситуации, но прецедентов в этой перспективной области пока не существует. В условиях, когда игра выдает упрощенную модель за симуляцию акустического восприятия, игроки склонны переоценивать разумность ИИ.
Датчик движения в Alien: Isolation издает писк и выдает пришельцу положение игрока своим звуком
С помощю звука видеоигры расширяют восприятие игроком пространства и акторов в нем за пределы зримого. Напряженные отношения связывают в игре слушание и звучание — с риском, когда от поражения игрока отделяет неправильно услышанный или невовремя раздавшийся звук.
Теоретизируя референтный звук, Шион вводит [1] термин каузального слушания для описания аудиальной модальности, в которой человека интересуют причины звуков: воображаемые (акусматические) или реальные (фигуративные). Тим Саммерс вводит [3] термин перлокутивных звуков, информирующих игрока для своевременного планирования, реагирования и принятия решений, влияющих на геймплей. Теорию Саммерса обуславливает область исследований аудиальных дисплеев. Её специалисты изучают методы сообщения информации пользователю с помощью сонификации, т. н. «слуховых иконок» («earcons») и голосового синтеза.
Отталкиваясь от понятий Шиона и Саммерса, Гримшоу предлагает [4] мыслить взаимодействие звука с игровыми системами через концепцию акустической экологии Шейфера. В мультиплеерных шутерах производимые игроком шумы выстрелов или шагов могут быть услышаны другими игроками как перлокутивные звуки, сигнализирующие присутствие противника-игрока поблизости. В ответ на них они звучат сами и тем самым упрочняют петли обратной связи в сложной сети слушания -> звучания -> слушания ⟳.
Darkgame
Экстрасенсорная инсталляция со шлемом, который сонифицирует и конвертирует в поведение игровых акторов электрические импульсы мозга. В её основе — сетевой опыт в условиях сенсорной депривации, где игроки, имеющие ограничения зрения или слуха, взаимодействуют на равных условиях с игроками без особенностей восприятия.
Darkgame 4.0, 2015. Eddie Stern
Акустику пространства и любые локализованные источники звуков также можно рассматривать как акторов сети. Маскируя акустические ниши, источники вмешиваются в слух игрока, а пространство очерчивает сгустки интенсивностей, где звуки акторов слышны более или менее разборчиво. Видеоигры могут манипулировать тем, как игрок слушает их мир: например, срезая верхние частоты звуков, когда персонаж погружается под воду.
Проект Стерна комментирует конвенции дизайна звука в игровой индустрии, делая слуховое восприятие сознательным и трудным процессом.
Ecco the Dolphin, 1992. Novotrade International
Мы никогда не узнаем, как слышат дельфины или незрячие с рождения люди, но можем воображать недоступный нам опыт слушания мира и строить через видеоигры спекулятивные модели опыта.
Летучие мыши и дельфины конструируют репрезентацию пространства с помощью эхолокации — метода вычисления величин объектов и расстояний до них с помощью анализа задержек возвращаемых слуху отражений звуковых волн. Когда гейм-дизайнеры выбирают механику эхолокации, они интерпретируют ее в виде художественной модели как необъективный синтез фантазий, воспоминаний и фактоидов.
Задача в большинстве «симуляторов слепоты» — поиск выхода из лабиринта, избегая противников. Поскольку они тоже ориентируются на звук, уровень шума генерирует конфликтные ситуации.
Dark Echo, 2015. RAC7 Games
Dark Echo
В этой двухмерной видеоигре с видом сверху касания мобильного экрана производят короткие импульсы звука, рассеивающиеся и отражающиеся по долгим коридорам. Более длительные касания преобразуются в более интенсивные и далекие звуки в виде рикошета белых линий. Внимание видеоигры к симуляции диффракции и поглощения в акустике визуализирует пространство на уровне контуров и форм сплошной заливки.
Dark Echo, 2015. RAC7 Games
Perception
Когда игрок передвигается (бежит, крадется или ходит) распространение звуков разной интенсивности симулируется в акустическом пространстве. Звуковые ловушки усложняют передвижение через поверхности с битым стеклом или скрипучими половицами. Интересно, что дизайнеры считывают ввод микрофона и делают возможной ориентацию на голос. Здесь механика эхолокации конструирует зрительное восприятие игрового мира буквально — как визуализацию звуковых волн.
Perception, 2017. The Deep End Games
Пульсации звука раскрывают окружение игрока на ограниченное время. Яркость и отчетливость визуализации пространства связывается с динамическим контуром звука как его ADSR-кривой. Если перкуссионные импульсы вроде щелчков, ударов и столкновений озаряют его ненадолго, то длительные шумы действуют как источники электрического света. Ввод игрока модулирует параметры звука, а они, в свою очередь, управляют как игровой логикой, так и визуализацией.
Для звуковых видеоигр характерно использовать силы природы как вспомогательные маркеры глубины пространства. Капли дождя подсказывают материал недосягаемых для поступи структур, барабаня по деревянным козырькам и металлическим контейнерам. Ветер задувает сквозь окна и подсказывает объемы помещений.
Наделение агентностью звучащих процессов и делегирование им власти над звуком — общее место в саунд-арте. Математические уравнения в алгоритмической музыке или морской прибой для поющего органа в одинаковой степени процессуальны. В более поздних главах я еще поговорю о том, как подсказывающие передвижение акторы из audio games принимают на себя функцию изменения структуры музыкальной композиции.
Вид со спутника дает неожиданную точку зрения и проясняет соотношения объектов на земле. Как мы можем говорить о «точках слушания» на потоки звука, разлитые в пространстве?
Пространственное поведение звука производит интерактивную систему его восприятия. Контекстуальная фильтрация звука восприятием и локализация слушателя в пространстве рисует изменчивую звуковую картину. Несмотря на то, что графика ограничена полем зрения, а звук обходит преграды и неизбежно проникает в ухо, мы избирательно воспринимаем оба типа информации. Есть территория, на которой оп-арт и саунд-арт сходятся через отчаянный поиск «точки зрения / слушания», в которой сложится целостное понимание работы.
Монтаж инсталляции «Times Square», 1977.
Times Square
В инсталляции 1977 г Нейхаус прячет под вентиляционной решеткой на оживленном пешеходном переходе в центре города динамики. Из них исходит дрон на пороге восприятия — акусматический звук на стыке слуховой галлюцинации. Нейхаус акцентирует взаимодействие этого звука с городской жизнью и наблюдает за тем, замечают ли его прохожие и что они о нем думают. Точки слушания этого звука зависят от акустической экологии места: если в час-пик он слышен лишь ушами вплотную к решетке, то в тишине ночи растекается на метры.Microtonal Wall
В инсталляции Тристана Перича каждый из 1500 динамиков играет одну микротональную частоту общим диапазоном в четыре октавы. Посетитель испытывает эффект коктейльной вечеринки: издалека множество источников звука сливаются в шум, но вблизи каждая частота становится различима. Тем самым Перич тренирует восприятие различать конкретный звук из множества и делает ощутимой избирательность слуха.Друмева и Ваккари предлагают [5] подсказывать близость игрока к решению видеоигры через модуляцию звука по интенсивности. Тем самым они превращают в механику поиск идеальной «точки слушания» звука и расширяют прошлые функции обратной связи через звук как:
- санкции на (не)правильное действие
- индикации произошедших изменений на уровне
Droumeva, M., & Wakkary, R. (2007). AmbientSonic Map: Towards a new conceptualization of sound design for gamesа
Glory Road // Sisyphus 2.0. Фото Стивена Мура (2013, 2015).
Sisyphus 2.0
Форму развития интенсивной модуляции Друмева-Ваккари и «точек слушания» можно найти в партиципаторной инсталляции Мура и Смоллвуда. Здесь параметры ориентации сферы (крен и тангаж) модулируют скорость и высоту пульсирующих синусоид. Посетители нащупывают точку, в которой тембр и темп двух волн практически складываются по фазе во взаимном усилении. Если у них получилось, то проигрывается положительный звуковой сигнал и генерируется новая целевая ориентация.The Way In, 2019. Скотт Смоллвуд
The Way In
Интересно, что в проекте Смоллвуда многоканальная инсталляция органично переросла в медиум видеоигры. Статичного слушания саундшафта стало недоставать для развития новых методов взаимодействия аудитории со звуком. В процессе сбора звукового материала Смоллвуд опустил гидрофоны в водную цистерну и, слушая записи, ощутил в них запутанное движение через подвижные объемы и течения воды. Смоллвуд гранулирует эти аудиозаписи и преобразовывает воспроизведение диапазона гранул к положению игрока на «правильном маршруте» по лабиринту. Таким образом, движение игрока проматывает линейную композицию с помощью генеративного процесса.
The Chromatic Isle, 2024. Josh Hirshfield
