III. Анализ визуального материала / 3.2. Гибридный опыт
Переходя от объективных примеров, основанных на формализованных и автономных системах визуализации, исследование обращается к следующему этапу — гибридному опыту, в котором алгоритмические процессы взаимодействуют с человеческим восприятием, телесным присутствием и авторской художественной интерпретацией. Последовательность примеров демонстрирует то, как визуализация звуковых данных выходит за рамки функции, приобретая ассоциативные образы и нарративы, интегрируясь в пространство, а также напрямую взаимодействуя с человеком.
3.2. Гибридный опыт
Quayola
Итальянский аудиовизуальный художник. Он исследует взаимодействие между человеческим восприятием и машинным анализом, создавая работы, в которых цифровые алгоритмы интерпретируют музыку, живопись или архитектуру.
1. Partitura (2011)
Описание: Проект, в котором автор (в сотрудничестве с Натаном Синигалья и Педро Мари) создает цифровые визуализации музыки, основанные на партитурах классических произведений (в частности, Баха и Стравинского). Звук анализируется и преобразуется в динамические структуры, напоминающие движущиеся картины.
Визуализация: Геометрические формы и потоки частиц реагируют на звуковые частоты и тембры. Музыкальная структура становится пространственным паттерном, где каждая нота, каждая динамика выражается визуально [39].
Метод: Объективный. Работа основана на точных данных аудиоспектра и партитуры. Однако благодаря пластике движения и цветовой динамике она может восприниматься как визуальный опыт на уровне ощущений, что придает частицу субъективного характера.
Quayola, кадры из «Partitura», 2011.
2. Transient (2020)
Описание: Проект создан Quayola в сотрудничестве с музыкальным дуэтом ЅЕТА. Это аудиовизуальный концерт-инсталляция, где музыка исполняется двумя моторизованными пианино, а алгоритмы в реальном времени создают проекции, реагирующие на звук.
Визуализация: Изображение абстрактно, но создает ощущение пейзажа. Динамические мазки света и цифровые текстуры заменяют фигуративность. Система связывает звуковые параметры (высоту, динамику, длительность) с визуальными характеристиками (скорость, яркость, направление). Все развивается в реальном времени и превращает музыку в визуальное событие [40].
Метод: Гибридный. Работа сочетает объективный алгоритмический принцип (точная связь между звуком и изображением) и субъективное воздействие, создающее эмоциональную атмосферу и ассоциативную образную интерпретацию.
Quayola, кадры перфоманса «Transient», 2020.
3. Ravel Landscapes (2013)
Описание: Аудиовизуальный концерт, в котором на пианино исполняется музыка Мориса Равеля, а ее звуковые данные анализируются и преобразуются в визуальные композиции с помощью специально разработанного программного обеспечения.
Визуализация: Визуальные композиции создаются в реальном времени и синхронизируются с музыкой. Они представляют собой абстрактные изображения, вдохновленные пейзажами, и включают такие элементы, как линии, точки и текстуры, которые эволюционируют в зависимости от музыкального материала [41].
Метод: Гибридный. Работа сочетает точное отображение музыкальной структуры с ассоциативно-насыщенной визуальной композицией.
Quayola, Н. Санигалья, кадры концерта «Ravel Landscapes», 2013.
Максим Жестков
Мультидисциплинарный художник и режиссер, работающий на стыке цифрового искусства, дизайна и науки. Имея образование архитектора, он основал студию Zhestkov.colossal, которая специализируется на создании иммерсивных цифровых миров, где физика, цвет и движение становятся главными героями. Его работы исследуют сложные концепции: от теории информации и квантовой механики до природы эмоций и сознания.
1. Simulation Hypothesis (2023)
Описание: Выставка посвящена концепции симуляции реальности, начиная с Большого взрыва и до человеческого воображения. Жестков исследует происхождение материи и сознания, трансформируя масштабные образы в цифровые скульптуры и генеративные визуальные процессы.
Визуализация: Визуальные формы создаются генеративными алгоритмами: крупномасштабные проекции цифровых частиц и скульптур реагируют на синтезированные аудиопотоки. Зритель видит процесс формирования материи, где звук задает движение и плотность частиц, а концептуальные метафоры придают образам философский и эмоциональный нарратив [42].
Метод: Гибридный. Генеративные алгоритмы объективно формируют цифровые формы, а концептуальный слой добавляет субъективность через философскую интерпретацию происхождения материи и сознания.
М. Жестков, кадры видео-инсталляции «Simulation Hypothesis», 2023 // фотодокументация выставки «Simulation Hypothesis», 2023.
2. Volumes (2018)
Описание: Проект представляет собой цифровую генеративную композицию, состоящую из миллионов сферических частиц. Работа исследует трансформацию и устойчивость, демонстрируя взаимодействие частиц в пространстве как гипнотический балет, управляемый цифровыми алгоритмами и аудиопотоком.
Визуализация: Цифровые сферы взаимодействуют друг с другом, создавая динамичные и органичные формы, напоминающие природные структуры. Звуковой поток задает плотность, движение и ритм частиц, создавая синхронную аудиовизуальную среду. Элементы визуализации формируют метафорический образ ветра, придавая композиции эмоциональный и философский оттенок [43].
Метод: Гибридный. Визуальные формы структурно синхронизированы со звуком (объективная часть), но композиция и метафорический нарратив добавляют субъективное восприятие.
М. Жестков, кадры видео-инсталляции «Volumes», 2018.
AntiVJ
AntiVJ — визуальный лейбл, основанный группой европейских художников, работающих на стыке искусства и технологий. Их работы фокусируются на создании масштабных аудиовизуальных инсталляций, использующих проекционное картирование и генеративную графику.
1. The Ark (2013)
Описание: Эфемерная аудиовизуальная инсталляция, созданная вокруг кактусов, окружающих Альхибе (водоем) в центре Этноботанического сада Оахаки. Проект, вдохновленный мифом о Великом потопе, состоит из трех частей и представляет собой световой маршрут, в котором взаимодействуют природная среда и технологическая система визуализации.
Визуализация: Проекционное картирование используется для формирования динамических изображений на поверхности растений. Световые проекции адаптируются к природной архитектуре сада, создавая иллюзию роста и дыхания. Плавные переходы света и тени формируют эффект органического движения, а зрители, перемещаясь внутри инсталляции, становятся активными участниками пространственного аудиовизуального опыта [44, 45].
Метод: Гибридный. Визуально-звуковая структура инсталляции строится на взаимодействии алгоритмически организованных световых и аудиопроцессов с живой средой. Природные объекты выступают не пассивными поверхностями, а соучастниками визуализации, влияющими на восприятие света и звука.
AntiVJ, кадры световой инсталляции «The Ark», 2013 // фотодокументация проекта, 2013.
2. 3Destruct (2007)
Описание: Аудиовизуальная инсталляция, впервые представленная на Биеннале современного искусства в Лувен-ля-Неве (Бельгия, 2007) и позднее адаптированная для различных пространств, включая индустриальные. Работа представляет собой пространство визуальной и звуковой деконструкции, где привычная архитектурная координация нарушается и переосмысляется.
Визуализация: Световые и видеопроекции размещены таким образом, что пространство воспринимается как фрагментированное и неустойчивое. Пересечения света и тени создают сетчатые структуры и иллюзию распада формы. Цветовая палитра сдержанна, акцент сделан на взаимодействии света с архитектурной средой.
Метод: Гибридный (с преобладанием объективного подхода). Визуально-звуковая структура инсталляции формируется алгоритмически и сохраняет связь со звуковыми параметрами, однако зритель включен внутрь пространства и становится его активным элементом. Благодаря этому восприятие выходит за рамки чисто формальной синхронизации, превращаясь в иммерсивный опыт, где объективная система взаимодействует с телесным присутствием наблюдателя [46, 47].
AntiVJ, фотодокументация инсталляции «3Destruct», 2007.
V Squared Labs
V Squared Labs — студия визуальных решений, основанная Велло Виркхаусом в начале 2000-х в Лос- Анджелесе и специализирующаяся на создании масштабных аудиовизуальных систем и инсталляций для концертов, туров, музеев и брендов, используя проекционное картирование, генеративную графику, архитектурную интеграцию и аудио-реактивные технологии.
1. ISAM Live (2011)
Описание: Мультимедийный аудиовизуальный перформанс Амона Тобина, созданный для тура в поддержку одноименного альбома. Шоу, впервые представленное на фестивале MUTEK в Монреале (2011), использовало трехмерную кубическую сцену, на поверхности которой проецировалась синхронизированная анимация. Музыка сочетала сложные ритмы, полевые записи и синтетические текстуры, формируя плотный пространственный звуковой ландшафт.
Визуализация: Студия V Squared Labs под руководством Вело Виркхауса разработала систему проекционного картирования, в которой каждая грань сцены становилась экраном для анимации. Визуальный ряд включал геометрические сетки, архитектурные формы и световые трансформации, синхронизированные с ритмической и динамической структурой музыки, а также передающие ее сюжетные мотивы. Изменения цвета и формы усиливали эффект движения и пространственного погружения [48].
Метод: Гибридный. Визуализация строится на синхронизации звуковых параметров с визуальными изменениями (объективный уровень), но включает и интерпретативный пласт: трансформация форм и структуры сцены создает нарративное ощущение путешествия и архитектурного исследования пространства.
V Squared Labs, фотодокументация события «ISAM Live», 2011.
Янник Жаке и Жереми Питерс
Медиахудожники, работающие в области аудиовизуальных инсталляций и перформативных пространств. Оба являются участниками коллектива AntiVJ. В своих проектах они сосредоточены на взаимодействии звука, света и структуры пространства, рассматривая визуализацию как процесс восприятия, а не как статичный образ.
1. Mécaniques Discursives (2011)
Описание: Проект был инициирован в 2011 году художниками Фредом Пенель и Янником Жаке как длительное исследование, в котором гравюра на дереве встречается с цифровым видео-артом. Инсталляции адаптировались к стенам и архитектуре выставочных пространств, превращая технические ограничения в творческий ресурс.
Визуализация: Работа развернута на стенах, деревянные матрицы и гравюры Пенеля сочетаются с видео-проекцией Жаке, создавая визуальную машину, населенную химерическими формами и абстрактными связями. Пространства заполнены линиями, сетками, тенями и проекциями, которые словно распадаются, перетекают и трансформируются создается ощущение лабиринта, где время и материал разрушаются и переосмысливаются [49-51].
Метод: Гибридный (с акцентом на объективный подход). Проект опирается на алгоритмическую синхронизацию видеопроекций и гравюрных отпечатков с архитектурой пространства, при этом зритель присутствует внутри среды, становясь частью визуально-звуковой машины. Такая организация создает иммерсивное пространство, в котором объективные процессы (синхронизация, алгоритм, геометрия) взаимодействуют с телесным присутствием наблюдателя.
Я. Жаке и Ж. Питерс, кадры записи видео-инсталляции серии «Mécaniques Discursives», 2011.
Жоани Лемерсье
Французский художник, работающий на пересечении света, пространства и восприятия. Его творчество развивалось из области видеомэппинга и генеративной графики в сторону более исследовательского аудиовизуального искусства.
1. Nimbes (2014)
Описание: Иммерсивная инсталляция в формате купольного проектора. Работа сочетает геометрические формы, световые структуры и звуковую композицию Murcof, создавая впечатление путешествия через цифровую космологию.
Визуализация: Сферические и волновые формы, разворачивающиеся в пространстве и в ритме звука, которые перетекают в конкретные образы. Точное соответствие между музыкальной структурой и визуальной динамикой. Благодаря купольному формату зритель словно находится внутри визуализации [52].
Метод: Гибридный. Хотя визуальный ряд строго следует музыкальной структуре, цель вызвать эмоциональное, почти медитативное переживание.
Ж. Лемерсье и Murcof, кадры видео-инсталляции «Nimbes», 2014.
3. We are not going to Mars. (2023)
Описание: Иммерсивная мультимедийная инсталляция, в которой Лемерсье объединяет данные, свет и звук, чтобы поставить под сомнение идею колонизации Марса и указать на экологические кризисы Земли.
Визуализация: Световые проекции и абстрактные анимации, синхронизированные с аудио, создают атмосферу тревожного ожидания. Визуальный язык использует алгоритмические паттерны и динамические линии, но смысловая рамка поэтическая и концептуальная [53].
Метод: Гибридный. Работа сочетает алгоритмическую точность с эмоциональной рефлексией о будущем.
Ж. Лемерсье, кадры видео-инсталляции «We are not going to Mars.», 2023.
United Visual Artists (UVA)
Британская студия, основанная в 2003 году Мэттом Кларком. Коллектив объединяет художников, инженеров и дизайнеров, работающих на пересечении искусства, архитектуры, света и звука. Их практика направлена на исследование того, как человек воспринимает пространство, время и движение через синхронизацию аудио и визуальных элементов.
1. Vanishing Point (2013-14)
Описание: Инсталляция, основанная на принципах линейной перспективы: лазерные линии и геометрические проекции конструируют архитектурное пространство, последовательно организованное в соответствии со звуковыми паттернами.
Визуализация: Минималистичная световая геометрия и лазерные сетки «чертят» структуру звука в реальном пространстве, создавая эффект трехмерной визуальной архитектуры, внутри которой перемещается зритель [54, 55].
Метод: Объективный, но склонный к гибридному. Математическая структура света и звука определяет основную логику визуализации, однако зритель размещен внутри активного светового пространства, что делает восприятие интерактивно-телесным и добавляет гибридный компонент, связанный с иммерсивностью и пространственным участием.
United Visual Artists, фотодокументация проекта «Vanishing Point», 2013-14.
2. Volume (2006)
Описание: Интерактивная инсталляция в Музее Виктории и Альберта (Лондон), поле из световых колонн реагирующих на движение зрителей и одновременно отражающих изменения звуковой среды, формируя единый аудиовизуальный процесс.
Визуализация: Архитектурная световая структура, где столбы света реагируют как на присутствие человека, так и на звуковые трансформации. Световые паттерны синхронно следуют за звуковыми событиями, а движение посетителей становится дополнительным модулем, активно перестраивающим визуальную композицию. Проект важен для исследования как пример визуализации, в которой человек становится непосредственным участником и формообразующим элементом среды [56, 57].
Метод: Гибридный. Визуальная система основана на объективных алгоритмах, датчиках движения и формальной связи света со звуком. Однако включенность зрителя в процесс делает восприятие ситуативным и телесным: именно взаимодействие между звуком, алгоритмом и человеческим движением создает финальную конфигурацию среды.
United Visual Artists, фотодокументация инсталляции «Volume», 2006.
Закари Либерман
Американский медиахудожник, преподаватель и сооснователь платформы openFrameworks, открытой библиотеки для визуального программирования. Он активно работает с звуком, движением и жестом, исследуя, как цифровые технологии могут визуализировать человеческое дыхание, речь, голос и ритм.
1. Messa di Voce (2003)
Описание: Одна из ранних и наиболее известных работ Либермана, созданная совместно с Голаном Левином, при участии Яапа Блонка и Джоан Ла Барбары. Проект представляет собой интерактивный перформанс, в котором голосовые импровизации исполнителей визуализируются в реальном времени. Система регистрирует параметры человеческого голоса (громкость, частоту, длительность) и преобразует их в динамические формы, волны и символы, напрямую связывая звук и визуальную реакцию.
Визуализация: На экране возникают абстрактные светящиеся фигуры, линии и пузырьки, которые трансформируются, распадаются и исчезают в зависимости от характеристик звучания. Движение артистов усиливает эффект: визуальные элементы следуют за телесной и вокальной активностью, создавая ощущение живого, отзывчивого пространства [58, 59]. Проект имеет ключевое значение для исследования аудиовизуализации, поскольку человеческий голос становится непосредственным источником визуального действия.
Метод: Гибридный. Визуальная система строится на объективных параметрах звука, однако результат формирует игровой, экспрессивный и субъективный характер. Звуковые импульсы исполнителей не только структурируют визуальное поле, но и задают эмоциональный и перформативный нарратив, превращая голос в инструмент пространственной «рисовки».
З. Либерман, кадры перфоманса «Messa di Voce», 2003.
Даито Манабэ
Японский художник, программист и медиадизайнер, основатель студии Rhizomatiks, известной своими экспериментами на стыке технологий, перформанса и музыки. Его практика сочетает данные, алгоритмы, движение и звук. Главная черта его подхода — перевод цифрового кода в физическое восприятие, где технология становится медиатором между звуком и телесным чувством.
1. Eclipse/Blue (2015)
Описание: Музыкально-хореографический видео-перформанс на композицию музыканта Nosaj Thing, в котором Даито Манабэ выступает режиссером, программистом и техническим разработчиком. Проект соединяет танец, проекционную графику и системы отслеживания движения, создавая среду, где тело, свет и звук образуют единую интерактивную структуру.
Визуализация: Два танцора (один перед экраном, другой за ним) взаимодействуют с проекциями, которые реагируют одновременно на музыкальный материал и на их движения. Система высокоскоростного трекинга фиксирует положение и силуэт исполнителей, превращая их тела в носители световой графики: абстрактные формы, частицы и световые поля образуют динамическую визуальную ткань, словно рисующую ритмическую и пластическую структуру перформанса. Визуальная эстетика опирается на минималистичную геометрию и плавные световые переходы [60, 61].
Метод: Гибридный. Проект опирается на объективные данные. Параметры движения и структуры музыкального трека напрямую управляют генерируемыми визуальными эффектами. Однако, включение человеческого тела как центрального элемента визуализации и непосредственное соединение движения, света и восприятия зрителя создают иммерсивную среду, выходящую за рамки строго алгоритмической модели.
Д. Манабэ и Nosaj Thing, кадры перфоманса «Eclipse/Blue», 2015.
2. Continuum Resonance (2024)
Описание: Персональная выставка Даито Манабэ, открывшая культурное пространство ѴS. в Осаке. Для нее художник создал серию аудиовизуальных инсталляций, использующих архитектурные данные здания и программную систему PolyNodes (совместно с Синаном Бекесоем). Пространства реагируют на присутствие и движения зрителей: перемещение человека фиксируется сенсорной системой и становится непосредственным входом для генерации света, звука и визуальных паттернов.
Визуализация: Зритель буквально включен в визуальную структуру: его траектория, жесты и изменение положения тела трансформируют световые потоки, частицы и лучи. Графические элементы не просто заполняют зал, а фиксируют движения посетителей, переплетаясь с трехмерными звуковыми полями. Архитектура здания (форма залов, высота, структура поверхностей) встроена в алгоритм, поэтому визуализация работает как расширенная сенсорная система самого пространства [62].
Метод: Гибридный. Основа метода объективна, так как данные трекинга, характеристики помещения и алгоритмическая обработка звука/визуала формируют структурную логику инсталляции. Однако, решающим становится присутствие человека: зритель становится источником действий в визуализации, а среда приобретает иммерсивный, телесно переживаемый характер.
Д. Манабэ, кадры видеозаписи выставки «Continuum Resonance», 2024.
