III. Анализ визуального материала / 3.1. Объективный опыт
Данный раздел исследует проекты двадцати авторов и коллективов, занимающих значимое место в контексте цифрового аудиовизуального искусства. Работы рассматриваемых практиков были разбиты на три категории: объективные, гибридные и субъективные. Такая структура анализа создает последовательное повествование от математически-структурного к эмоциаонально-ассоциативному. Каждый проект разобран на следующие составляющие: описание, визуализация и метод.
3.1. Объективный опыт
Штейна и Вуди Васюлка
Пионеры видеоарта, чья практика на рубеже 1960-2000-х годов заложила основы цифровой визуализации звука. Они рассматривали видео как поток энергии, родственный звуку, а не как простой носитель изображения. В своих работах от ранних Noisefields до поздних Violin Power они прошли путь от аналогового синтеза к цифровому анализу, исследуя, как электрический импульс может стать визуальным языком. Их наследие создало концептуальную основу современного аудиовизуального искусства, где звук, изображение и алгоритм образуют единую взаимопереводимую систему.
1. Noisefields (1974)
Описание: Ключевая работа 1970-х, в которой Васюлка исследуют материальность «электронного шума» и его визуальную энергию; часто цитируется как ранний пример «визуализации сигнала».
Визуализация: Цветное «снеговое» поле (video-noise), из которого вычленяются круговые или пульсирующие формы; изображение строится через манипуляцию дефлекцией электронного сигнала и колоризацией шума, так что интенсивность/тембр сигнала коррелируют с плотностью и ритмом визуального шума. Технологически использовались секвенсер/мультикиер и colorizer; очевидна работа с электро-сигнальной топологией.
Метод: Объективный. Визуализация рождается из прямой эксплуатации параметров видео- и электро- сигнала как эквивалента звуковой энергии [12].
Кадры из «Noisefields» Штейны и Вуди Васюлка, 1974.
Ш. Васюлка и В. Васюлка, «Light Revisited», 2002.
2. Violin Power (1978)
Описание: Перформативный проект Штейны Васюлка, где игра на скрипке становится непосредственным контроллером изображения [13].
Визуализация: В начальных версиях звук и движение смещали сканирование и формировали абстрактные кривые, которые постепенно трансформировались от узнаваемых сцен до чистой абстракции. Это сочетание музыкальной выразительности и ре-тайм графики делает видеоряд живым продолжением инструмента [14].
Метод: Гибридный, сильно склоняющийся к объективному. Параметрический маппинг в сочетании с перформативным соучастием исполнителя: технически это real-time контроллер.
Кадры из «Violin Power» Ш. Васюлка, 1978.
3. The Matter (1974)
Описание: Короткая экспериментальная видеоработа, в которой визуальная и звуковая структуры порождаются одним и тем же источником, а именно генератором волн. Синусоидальные, пилообразные и прямоугольные сигналы формируют как звучание, так и видоизмененный видеорастр через скан-процессор.
Визуализация: Генерируемые волновые формы деформируют горизонтальные строчки растра, при этом на экране возникают волнообразные, ритмически меняющиеся узоры, а итоговый Rutt-Etra-образ снимается второй камерой с дисплея, чтобы сохранить телевизионную синхронизацию и превратить звуковую «волновую» структуру в полноценный визуальный объект [15].
Метод: Объективный. Визуализация получается прямой трансляцией параметров генератора волн в форму растра: звук и изображение происходят из одного сигнала и соотносятся параметрично, а не через свободную интерпретацию или нарратив.
Кадры из «The Matter» В. Васюлка, 1974.
Granular Synthesis
Художники Курт Хентшлагер и Ульф Лангейнрих основали дуэт Granular Synthesis в 1991 году в Вене. Их подход базировался на идее гранулярного синтеза и в аудио, и в видео: они «разрезали» звук и изображение на мельчайшие частицы (гранулы) и собирали их заново в виде пульсирующих аудиовизуальных масс. Главная цель — исследовать физическое воздействие звука и света на тело и восприятие зрителя.
1. Model 5 (1994)
Описание: Видеоинсталляция, где на экранах повторяется видео- фрагмент с женским лицом (актриса Акэми Такэя), произносящего слово «model». Этот короткий кадр был «расщеплен» и ритмически смонтирован с синтетическим звуком.
Визуализация: Изображение дезинтегрируется в ритм звуковых импульсов (мельчайшие видео-гранулы, вспышки, повторения и смещения). Свет и звук работают как единая структура синхронное мерцание, пульсации, дробление кадра. Создается эффект физического ощущения ритма, давления и сенсорного перенасыщения.
Метод: Объективный. Видео напрямую синхронизировано с аудио-отрывками, где каждая вспышка и фрагмент соответствует звуковой частоте или ритму. Звук здесь не иллюстрируется, а буквально визуализируется через дерганное движение [16].
Кадры из «MODEL 5» Granular Synthesis, 1994.
Granular Synthesis, «MODEL 5», POSTCITY Linz, Линц, 2019.
2. NOISEGATE (1998)
Описание: Иммерсивная аудиовизуальная инсталляция, построенная на принципе «гранулярного» синтеза звука и изображения. В пространстве развернуты многоканальные проекции раздробленного человеческого лица, сопровождаемые звуковыми импульсами.
Визуализация: Фрагментированные и повторяющиеся кадры движения лица синхронизируются с аудиошумами и ритмическими колебаниями. Видео разбивается на мельчайшие элементы и вновь собирается в непрерывные ряды, создавая эффект вибрации и потери человеческой формы [17].
Метод: Объективный. Визуальный ряд напрямую строится на параметрах звука и алгоритмах обработки.
Кадры из «NOISEGATE» Granular Synthesis, 1998.
Granular Synthesis, «NOISEGATE premiere», Museum of Applied Art, Вена, 1998.
3. POL (2000)
Описание: крупномасштабная многоканальная инсталляция (7 экранов и многоканальный звук), где визуализация представляет собой абстрактное, звукоориентированное поле цветов и шумов.
Визуализация: Семь экранов показывают световые поля, в основном в оттенках синего: шумовые поверхности, градиенты, динамические «фигуры», вспышки и затухания. Вспышки и пульсации следуют аудиодинамике и создают эффект синхронной вибрации.
Метод: Объективный. Визуализация формируется как прямой отклик на параметры аудиосигнала; образность минимальна, акцент на материале (цвет, шум, интенсивность).
Кадры из «POL» Granular Synthesis, 2000.
Granular Synthesis, «POL», STRP Eindhoven, Эйндховен, 2009.
Редзи Икэда
Японский композитор, саунд- и медиа-художник, один из ключевых представителей направления минималистического аудиовизуального искусства. Его практика фокусируется на взаимосвязи звука, света и данных, исследуя границы человеческого восприятия. Икэда работает на стыке науки и искусства: его инсталляции и перформансы основаны на математической структуре звука, частоте, бинарном коде, ритме и цифровой точности. В этом подходе визуализация не иллюстрирует звук, а представляет сам процесс его цифрового существования, превращая нематериальные данные в оптический и акустический опыт.
1. Datamatics [prototype-ver.2.0] (2006-08)
Описание: Серия аудиовизуальных перформансов и инсталляций, основанных на использовании чистых числовых данных (базы данных, координаты, цифровые коды).
Визуализация: Черно-белые минималистичные формы, линии, точки, работающие в синхронизации со звуком.
Метод: Объективный. Визуализация напрямую построена на числовых данных, звук и картинка сведены к математическим параметрам [18].
Редзи Икэда, «Datamatics [prototype-ver.2.0]», 2006-08.
Ryoji Ikeda, «Data.flux [12 XGA version]», Onassis Stegi, Афины, 2019.
2. Test pattern (2008-22)
Описание: Аудиовизуальная система, преобразующая различные данные (звук, текст, изображения) в бинарный код, который отображается в виде интенсивно сменяющихся черно-белых паттернов. Проект существует как в формате инсталляций, так и перформансов.
Визуализация: Визуальный ряд строго минималистичен: монохромные штрихкоды, линии и точки, синхронизированные со звуком. Графика и звук образуют единый поток, где изображение становится прямым отражением цифровых данных.
Метод: объективный. Икэда использует алгоритм, переводящий информацию в двоичные последовательности, которые одновременно определяют и визуальные паттерны, и звуковые колебания. Это создает эффект оптического звука, где визуальное восприятие напрямую влияет на аудиальное.
Редзи Икэда, «Test pattern [№ 14]», 2022 // «Test pattern [№ 12]», 2017 // «Test pattern», 2019. // «Test pattern [№ 13]», 2017 // «Test pattern [№ 12]», 2017 // «Test pattern [№ 11]», 2017.
3. Superposition, 2012
Описание: Первый перформанс японского художника, который включал живых исполнителей (операторы, наблюдатели, испытатели). На сцене разворачивается звуко-визуальная композиция, вдохновленная принципами квантовой физики и теорией информации. Все элементы (звук, изображение, данные и действия исполнителей) существуют в постоянном взаимодействии, создавая эффект суперпозиции*.
Визуализация: Работа сочетает синтез звука, числовых матриц и видео в реальном времени. В постанов- ке используется система из 21 экрана, на которых транслируются цифровые коды, тексты и абстрактные структуры, синхронизированные со звуком [20].
Метод: Объективный, но склонный к художественной интерпретации. Перфоманс сочетает точную работу с цифровыми данными и художественную образность научных идей, таких как суперпозиция, квантовое состояние и неопределенность.
*Суперпозиция — это принцип квантавой физики, по которому один объект может находиться сразу в нескольких состояниях, пока на него не посмотрят или не измерят.
Редзи Икэда, «Superposition», 2012 // «Superposition performance», Walker Art Center, Миннеаполис, 2014.
4. The planck universe (2015) // micro | macro [pavilion] (2022)
Описание: Серия инсталляций, созданная по заказу Фонда Серралвеш (Порту, Португалия). Работа состоит из двух взаимосвязанных частей planck universe [micro] и the planck universe [macro], которые противопоставляют микромир субатомных масштабов и макромир космических структур. Также в эту серию был включен павильон-монолит, реосмысляющий форму представления micro и macro.
Визуализация: Инсталляция объединяет LED-экран, зеркальный пол и отражающие поверхности (павильон), которые визуализируют невидимые масштабы реальности, от квантовых частиц до космических систем. Архитектурное пространство создано в сотрудничестве с архитектором Нуно Бранданом Коштой. The planck universe в это время передает ту же идею, но в другой форме: масштабный вертикальный (макро) и горизонтальный напольный (микро) экраны.
Метод: Объективный, но с определенным эстетическим и эмоциональным эффектом. Инсталляция строится на математической и физической основе: Икеда исследует данные, свет и звук с опорой на теории физики и методы визуализации, но делает это в эстетически насыщенной среде, где научные принципы получают поэтическое воплощение (ощущение масштаба у зрителя) [21].
Редзи Икэда, «The planck universe», 2015 // «micro | macro [pavilion]», 2022.
Alva Noto (Николай Карстен)
Немецкий художник и музыкант, работающий в области экспериментальной электронной музыки и визуального искусства. Под именем Alva Noto он известен своими аудиовизуальными проектами, где исследует взаимосвязь между звуком и изображением. Визуальные элементы его работ часто включают цифровые структуры, цифромикроскопические изображения и синхронизацию с акустическими характеристиками.
1. UNIEQAV (2018)
Описание: Аудиовизуальный проект, завершающий трилогию «Uni» (вслед за альбомами Unitxt, 2008 и Univrs, 2011). Визуальная составляющая создается специальным аппаратным обеспечением, которое в реальном времени синхронизирует видео со звуком, преобразуя звуковые волны и частотные спектры в динамичные абстрактные образы.
Визуализация: Геометрические паттерны (линии, точки, сетки), отражающие структуру и ритмику композиции. Цветовые переходы и RGB-искажения передают динамику и плотность звука. Визуализация Мгновенно реагирует на микродинамику трека: каждая атака, ритмический акцент и спектральное изменение находит точное отражение в форме, цвете и плотности изображения [22].
Метод: Объективный / структурный. Алгоритмическая генерация визуальных элементов на основе анализа аудиосигнала (частота, амплитуда, ритм). Отсутствие нарратива и эмоциональной интерпретации — строгое формализованное отображение звуковой структуры в визуальной форме.
Alva Noto, кадры из серии «UNIEQAV» (#1-#12), 2018.
2. HYbr: ID (2021-24)
Описание: Серия из трех альбомов (HYbr: ID I–III), созданных в коллаборации с хореографом Ричардом Сигалом. Проект исследует взаимодействие музыки, визуального искусства и научных концепций в рамках единого художественного высказывания.
Визуализация: Абстрактные схемы и графические элементы, визуализирующие структуру и динамику музыкальных композиций. Паттерны отражают звуковые волны и ритмические организации, функционируя как самостоятельные художественные произведения и как инструмент анализа музыки.
Метод: Структурно-концептуальный подход, сочетающий алгоритмическую обработку звуковых данных с научными и абстрактными идеями. Визуальные элементы разрабатываются в прямой зависимости от музыкальной структуры, создавая целостную аудиовизуальную систему, где каждый компонент усиливает восприятие другого.
Alva Noto, серия «HYbr: ID»: «Sync Dark», 2024 // «Script Broken Conversation», 2024 // «Ectopia Interacting», 2023 // «Ectopia Field 1», 2023 // «Оval p-dance», 2021.
Марк Фелл
Британский художник и композитор, работающий на стыке саунд-арта и визуальных медиа, концентрируется на исследовании временных параметров звука на микроуровне. В своих перформансах и инсталляциях он использует алгоритмические системы и многоканальные аудиовизуальные композиции, где точные временные интервалы и структура часто имеют приоритет над традиционной метрической организацией музыки [23].
1. Attack on Silence (2008)
Описание: Проект был представлен в формате издания DVD. Изначально задуман как «реакция» на динамичный ѴJ-стиль: автор намеренно создает статические, алгоритмически заданные визуально-звуковые структуры, предваряющие и предопределяющие отношения между звуком и изображением.
Визуализация: Визуальная часть опирается на минималистичные геометрические поля (полосы, радильные смещения, размытия), ограниченную палитру и статичные композиции, которые изменяются тонко и медленно. Видео/изображения часто подаются в утилитарном «пилонном» формате (узкие полосы на темном фоне), что усиливает внимание к микродвижениям и спектральным изменениям [24, 25].
Метод: Объективный. Соотношения звука и изображения заданы на уровне алгоритма до их реализации: визуал не реагирует на звук в реальном времени, а строится по общей формальной процедуре.
М. Фелл, кадры из «Attack on Silence», 2008.
2. Recursive frame analysis (2015)
Описание: Инсталляция и перформанс, в котором Марк Фелл исследует взаимосвязь формализованных систем света, звука и движения. Алгоритмически организованные световые поля и синтетические ритмы взаимодействуют с хореографией Бриттани Бейли, создавая циклическую структуру восприятия и ощущение «обратной связи» между телом и технологией.
Визуализация: Насыщенные световые панели и проекции трансформируются в ритме композиции; визуальные формы строятся на контрасте интенсивностей и смещениях тактов. Свет реагирует на движение исполнителя, превращаясь в динамическое поле, где визуальные и звуковые параметры взаимно определяют друг друга [26].
Метод: Объективный. Визуально-звуковая структура формируется алгоритмически и опирается на формальные параметры системы (свет, ритм, движение), а не на субъективную интерпретацию. Движение выступает входным элементом модели, задающим вариации внутри строгой синтаксической схемы.
М. Фелл (при участии Б. Бейли и Б. Джонсона), «Recursive frame analysis», фотодокументация проекта, 2015.
Роберт Хенке (Monolake)
Немецкий композитор, инженер и медиа-художник, один из ключевых фигур в области аудиовизуального искусства. Под именем Monolake он с 1990-х годов исследует взаимосвязь между электронным звуком, пространством и визуальной формой. Хенке также известен как сооснователь Ableton Live, что подчеркивает его интерес к алгоритмическим и интерактивным системам.
1. Lumière III (2017-21)
Описание: Lumière серия аудиовизуальных перформансов на базе лазерной графики, впервые показанная в 2013 году, продолженная до версий III/IV и развивающаяся до сих пор.
Визуализация: Лазерные лучи превращаются в геометрические формы, линии, вспышки света, которые проектируются по залу или сцене. Их движения синхронизированы со звуковым материалом.
Метод: Объективный. Визуализация строго опирается на параметры звука и управление лазерами через собственную систему. Lumière III демонстрирует, как звук может быть преобразован в визуальную форму, когда она становится физическим следом аудио-события [27, 28].
Monolake, кадры перфоманса «Lumière III», 2021.
2. Deep Web (2016-19)
Описание: Иммерсивная инсталляция, созданная в коллаборации со световым художником Кристофером Баудером и представленная на фестивале СТМ в Берлине, представляет собой трехмерную аудиовизуальную композицию. Пространство организовано с помощью 175 программируемых светящихся сфер и 12 лазеров, которые синхронно изменяют положение и интенсивность свечения в соответствии со структурой музыкального произведения.
Визуализация: Динамическое пространство формируется за счет движения светящихся сфер, создающих сложные трехмерные паттерны, и лазерных лучей, выстраивающих геометрические структуры. Синхронизация визуальных элементов с многоканальным звуком создает целостную среду, где движение, свет и звук воспринимаются как единый художественный объект.
Метод: Объективный. Визуальная композиция полностью определяется алгоритмическими процессами: позиционирование сфер, траектории движения и световые сценарии строго следуют формальной структуре музыкальной композиции, создавая непредвзятую аудиовизуальную систему [29-31].
Monolake и К. Баудер, «Deep Web», фотодокументация перфоманса, 2016-19.
Nonotak Studio
Дуэт художников Такаши Накаяма (архитектор, дизайнер) и Ноэми Шаллен (визуальный артист и иллюстратор), основанный в 2011 году в Париже. Они исследуют восприятие времени и пространства через синхронные звуковые импульсы и геометрические световые структуры.
1. DAYDREAM V.2 (2016)
Описание: Инсталляция исследует взаимосвязь между пространством и временем через свет и звук. В ней создаются эффекты ускорения, сжатия и метаморфоз пространства. Зритель располагается фронтально, в пассивной позиции, наблюдая структурные искажения пространства.
Визуализация: Используются проекционные и световые лучи, синхронизированные с ритмом и динамикой звука. Свет создает абстрактную геометрию, которая реагирует на звуковые частоты и реверберацию. Цветовая палитра минималистична, что усиливает восприятие структуры [32, 33].
Метод: Объективный. Визуальные эффекты напрямую соотносятся со звуковыми параметрами (вибрация, ритм, амплитуда).
Nonotak Studio, «DAYDREAM V.2», фотодокументация проекта, 2016.
2. SHIRO (2016)
Описание: Аудиовизуальный перформанс, созданный для живого исполнения. В нем свет, звук и движение объединены в единую синхронную структуру, где звуковые сигналы управляют световыми паттернами и визуальными импульсами. Название «Shiro» (с япон.- «белый») отражает чистоту и минимализм визуальной формы.
Визуализация: Световые панели и лазеры образуют ритмическую архитектуру, реагирующую на звуковые частоты. Звук выступает структурным источником: свет ритм формируют пространственные конструкции, напоминающие цифровую архитектуру [34, 35].
Метод: Объективный. Свет и звук объединены в единую вычислительную систему, где визуализация напрямую следует структуре аудио.
Nonotak Studio, «SHIRO», фотодокументация проекта, 2016.
Тарик Барри
Нидерландский медиа-художник, программист и музыкант, работающий в области аудиовизуальных перформансов и генеративной визуализации звука в реальном времени. Его творчество сосредоточено на идее превращения звука в трехмерное пространство, где визуальные формы рождаются непосредственно из музыкальных структур.
1. Versum (2008-25)
Описание: Первая и основная работа Барри, программа собственной разработки, превращающая звук в трехмерную визуальную вселенную. Versum — это не фиксированная инсталляция, а живое цифровое пространство, где автор «играет» светом и звуком одновременно. Программа анализирует звуковые параметры (частоты, громкость, ритм) и преобразует их в динамические визуальные формы.
Визуализация: Виртуальные трехмерные пространства, напоминающие космос или абстрактную архитектуру: линии, точки и формы движутся в соответствии со звуком, создавая иллюзию полета через звук [36].
Метод: Объективный. Визуальные формы напрямую зависят от параметров звука. При этом Барри часто использует абстрактные композиции, что придает работе также элемент гибридности: структура звука становится пространственным, почти медитативным образом.
Т. Барри, кадры из «Versum», 2008.
2. Tomorrow’s Modern Boxes Live (2019)
Описание: Серия живых аудиовизуальных концертов в коллаборации с Томом Йорком, где Барри как полноценный участник на сцене управляет визуальной средой, реагирующей на звуковые изменения в реальном времени на базе упомянутого выше программного софта Versum.
Визуализация: Текучие цифровые ландшафты и абстрактные формы, синхронизированные с ритмом и интонацией вокала [37, 38].
Метод: Гибридный. Визуальный слой создается из звуковых данных, но интерпретируется через художественную логику и ассоциативную атмосферу трека.
Т. Барри, музыкальный тур Т.Йорка «Tomorrow’s Modern Boxes», фотодокументация концертов, 2019 // Кадры концерта Т. Йорка «Tomorrow’s Modern Boxes», 2019.
