II. Теоретико-методологическая основа
2.1. История визуалзации звука
Первые эксперименты
Концепция визуализации музыки имеет глубокие исторические корни: в статье И. С. Игубновой отмечается, что «первые опыты „визуализации“ музыки относятся еще к XVIII веку. Идея Исаака Ньютона о возможном соответствии семи цветов спектра семи тонам гаммы захватила многих и по мере научно-технического прогресса продвигалась все активнее.» [1, с. 1]. К концу XIX — началу XX века художники и композиторы часто обращались к поискам звукового эквивалента света, стремясь расширить границы традиционных видов искусства и найти новую форму междисциплинарного выражения, задействуя также инженерные изобретения [1].
В начале XX века идея визуализации музыки обрела особую актуальность в контексте синестетических поисков русского авангарда. Одним из наиболее значимых шагов в этом направлении стал замысел Александра Скрябина, который заключался в создании «цветового органа», который позволял бы переводить звучание в цветовые образы. В партитуре симфонической поэмы Prometheus: Poem of Fire (1910) композитор включил дополнительную партию, под название Luce («свет»), предназначенную для исполнения на «клавиатуре света» (рис. 1). Скрябин разработал систему соответствий между музыкальными тональностями и цветами, основанную на теософских представлениях о вибрации, гармонии и духовной иерархии.
Рис. 1. А. Н. Скрябин, Светомузыкальный аппарат к поэме «Прометей», 1910.
При этом технические условия начала XX века не позволяли реализовать его замысел в полном объеме. Первое исполнение произведения в Москве в 1911 году сопровождалось лишь частичным применением световых эффектов, а полноценная демонстрация партии «Luce» состоялась значительно позже, в Нью-Йорке в 1915 году, с использованием примитивных проекционных устройств. Однако, несмотря на технические ограничения, идея Скрябина оказала глубокое влияние на развитие аудиовизуального мышления в искусстве XX века. Она положила начало направлению, в котором свет стал рассматриваться как равноправный компонент музыкальной формы, а восприятие звука как многомерное чувственное переживание [2].
В те же годы параллельные эксперименты предпринимались художниками-футуристами и конструктивистами, для которых технологический прогресс открывал новые возможности синтеза искусств. Особое место в этой истории занимает Владимир Баранов-Россине, создавший в 1910-х годах уникальный инструмент «Оптофоническое пианино» (рис. 2). Этот аппарат сочетал клавиатуру с системой вращающихся дисков, фильтров и линз, которые преобразовывали музыкальные сигналы в световые композиции [3]. В отличие от концепции Скрябина, где цвет выступал символическим отражением звука, Баранов-Россине стремился к созданию прямой механической взаимосвязи между акустическими и визуальными параметрами, то есть к «объективному» синтезу. Его перформансы, проходившие в Париже в 1920-х годах, можно рассматривать как ранние формы мультимедийных инсталляций, где звук, движение и свет объединялись в едином пространстве восприятия.
Рис. 2. В. Д. Баранов-Россине, Световое фортепиано «Опатофон», 1916. // Рис. 3. Фрагмент расписного стеклянного диска офтофонического фортепиано.
Как отмечается в статье A Survey of Music Visualization Techniques, в основе музыкальной визуализации лежат как объективные звуковые данные, так и понимание человеческого сознания; и эта закономерность прослеживалась во все периоды истории, когда человек предпринимал попытки изобразить слышимое [4]. Можно сделать заявление о том, что именно на рубеже XIX–XX веков эти поиски оформились в первую фазу становления аудиовизуального искусства, а именно в светомузыку, внутри которой обозначились два ключевых подхода, определивших его дальнейшую эволюцию: символический и технический. Эти опыты, от синестетических поисков Скрябина до механико-визуальных экспериментов Баранова-Россине, демонстрируют, что стремление к синтезу рационального и чувственного изначально заложено в самой природе аудиовизуального мышления [1]. Символический подход апеллировал к эмоциональному опыту зрителя-слушателя, стремясь выразить через цвет внутреннюю ассоциацию со звучанием, в то время как технический исходил из объективных соответствий и физических параметров, подчиняя звук и свет единой закономерности.
Переход к цифровым технологиям и мультимедиа
Приход цифровых технологий во второй половине XX века, особенно в 1990-е годы, ознаменовал качественный перелом в визуализации музыки. Видео и вычислительные среды стали инструментами композиторов и художников, открыв эру программно-определяемого искусства, где временная структура и алгоритм сами по себе стали элементами художественной формы [1].
Ярким примером визуальной интерпретации музыки, предвосхитившим логику цифровых сред, является аналоговая работа Нормана Макларена Begone Dull Care (рис.4). Хотя она создана техникой ручного рисования на пленке, ее точное соответствие музыкальному ритму и тембрам демонстрирует принцип, который ляжет в основу будущего программируемого искусства [5].
Рис. 4. Кадры из анимационного фильма Н. Макларена «Begone Dull Care», 1949.
Непосредственно в цифровую эпоху эти идеи нашли развитие в таких работах, как Catalog Джона Уитни (рис. 5), демонстрирующий алгоритмически организованную «визуальную музыку» и ранние вычислительные и механические приемы синхронизации звука и образа [6]. Дальнейшее становление интерактивной аудиовизуализации связано с экспериментами 1970–1980-х годов Вуди и Штейны Васюлка, которые использовали обработку видеосигнала в реальном времени, управляемую аудиопараметрами [7]. Их работы будут рассмотрены более подробно в главе «Анализ визуального материала».
Рис. 5. Кадры из экспериментального фильма Дж. Уитни «Catalog», 1961.
2.2. Методы визуализации звука
Данная подглава изучает методы и подходы изображения звука для предварительной теоретической подготовки к анализу визуального материала. Здесь будут обозначены известные принципы перевода аудиоинформации в графический образ: типы источников данных, виды визуальной формы, а также специфические приемы иллюстрации и то, как они воздействуют на восприятие зрителя.
Источник типа данных
Непосредственно аудиоданные — это те параметры, которые можно извлечь из звукового сигнала автоматически: частота (тон), амплитуда (громкость), спектр (распределение частот в каждый момент времени), атаки/онсеты (момент появления звука), ритмические характеристики (темп, биты) и тембр. Такие данные удобны тем, что их можно измерить и отобразить объективно, например, спектрограмма показывает, какие частоты доминируют в данный момент. Такие подходы подробно описаны в исследованиях по сонификации и визуализации звука (проект DIАЅЅ / МАСАѴЕ как пример инструмента для работы с аудиоданными) [9].
Пример спектрограммы звука трубы, основанной на времени, амплитуде и мощности частоты в Гц.
Ассоциативные / метафорические данные — это нечисловые или полуанализируемые параметры: эмоция, ассоциации, нарратив, культурные коды. Их сложно измерить автоматически, поэтому такой источник данных визуализируется по художественной логике через ассоциации (например, минор — более темные оттенки). Такие соответствия делают визуализацию субъективной, но они важны для передачи эмоционального содержания и авторского видения [10].
Визуальная форма и композиция
Геометрическая / абстрактная визуализация: простые фигуры (линии, круги, прямоугольники), графы, спектральные полосы или поля частиц. Такие формы хорошо подходят для точной передачи параметров: высота тона может задавать вертикальную позицию, громкость — размер фигуры, ритм — частоту появления элементов. Абстракция полезна, когда важна структурная ясность и детальное отслеживание изменений во времени [11].
Ассоциативная / сюжетная визуализация: здесь используются метафоры, образы и нарратив (визуальные истории, символы, сцены, где музыка вызывает конкретные картины). Такой подход не отобржает строгий аналитичесий разбор звука, но передает авторскую интерпретацию [10].
Часто эти формы визуализаций объединяются, передавая реальные звуковые параметры в форме художественного (иногда нарративного и сюжетного) образа. Основной принцип визуализации музыки — это движение, без которого невозможна синестезия изображения и звука, поэтому аудиовизуальное искусство, как правило, предполагает кадр-ориентированную логику, ритм, изменения интенсивности и точки кульминации. Современные инструменты дают возможность управлять этим тонко: шейдеры и particle-системы делают движение главным средством выражения, а многослойность визуала позволяет одновременно показывать разные аспекты звука [11].
Приемы визуализации и восприятие
Ритмика визуального потока: визуальный ритм (появление/исчезновение объектов, пульсация, движение камер) должен коррелировать с музыкальным ритмом, иначе создается когнитивный конфликт между тем, что видимо и слышимо. При этом степень строгости синхронизации является авторским выбором: жесткая синхронизация усиливает ощущение перевода точных данных, а свободная — способствует ассоциативному восприятию. Исследования в области сонификации подчеркивают важность корректных масштабов и нелинейностей при отображении громкости и частоты, поскольку человеческое восприятие громкости и тона не линейно [9].
Цветовые акценты и палитра: цвет работает одновременно как индикатор (например, градация по частоте) и как эмоциональный код. При выборе палитры часто соблюдаются контраст и читаемость в динамике [11].
Нарратив и фокус внимания: в художественной визуализации часто используется прием ведущего элемента, где один объект или зона, на которую направляется внимание зрителя (это может быть, например, основная мелодическая линия). Такой прием помогает связать визуальное повествование с музыкальным смыслом и создает эффект сюжетности без необходимости буквального изображения событий [10].
Если рассматривать вышеперечисленные приемы в контексте заданной темы, которая противопоставляет объективный и субъективный методы визуализации, можно сказать, что все они не имеют четкой приверженности к той или иной категории. Даже если изображение звука строго основывается на данных и это становится центральным мотивом всей работы, восприятие проходит через призму опыта, ожиданий и личных интерпретаций зрителя. И напротив, явно метафорическая иллюстрация часто опирается на скрытые структуры звучания (ритм, повторяющиеся фигуры и т. д.), даже если это не очевидно при первом просмотре.
