Генеративные технологии в современной театральной сфере
концепция
За последние годы нейросети быстро интегрировались практически во все сферы человеческой жизни. Изначально задуманные как технологические инструменты для автоматизации процессов и анализа данных, эти системы превратились в активных участников творческих поисков наряду с современными художниками.
Под генеративными технологиями принято понимать системы, часто основанные на искусственном интеллекте, которые создают контент, такой как изображения, текст, звуки или физические движения, на основе предоставленных входных данных или изученных шаблонов данных. Быстрое развитие и бесконтрольное усовершенствование генеративных алгоритмов разделило общество на 2 лагеря, балансирующих между использованием огромного потенциала и минимизацией рисков.
Что общего между театром и машинным обучением, так это создание тщательно продуманного, управляемого аппарата для понимания всего, что находится за пределами этого аппарата: реальной жизни в случае театра, реальных данных в случае машинного обучения
— Фабиан Офферт
На протяжении веков театр занимал консервативное и аналоговое место в искусстве, подчеркивая органичную связь между исполнителем, аудиторией и живым взаимодействием «человек-человек». Однако современный постоянно расширяющийся технологический ландшафт меняет саму структуру театрального повествования.
Генеративные технологии больше не ограничиваются механическими улучшениями оборудования. Они начинают «брать на себя» саму художественную составляющую: дизайн декораций и костюмов, написание сценариев, постановку хореографических сцен и влияния на драматургическую структуру — под контролем людей, пытающихся понять и осмыслить для широкой публики новую природу отношений «машина-человек»: в мире, который все больше увлекается и испытывает беспокойство по поводу последствий применения искусственного интеллекта, использование театром генеративных технологий является примером более широкой борьбы человечества за пересмотр своей роли в век, управляемый интеллектуальными машинами.
«BIOADAPTED», Transforma Theatre, 2023
В данном исследовании я рассмотрела использование различных генеративных технологий в современных театральных постановках в контексте двух больших категорий: визуальной (stage design и визуальный контент) и драматургической (сценарий).
Основой визуального иллюстрирования исследования послужили фото и видеозаписи постановок различных театров. При выборе текстовых источников я отбирала наиболее авторитетные технические издания и личные интервью с представителями сферы — режиссерами, драматургами и дизайнерами.
— stage design и визуальный контент
Концепты оформления задников к пьесе Шекспира «Сон в летнюю ночь», сгенерированные с помощью Midjourney. Дэвид Форси, 2022
Наиболее широкое применение в театральной сфере простые генеративные модели нашли, пожалуй, на этапе препродакшена.
В среде художников и стейдж-дизайнеров нейросети всё чаще выступают как эффективная альтернатива традиционным референсам при разработке и прототипировании идей. Такой подход сокращает время итерационных процессов, позволяя быстро оценить перспективность концепта и возможность дальнейшей разработки.
Stage Design для Пловдив Опера, Кармина Бурана, 2021
Тем не менее, генеративные технологии часто находят своё применение и непосредственно на стадии продакшена: сцена с Колесом Фортуны для Пловдивской оперы была создана в TouchDesigner «с использованием генеративных техник и графических фильтров для классических иллюстраций»5.
Однако особый интерес для режиссеров и зрителей представляет генеративный контент, который становится оформлением сцены в реальном времени.
«BIOADAPTED», Тэмми Куах в роли Нетты проходит «биомедийную проверку». Искусственный интеллект меняет картинку в соответствии с ее ответами, Transforma Theatre, 2023
«Frankenstein AI: a monster made by many», Sundance Film Festival, 2017
В рамках известного иммерсивного проекта «Frankenstein AI: a monster made by many» ИИ не только создает и управляет визуальной средой, которая служит выражением его «эмоций», но и регулирует динамику движений танцора через наушники, основываясь на реакции аудитории и их взаимодействии с нейросетью.
«Frankenstein AI: a monster made by many», Sundance Film Festival, 2017
Генеративные технологии не всегда подразумевают напрямую создание нового контента «с нуля».
Такие программные обеспечения как TouchDesigner, Notch и Isadora используют сложные алгоритмы для создания визуальных и аудиовизуальных эффектов, которые могут изменяться в реальном времени в ответ на определенные входные данные или события.
«Загадочное ночное убийство собаки», Национальный театр в прямом эфире, 2014
Часто эти данные связаны с положением актера или реквизита/декорации в пространстве: это позволяет не только более точно проецировать видеоизображения, но и, например, создавать мультипликационные эффекты (следы), тем самым усиливая иммерсивность окружения.
«Deep Blue Sea», Bill T. Jones/Arnie Zane Dance Company, 2021
«Deep Blue Sea», Bill T. Jones/Arnie Zane Dance Company, 2021
Элизабет Диллер, DS+R и Питер Нигрини создали интерактивное световое шоу на площади более 3,5 тысяч квадратных метров. Для этого актеры, задействованные в представлении, носили устройства для отслеживания передвижения.
Использование движения в реальном времени достигло апогея в постановке «The Tempest» Королевской шекспировской труппы.
Использование аватара в постановке, Intel и The RSC, 2017
Для обработки информации с motion-capture костюма (включая лицо) в реальном времени The RSC и Intel «…передают [информацию] по Wi-Fi в игровой движок — скелет актера маппит серия процессоров Intel Core i7 на компьютере со 120 ядрами, известном как Big Beast»5. Затем полученная композитная сцена с VFX проецируется на сцену с помощью 27 проекторов.
Бекстейдж тестирования технологии, Intel и The RSC, 2017
В качестве «полишинга» алгоритмы искусственного интеллекта помогали поддерживать плавность отображения визуальных эффектов на сложных сценах или неровных поверхностях вроде костюмов актеров.
Сцена из постановки «The Tempest», The RSC, 2017
Сцена из постановки «The Tempest», The RSC, 2017
В период COVID-19 TouchDesigner становился удаленным «рабочим местом».
«La Ruta», Steppenwolf Theatre Company, 2020 (оригинальное качество изображения)
Онлайн-версия постановки «La Ruta» задумывалась как масштабируемая трансляция в Zoom между всеми актерами с настраиваемым расположением окон, динамичным медиа-фоном и программируемыми репликами.
C помощью сложной системы, получающей на вход трансляции актеров, была организована не только работа с удаленными исполнителями в нескольких местах, но и создание композиций и их трансляций в режиме реального времени. Кроме того, для грамотной координации работы команды была воссоздана привычная система оповещения, а также поддерживалась индивидуальная маршрутизация звука для всех актеров.7 При этом все отделы театра находились удаленно и не пересекались.
— сценарий
Использование фото для реконструкции пространства преступления, Forensic Architecture, 2017
Forensic Architecture — это исследовательское агентство, базирующееся в Лондонском университете Голдсмит.
Несмотря на то, что основной фокус их деятельности направлен на разоблачение нарушений прав, их методы (3D-реконструкция, мультимедийная визуализация и интерактивная картография) способствуют созданию материалов, отличающихся не только информативностью, но и визуальной привлекательностью. Это сближает их работы с современным искусством, которое часто затрагивает вопросы политики и правосудия.
«Расследование убийства Халита Йозгата», лондонский Институт современного искусства, 2018
Использование симуляций частиц для реконструкции распространения дыма и звука, Forensic Architecture, 2017
В 2016 году специалисты взялись за громкое дело — убийство Халита Йозгата (2006). Им предстояло спустя 10 лет доказать, что показания ключевого свидетеля Андреаса Темме были ложными.
Сначала они воссоздали место преступления в 3D по фотографиям из материалов дела: с точностью до мусора на столе. Затем в полученном пространстве запускались симуляции распространения звука от выстрела и порохового запаха. Это нужно было, чтобы ответить на ключевые вопросы вроде «Мог ли Темме услышать выстрелы, если в момент убийства он находился в задней комнате?».
После этого Forensic Architecture построили полноразмерную декорацию, чтобы «реконструировать реконструкцию» следственного эксперимента с главным подозреваемым кадр-в-кадр. Финалом расследования стало трехканальное видео 77sqm_9:26min, раскрывающее детали происшествия с перспективы 3 основных версий и их несоответствий.
«Реконструкция реконструкции» в составе 77sqm_9:26min, Forensic Architecture, 2017
Этим колоссальным трудом вдохновился композитор Бен Фрост. Используя материалы Forensic Architecture он поставил оперу «Der Mordfall Halit Yozgat», в которой соединил 2 ключевых составляющих расследования: звук (точнее, его отрицание) и «реконструкцию реконструкции», с каждым разом становящейся все более нелогичной.
«Я могу установить громкоговоритель на сцене в непосредственной близости от Халида и проиграть из него два выстрела в 140 децибел. Я могу показать вам, как это звучит в задней части оперного театра, и вы увидите, как человек, находящийся всего в нескольких метрах от вас, никак не отреагирует. Опера может привнести в эту историю интуитивную телесность»3.
Кадры подготовки сцены оперы «Убийство Халита Йозгата», 2022
Более творческого взаимодействия с генеративной моделью удалось достичь лондонскому театру Young Vic.
В отличие от многочисленных примеров, когда нейросеть писала сценарий заранее (в частности знаменитый «AI: When a Robot Writes a Play» проекта THEaiTRE), постановка «AI» является скорее творческим союзом искусственного интеллекта и человека в реальном времени.
Перевернутая пирамида Дэвида Аджайе, на которую выводится «речь» GPT-3, Young Vic, 2021
Сама постановка напоминает скорее продолжительную многодневную репетицию или мастер-класс: режиссер Дженнифер Тан использует необработанные сюжетные концепции GPT-3, вовлекает сценаристов в их дальнейшее развитие, задает вопросы аудитории и формирует соответствующую игру актеров. Таким образом получается уйти от свойственной ИИ-произведениям ограниченности машинного воображения, наполнить его человеческой «живостью», при этом сохранить заложенные машиной размышления о свободе и самоопределении.
Процесс работы GPT-3 и актеров, Young Vic, 2021
заключение
Генеративные технологии открывают новые горизонты в современной театральной сфере, позволяя создавать уникальные эксперименты на стыке искусства и технологий. Их использование трансформирует процессы производства постановки, сценографии и взаимодействия с аудиторией.
Таким образом, генеративные технологии становятся не только инструментом усовершенствования, но и мотивируют театральных деятелей к переосмыслению границ театра, расширяя возможности для взаимопроникновения традиций и инноваций. Независимо от того, рассматриваются ли эти технологии как инструмент освобождения или как потенциальная угроза человеческому творчеству, они, несомненно, меняют сцену такой, какой мы ее знаем.
Forensic Architecture 77sqm_9:26min. — London: Goldsmiths University of London, 2017. — 48 с. (URL: https://content.forensic-architecture.org/wp-content/uploads/2018/09/77sqm_9.26min_Report_2017.07.18.pdf)
The Murder Of Halit Yozgat // Forensic Architecture URL: https://forensic-architecture.org/investigation/the-murder-of-halit-yozgat (дата обращения: 21.11.2024).
Ben Frost Interview // 200% URL: https://200-percent.com/tag/forensic-architecture-the-murder-of-halit-yozgat-ben-frost/ (дата обращения: 21.11.2024).
Deep Blue Sea // Diller Scofidio + Renfro (DS+R) URL: https://dsrny.com/project/deep-blue-sea (дата обращения: 21.11.2024).
Shakespeare’s sprite takes flight as an Intel-crafted digital avatar // Wired URL: https://www.wired.com/sponsored/story/barbican-the-tempest-intel/ (дата обращения: 22.11.2024).
The Mastery of Digital Scenography with Petko Tanchev // TouchDesigner by Derivative URL: https://derivative.ca/community-post/mastery-digital-scenography-petko-tanchev/67106 (дата обращения: 21.11.2024).
Theatre in the Time of Isolation: Building a Remote Production Desk with TouchDesigner // TouchDesigner by Derivative URL: https://derivative.ca/community-post/theatre-time-isolation-building-remote-production-desk-touchdesigner/63980 (дата обращения: 21.11.2024).
Embrace the Latent Space. Notes on the Curatorial Challenges of an Emerging Media Art Form // Fabian Offert URL: https://zentralwerkstatt.squarespace.com/blog/latent (дата обращения: 21.11.2024).
https://imgtoolkit.culturebase.org/?quality=8&file=https%3A%2F%2Fimg.culturebase.org%2Ff%2Ff%2Fd%2Fe%2F7%2Fpic_1650892149_ffde7d4ca5431ec6b7f7d377e3ade346.jpeg&do=rescaleIn&width=0&height=720 (дата обращения: 19.11.2024)
https://cdn1.umg3.net/381/files/2020/04/themurderofhalityozgat_1900x900.jpg (дата обращения: 19.11.2024)
https://200-percent.com/wp-content/uploads/2020/06/The-Murder-of-Halit-Yozgat-repetitie-%C2%A9-Richard-Mosse-7.jpg (дата обращения: 20.11.2024)
https://200-percent.com/wp-content/uploads/2020/06/The-Murder-of-Halit-Yozgat-repetitie-%C2%A9-Richard-Mosse-1.jpg (дата обращения: 20.11.2024)
https://content.forensic-architecture.org/wp-content/uploads/2018/08/Mark-Blower-180306-Counter-Investigations-ICA-0153-768x512.jpg (дата обращения: 20.11.2024)
https://www.carlosboix.com/uploads/6/5/2/6/65266981/img-20200305-111651_orig.jpg (дата обращения: 20.11.2024)
https://pbs.twimg.com/media/E9oTj_oXEAYr_Qy.jpg:large (дата обращения: 20.11.2024)
https://pbs.twimg.com/media/E9E5PwQXEAUG63s.jpg (дата обращения: 20.11.2024)
https://www.youngvic.org/sites/default/files/styles/landscape/public/images/5_0.jpg?itok=oUF_3bZc(дата обращения: 20.11.2024)
https://pbs.twimg.com/media/E9oTltAWEAEO4gz?format=jpg&name=large (дата обращения: 20.11.2024)
The Making of Bill T. Jones / Arnie Zane Company’s Deep Blue Sea // YouTube URL: https://www.youtube.com/watch?v=NYgt-pBhg9s (дата обращения: 21.11.2024)
https://i.ytimg.com/vi/BZKtQAIE4ew/hq720.jpg?sqp=-oaymwExCK4FEIIDSFryq4qpAyMIARUAAIhCGAHwAQH4Af4JgALQBYoCDAgAEAEYPiBKKH8wDw==&rs=AOn4CLAZuJKFjRt6wTV5ceakbgp7iZRuVg (дата обращения: 21.11.2024)
https://static01.nyt.com/images/2017/01/08/arts/08TEMPEST1/08TEMPEST1-superJumbo.jpg (дата обращения: 21.11.2024)
https://images.squarespace-cdn.com/content/v1/5a96c9ee0dbda34913bde7f6/1522080166307-WNB9TGQL1UP6XKQ02KCH/-09-15h22m29s598.png (дата обращения: 21.11.2024)
https://images.squarespace-cdn.com/content/v1/585832425016e17cbf7235be/87bae8d9-2fb7-4d00-90a7-19dc59600ebe/Bioadapted+2.jpeg?format=2500w (дата обращения: 21.11.2024)
https://howlround.com/sites/default/files/styles/max_2000_width/public/2022-10/2_dalle2.webp?itok=PoaZK5sb (дата обращения: 21.11.2024)
https://howlround.com/sites/default/files/styles/max_2000_width/public/2022-10/3_dalle2.webp?itok=ExDSdEc5 (дата обращения: 21.11.2024)
https://www.digitalstorytellinglab.com/wp-content/uploads/2018/02/Frankenstein-AI-Day-3-4487.jpg (дата обращения: 21.11.2024)
https://derivative.ca/sites/default/files/styles/content_colorbox/public/field/body-images/screenshot2-1920.png (дата обращения: 21.11.2024)
https://derivative.ca/sites/default/files/styles/content_colorbox/public/field/body-images/Network_10-18-20_-_Section1.png (дата обращения: 21.11.2024)
https://derivative.ca/sites/default/files/styles/content_colorbox/public/field/body-images/BenRandall.jpg (дата обращения: 22.11.2024)
