Сладкое волшебство
Концепция
Сладкое волшебство — это серия изображений, сгенерированных с помощью обученной нейросети Stable Diffusion
С детства меня восхищало творчество Альфонса Мухи. Мягкие переливы оттенков кожи, утончённые узоры цветов и растений, теплые и солнечные тона его работ и живость изображаемых женщин. Альфонс Муха часто рисовал рекламу изображая женщин с рекламируемым предметом, будь то велосипед или сигареты. Его работы вдохновили меня создать серию генеративных работ, посвящённую сказочным женщинам в сочетании со сладкими угощениями.
Фрагменты работ Альфонса Марии Мухи: Времена года, Осень, Лето; Танец
Результатирующая серия изображений
Сначала я просила Stable Diffusion создать пару работ описывающих красивых женщин, чтобы убедиться, что нейросеть удачно обучилась нежному и утонченному стиль Альфонса Мухи.
В каждой работе присутствует особенная черта кисти Мухи — темная обводка, подчеркивающая силуэт фигуры.
Изображение, сгенерированное нейросетью
Изображение, сгенерированное нейросетью
Изображение, сгенерированное нейросетью
Изображения, сгенерированные нейросетью
Нейросеть научилась рисовать томный взгляд и округлость моделей, изображенных на работах Альфонса Мухи.
Изображения, сгенерированные нейросетью
Нейросеть повторяет особенности модели Альфонса Мухи — его собственной жены. Пухлое округлое лицо, тонкие брови, глазки-искорки и изящная полоска губ. Волосы часто распущены или собраны в неаккуратный пучок, а пряди и локоны завиваются в волны узоров.
Изображение, сгенерированное нейросетью
Изображения, сгенерированные нейросетью
Изображение, сгенерированное нейросетью
Изображение, сгенерированное нейросетью
Нейросеть повторила градиентные переливы акварели: от насыщенного румяного оттенка до мелочно белого цвета кожи. Помимо этого, каждому изображению свойственно свое колористическое настроение за счет одного главенствующего оттенка. Этим приемом пользовался Альфонс Мария Муха.
Изображения, сгенерированные нейросетью
Изображение, сгенерированное нейросетью
Изображения, сгенерированные нейросетью
Изображение, сгенерированное нейросетью
Изображение, сгенерированное нейросетью
Неотъемлемой частью каждого изображения являются витиеватые узоры, сплетающиеся растения и тонко сплетённые стебли растений. Стоит отметить присутствие центральной композиции и арку или круг, обрамляющие главный объект на изображении.
Изображение, сгенерированное нейросетью
Изображения, сгенерированные нейросетью
Изображение, сгенерированное нейросетью
Изображение, сгенерированное нейросетью
Изображения, сгенерированные нейросетью
Изображение, сгенерированное нейросетью
Изображение, сгенерированное нейросетью
Изображения, сгенерированные нейросетью
Процесс обучения нейросети
Я обучала модель Stable Diffusion XL с использованием техники LoRA (Low-Rank Adaptation). В начале необходимо удостоверится в возможности использования GPU, затем установить нужные зависимости. После этого я создала общую папку в корне Google Colab для датасета и скопировала туда изображения из личного архива. Датасет состоит из работ Альфонса Мухи. При помощи функции image_grid можно продемонстрировать несколько изображений из датасета, чтобы убедиться, что данные загружены корректно. Чтобы обучить модель промтам, я сгенерировала описания для каждого изображения с помощью модели BLIP (Bootstrapped Language-Image Pretraining).
Фрагменты кода
Потом я создала файл metadata.jsonl, который содержит пути к изображениям и соответствующие подписи. Необходимо удалить модель BLIP, чтобы освободить память. После настройки я запустила обучение модели Stable Diffusion XL. Обучив модель, я сохранила её на Hugging Face Hub для удобного пользования ею в любом блокноте Google Colab.
Фрагменты кода
Далее я приступила к генерации картинок. В составлении некоторых промтов я прибегала к помощи Deepseek. К сожалению, доступное время пользование GPU в Google Colab заканчивалось и приходилось генерить картинки из разных аккаунтов и в разных ноутбуках. Для улучшения качества изображения я пользовалась Upscayl.
Фрагмент кода
Ноутбук с кодом для обучения
Два ноутбука с подробным кодом обучения модели и генерации картинок хранятся в папке на Яндекс Диске
Описание применения генеративной модели
Stable Difffusion — применялась для обучения модели генерировать изображения в стиле Альфонса Мухи BLIP — использовалась для генерации исходных промтов к датасету DeepSeek — применялась для создания некоторых более точных формулировок промтов Upscayl — использовалась для улучшения качества сгенерированных изображений
Итог
В этом проекте удалось совместить образ прекрасной красавицы с обложки реклам Альфонса Мухи со сладкими изделиями, в некоторых случаях романтизируя образ модели и лакомства. В итоге получилась акварельная серия из ярких и нежных девушек из старинных сказок с пожелтевшими страницами. Stable Difffusion смогла обучиться всем отличительным чертам художника Альфонса Мухи: мягкие и нежные переливы акварельных оттенков, четкий серый или коричневый контур силуэта, томный взгляд и округлое тело модели, геометрические и природные сплетения орнамента в стиле модерн. К сожалению, в датасете содержалось довольно мало работ, где отчетливо прорисованы кисти рук; в большинстве своем они были скрыты драпировкой или терялись в волосах моделей, из-за чего возникли вольные интерпретации нейросети на тему сплетения пальцев рук.
Изображения, сгенерированные нейросетью
