Обучение генеративной нейросети под стиль «Рика и Морти»
Концепия
Вселенная «Рика и Морти» — это не просто мультсериал. Это калейдоскоп безумных идей, абсурдного юмора и, что особенно важно для этого проекта, — уникального, мгновенно узнаваемого визуального стиля. Пейзажи в сериале — это не фоны, а полноценные персонажи: кислотные миры, планеты с невозможной геометрией, флора и фауна, бросающие вызов земной логике, и небеса, раскрашенные в самые невообразимые цвета.
Идея этого проекта родилась из простого вопроса: сможет ли искусственный интеллект не просто скопировать, а понять и воссоздать саму суть этого визуального языка? Сможет ли он генерировать новые, оригинальные пейзажи, которые выглядели бы так, будто только что сошли со storyboard-а Дэна Хармона и Джастина Ройланда?
Цель — не имитация, а генерация. Я не стремилась получить точные копии кадров из сериала. Задача была глубже: «скормить» нейросети Stable Diffusion достаточное количество характерных визуальных примеров (тех самых инопланетных ландшафтов, порталов, странных скал и растений), чтобы она «уловила» стилистическое ДНК «Рика и Морти». Я хотела научить машину думать и рисовать, как художник из команды сериала, создавая порталы в неизведанные, но стилистически знакомые миры.
Применений fine_tuned модели
Для генерации изображений в стиле «Рика и Морти» мы дообучили модель Stable Diffusion XL (SDXL), используя метод LoRA (Low-Rank Adaptation). Это эффективный способ адаптации больших моделей: вместо полного переобучения SDXL тренируется лишь небольшой набор весов LoRA, что экономит ресурсы и время. Процесс начался с подготовки датасета из [~N] характерных пейзажей сериала. На его основе был обучен LoRA-адаптер, который усвоил ключевые особенности стиля: цветовую палитру, специфику форм и атмосферу. Для генерации изображений готовый LoRA-файл используется совместно с базовой SDXL. В текстовый запрос (промпт) добавляется триггерное слово, активирующее изученный стиль.Для обучения была использовано 1000 шагов, чтобы не переобучить нашу модельку.В качестве вычислительных мощностей использовался чип M4 MAX, с его фреймворком Metal (он же MPS) так как в задачах дообучение мы получаем большую производительность, потому что у нас нет ограничение по VRAM памяти, но для демонстрации работы код был переписан на CUDA и загружен в collab.
Дообученная модель: https://huggingface.co/aliceHSEexam/rickandmorty-style-lora-sdxl-full
Примеры генерации
1-Rick and Morty, wild planet, 2 — Rick and Morty, View through a swirling green Rick and Morty portal revealing an infinite
1 — Rick and Morty staring at the Porta after hard fight 2 — Thr distant figures, one tall with iconic spiky hair, one short, stand on an alien planet watching a vast, colorful sunset over an infinite
Rick and morty style, A desolate, post-apocalyptic landscape: huge piles of rubble and a ruined city
Rick and Morty style, An enormous spacecraft, dwarfing the viewer’s perspective, enters a huge, crack
Анализ сгенерированной серии
Итоговая серия представляет собой набор пейзажей и сцен, сгенерированных дообученной моделью SDXL с использованием нашего LoRA-адаптера. Я стремилась создать не просто статичные ландшафты, а разнообразные сцены, отражающие дух мультсериала: здесь есть виды инопланетных миров с характерными закатами, погружения внутрь психоделических измерений или порталов, а также более мрачные постапокалиптические городские пейзажи. Есть и динамичные сцены. Целью было показать способность модели генерировать различные локации и настроения в рамках заданного стиля.Как можно заметить, модель, в основном, переняла рисовку мультсериала и способствовала нашему погружение в этот прекрасных мир беззаботных приключений
в качестве GenИИ использовался Yandexgpt5PRO внутри алисы для генерации идей картинок)
