Обучение генеративной нейросети под стиль группы GORILLAZ
Идея
Gorillaz — популярная британская группа, созданная в конце 90-х годов, состоящая из виртуальных участников. Свою известность группа приобрела за счет таинственных персонажей со своими характерами и предысториями, а также из-за необычных стилизованных анимационных клипов. Коллектив также вошел в книгу рекордов Гиннеса как самая популярная виртуальная группа сразу же с дебютным альбомом.
Так как подобный стиль хорошо узнаваем даже вне фанатов их музыки, я решила поэкспериментировать с ним и позволить людям создать себя или своего персонажа в качестве участника Gorillaz.
Исходные изображения
Источники: https://gorillaz.fandom.com/wiki/Category:Galleries и официальный YouTube-канал группы
Обучение нейросети
промт: art in GORILLAZ style, girl with yellow hair, wearing green sunglasses, a black crop top, and an orange skirt, standing in front of a pink background. Full body, clean composition.
Обучение проходило с использование исходного шаблона кода преподавателя, а соответственно и в несколько этапов после подбора изображений. Для анализа и обучения, было собрано 57 различных изображений с участниками группы.
Изображение при использовании в промпте «Fashion photography», вместо «Stylized art»
Далее, для более упрощения процесса обучения были использованы методы DreanBooth и LoRA.
Это позволило обеспечить скорость анализа, меньшие затраты по ресурсам компьютера, а также соответствие выбранному стилю, если этому не противоречат определенные значения в промте.
Описание применения генеративной модели
Для генераций изображений была применена нейросеть Stable Diffusion XL с дополнительными модулями для обучения LoRA и DreamBooth, а также BLIP для автоматического создания описаний к исходным изображениям.
Итоговые изображения
После генерации готовых изображений можно проследить характерные черты лиц, таких же как у участников группы вне зависимости от окружения и промта. Такой результат и получился благодаря дообучению Stable Diffusion.
