Обучение генеративной нейросети
Идея проекта
Целью данного проекта было дообучение генеративной модели в определенном художественном стиле. Для начала обучения потребовалось отобрать набор изображений, отражающих этот стиль, который затем должен был быть воспроизведен в генерируемых изображениях. Стиль Джона Кен Монтерсона стал для меня источником вдохновения, и я решила создать модель, которая в дальнейшем будет имитировать его уникальный художественный почерк.
Джон Кен Монтерсон. Картины определенного стиля
Джон Кен Монтерсон. Картины определенного стиля
Хочется отметить, что художник использует страшные образы и большое количество штрихов, которые имитируют волосяной покров. В дополнение ко всему картины созданы на бумаге. Все перечисленные детали являются самыми яркими и выделяющимися в его технике, что важно отметить для того, чтобы сравнить результаты генераций и исходных изображений.
Картины в реалистичном стиле
Так же было отобрано несколько изображений в реализме для того, чтобы в итоге можно было совместить эти два разных стиля для получения необычного эффекта и придания индивидуальности генерируемых картин.
Серия итоговых картин обученной модели
Изображения, сгенерированные обученной моделью
Изображение, сгенерированное обученной моделью
На мой взгляд, модель хорошо передала стиль художника, на картинах прослеживается волосяной покров и мультяшность, словно картины изображены на бумаге карандашом
Изображения, сгенерированные обученной моделью
Изображения, сгенерированные обученной моделью
В процессе генерации мне захотелось поэксперементировать с силой смешивания стиля, вследствие чего картины начали становиться более реалистичными, но при этом сохраняли мрачную атмосферу исходных вариантов
Изображения, сгенерированные обученной моделью
Изображение, сгенерированное обученной моделью
Так же в процессе работы было увеличено количество шагов для генерируемых картин, что повлияло на качество детализации каждого изображения. На мой взгляд, многие детали стали более сглаженные и затемненные.
Изображения, сгенерированные обученной моделью
Изображения, сгенерированные обученной моделью
Чтобы рассмотреть модель подробнее, я сгенерировала картины разных животных, которые получились достаточно мрачными, но при этом детализированными, сохранившими стиль автора.
Изображения, сгенерированные обученной моделью
Изображения, сгенерированные обученной моделью
Изображение, сгенерированное обученной моделью
Процесс обучения модели
В качестве среды для выполнения проекта я выбрала GoogleCollab, так как он позволяет работать на GPU.
Перед началом работы необходимо было установить необходимые библиотеки, а так же собрать необходимые картины для обучения модели.
Таким образом, были подгружены необходимые скрипты и изображения [1:1] в виде датасета для дальнейшего анализа.
После данного этапа настало время убедиться, что подгруженный датасет отображается в коде. Дальнейшим действием было создание префикса для того, чтобы нейросеть запомнила стиль и смогла обучиться, опираясь на определенные слова.
Скриншоты из GoogleCollab
И наконец, можно было приступить к обучению модели, процесс которого занял около часа. После обучения необходимо было использовать созданный префикс для генерации последующих изображений в обученном стиле.
Скриншоты из GoogleCollab
Важно отметить, что во время генерации изображений я возвращалась на разные чекпоинты, которые позволяли смешивать силу, с которой применяется стиль для разнообразия итоговых изображений.
Скриншот из GoogleCollab
Вывод
Картина автора/генерация
В процессе работы стало понятно, что модель можно доучить под определенный стиль благодаря коду. Сравнивая картины автора и генерации, можно сделать вывод, что обучение прошло неплохо и генерации адаптировались под определенную стилистику.
Картина автора/генерация
На мой взгляд, такая техника способна упростить работу многих художников, а так же углубить свои знания о том, как работают нейросети, которые развиваются все стремительнее и быстрее с каждым днем.
Файл с кодом
