Обучение генеративной нейросети под свой стиль Хироо Исоно
Концепция
Хироо Исоно — японский художник, чьи работы наполнены тишиной, покоем и красотой природы. Его красочные медитативные пейзажи будто уносят в другой мир, где хочется задержаться подольше. Мне захотелось создать еще больше завораживающих изображений и обучить нейросеть стилю Исоно, чтобы она тоже умела передавать это чувство спокойствия и гармонии.
Некоторые из работ Хироо Исоно, взятые для обучения
Итоговые изображения
В серии изображений я постаралась создать различные природные композиции: водопад в густых джунглях, ночной пейзаж с луной, отражающие водоемы, тропинки, ведущие в туманную даль.
in HIROO style, Lush tropical jungle with cascading waterfalls, ancient trees covered in moss, glowing mist rising from the river, golden sunlight piercing through dense foliage, soft painterly textures, magical realism
in HIROO style, A boat drifting on a quiet lake surrounded by dense, emerald jungle, reflections shimmering in the water, a mysterious tower peeking through the treetops
//
in HIROO style, Forest temple hidden among giant roots and thick vines, gentle rain falling, glowing lanterns lighting the stone steps
in HIROO style, A lone traveler standing among giant red plants, gazing at a huge pale moon above a distant mountain, the sky filled with stars and silence — detailed fantasy landscape, central composition
//
in HIROO style, A giant ancient tree standing alone in the middle of a golden field, its branches stretching wide under a glowing twilight sky, soft painterly style, calm and sacred atmosphere
in HIROO style, A quiet lake reflecting a rainbow stretching above, surrounded by dense forest and flocks of birds flying low over the water
//
in HIROO style, Majestic mountain landscape at sunrise, layers of mist in the valley, a lone figure walking on a narrow path, warm diffused lighting, serene and dreamlike
Модель хорошо обучилась, несмотря на относительно небольшое количество исходных изображений. Она перевела стилевые черты работ Хироо Исоно, основные образы и цвета.
in HIROO style, A tranquil jungle river reflecting the deep green canopy, small wooden boat drifting with a sleeping traveler, dragonflies hovering above the surface
//
in HIROO style, Thick jungle at dusk, the canopy casting deep green shadows, strange glowing plants blooming near tree roots, a sense of life watching from the dark
in HIROO style, A long rope bridge hanging between two cliffs over a misty jungle, flocks of colorful birds flying below, morning light breaking through the fog
//
in HIROO style, A dense emerald jungle with layered canopy, beams of light breaking through the leaves, giant ferns and mossy stones covering the ground, a narrow hidden path winding into the deep
Процесс обучения
После установки всех необходимых библиотек, я создала датасет, в который загрузила 35 работ художника.
Далее я приступила к этапу обработки изображений и созданию описаний к ним с помощью BLIP. Для своей нейросети я задала параметр, с которого должно начинаться каждое описание: «in HIROO style».
После создания описаний я приступила к обучению модели, которое заняло у меня около 1 часа. Для ускорения процесса обучения, я уменьшила разрешение изображений, увеличила train_batch_size до 2, уменьшило количество обучающих шагов до 500 и чекпоинт поставила на каждые 250 шагов.
Обучив модель, я приступила к созданию серии изображений и убедилась, что нейросеть хорошо обработала исходные данные и воспроизводит стиль художника, учитывая его особенности.
Описание применения генеративной модели
Помимо обученной нейросети был использован ChatGPT (https://chatgpt.com) для дополнения промптов и генерации идей.
