Deadman | AI learning
Задачей проекта стояло до-обучение нейросети Stable Diffusion под создание работ на основе моего персонажа «Мертвец Сундука»
Фрагмент из синематика
Андрей — человек, переживший достаточно много горечи за свой срок. Трудное детство. Потеря близких. Предательство. Психбольница. Только он находит в себе силы полюбить жизнь, врач сообщает, что он смертельно болен. Он накладывает на себя руки и умирает в своей квартире, друзья про него забывают, никто не приехал его хоронить. Его душа застревает на границе Земля-Ад в квартире со своим трупом
Квартира героя
Рендер персонажа в А-позе
Кадр из синематика
Результат работы обученной модели
Генерация персонажа
Генерация персонажа
Генерация персонажа
Генерация персонажа
Процесс обучения
Был собран датасет из 50-ти рендеров персонажа в разных сценариях освещения и ракурсах
Датасет
Импорт датасета
Автоматически были созданы описания изображений с помощью модели BLIP и префикс «a photo of DEADCHEST man» для дальнейшего обращения в промте.
создание префикса
Для этой модели было установлено 500 шагов обучения, два чекпоинта и разрешение в 512 пикселей, таким образом, на каждую итерацию обучения уходило по 40-50 минут
Настройка параметров для обучения модели
После авторизации и загрузки модели на hugging face я смог обратиться к до-обученной модели и воспользоваться ей. Для регулирования силы применения стиля я использовал параметр fuse_scale со значением в 0,7
Промт
Исходный код
Ссылка на проект находится тут. Внутри процесс обучения модели и подключение обученной модели с Hugging Face
Используемые генеративные модели
Модель для до-обучения и создания изображений — Stable Diffusion XL. Для апскейлинга и ресайза некоторых генераций использовал Krea. Помощь в составлении кода для повторной загрузки с Hugging Face уже обученной модели — DeepSeek Chat.
