CANNIBALISM | Обучение генеративной нейросети на другой нейросети
Концепция
Каннибализм нейросетей — это явление, при котором при обучении нейросеть поглощает продукты другой нейросети.
С точки зрения программистов, каннибализм нейросетей — это явление плохое.
И я даже согласна, потому что это делает продукт ИИ, будь он информационного характера или художественного, более некачественным.
Я же вижу это закономерным исходом того, что ИИ не видит границ.
Мне подумалось, что будет забавно для этого задания использовать работы, которые сгенерированы ИИ.
Я нашла AI работы, отобрала их, подогнала под формат квадрата и использовала в качестве основы для обучения ИИ.
Потому что использовать труд людей напрямую, тех, кто вложил силы и время в свои навыки, я не хотела.
Нейронка лишь генерирует изображение, она не способна вкладывать в него смысл, не способна быть автором. Это лишь инструмент, который составляет пискели так, как его этому научили.
Описание применения генеративной нейросети
Среда выполнения: Google Collab. Внутри ноутбука для обучения модели на предоставленных изображениях и генерации новых изображений использовались LoRA, Stabble Diffusion XL и Hugging Face.
поверка импортированных в ноутбук изображений, при запуске кода выводятся 5 из них
После загрузки изображений, я проверила, что нейросеть правильно распознаёт изображённое на них
сгенерированные для каждого изображения из папки промты, описывающие картинку
обучение нейросети на изображениях
Последний этап — это обучение нейросети, оно продлилось около 45 минут
Результирующая серия изображений
Изображения, которые я подбирала для обучения, были в стиле аниме 90-х годов. Для этого стиля особенностями являются пропорции персонажей, наличие эффекта состарившейся цифровой картинки, мрачные цвета, штрихи на фоне и на объектах.
promt = «90s anime style, horror, girl in a white dress entering the mansion. vamires around looking at her»
Удалось передать изначальные черты в изображениях: аниме-пропорции тела, большие глаза, более проработанный фон, тёмные штрихи.
prompt = «90s anime style, horror, the wolf-like creature eats bird, a lot of white»
При генерации не человека, а волка, всё равно сохранилась стилизация под стиль аниме 90-х: обводка, несколько плоскостные тени.
promt = «90s anime style, horror, A dark, abandoned room with wires hanging from the ceiling like tentacles, entwining a lone figure struggling to break free»
Из-за того, что изображения для обучения сами были созданы нейросетью и имели артефакты, число артефактов в результативной серии тоже было большим.
Это показывает, что нейросеть и правда основывалась на исходных изображениях и переняла их черты, а учитывая то, что она сама не умеет анализировать изображения, то в конечном итоге она преумножила количество артефактов.
Как и происходит при каннибализме нейросетей.
Описание применения генеративной модели
Google Collab — среда выполнения.
Stable Diffusion — обучение генеративной нейросети под стиль собранных изображений.
Hugging Face — получение токена для обучения нейросети.
