Идеальная видеокарта для Stable Diffusion и AnimateDiff: тестируем GeForce RTX 4070 Ti SUPER с 16 ГБ видеопамяти
Графические карты
Среди видеокарт NVIDIA RTX 40 появилась еще более привлекательная опция в среднем ценовом диапазоне: на место модели RTX 4070 Ti с 12 ГБ видеопамяти приходит RTX 4070 Ti SUPER, оснащенная 16 гигабайтами.
Вслед за первым раундом тестов , мы решили усложнить задачу и проверить видеокарты NVIDIA при создании анимированных роликов на базе текстовых и видео-запросов с помощью инструмента AnimateDiff (генерация видео из текста с AnimateDiff – huggingface.co).
И на этот раз мы сравним недавно выпущенную видеокарту RTX 4070 Ti SUPER с чемпионами предыдущего поколения – RTX 3080 Ti и RTX 3080.
Что делает AnimateDiff?
AnimateDiff – инструмент, вносящий динамику в работу Stable Diffusion. Иными словами, он позволяет генерировать видеоролик (GIF-анимацию) на основе текстового или видео-запроса.
Сколько видеопамяти нужно ИИ-моделям?
Больший объем видеопамяти у видеокарты RTX 4070 Ti SUPER будет полезным в некоторых ситуациях, однако в целом достаточно 12 ГБ и выше. Таким образом, RTX 4070 Ti SUPER с 16 ГБ видеопамяти будет существенно опережать своих конкурентов из предыдущего поколения.
Модель Stable Diffusion XL от Stability AI просит «как минимум» 8 ГБ видеопамяти. Давайте дадим ей намного больше и посмотрим, насколько быстрее станет генерироваться визуальный контент.
Тестирование с AnimateDiff: RTX 4070 Ti SUPER (16 ГБ), RTX 3080 Ti (12 ГБ) и RTX 3080 (10 ГБ)
Помимо использования AnimateDiff мы проведем несколько тестов со Stable Diffusion 1.7 (через интерфейс WebUI), чтобы получить представление о том, как видеокарты ведут себя под разными нагрузками.
Stable Diffusion 1.7 + ControlNet*2 + LoRA, WebUI, 512x512
Наш первый тест – генерация изображения с помощью двух моделей ControlNet и одной модели LoRA.
[Запрос: “masterpiece, best quality, high quality, highres, , cold tone, high tech, diamond, sharp line]
По какой-то причине видеокарта RTX 4080 немного уступает RTX 4070 Ti SUPER. Впрочем, обе они легко опережают флагманов NVIDIA прошлого поколения.
Видеокарта RTX 4070 Ti SUPER на целых 30% быстрее, чем RTX 3080 (10 ГБ), а модель RTX 4080 SUPER быстрее почти на 40%. Таким образом, RTX 4070 Ti SUPER является весьма выгодным приобретением, поскольку обладает доступной ценой и большим объемом видеопамяти.
Stable Diffusion XL + ControlNet*2 + LoRA, WebUI, 1024x1024
Далее мы поднимаем разрешение до 1024x1024 и генерируем несколько изображений, используя Stable Diffusion XL вместе с двумя ControlNet и одной LoRA из предыдущего теста.
[Запрос: masterpiece, best quality, high quality, highres, , cold tone, high tech, diamond, sharp line]
Результаты опять немного удивляют. RTX 4080 (16 ГБ) намного опережает своих соперников. Ее преимущество над RTX 3080 (10 ГБ) составляет целых 53%, а над RTX 4070 Ti SUPER – примерно 21%.
[Stable Diffusion 1.7, видеокарта GeForce RTX 4070 Ti SUPER (16 ГБ) протестирована специалистами MSI]
RTX 4070 Ti SUPER здесь лишь чуть лучше, чем RTX 3080 Ti (12 ГБ). Разница составляет всего 6,5%. Однако преимущество над RTX 3080 (10 ГБ) уже более весомое – 26,6%.
AnimateDiff Text2Video + ControlNet in ComfyUI (576x1024)
При применении в AnimateDiff процедуры Text2Video через интерфейс ComfyUI видеопамять должна использоваться больше, но ненамного, потому что мы продолжаем тесты при сравнительно низком разрешении 1024x1024.
В этом тесте мы сгенерируем видеокарту с тремя вращающимися вентиляторами.
[Запрос: masterpiece, best quality, graphics card, fan, 3D, high detail, no human, marble texture]
Результат выглядит не идеально (обычное дело для сгенерированного искусственным интеллектом контента без дополнительной обработки), но для тестирования производительности сгодится. Что касается результатов, то видеокарта RTX 4070 Ti SUPER проявляет себя великолепно, опережая прошлого чемпиона RTX 3080 Ti (12 ГБ) на 13%. Над RTX 3080 ее преимущество достигает 35%!
AnimateDiff Video2Video in ComfyUI (512x1024)
Процедура Video2Video в AnimateDiff позволяет использовать видеоролик как основу для генерируемой анимации. В качестве интерфейса для этой задачи мы воспользуемся ComfyUI, поскольку он дает чуть больше гибкости, чем интерфейс WebUI.
[Запрос: masterpiece, best quality, graphics card, fan rotating, 3D, high detail, no human]
В этом тесте результаты ожидаемые: RTX 4070 Ti SUPER без проблем берет первое место. Эта видеокарта на 10,5% быстрее, чем RTX 3080 Ti (12 ГБ) и на 33% быстрее, чем RTX 3080 (10 ГБ).
[Stable Diffusion 1.7, видеокарта GeForce RTX 4070 Ti SUPER (16 ГБ) протестирована специалистами MSI]
Развлекаемся с AnimateDiff – создаем дракончика Лаки с помощью LoRA и ControlNet:
Далее мы решили немного поразвлечься и сгенерировать анимированного дракончика Лаки. Для этого нам понадобились LoRA и ControlNet.
В процессе генерации визуального контента с помощью ИИ вы наверняка встретитесь с этими терминами, потому что они связаны с получением более качественных результатов. Итак, что же они означают?
ControlNet и LoRA: краткий обзор
ControlNet нейронная сеть, позволяющая управлять диффузионными моделями с помощью дополнительных условий. Иными словами, добавив ее к модели, вы сможете контролировать результат без использования специализированных входных данных.
LoRA LoRA (Low-Rank Adaptation – Низкоуровневая адаптация) – это метод, позволяющий подкорректировать результаты, которые выдает Stable Diffusion, в соответствии с более четко ограниченными концепциями, такими как художественный стиль, тема или персонаж.
Оживляем нашего дракончика Лаки!
Чтобы получить представленный ниже результат, нам пришлось обучить нашу собственную LoRA-модель. Во время этого процесса мы выбрали нужный тип дракона, подходящую позу и много чего еще. Подробности – в нашем видео.
[Запрос: masterpiece, best quality, 1dragon, (the dragon is red:1.2), the dragon is standing, the dragon is cute with small wings and one glasses, the wings is yellow, the glasses is black, cute, happy, room, without fur]
[Запрос: masterpiece, best quality, 1dragon, the dragon is talking, red_skin, wings, glasses, the_glasses_is_black, (3D:1.1), (cute:1.2), happy, green_background,]
Идеальная видеокарта для генерации видео с AnimateDiff
Когда речь идет о генерации анимированных роликов, даже с низким разрешением, видеокарта RTX 4070 Ti SUPER с 16 ГБ видеопамяти легко опережает лучшие модели NVIDIA предыдущего поколения. Требования к объему видеопамяти вырастают при высоких разрешениях, поэтому мы ожидаем, что разница между данными устройствами станет тогда еще более явной.
Если в процессе своей работы вам часто приходится генерировать видео, анимацию или изображения, то вы не ошибетесь, если выберете видеокарту с видеопамятью объемом 16 ГБ, такую как RTX 4070 Ti SUPER. Она не только работает лучше, чем любые модели предыдущего поколения при высоких разрешениях – за счет увеличенного объема видеопамяти, но и в целом обладает более высоким уровнем производительности.
В следующем нашем тестировании мы нагрузим видеокарты еще больше – будем генерировать контент в более высоком разрешении и с более высоким качеством!
Обзор видеокарты от Greenskull AI:
https://youtu.be/N5CaqC4bXc0?si=eQLKzJGrsNNiVSXw
Тестируем видеокарту GeForce RTX 4070 Ti SUPER в Stable Diffusion 1.7:
https://youtube.com/shorts/OgOVtgPVJKA
Развлекаемся с AnimateDiff – создаем дракончика Лаки с помощью LoRA и ControlNet:
https://youtube.com/shorts/yEX_wZEKKJo
Подробнее о видеокарте GeForce RTX 4070 Ti SUPER 16G GAMING X SLIM:
https://www.msi.com/Graphics-Card/GeForce-RTX-4070-Ti-SUPER-16G-GAMING-X-SLIM
https://youtu.be/N5CaqC4bXc0?si=eQLKzJGrsNNiVSXw
Тестируем видеокарту GeForce RTX 4070 Ti SUPER в Stable Diffusion 1.7:
https://youtube.com/shorts/OgOVtgPVJKA
Развлекаемся с AnimateDiff – создаем дракончика Лаки с помощью LoRA и ControlNet:
https://youtube.com/shorts/yEX_wZEKKJo
Подробнее о видеокарте GeForce RTX 4070 Ti SUPER 16G GAMING X SLIM:
https://www.msi.com/Graphics-Card/GeForce-RTX-4070-Ti-SUPER-16G-GAMING-X-SLIM
