Сегодня решил проверить одну свою (безумную) идею. И к своему удивлению обнаружил, что она работает.
Речь идет о том как получить контроль над изображением, которое генерирует нейронная сеть.
Кто работал с нейронками в курсе, что невозможно заставить нейронку сгенерировать точно то, что нужно.
Результат всегда будет приблизительный (мягко говоря).
Например персонажа посадить в нужную позу или сделать на лице необходимую эмоцию, плюс постоянные проблемы с пальцами, трудно заставить унаследовать общий стиль между двумя разными генерациями, итд.
В общем мне удалось подружить 3D модель с нейронной сетью. И в этом симбиозе 3D модель отвечает за изменение формы канваса (область в которую нейронная сеть генерирует изображение), а нейронка непосредственно за саму генерацию изображения. Но по факту она генерирует текстуру для 3D модели.
Работает все довольно просто. Я из Genesis сделал 1D (именно, в одной плоскости) модель. Но она по прежнему является Genesis, и все морфы к ней применяются и осталось управление, но только оно не через кости, а через морфы. После того как выставляю позу, делаю проекцию UV от камеры и рендер изображения прям в OpenGL. Скармливаю его нейронки и полученный результат загружаю обратно как текстуру на 1D Genesis.
Вот что получается. Pендер прям в Дазе в OpenGL
Слева обычный Genesis, справа после нейронки.
Получается эффект реал-тайм рендера.
Завтра сделаю более интересную презентацию.
Продолжайте
И хотя нам прошлого немного жаль, ХУДЬШЕЕ конечно впереди
Слева на право рендер в OpenGL: оригинал ДАЗ - После прогонки через нейросеть, Uv от 1D модели.
Текстура сделана из 1K разрешения на всю модель поэтому немного размыта. Никаких других карт нет.
Просто фото поверх геометрии.
Увеличьте и смотрите на пальцы рук. Сравните с оригиналом.
Что за моделька туфель? И как быть с тенями? Попробуйте поменять свет во вьюпорте на сбоку, нейронка тени сгенерирует на модели? Нейронке же можно написать, типа сделай размытые тени или свет как от солнца?
И хотя нам прошлого немного жаль, ХУДЬШЕЕ конечно впереди
выглядит странно. Учитывая что нейронке скормили openGL картинку. Я думаю надо полностью готовый рендер скармливать
Ум - это способность быстрее, и вернее других, определять причинно-следственные связи,
основываясь на меньшем количестве информации
Я вот тоже подумал, что странно поэтому то и хочу понять как оно с тенями будет. А у вас шикардосно вышло, прям огонь
И хотя нам прошлого немного жаль, ХУДЬШЕЕ конечно впереди
предполагаю что нейронка подкинула автору эту идею и она же написала улётный текст
Кто людям помогает, тот тратит время зря
Control net какой то? Или workflow для comfyui кастомный? Выглядит хорошо, подумал сначала на control net, потом на что то похожее на krea, теперь стало интересно, через img2img таких хороших результатов не добиться, может быть связка control net depth / posenet / canny + ещё что нибудь для улучшения качества общей картинки?
Некто_Дима
нейронке вы можете скармливать любое исходное изображение, там его можно улучшать до бесконечности пока не надоест. Я даже экспериментировал с черно-белыми, нарисованными карандашом эскизами и делал из них фото-реалистичные изображения. И результат меня шокировал, потому-что получалось просто отлично.
Вот пример: исходное изображение (головы) было размером 30х30 рх
egorkae
Если делать композицию в которой есть элементы освещения, то нейронка сама нарисует вам и тени все остальное. Я попозже соберу прям целую сцену и покажу.
Хотя вы можете посмотреть на мою работу из галереи "Женщина в машине". Вот там как раз женщина обработана в нейронке на базе того освещения которое было у окружения (лес, небо, салон машины). Все тени на ней (лицо, руки, одежда, очки) нарисовала нейронка.
Идея возникла буквально сразу как только первый раз использовал нейронную сеть. А вот решение ее реализации только пару дней назад. Тексты пишу как умею.
Roman Kuznetsov
Сделано в krea в режиме генерации Real time и только за один проход (ничего не улучшал, то что выдала при первой генерации то и использовал). Поэтому не обращайте сейчас внимание на качество.
Пост наверное будет более понятен кто хорошо знаком с тем как работают нейронные сети и какие у них на данный момент есть ограничения.
Это все хуйня, скорми что-нибудь определённое, а не болванчика в А-позе, а подумает и нарисует тебе артефакты.
На что я жмал
кидают бесплатную замануху, потом предлагают за это платить, десять гавриков заработает какие-то гроши и кричит об этом на всех углах, десятки тысяч простофиль будут тратить впустую деньги на курсы и принудительно устаревающие девайсы.
Крита, vr шляпы, 3д телевизоры, умный дом и остальная тряхомудия тамже где и остальные покемоны и спиннеры, нейросети уже всех задолбали и начали откровенно бесить.
Кто людям помогает, тот тратит время зря
Папироска228
Что конкретно определенное.
Так оно работает. Курсы по Блендеру, как сделать пончик, до сих пор покупают. А нейронка только развивается. Уже в банальный Яндекс программистов без навыка кодирования нейросетей просто так не берут. Через лет 10-15 получим толпы программеров, которые будут ныть, что им работы нет. Потому что, скорее всего сама нейросеть их и заменит. Все кодировать ломанулись. Тут слесарей нет, хотя бы каких. Никто не хочет на завод. Уже зарплату в 70К предлагают, всё равно не интересно.
автор Ozornick. Хотел посмотреть насколько реально из черно-белого изображения создать цветное.
По центру оригинал.
Я сделал 3D модель трусов и одел на рисунок
Трусы снимаются
Снимаются с рисунка? А зачем?
Это для старушки процентщицы так как трусы последние))
Yuriy V.G
Это 3D объект одетый на 2D объект. Именно одетый, которым я могу управлять в пределах видимой поверхности (двигать руками, ногами, сменить эмоцию на лице).
И то что вы видите это рендер в OpenGL
Это вообще то картинка довольно известного французского художника Айлена Аслана.Называется "Девушка" и на непосредственно оригинальном изображении девушка в трусах с изображением британского флага.Картинка довольно известная так как с нее периодически "снимали" эти трусы и одевали опять.Вроде традиции у графиков работающих в жанре "пинап".Я не знаю где там потрудилась нейросеть но верхняя картинка это оригинал а две боковые это интерпретации другого художника Хадзима Сорояма.
Интересная тема, скрестить ёжика с бананом!))) Теперь осталось только отточить навыки и сделать хороший тутор)
3DZoo я извиняюсь. Не знал что на 2D объект можно что-то надевать\снимать. У Вас в посту #3 рисунок
какой-то странный. В каком режиме и чем Вы его скриншотили? Вот мои от GF до G8F в Viewport:
Режим Texture Shader.
NVIDIA Iray. Реал-тайм ВЫ его называете,если не ошибаюсь.
Render.
Пост #9
Это из иконки так получилось? Здорово!
Пост #17
Это не чёрно-белые изображения.Это изображения в градации серого.Только штриховка может придать видимость обьёма.ИМХО. Убрать штрихи и ?
Третий слева прелесть. Четвёртый какой-то бледненький.
3DZoo.
Из моей картинки изобразите чего-нибудь. Очень хочется. Пожалуйста.
What
Вы считаете это плагиатом?
Сделал модельку на основе изображения (слева) в двух вариантах.
Yuriy V.G
Нет.Это реплики.У Сороямы большая часть работ это, либо реплики с посторонних работ,либо с фотографий из глянцевых журналов.Такова особенность этого художника.Свои работы он большей частью делает при помощи аэрографии.То есть распылителем краски...))
What
Это сделал я вчера. Но это не все. Сейчас занимаюсь анимацией этих моделей
Yuriy V.G
2D объект это тот же 3D но только в одной плоскости.
Это нужно чтобы рендер движок не генерировал тени.
Сейчас сделаю небольшое видео, чтобы вы понимали что это вообще такое.
Он не бледненький, он просто еще не раскрашенный.
Сделайте копию. В фотошопе по контуру различных поверхностей (волосы, платье, кожа) создайте маски (точность не обязательна) в отдельный слой и залейте их тем цветом как вы себе представляете с прозрачностью слоя 50%-70%. Чтобы остались видны тени (складки на одежде, в волосах).
таким образом будет более точное задание для нейронки, а то в вашем варианте будет много очень вариантов.
То что разукрасили сюда выложите и я вам сделаю
На видео изображен примитивный способ использования результатов генерации нейронных сетей.
Я сделал рендер 3D модели в OpenGL, затем его обработал в нейронке и загрузил обратно как текстуру.
Таким же способом я могу сделать из любого изображения 2D объект у которого текстурой будет само изображение из которого он сделан. Так же я могу перенести любую динамику с 3D объекта на 2D объект.
Способов применения просто огромное. Анимация в реальном времени одно из них. Но есть и более интересные.
Если нужно, чтобы платье было прозрачным, то нужно прорисовать контуры тела под ним, тогда нейронка поймет что платье прозрачное. Ну и с цветом волос и платья тоже самое
У меня пишет "File no longer accessible"
Другой ссылки на видео нет?
andrew2023
Если используете Firefox то может быть. Попробуйте через другой браузер.
Хотя проверил Firefox тоже отображает видео.
вот ссылка на видео. скачайте и смотрите на компе
3DZoo
Благодарю Вас! Обалдеть! Будет над чем подумать.
А.Грин Глава XVII
Google, Yandex показывают. Скачал.
Yuriy V.G
Переведите на английский и скормите нейронке. Вообще интересная тема. Визуализировать персонажей которые описаны только словами и нигде не было их изображения.
Давно Вас не было 3DZoo
Этим Okinawa занимается:
https://daz3d.ru/i-kak-dalshe-zhit
https://daz3d.ru/ona-zhdyot-korolya-artura
Замолчал в последнее время, впал в депрессию, наверное, на религиозной основе. А получалось у него отлично.
Yuriy V.G
Я первый раз попробовал что-то сделать в нейронке еще в мае прошлого года. И оно не впечатлило.
Прям перед Новым годом посмотрел в ознакомительных целях видео на Ютубе о новостях по нейросетям.
Там рассказывали от том, что появились нейронки которые генерируют в реальном времени. Решил посмотреть, что это за зверь такой. И сразу после первой генерации у меня был просто ступор, не мог поверить тому, что видели глаза. Потому что прогресс за 6 мес. был просто колоссальный. Ну и как Okinawa впал дня на два в глубокую депрессию. Я думал, если они так продвинулись за 6 мес., то что будет через год или два. В итоге любопытство возобладало. Меня интересовали именно тех. возможности нейронки. Каковы ее лимиты. Как она обрабатывает данные которые ей скармливают. И не заметил как у меня появилась зависимость. День начинался с нейронки и заканчивался ей.
Дальше продолжать не буду. Можно целую новеллу написать.
Сейчас рассматриваю нейросети как мощный инструмент в помощь художнику, а не замена ему. У меня именно технический интерес. Нейросети генерируют любой контент по вашему заданию. Если вы научитесь правильно составлять задания, то в ответ будете получать хороший результат.
Лично я использую для следующего:
- Генерация референса, когда не хватает фантазии.
- Генерация текстур.
- Восстановление текстур. Это вообще волшебная вещь. Никакими другими средствами так, как это делает нейронка не сделаешь. Речь о ситуациях когда еле-ели различаются контуры на изображении.
- Создание композиции. Например когда хотите какого-нибудь персонажа всунуть в уже существующее окружение из изображения.
- Еще куча и маленькая горка других вещей.
Посмотрите вот эти видео:
СТРАХ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
К чему приведет искусственный интеллект
3DZoo
А ссылочки на сети? Тутариалы в студию!
Честное слово.На-до-е-ло!
"А дубы-колдуны что-то шепчут в тумане
Из поганых болот чьи-то тени встают.
-----------------------------------
А нам всё равно, а нам всё равно
Твёрдо верим мы в древнюю молву
Храбрым станет тот, кто три раза в год
В самый жуткий час, косит трын-траву"(если конечно умеет).
Realtime генерация есть у следующих сетей (возможно уже и у других есть)
Я пользуюсь KREA
https://www.krea.ai/apps/image/realtime
еще есть сеть Leonardo
https://leonardo.ai/
Также у Stable Diffusion тоже появилась realtime генерация, но ее надо на комп устанавливать и нужна мощная видео карта
Я примерно за 15 мин. разобрался что к чему без всяких уроков. Но уроки на Ютубе тоже есть.
Принцип работы очень простой вам нужно нейронке дать задание (исходные данные), по которым она вам что-то сгенерирует. Исходные данные могут быть в виде текста, изображения, видео или схематического рисунка нарисованного прям в интерфейсе нейронки. Также можно комбинировать эти данные. Например дать ей изображение и пояснить, что на нем изображено. Или наоборот удалить (стереть ластиком) часть изображения которую вы не хотите видеть в результате генерации. Или что-то дорисовать.
Есть возможность управлять креативностью (насколько далеко результат генерации может отличаться от исходного задания). Также менять стили.
3DZoo
https://youtu.be/HiJnODyyV-0
Ну хотелось бы посмотреть, как это возможно скормить Дазу или Позеру) а для sd есть масса костылей.regional prompt, к примеру, позволяющий использовать подсказки только в заданной области. Это про синие ботинки, зеленые глаза и красную шапку в белый горошек. И масса других костылей. Рразличных, для различных оболочек. В comfyui вообще лепите, че и как хотите. Все упирается в понимание и умение
Эт про цитату из Грина)
В черных её волосах блестел жемчуг гребней. Кружевное платье оттенка слоновой кости, с открытыми гибкими плечами, так же безупречно белыми, как лицо, легло вокруг стана широким опрокинутым веером, из пены которого выступила, покачиваясь, маленькая нога в золотой туфельке.
Ну, сама генерация заняла около получаса, в моем осмысливании описанного и наличии откровенно слабого железа. а как сюда загрузить картинку?)
kroytt
На что конкретно посмотреть
Для это есть онлайн нейронки. Я все делаю там.
Если в тему нужно загрузить картинку, то грузите ее на любой хостинг изображений типа IMGBB
Копируйте там полную ссылку и вставляйте ее здесь.
kroytt
Идём сюда:
https://postimages.org/
Регистрируемся. Загружаем изображение. Получаем список, так называемых, тегов:
Копируем самую нижнию - Картинка для сайта:. вставляем сюда в Comment *
Жду с нетерпением.
Всё это конечно же хорошо.Даже в 3.14 D получилось бы лучше.Соответственно и вопрос на засыпку.
Нейросети научились сами угадывать белые вогнутые шовчики на плиточках?
Про цвета уж не спрашиваю.