Как сделать анимацию речи?

20 сообщений / 0 новое
Последнее сообщение
SergeySoloDesign
Аватар пользователя SergeySoloDesign
Не в сети
Последнее посещение: 1 неделя 3 дня назад
Регистрация: 23.11.2021
Сообщения: 12
Рейтинг: 5
Как сделать анимацию речи?

Открыл канал на ютюбе, но по причине инвалидности не могу снимать себя. Приготовил аватар в DAZ. Есть ли способ сделать анимацию разговора? Что бы не двигать самому а использовать заготовленные движение губ для букв или звуков. В общем интересуют морфы для звуков речи а не эмоций. Ну а если есть автоматический способ (Закинуть звуковую дорожку), вообще прекрасно. Подскажите пожалуйста.

Вверх
Понравилось 0.
Master
Аватар пользователя Master
Не в сети
Последнее посещение: 3 часа 35 мин. назад
Регистрация: 04.06.2020
Сообщения: 237
Рейтинг: 117

В Дазе, плагин Anilip2. Работает нормально.
Вот в этой теме подробнее.
https://daz3d.ru/mimic-live-ili
Морфы мимики звуков встроены в базовую G8. Если не ошибаюсь.

Вверх
Понравилось 2.
SergeySoloDesign
Аватар пользователя SergeySoloDesign
Не в сети
Последнее посещение: 1 неделя 3 дня назад
Регистрация: 23.11.2021
Сообщения: 12
Рейтинг: 5

Спасибо большое. Попробую покопать в этом направлении.

Вверх
Понравилось 0.

Что нам стоит дом построить? Нарисуем, будем жить.

systemrail
Аватар пользователя systemrail
Не в сети
Последнее посещение: 1 неделя 2 дня назад
Регистрация: 11.09.2021
Сообщения: 54
Рейтинг: 35

На самом деле утилит, для анимации мимики с фонемами не так много
Помимо "Mimic Live", можно еще посмотреть например на Anilip 2 От этого-же автора можно посмотреть еще в сторону aniHead

И вот еще интересная программка, у нее свой установщик и интерфейс, но работает с персами ДАЗ-а PoseRecorder
===

Вверх
Понравилось 1.

Перекуем оралов на мечи...

Витя
Аватар пользователя Витя
Не в сети
Последнее посещение: 1 час 54 мин. назад
Регистрация: 06.05.2021
Сообщения: 800
Рейтинг: 200

Я когда вижу озвучку ролика с Аватаром забиваю на то, как там губы двигаются. Важней материал и подача. Вот машинную озвучку не могу слушать. Один ролик только дослушал - редкая информация была. Помню попросил себя дотерпеть до конца Smile На остальных машинных озвучках уходил искать инфу дальше.

Вверх
Понравилось 0.

С уважением.

Doctor911
Аватар пользователя Doctor911
Не в сети
Последнее посещение: 11 часов 48 мин. назад
Регистрация: 09.12.2019
Сообщения: 193
Рейтинг: 281

А я вот полюбил https://www.daz3d.com/poserecorder.
Правда поначалу он отказывался фиксировать мою физиономию, и мне пришлось тщательно побриться. Но он больше для карикатур.
Жалко, что после последних обновлений Windows программа стала падать.
Руками мимику я делаю на привычной плагине из Маи. В DAZе есть аналог, только нет отдельной менюшки и приходиться долго лазить по ветке. Но все точно так же.
Вот она.
https://www.daz3d.com/genesis-3--8-face-controls
Самая удачная – это конечно Anilip 2. Работает с русскими текстами, но фонемы мастрячит английские. Если посидеть с ней, как пришлось мне, то выясняется, что фонем не так много и, зная наперечёт, какую, где надо править – дело идет быстро. Даже если программа совсем накосячила, то разметка по времени уже имеется и дело быстро поправляется.
Хорошая прога.
Витя – на счет авто диктора – я тебе скажу. С ним надо наловчиться работать. Мне подсказали ребята с этого сайта.
https://unitools.tech/voice
Мы в Телеграмме с ними разболтались и они подсказали, что к чему. Да ты и сам разберешься. Зарегистрируйся на русскоязычном сайте типа этого и потренируйся. 200 руб. заплатишь, и тебе хватит на полгода. Там нужно хитро расставлять слова в предложении и следить за паузами. Но Евангелие он точно не прочтет. Авто дикторы понимают только современную речь. У буржуев то по круче сделано, с метрикой, со словарем и еще всякими примочками но, наши программисты клялись, что напишут еще круче.
Я вон Систему спич писал, так почти натурально получилось. Может ты уже видел.

Вверх
Понравилось 0.

Человек без ума в скором времени делается игралищем страстей.

Витя
Аватар пользователя Витя
Не в сети
Последнее посещение: 1 час 54 мин. назад
Регистрация: 06.05.2021
Сообщения: 800
Рейтинг: 200

И Амазонную как-то щупал. Я понимаю, что там много чего можно... Хотел озвучку себе взять, но нет, не рискнул. Хотя с Алисой люблю поболтать изредка.

Вверх
Понравилось 0.

С уважением.

лиза
Аватар пользователя лиза
Не в сети
Последнее посещение: 1 неделя 6 дней назад
Регистрация: 22.12.2021
Сообщения: 384
Рейтинг: 37

а вот в дазе же есть анимации рта на каждую букву. это автоматизировать как то можно? Или мне на каждой букве самой рот открывать

Вверх
Понравилось 0.

Димон вам в помощь

Master
Аватар пользователя Master
Не в сети
Последнее посещение: 3 часа 35 мин. назад
Регистрация: 04.06.2020
Сообщения: 237
Рейтинг: 117

Так выше же посты об этом. Именно в Дазе.)))

Вверх
Понравилось 2.
Doctor911
Аватар пользователя Doctor911
Не в сети
Последнее посещение: 11 часов 48 мин. назад
Регистрация: 09.12.2019
Сообщения: 193
Рейтинг: 281

Витя
Когда у Anilip 2 состоялся релиз, я полез на Amazon и прочитал, все, что они там рассказывают. Очень все круто. И словари и метрика и много чего еще но, я хоть и понимаю английскую речь – все же косяков в произношении услышать не могу. Не тот уровень знания. Так, что если там, на английском чешут не правильно – то мне все равно, что козе баян.
А вот с русскоговорящими дикторами на Amazon беда. Оказалось, что из всех перечисленных фич – они почти ничего не умеют использовать. Я признаться был расстроен. И мне ребята с телевидения посоветовали обратиться к отечественному производителю. У них оказался больше выбор дикторов, есть настройка высоты и скорости, есть паузы и запятые. Нет словаря и нет возможности управлять «волной». Разве, что чуть-чуть, через установку запятой. Ну, оригинальная расстановка слов в предложении последний вопрос как-то решает. А вот если ты туда вывалишь чью-то книгу или рассказ, где переставлять слова ты не имеешь права – то будет звучать очень уныло. Как у всех авто дикторов.
Так, что все не так просто но – место для творчества они оставили.
Лиза
Установи Anilip 2. Он подгрузит свои фонемы, и ими будет пользоваться на автомате. Ничего не надо править вручную. Можно прекрасно все прогнать и на английских фонемах. Кривизны - особо не заметно. Если выглядит уж очень уныло, то подгрузи на лицо маркеры из Face Controls и доводи мимику руками сама. К Face Controls, прилагается небольшая библиотека, ты ей пользуйся по началу, а потом и сама наловчишься мастерить мордочки. Сама решишь, где бровь приподнять, где носом шмыгнуть. Там же сможешь и поправлять губы – если английская фонема – совсем не к месту.
Глаза боятся – а руки делают. Была бы нужда….

Вверх
Понравилось 2.

Человек без ума в скором времени делается игралищем страстей.

Витя
Аватар пользователя Витя
Не в сети
Последнее посещение: 1 час 54 мин. назад
Регистрация: 06.05.2021
Сообщения: 800
Рейтинг: 200

Когда у Anilip 2 состоялся релиз, я полез на Amazon

У Яндекса есть аналогичная разработка для русского языка. Впечатлила больше Амазона. Можно довести до терпимого уровня, но надо корректировать. Автоматом... ну так себе интонация. Терпимо, но я бы не поставил на озвучку.

Вверх
Понравилось 0.

С уважением.

SergeySoloDesign
Аватар пользователя SergeySoloDesign
Не в сети
Последнее посещение: 1 неделя 3 дня назад
Регистрация: 23.11.2021
Сообщения: 12
Рейтинг: 5

Эмм... Ребят. Ну я скачал Anilimp2 но как его установить я хз. Не разу плагины не ставил.

P.S. Скачал не из DazCentral

Вверх
Понравилось 0.

Что нам стоит дом построить? Нарисуем, будем жить.

Master
Аватар пользователя Master
Не в сети
Последнее посещение: 3 часа 35 мин. назад
Регистрация: 04.06.2020
Сообщения: 237
Рейтинг: 117

Там dll библиотеки надо кидать в папку с плагинами, насколько я помню. Давно ставил.
Недостающие файлы есть по ссылке, если перейти по ссылке, что я выше давал.

Вверх
Понравилось 0.
systemrail
Аватар пользователя systemrail
Не в сети
Последнее посещение: 1 неделя 2 дня назад
Регистрация: 11.09.2021
Сообщения: 54
Рейтинг: 35

SergeySoloDesign

Если возникли сложности с установкой exe - файла, можно скачать этот вариант

Anilip 2 Установка через DIM, плагин и контент, в одном файле.

Серийник (под спойлером выше был), введите его после установки в: Help -> About Installed Plugins -> Anilip 2

Вверх
Понравилось 1.

Перекуем оралов на мечи...

Kristinka
Аватар пользователя Kristinka
Не в сети
Последнее посещение: 4 часа 42 мин. назад
Регистрация: 21.01.2021
Сообщения: 181
Рейтинг: 50

aniHead никак не для речи и не для мимики, она только головой мотать может и всё.

Вверх
Понравилось 1.
systemrail
Аватар пользователя systemrail
Не в сети
Последнее посещение: 1 неделя 2 дня назад
Регистрация: 11.09.2021
Сообщения: 54
Рейтинг: 35

Kristinka

PoseRecorder - тоже, скорее для развлечения, но довольно интересно получается, если хороший референс.

А aniHead - это сопутствующий, дополнительный инструмент реализма движения головы, с видео-референса например, во время разговора. Идеально дополняет Anilip.

Взять какой-нибудь монолог человека, да с того-же тик-тока, и этими двумя плагинами можно воссоздать правдоподобие в 3D.

Вверх
Понравилось 1.

Перекуем оралов на мечи...

SergeySoloDesign
Аватар пользователя SergeySoloDesign
Не в сети
Последнее посещение: 1 неделя 3 дня назад
Регистрация: 23.11.2021
Сообщения: 12
Рейтинг: 5

Блииин спасибо большое. Правда через DIM не вышло(напроч не видел архив). Я вручную раскидал файлы и ключ ввел потом. Заработало. Теперь нужно только разобраться что и куда. Еще раз спасибо.

Вверх
Понравилось 1.

Что нам стоит дом построить? Нарисуем, будем жить.

SergeySoloDesign
Аватар пользователя SergeySoloDesign
Не в сети
Последнее посещение: 1 неделя 3 дня назад
Регистрация: 23.11.2021
Сообщения: 12
Рейтинг: 5

systemrail. Как я понял он не будет работать с простыми WAV файлами? То есть только с амазон? Просто когда закидываю WAV файл с монологом на 5 сек. Выдает ошибку с непонятными квакозябрами. Даже не понятно что хочет.

Вверх
Понравилось 0.

Что нам стоит дом построить? Нарисуем, будем жить.

systemrail
Аватар пользователя systemrail
Не в сети
Последнее посещение: 1 неделя 2 дня назад
Регистрация: 11.09.2021
Сообщения: 54
Рейтинг: 35

SergeySoloDesign

Боюсь не смогу Вам помочь в деталях, здесь нужен кто-то, кто досконально разбирался со всеми возможностями этого плагина.
Я лишь поверхностно баловался. Smile

Возможно, голосовые движки для винды нужно настраивать, какие-нить нюансы с аудио кодеками, или еще что-нить.
Нужно искать инфу, от тех, кто пользуется этим, наверняка такие есть люди.

====
Мне, к примеру, оч понравился от такой пример использования от Doctor911, не знаю что именно он использовал в том спиче, (мимика и текст не совпадают, но полагаю, он и не ставил этой задачи там) а мне понравился сам оригинальный подход.

Вверх
Понравилось 2.

Перекуем оралов на мечи...

Doctor911
Аватар пользователя Doctor911
Не в сети
Последнее посещение: 11 часов 48 мин. назад
Регистрация: 09.12.2019
Сообщения: 193
Рейтинг: 281

Систем – мне стыдно признаваться но, на изготовление этого спича, я потратил 25 минут, не считая рендера.
Из них я пять минут ругался с живой актрисой озвучки, которая отказалась озвучивать спич, так как читала форум и сразу заняла твою позицию. Сказала, что Систем – милый, и если я попытаюсь его обидеть, то получу в глаз! Очень боялась, что я сочиню какую-нибудь гадость.

Еще 10 минут я самостоятельно сочинял спич и учил робота правильно его читать.
Я накинул анимацию мимики из другого спича и чуть-чуть подправил. Но в DAZ достаточно промазать на один кадр, как выходит не состыковка, а разглядеть это в нем – сложно. Нужен другой софт для редакции мимики. Я просто не успел.
Анимацию мимики нормально сделать так и не успел, английские фонемы на русские не менял, базовую анимацию idle плохо зациклил, с хвостиками промазал совсем. Так, что это конечно халтура. За, что - мои извинения. Просто хотел сделать по быстрей.

Что касается *wav, то за время существования этого формата он перетерпел много изменений. Нужны новые форматы с высокой частотой. Старые форматы надо конвертировать в новые. Но не все на это поддаются. Если использовать современные редакторы – то этой проблемы не будет, а при записи с микрофона, проверяйте, с какой частотой он будет делать запись. По умолчанию, зачастую, там установлена низкая частота. Надо, что-то типа 44 000, а не 22 400. Или, что – то там такое я не помню. И совсем не обязательно с Amazon, все прекрасно пишется через микрофон.

Вверх
Понравилось 1.

Человек без ума в скором времени делается игралищем страстей.