Клонирование голоса Вендигоса

Wendigos Voice Cloning (мод для Lethal Company)

LC Nail 2

Маскед научился копировать голоса ваших друзей. Сможете ли вы определить, кто настоящий, а кто поддельный?

Чтобы этот мод работал правильно, он должен быть установлен у всех игроков.

Вот видео, которое я сделал, чтобы представить этот мод.

Второе видео - это демонстрация работы мода в реальном времени.

Отказ от ответственности.

Если вы не используете Elevenlabs, этот мод загружает внешний бинарник (размером около 350 МБ) с моего github и локально загружает модель AI для генерации звуковых клипов людей в масках. Внешний бинарник занимает 350 МБ, а модель голосового клона - 1,75 ГБ.

Конфиденциальность.

Клонирование вашего голоса происходит полностью локально во время выполнения. Это означает, что (1) ваши звуковые клоны не хранятся, клонирование происходит во время выполнения, и (2) вся обработка происходит локально на вашей машине. Она не передается извне. Только сгенерированные аудиоклипы передаются между игроками.

При использовании Elevenlabs все хранится в вашем аккаунте.

Первоначальная настройка (не в режиме реального времени)

При использовании Elevenlabs заранее клонируйте голос каждого игрока.

Включите мод в файле Wendigos.cfg. По желанию включите Elevenlabs и добавьте API-ключ и идентификатор голоса. Также не забудьте установить язык и добавить пользовательские голосовые реплики (см. раздел «Бонусные возможности»).

(Только для локальных моделей ИИ - для пользователей Elevenlabs уже отключен). При первом запуске игры вам будет предложено записать несколько голосовых реплик. На экране отобразится выбранный в данный момент микрофон.

Если выбранный микрофон не тот, который вы хотите использовать, нажмите Закрыть, установите нужный микрофон в настройках и перезапустите игру.

Элементы управления

'R' начинает запись.

'Q' останавливает запись.

'N' отображает следующий звук.

Если ваш рабочий язык не английский, скажите, что вы хотите, на этом шаге, а затем нажмите «Q».

Когда вы остановите запись или выйдете из списка озвученных строк, режим начнет генерировать озвученные строки.

Этот этап может занять много времени. Когда генерация будет завершена, игра оповестит вас об этом.

В первый раз, когда это произойдет, мод загрузит модель дублирования звука (1,75 ГБ) в папку Wendigos MOD. Поскольку эта модель уже загружена, последующая генерация линий будет происходить гораздо быстрее.

Если вы допустили ошибку и вам нужно записать аудиолинию заново, выйдите из игры и установите опцию 'Record new player sample audio.' в true в конфигурации Thunderstone 'BepInEx/config/Wendigos.cfg'.

Бонусные возможности

Пользовательская голосовая линия.

Если вам не нравится голосовая строка по умолчанию. Вы можете настроить то, что Masked может говорить в различных категориях поведения, отредактировав следующий файл:

BepInEx/config/Wendigos/player_sentences/player0_chasing_sentences.txt

BepInEx/config/Wendigos/player_sentences/player0_idle_sentences.txt

BepInEx/config/Wendigos/player_sentences/player0_nearby_sentences.txt

BepInEx/config/Wendigos/player_sentences/player0_damaged_sentences.txt

Новые предложения отделяются новой строкой; вы можете заставить ИИ говорить что угодно (да, что угодно).

У каждого игрока может быть свой собственный голосовой диалог.

Улучшения маски.

Этот мод убирает маску и руки зомби из маски, позволяя ей лучше обманывать игрока. Одежда игрока также будет эмулироваться.

Eleven Labs.

Игроки могут использовать Elevenlabs для клонирования голоса. Это дает гораздо лучшие результаты и может быть более обманчивым для маски. Чтобы воспользоваться этой функцией, все голоса клиента должны быть уже клонированы Elevenlabs. Все могут использовать один и тот же api ключ, но каждому игроку нужен уникальный идентификатор голоса.

Реакция в реальном времени с помощью Azure и ChatGPT (экспериментально)

Позволяет людям в масках реагировать на выражения игроков в реальном времени. Эта функция не поддерживает push-to-talk.

Что вам нужно.

Подписка Eleven Labs (от 5 долларов)

Бесплатный сервис Azure Speech to Text

Аккаунт ChatGPT с приобретенными кредитами api (не подписка)

Eleven Labs.

Создайте учетную запись и оформите подписку стоимостью от 5 долларов. Нажмите на свой профиль и выберите «Ключи API». Сгенерируйте ключ и сохраните его где-нибудь. Чтобы скопировать свой собственный голос (и голоса других людей, с которыми у вас общая учетная запись), щелкните свой голос в разделе Голоса, Личные, а затем щелкните ID, чтобы скопировать идентификатор голоса. Сохраните и этот идентификатор.

Лазурь.

0] и создайте учетную запись и новую группу ресурсов. Вам будет предложено создать подписку, но вы можете смело выбрать бесплатную подписку. Для достижения наилучших результатов постарайтесь выбрать регион, наиболее близкий к вашему реальному местоположению.

После этого перейдите в новую группу ресурсов и нажмите кнопку создать, найдите «Службы Azure AI» и нажмите кнопку создать, введите все данные и снова выберите ближайший регион.

После этого перейдите к новому сервису Azure AI и нажмите Keys and Endpoint, в файле wendigos.cfg введите KEY 1 для AZURE API KEY и Location/Region для Region.

ChatGPT

и создайте учетную запись. Профиль -> (в разделе Организация) Биллинг -> Добавить способ оплаты. Купите столько кредитов, сколько хотите. Срок действия этих кредитов не истекает в конце месяца.

Затем вернитесь в раздел Your Profile -> User API keys -> View project API keys, создайте новый проект, создайте новый ключ в project API keys, сохраните его и введите в ключ API ChatGPT в wendigos.cfg.

Если вы не можете найти API-ключ, посмотрите здесь: https://help.openai.com/en/articles/4936850-where-do-i-find-my-openai-api-key.  

Настройки конфигурации

Настройте все API-ключи (Elevenlabs, Azure, ChatGPT).

Установите голосовой идентификатор Elevenlabs.

Установите регион Azure в качестве вновь выбранного региона.

Установите General -> Enable mod. и Experimental -> Realtime Responses в true.

Если вы хотите, чтобы ИИ знал, кто есть кто, добавьте свое имя в настройку «Ваше имя».

Дополнительные настройки

Оптимизировать Eleven Labs для скорости: Ускоряет воспроизведение звука за счет потери большей части эмоций в голосе. Снижается общий стиль и эмоциональность речи.

Вероятность речи: Вероятность того, что Masked воспроизведет предварительно отрендеренную звуковую линию.

Возможные проблемы.

Голосовые линии не синхронизированы.

Игроки слышат разные голоса (редко, но может произойти из-за скачков задержки).

Запись за пределы буфера приводит к ошибкам единства (генерируемые строки слишком велики).

На компьютере недостаточно места для хранения моделей и звуковых линий.

Каждый проигрыватель хранит модели клонов голосов (1,75 ГБ), сэмплы звуков (~10 МБ) и аудиодорожки (<500 КБ каждая) локально.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ.

Какие языки поддерживает этот мод?

Этот мод использует XTTSv2 и поддерживает 17 языков: Английский (en), Испанский (es), Французский (fr), Немецкий (de), Итальянский (it), Португальский (pt), Польский (pl), Турецкий (en), Русский (ru), Голландский (nl), Чешский (cs), Арабский (ar), Китайский (zh-cn), Японский (ja), Венгерский (hu), Корейский (ko), Хинди (hi).

Eleven Labs доступна на 32 языках. Для получения дополнительной информации см. https://elevenlabs.io/languages.  

Могу ли я использовать его с Mirage?

Пока не тестировалось, но, вероятно, нет (по крайней мере, при включенной функции аудио).

Почему создание аудиоклипов занимает так много времени?

При первом запуске мода необходимо загрузить модель ai (1,75 ГБ) и скрипт ai (350 МБ). Их загрузка может занять много времени в зависимости от скорости вашего интернета. Это делается только один раз, и в последующих поколениях загрузка должна быть быстрее. Скрипты также загружают модели ai и создают аудиофайлы для всех звуковых линий. В зависимости от возможностей вашего компьютера это может занять некоторое время.

Будут ли звуковые реплики автоматически переведены на мой язык?

Нет, вам нужно записать звуковую строку в текстовый файл на вашем языке.

Сохраняет ли мод клон моего голоса?

Нет, звуковые клоны создаются во время выполнения игры и не сохраняются. Сохраняется только аудиофайл.

Когда мод прослушивает мой голос?

Если реакция в реальном времени включена, мод будет слышать мой голос только во время тура. Если функция реагирования в реальном времени отключена, мод не будет слышать ваш голос.

Могу ли я поделиться своим аккаунтом Eleven Labs? Да, вы можете поделиться своим аккаунтом Eleven Labs! Все могут использовать один и тот же аккаунт. Просто задайте идентификатор голоса в настройках.

TODO.

[x] Добавить категории поврежденных линий.

[x] Masked должны играть определенные категории линий (например, Chasing или Idle) в зависимости от того, что они делают.

[x] Разрешить игрокам использовать API-ключи ElevenLabs для лучшего клонирования звуков.

[ИИ генерирует новые звуковые линии между раундами.

[Разрешить голосовое клонирование любого врага.

Кредиты

https://github.com/coqui-ai/tts

Мод Skinwalkers от RugbugRedfern

@Kalthun и @notgarrett за помощь в тестировании этого мода.

The Lethal Company Modding Discord