Клонирование голоса Вендигоса

Wendigos Voice Cloning (мод для Lethal Company)

Маскед научился копировать голоса ваших друзей. Сможете ли вы определить, кто настоящий, а кто поддельный?

Чтобы этот мод работал правильно, он должен быть установлен у всех игроков.

Вот видео, которое я сделал, чтобы представить этот мод.

Второе видео представляет этот мод в реальном времени.

Отказ от ответственности.

Если вы не используете Elevenlabs, этот мод загружает внешний бинарник (размером около 350 МБ) с моего github и локально загружает модель AI для генерации звуковых клипов людей в масках. Внешний бинарник занимает 350 МБ, а модель голосового клона - 1,75 ГБ.

Конфиденциальность.

Клонирование вашего голоса происходит полностью локально во время выполнения. Это означает, что (1) ваши звуковые клоны не хранятся, клонирование происходит во время выполнения, и (2) вся обработка происходит локально на вашей машине. Она не передается извне. Между игроками обмениваются только созданными аудиоклипами.

При использовании Elevenlabs все хранится в вашем аккаунте.

Первоначальная настройка (не в режиме реального времени)

Если вы используете Elevenlabs, предварительно клонируйте голоса всех игроков.

Включите мод в файле Wendigos.cfg. По желанию включите Elevenlabs и добавьте API-ключ и идентификатор голоса. Также не забудьте установить язык и добавить пользовательский голос (см. раздел «Бонусные возможности»).

(Только для локальных моделей ИИ - у пользователей Elevenlabs уже отключен). При первом запуске игры вам будет предложено записать несколько голосовых реплик. На экране отобразится выбранный в данный момент микрофон.

Если выбранный микрофон не тот, который вы хотите использовать, нажмите Закрыть, установите нужный микрофон в настройках и перезапустите игру.

Элементы управления

'R' начинает запись.

'Q' останавливает запись.

'N' отображает следующий звук.

Если ваш рабочий язык не английский, скажите, что вы хотите, на этом шаге, а затем нажмите «Q».

Когда вы остановите запись или выйдете из списка голосовых линий, режим начнет генерировать голосовые линии.

Этот этап может занять много времени. Когда генерация будет завершена, игра оповестит вас об этом!

В первый раз, когда это произойдет, мод загрузит модель звуковой копии (1,75 ГБ) в папку Wendigos MOD. Поскольку эта модель уже загружена, последующая генерация будет происходить гораздо быстрее.

Если вы допустили ошибку и вам нужно записать аудиолинию заново, выйдите из игры и установите опцию «New player sample audio saved?» в true в конфигурации Thunderstone «BepInEx/config/Wendigos.cfg».

Бонусные возможности

Пользовательская голосовая строка.

Не нравится голосовая строка по умолчанию? Вы можете настроить то, что Masked может говорить в различных категориях поведения, отредактировав файл ниже:

BepInEx/config/Wendigos/player_sentences/player0_chasing_sentences.txt

BepInEx/config/Wendigos/player_sentences/player0_idle_sentences.txt

BepInEx/config/Wendigos/player_sentences/player0_nearby_sentences.txt

Новые предложения отделяются новой строкой; ИИ можно заставить говорить что угодно.

У каждого игрока может быть своя собственная голосовая строка, соответствующая тому, что он говорит.

Улучшения маски.

Этот мод убирает маску и руки зомби из маски, позволяя ей лучше обманывать игрока. Одежда игрока также будет эмулироваться.

Eleven Labs.

Игроки могут использовать Elevenlabs для клонирования голоса. Это дает гораздо лучшие результаты и может быть более обманчивым для маски. Чтобы воспользоваться этой функцией, все голоса клиента должны быть уже клонированы Elevenlabs. Все могут использовать один и тот же api ключ, но каждому игроку нужен уникальный идентификатор голоса.

Реакция в реальном времени с помощью Azure и ChatGPT (экспериментально)

Позволяет людям в масках реагировать на выражения игроков в реальном времени. Эта функция не поддерживает push-to-talk.

Что вам нужно.

Подписка Eleven Labs (от 5 долларов)

 Купите столько кредитов, сколько хотите, в своем профиле в разделе [Биллинг] - [Добавить способ оплаты]. Срок действия этих кредитов не истекает в конце месяца.

Затем вернитесь в свой профиль -> User API keys -> View project API keys, создайте новый проект, создайте новый ключ с API-ключом проекта, сохраните его и введите API-ключ ChatGPT в wendigos.cfg.

Если вы не можете найти API-ключ, посмотрите здесь: https://help.openai.com/en/articles/4936850-where-do-i-find-my-openai-api-key.  

Настройки конфигурации

Настройте все API-ключи (Elevenlabs, Azure, ChatGPT).

Установите голосовой идентификатор Elevenlabs.

Установите регион Azure в качестве вновь выбранного региона.

Установите General -> Enable mod. и Experimental -> Realtime Responses в true.

Добавьте свое имя в поле Your Name.

Дополнительные настройки

Оптимизировать Eleven Labs для скорости: Ускоряет производство звука ценой потери большей части эмоций в голосе. Снижается общий стиль и эмоциональность речи.

Вероятность речи: Вероятность того, что Masked воспроизведет заранее установленную голосовую линию.

Возможные проблемы.

Нарушена синхронизация звуковой линии.

Игроки слышат разные голоса (редко, но может произойти из-за скачков задержки).

Запись за пределы буфера приводит к ошибкам единства (сгенерированные строки слишком велики).

На компьютере недостаточно места для хранения моделей и аудиолиний.

Каждый проигрыватель хранит модели голосовых клонов (1,75 ГБ), сэмплы звуков (~10 МБ) и аудиодорожки (<500 КБ каждая) локально.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ.

Какие языки поддерживает этот мод?

Этот мод использует XTTSv2 и поддерживает 17 языков: Английский (en), Испанский (es), Французский (fr), Немецкий (de), Итальянский (it), Португальский (pt), Польский (pl), Турецкий (en), Русский (ru), Голландский (nl), Чешский (cs), Арабский (ar), Китайский (zh-cn), Японский (ja), Венгерский (hu), Корейский (ko), Хинди (hi).

Eleven Labs доступна на 32 языках. Для получения дополнительной информации см. https://elevenlabs.io/languages.