Клонирование голоса Вендиго.

Wendigos Voice Cloning (мод для Lethal Company)

LC Nail 2

Маскед научился копировать голоса ваших друзей. Сможете ли вы определить, кто настоящий, а кто поддельный?

Чтобы этот мод работал правильно, он должен быть установлен у всех игроков.

Вот видео, представляющее этот мод.

Отказ от ответственности.

Если вы не используете Elevenlabs, этот мод загружает внешний бинарник (размером около 350 МБ) с моего github и локально загружает модель AI для генерации голосовых клипов людей в масках. Внешний бинарник занимает 350 МБ, а модель голосового клона - 1,75 ГБ.

Конфиденциальность.

Клонирование вашего голоса происходит полностью локально во время выполнения. Это означает, что (1) ваши звуковые клоны не хранятся, клонирование происходит во время выполнения, и (2) вся обработка происходит локально на вашей машине. Она не передается извне. Только сгенерированные аудиоклипы передаются между игроками.

При использовании Elevenlabs все хранится в вашем аккаунте.

Первоначальная настройка

Если вы используете Elevenlabs, предварительно клонируйте голоса всех игроков.

Включите мод в файле Wendigos.cfg. По желанию включите Elevenlabs и добавьте API-ключ и идентификатор голоса. Также не забудьте установить язык и добавить пользовательские голосовые реплики (см. раздел "Бонусные возможности").

(Только для локальных моделей ИИ - для пользователей Elevenlabs уже отключен). При первом запуске игры вам будет предложено записать несколько голосовых реплик. На экране отобразится выбранный в данный момент микрофон.

Если выбранный микрофон не тот, который вы хотите использовать, нажмите "Выключить", установите нужный микрофон в настройках и перезапустите игру.

Управление

'R' начинает запись.

'Q' останавливает запись.

'N' отображает следующий звук.

Если ваш рабочий язык не английский, скажите, что вы хотите, на этом шаге, а затем нажмите 'Q'.

Когда вы остановите запись или выйдете из списка озвученных строк, режим начнет генерировать озвученные строки.

Этот этап может занять много времени. Когда генерация будет завершена, игра оповестит вас об этом.

В первый раз, когда это произойдет, мод загрузит модель дублирования звука (1,75 ГБ) в папку Wendigos MOD. Поскольку эта модель уже загружена, последующая генерация линий будет происходить гораздо быстрее.

Если вы ошиблись и вам нужно записать звуковую линию заново, выйдите из игры и установите значение true для параметра "Запись образца звука нового игрока." в конфигурации Thunderstone "BepInEx/config/Wendigos.cfg".

Бонусные возможности

Пользовательская голосовая строка.

Если вам не нравится голосовая линия по умолчанию. Вы можете настроить то, что Masked может говорить в различных категориях поведения, отредактировав следующий файл:

BepInEx/config/Wendigos/player_sentences/player0_chasing_sentences.txt

BepInEx/config/Wendigos/player_sentences/player0_idle_sentences.txt

BepInEx/config/Wendigos/player_sentences/player0_nearby_sentences.txt

BepInEx/config/Wendigos/player_sentences/player0_damaged_sentences.txt

Новые предложения отделяются новой строкой; вы можете заставить ИИ говорить что угодно (да, что угодно).

У каждого игрока может быть свой собственный голосовой диалог.

Улучшения маски.

Этот мод убирает маску и руки зомби из маски, позволяя ей лучше обманывать игрока. Одежда игрока также будет эмулироваться.

Eleven Labs.

Игроки могут использовать Elevenlabs для клонирования голоса. Это дает гораздо лучшие результаты и может быть более обманчивым для маски. Чтобы воспользоваться этой функцией, все голоса клиента должны быть уже клонированы Elevenlabs. Все могут использовать один и тот же api ключ, но каждому игроку нужен уникальный идентификатор голоса.

Реакция в реальном времени с помощью Azure и ChatGPT (экспериментально)

Игроки в масках могут отвечать на выражения игроков в реальном времени. Эта функция не поддерживает push-to-talk.

AZURE.

Получите API-ключ AZURE с [0]. Создайте учетную запись и создайте новую группу ресурсов. Вам будет предложено создать подписку, но вы можете выбрать бесплатную подписку вместо платной. Постарайтесь выбрать зону, наиболее близкую к вашему реальному местоположению. Чем ближе вы находитесь, тем быстрее режим распознает ваши слова и тем быстрее будет общая реакция.

После этого перейдите в новую группу ресурсов, нажмите "Создать", найдите "Службы Azure AI", нажмите "Создать" и введите все данные.

После этого перейдите к новой службе Azure AI и нажмите Keys and Endpoint, введите KEY 1 в файле wendigos.cfg для AZURE API KEY и Location/Region в Region.

ChatGPT

0] и создайте учетную запись, если у вас ее нет. Перейдите в Профиль -> (Организация) Биллинг -> Добавить способ оплаты.

Затем вернитесь в Профиль -> User API Keys -> View Project API Keys (если необходимо), создайте новый проект, создайте новый ключ с Project API Key, сохраните его и поместите в ChatGPT API Key wendigos.cfg.

Настройки конфигурации.

Настройте все API-ключи, если вы еще не сделали этого.

Установите General -> Enable mod. и Experimental -> Realtime Responses в true.

Добавьте свое имя в настройку Your Name, если хотите, чтобы ИИ распознавал, кто вы.

Оптимизация Elevenlabs для скорости: скорость генерации речи была увеличена, но ценой потери большей части эмоций в голосе. В целом будет меньше стилизованной и эмоциональной речи.

Вероятность речи: Вероятность того, что Маска заговорит, когда рядом не будет игроков.

Возможные проблемы.

Голосовые линии не синхронизированы.

Игроки слышат разные голоса (редко, но может произойти из-за скачков лага).

Запись за пределы буфера приводит к ошибкам единства.

Недостаточно места на компьютере для хранения моделей и звуковых линий.

Каждый игрок хранит модели голосовых клонов (1,75 ГБ), сэмплы звуков (~10 МБ) и звуковые дорожки (<500 КБ каждая) локально.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ.

Какие языки поддерживает этот мод?

Этот мод использует XTTSv2 и поддерживает 17 языков: Английский (en), Испанский (es), Французский (fr), Немецкий (de), Итальянский (it), Португальский (pt), Польский (pl), Турецкий (en), Русский (ru), Голландский (nl), Чешский (cs), Арабский (ar), Китайский (zh-cn), Японский (ja), Венгерский (hu), Корейский (ko), Хинди (hi).

Eleven Labs поддерживает 29 языков. Для получения дополнительной информации см. https://elevenlabs.io/languages.  

Могу ли я использовать его с Mirage?

Пока не тестировалось, но, вероятно, нет (по крайней мере, при включенной функции аудио).

Почему создание аудиоклипов занимает так много времени?

При первом запуске мода необходимо загрузить модель ai (1,75 ГБ) и скрипт ai (350 МБ). Их загрузка может занять много времени в зависимости от скорости вашего интернета. Это делается только один раз, и в последующих поколениях загрузка должна быть быстрее. Скрипты также загружают модели ai и создают аудиофайлы для всех звуковых линий. В зависимости от возможностей вашего компьютера это может занять некоторое время.

Будут ли звуковые строки автоматически переведены на мой язык?

Нет, вам нужно будет ввести звуковую строку в текстовый файл на вашем языке.

Сохраняет ли мод клон моего голоса?

Нет, звуковые клоны создаются во время выполнения игры и не сохраняются. Сохраняется только аудиофайл.

Когда мод прослушивает мой голос? Если реакция в реальном времени включена, мод будет слышать мой голос только во время тура. Если вы отключили реакцию в реальном времени, мод не будет вас слушать.

TODO.

[x] Добавлена категория линий урона.

[x] Маски должны играть определенные категории линий (например, преследование или бездействие) в зависимости от того, что они делают.

[x] Разрешить игрокам использовать API-ключи ElevenLabs для лучшего клонирования голоса.

[x] ИИ будет создавать новые голосовые реплики между раундами.

[Разрешить голосовое клонирование любого врага.

Кредиты

https://github.com/coqui-ai/tts

Мод Skinwalkers от RugbugRedfern

@Kalthun и @notgarrett за помощь в тестировании этого мода.

The Lethal Company Modding Discord

MadLike на Discord за помощь в тестировании мода и написание руководств в реальном времени.