Clonagem de voz Wendigo.

Clonagem de voz Wendigos (modelo letal da empresa)

Prego LC 2

Masked aprendeu a copiar as vozes dos seus amigos. Você sabe dizer quem é verdadeiro e quem é falso?

Para que este mod funcione corretamente, ele deve ser instalado em todos os players.

Aqui está um vídeo apresentando este modelo.

Isenção de responsabilidade.

Se você não estiver usando Elevenlabs, este mod carrega um binário externo (cerca de 350 MB) do meu github e localmente carrega um modelo de IA para gerar clipes de voz de pessoas mascaradas. O binário externo tem 350 MB e o modelo de clone de voz tem 1,75 GB.

Privacidade.

Sua voz é clonada inteiramente localmente em tempo de execução. Isso significa que (1) os clones de áudio não são armazenados, a clonagem ocorre em tempo de execução e (2) todo o processamento ocorre localmente na máquina. Não é transmitido externamente. Somente clipes de áudio gerados são transmitidos entre os players.

Quando você usa Elevenlabs, tudo é armazenado em sua conta.

Configuração inicial

Se você está usando Elevenlabs, pré-clone os votos de todos os jogadores.

Habilitar mod em Wendigos.cfg. Opcionalmente, habilite Elevenlabs e adicione a chave API e o ID de voz. Além disso, certifique-se de definir o idioma e adicionar réplicas de voz personalizadas (consulte a seção "Recursos de bônus").

(Somente para modelos locais de IA - os usuários do Elevenlabs já estão desabilitados.) Ao iniciar o jogo pela primeira vez, você será solicitado a gravar várias réplicas de voz. O microfone atualmente selecionado é exibido.

Se o microfone selecionado não for o que você deseja usar, clique em Desligar, defina o microfone em Configurações e reinicie o jogo.

Governação

'R' inicia a gravação.

'Q' para a gravação.

'N' exibe o seguinte som.

Se a sua língua de trabalho não for o inglês, diga o que quiser nesta etapa e pressione 'Q'.

Quando você parar a gravação ou sair da lista de strings dubladas, o modo começará a gerar as strings dubladas.

Esse passo pode demorar muito tempo. Quando a geração estiver completa, o jogo irá notificá-lo.

Na primeira vez que isso acontecer, o mod carregará o modelo de duplicação de áudio (1,75 GB) na pasta Wendigos MOD. Como esse modelo já está carregado, a geração de linha subsequente será muito mais rápida.

Se você cometer um erro e precisar gravar a linha de áudio novamente, saia do jogo e defina "Record new player audio sample" como true na configuração "BepInEx/config/Wendigos.cfg" do Thunderstone.

Oportunidades de bônus

Sequência de voz personalizada.

Se você não gosta da linha de voz padrão. Você pode personalizar o que o Mascarado pode dizer em diferentes categorias de comportamento editando o seguinte arquivo:

BepInEx/config/Wendigos/player_sentences/player0_chasing_sentences.txt

BepInEx/config/Wendigos/player_sentences/player0_idle_sentences.txt

BepInEx/config/Wendigos/player_sentences/player0_nearby_sentences.txt

BepInEx/config/Wendigos/player_sentences/player0_damaged_sentences.txt

Novas frases são separadas por uma nova linha; você pode forçar a IA a dizer qualquer coisa (sim, qualquer coisa).

Cada jogador pode ter seu próprio diálogo de voz.

Aprimoramentos de máscara.

Este mod remove a máscara e as mãos zumbis da máscara, permitindo-lhe enganar melhor o jogador. As roupas do jogador também serão emuladas.

Onze Laboratórios.

Os jogadores podem usar Elevenlabs para clonar sua voz. Isto dá resultados muito melhores e pode ser mais enganador para a máscara. Para usar este recurso, todas as vozes de clientes já devem ser clonadas por Elevenlabs. Todos podem usar a mesma chave de api, mas cada jogador precisa de um identificador de voz exclusivo.

Reação em tempo real com o Azure e o ChatGPT (experimental)

Os jogadores usando máscaras podem responder às expressões dos jogadores em tempo real. Este recurso não oferece suporte a push-to-talk.

AZURE.

Obtenha a chave API do AZURE de [0]. Crie uma conta e um novo grupo de recursos. Você será solicitado a criar uma assinatura, mas poderá escolher uma assinatura gratuita em vez de uma assinatura paga. Tente escolher a zona mais próxima de seu local real. Quanto mais perto você estiver, mais rápido o modo reconhece suas palavras e mais rápida será a reação geral.

Em seguida, vá para o novo grupo de recursos, clique em Novo, procure Serviços Azure AI, clique em Novo e insira todas as informações.

Em seguida, vá para o novo serviço Azure AI e pressione Chaves e Ponto de Extremidade, insira a CHAVE 1 no arquivo wendigos.cfg para a CHAVE API do AZURE e Local/Região na Região.

Bate-papoGPT

0] e crie uma conta se você não tiver uma. Vá para Perfil -> (Empresa) Faturamento -> Adicionar método de pagamento.

Em seguida, volte para Profile -> User API Keys -> View Project API Keys (se necessário), crie um novo projeto, crie uma nova chave com Project API Key, salve-a e coloque-a no ChatGPT API Key wendigos.cfg.

Definições de configuração.

Configure todas as chaves de API se ainda não tiver feito isso.

Defina Geral -> Ativar modo e Experimental -> Respostas em Tempo Real como verdadeiro.

Adicione seu nome à sua preferência Seu nome se quiser que a IA reconheça quem você é.

Otimize Elevenlabs para a velocidade: a velocidade de geração de fala foi aumentada, mas ao custo de perder a maior parte da emoção na voz. Em geral, haverá um discurso menos estilizado e emocional.

Probabilidade de Fala: A probabilidade de Musk falar quando nenhum jogador está por perto.

Possíveis problemas.

As linhas de voz estão fora de sincronia.

Os jogadores ouvem vozes diferentes (raramente, mas podem ocorrer devido a saltos de atraso).

A gravação fora do buffer resulta em erros de unidade.

Não há espaço suficiente no computador para armazenar modelos e linhas de som.

Cada player armazena modelos de clones de voz (1,75 GB), amostras de som (~10 MB) e trilhas de áudio (<500 KB cada) localmente.

PERGUNTAS FREQUENTES.

Que idiomas esse modelo oferece suporte?

Este mod usa XTTSv2 e suporta 17 idiomas: inglês (en), espanhol (es), francês (fr), alemão (de), italiano (it), português (pt), polonês (pl), turco (en), russo (ru), holandês (nl), tcheco (cs), árabe (ar), chinês (zh-cn), japonês (ja), húngaro (hu), coreano (hko), hindi (hi).

Eleven Labs suporta 29 línguas. Para obter mais informações, consulte https://elevenlabs.io/languages.  

Posso usá-lo com Mirage?

Ainda não testado, mas provavelmente não (pelo menos quando o áudio está habilitado).

Por que demora tanto para criar clipes de áudio?

Na primeira vez que executar um mod, você deverá fazer o download do modelo ai (1,75 GB) e do script ai (350 MB). O download pode demorar muito, dependendo da velocidade da Internet. Isso é feito apenas uma vez e deve ser mais rápido nas gerações seguintes. Os scripts também carregam modelos de ai e criam arquivos de áudio para todas as linhas de som. Dependendo dos recursos do computador, isso pode levar algum tempo.

As sequências de áudio serão automaticamente traduzidas para o meu idioma?

Não, você precisará inserir uma cadeia de caracteres de som em um arquivo de texto no seu idioma.

O clone da minha voz mantém o mod?

Não, clones de som são criados durante o jogo e não são salvos. Somente o arquivo de áudio é salvo.

Quando o mod ouve a minha voz? Se a reação em tempo real estiver ativada, o mod só ouvirá minha voz durante a turnê. Se você tiver desabilitado o recurso de feedback em tempo real, o mod não irá ouvi-lo.

TODO.

[x] Categoria de linha de dano adicionada.

[x] As máscaras devem reproduzir determinadas categorias de linhas (como perseguição ou inação), dependendo do que fizerem.

[x] Permitir que os players usem as chaves de API do ElevenLabs para melhorar a clonagem de voz.

[x] A IA criará novas réplicas de voz entre as rodadas.

[Permitir clonagem de voz de qualquer inimigo.

Créditos

https://github.com/coqui-ai/tts

Skinwalkers mod por RugbugRedfern

@Kalthun e @notgarrett pela ajuda deles para testar essa moda.

A Discórdia Letal de Modding da Empresa

MadLike on Discord por ajudar com testes de moda e escrever guias em tempo real.