Clonando a voz dos Wendigos

Clonagem de voz Wendigos (modelo letal da empresa)

Prego LC 2

Masked aprendeu a copiar as vozes dos seus amigos. Você sabe dizer quem é verdadeiro e quem é falso?

Para que este mod funcione corretamente, ele deve ser instalado em todos os players.

Aqui está um vídeo que fiz para apresentar este modelo.

O segundo vídeo é uma demonstração de moda em tempo real.

Isenção de responsabilidade.

Se você não estiver usando Elevenlabs, este mod carrega um binário externo (cerca de 350 MB) do meu github e localmente carrega um modelo de IA para gerar clipes de áudio de pessoas mascaradas. O binário externo tem 350 MB e o modelo de clone de voz tem 1,75 GB.

Privacidade.

Sua voz é clonada inteiramente localmente em tempo de execução. Isso significa que (1) os clones de áudio não são armazenados, a clonagem ocorre em tempo de execução e (2) todo o processamento ocorre localmente na máquina. Não é transmitido externamente. Somente clipes de áudio gerados são transmitidos entre os players.

Quando você usa Elevenlabs, tudo é armazenado em sua conta.

Configuração inicial (não em tempo real)

Ao usar Elevenlabs, clonar a voz de cada jogador com antecedência.

Habilitar mod em Wendigos.cfg. Opcionalmente, habilite Elevenlabs e adicione a chave API e o ID de voz. Além disso, certifique-se de definir o idioma e adicionar réplicas de voz personalizadas (consulte a seção "Recursos de bônus").

(Somente para modelos locais de IA - os usuários do Elevenlabs já estão desabilitados.) Ao iniciar o jogo pela primeira vez, você será solicitado a gravar várias réplicas de voz. O microfone atualmente selecionado é exibido.

Se o microfone selecionado não for o que você deseja usar, clique em Fechar, defina o microfone em Configurações e reinicie o jogo.

Controles

'R' inicia a gravação.

'Q' para a gravação.

'N' exibe o seguinte som.

Se a sua língua de trabalho não for o inglês, diga o que quiser nesta etapa e pressione "Q".

Quando você parar a gravação ou sair da lista de strings dubladas, o modo começará a gerar as strings dubladas.

Esse passo pode demorar muito tempo. Quando a geração estiver completa, o jogo irá notificá-lo.

Na primeira vez que isso acontecer, o mod carregará o modelo de duplicação de áudio (1,75 GB) na pasta Wendigos MOD. Como esse modelo já está carregado, a geração de linha subsequente será muito mais rápida.

Se você cometer um erro e precisar gravar o áudio novamente, saia do jogo e defina 'Gravar novo áudio de exemplo do player' como verdadeiro na configuração do Thunderstone 'BepInEx/config/Wendigos.cfg'.

Oportunidades de bônus

Linha de voz personalizada.

Se você não gosta da string de voz padrão. Você pode personalizar o que o Mascarado pode dizer em diferentes categorias de comportamento editando o seguinte arquivo:

BepInEx/config/Wendigos/player_sentences/player0_chasing_sentences.txt

BepInEx/config/Wendigos/player_sentences/player0_idle_sentences.txt

BepInEx/config/Wendigos/player_sentences/player0_nearby_sentences.txt

BepInEx/config/Wendigos/player_sentences/player0_damaged_sentences.txt

Novas frases são separadas por uma nova linha; você pode forçar a IA a dizer qualquer coisa (sim, qualquer coisa).

Cada jogador pode ter seu próprio diálogo de voz.

Aprimoramentos de máscara.

Este mod remove a máscara e as mãos zumbis da máscara, permitindo-lhe enganar melhor o jogador. As roupas do jogador também serão emuladas.

Onze Laboratórios.

Os jogadores podem usar Elevenlabs para clonar sua voz. Isto dá resultados muito melhores e pode ser mais enganador para a máscara. Para usar este recurso, todas as vozes de clientes já devem ser clonadas por Elevenlabs. Todos podem usar a mesma chave de api, mas cada jogador precisa de um identificador de voz exclusivo.

Reação em tempo real com o Azure e o ChatGPT (experimental)

Permite que pessoas mascaradas reajam às expressões do jogador em tempo real. Este recurso não oferece suporte a push-to-talk.

O que você precisa.

Assinatura do Eleven Labs (US$ 5+)

Serviço Free Azure Speech to Text

Conta ChatGPT com créditos de API comprados (não subscrito)

Onze Laboratórios.

Crie uma conta e inscreva-se para uma assinatura a partir de US$ 5 ou mais. Clique em seu perfil e selecione "API Keys". Gere uma chave e salve-a em algum lugar. Para copiar sua própria voz (e as vozes de outras pessoas com quem você compartilha), clique em sua voz em Vozes, Pessoal e clique em ID para copiar sua ID de voz. Salvar esta ID também.

Lázulo.

0] e criar uma conta e um novo grupo de recursos. Você será solicitado a criar uma assinatura, mas poderá escolher uma assinatura gratuita com segurança. Para obter melhores resultados, tente selecionar a região mais próxima do local real.

Em seguida, vá para o novo grupo de recursos e clique em criar, localize Serviços AI do Azure e clique em criar, insira todas as informações e selecione a região mais próxima novamente.

Depois disso, vá para o novo serviço Azure AI e clique em Chaves e Ponto de Extremidade, no arquivo wendigos.cfg insira a CHAVE 1 para a CHAVE API do AZURE e Local/Região para Região.

Bate-papoGPT

e criar uma conta. Perfil -> (na seção Organização) Faturamento -> Adicionar um método de pagamento. Compre quantos créditos quiser. Estes empréstimos não expiram no final do mês.

Em seguida, volte para Your Profile -> User API keys -> View project API keys, create a new project, create a new key in project API keys, save it, and enter the API ChatGPT key in wendigos.cfg.

Se você não encontrar a chave de API, consulte aqui: https://help.openai.com/en/articles/4936850-where-do-i-find-my-openai-api-key.  

Definições de Configuração

Configure todas as chaves de API (Elevenlabs, Azure, ChatGPT).

Defina o ID de voz como Elevenlabs.

Defina a região do Azure como a região recém-selecionada.

Defina Geral -> Ativar modo e Experimental -> Respostas em Tempo Real como verdadeiro.

Se você quiser que a IA saiba quem é quem, adicione seu nome à sua preferência de nome.

Configurações avançadas

Otimize Eleven Labs para obter velocidade: acelera a reprodução de som, perdendo a maior parte da emoção em sua voz. O estilo geral e a emotividade da fala são reduzidos.

Probabilidade de fala: A probabilidade de que o Masked reproduza uma linha de som pré- renderizada.

Possíveis problemas.

As linhas de voz estão fora de sincronia.

Os jogadores ouvem vozes diferentes (raramente, mas podem ocorrer devido a saltos em atraso).

A gravação fora do buffer resulta em erros de unidade (as linhas geradas são muito grandes).

Seu computador não tem espaço de armazenamento suficiente para modelos e linhas de som.

Cada player armazena modelos de clones de voz (1,75 GB), amostras de som (~10 MB) e trilhas de áudio (<500 KB cada) localmente.

PERGUNTAS FREQUENTES.

Que idiomas esse modelo oferece suporte?

Este mod usa XTTSv2 e suporta 17 idiomas: inglês (en), espanhol (es), francês (fr), alemão (de), italiano (it), português (pt), polonês (pl), turco (en), russo (ru), holandês (nl), tcheco (cs), árabe (ar), chinês (zh-cn), japonês (ja), húngaro (hu), coreano (hko), hindi (hi).

Onze laboratórios estão disponíveis em 32 idiomas. Para obter mais informações, consulte https://elevenlabs.io/languages.  

Posso usá-lo com Mirage?

Ainda não testado, mas provavelmente não (pelo menos quando o áudio está habilitado).

Por que demora tanto para criar clipes de áudio?

Na primeira vez que executar um mod, você deverá fazer o download do modelo ai (1,75 GB) e do script ai (350 MB). O download pode demorar muito, dependendo da velocidade da Internet. Isso é feito apenas uma vez e deve ser mais rápido nas gerações seguintes. Os scripts também carregam modelos de ai e criam arquivos de áudio para todas as linhas de som. Dependendo dos recursos do computador, isso pode levar algum tempo.

As réplicas de áudio serão automaticamente traduzidas para o meu idioma?

Não, você precisa gravar uma cadeia de som em um arquivo de texto no seu idioma.

O clone da minha voz mantém o mod?

Não, clones de som são criados durante o jogo e não são salvos. Somente o arquivo de áudio é salvo.

Quando o mod ouve a minha voz?

Se a reação em tempo real estiver ativada, o mod só ouvirá minha voz durante a turnê. Se a resposta em tempo real estiver desativada, o mod não ouvirá sua voz.

Posso compartilhar minha conta do Eleven Labs? Sim, você pode compartilhar sua conta do Eleven Labs! Todos podem usar a mesma conta. Basta definir seu ID de voz nas configurações.

TODO.

[x] Adicionar categorias de linhas quebradas.

[x] O mascarado deve reproduzir determinadas categorias de linhas (como Chasing ou Ocioso), dependendo do que ele faz.

[x] Permitir que os players usem as chaves de API do ElevenLabs para clonar melhor os sons.

[A IA gera novas linhas de som entre as rodadas.

[Permitir clonagem de voz de qualquer inimigo.

Créditos

https://github.com/coqui-ai/tts

Skinwalkers mod por RugbugRedfern

@Kalthun e @notgarrett pela ajuda deles para testar essa moda.

A Discórdia Letal de Modding da Empresa