OpenAI finalmente lança modelo de parâmetro GPT2 1,5 bilhões

Na terça-feira, a OpenAI compartilhou seu lançamento final do modelo de linguagem GPT-2 de 1,5 bilhão de parâmetros. Todos os pesos de código e modelo associados foram incluídos na postagem do blog.

Quando a OpenAI lançou o GPT-2 pela primeira vez em fevereiro deste ano, surgiram preocupações em torno de seu uso indevido potencial. Nesse ponto, a empresa decidiu não compartilhar o código do modelo de linguagem e o conjunto de dados de treinamento.

Depois de meses analisando os detalhes do GPT-2, a OpenAI decidiu que é o momento certo para permitir mais pesquisas e compreensão do texto sintético. Assim, sua decisão de compartilhar os parâmetros do modelo.

RELACIONADO: OPENAI GPT2 AGORA ESCREVE RESUMOS DO PAPEL CIENTÍFICO

O que a OpenAI notou sobre o GPT-2?

É bastante claro como um sistema que cria algoritmos para completar um texto ou frase inteiro pode ser mal utilizado. Notícias falsas vêm à mente, entre outros usos nefastos de texto gerado por IA.

Estamos lançando o modelo de parâmetro GPT-2 de 1,5 bilhão como parte de nossa estratégia de publicação de lançamento em etapas.
- Modelo de detecção de saída GPT-2: https://t.co/PX3tbOOOTy
- Pesquisa de parceiros sobre possíveis usos maliciosos: https://t.co/om28yMULL5
- Mais detalhes: https://t.co/d2JzaENikspic.twitter.com/O3k28rrE5l

- OpenAI (@OpenAI) 5 de novembro de 2019

Reter o código do modelo de linguagem e o conjunto de dados de treinamento ia contra o que a OpenAI acreditava. No entanto, por razões de segurança, eles decidiram fazer exatamente isso e ainda queriam encontrar uma maneira de compartilhar as informações.

Portanto, nos últimos nove meses, a OpenAI observou a GPT-2 para garantir que eles pudessem compartilhar seus códigos e pesos de modelo com segurança. A empresa fez as seguintes observações:

1. Os humanos acham as saídas GPT-2 convincentes.
2. O GPT-2 pode ser ajustado para uso incorreto.
3. A detecção é um desafio.
4. Não vimos nenhuma evidência forte de uso indevido até agora.
5. Precisamos de padrões para estudar o preconceito.

Independentemente de ter ou não um conjunto de dados de treinamento específico de tarefa compartilhado, o GPT-2 ainda foi capaz de gerar uma tradução automática incrivelmente boa, respostas a perguntas, compreensão de leitura e resumo.

Ao compartilhar seu modelo GPT-2, a OpenAI disse que está fazendo isso para "ajudar no estudo da pesquisa na detecção de texto sintético, embora isso permita que adversários com melhor acesso evitem a detecção".

Você pode dizer qual é um texto gerado por IA e qual não é?

Testamos o gerador de texto 'Talk to Transfomer' para ver por nós mesmos e ficamos impressionados!

- Hugging Face (@huggingface) 5 de novembro de 2019

Você pode dizer onde o GPT-2 começa a gerar texto no parágrafo seguinte?

"Pondo de lado quaisquer temores tecnológicos, o recém-lançado transformador GPT-2 de tamanho real será, sem dúvida, um sucesso com a multidão de tecnologia. O novo transformador também estará disponível em uma capacidade menor para abrir espaço no GPT-1 maior."

Nós vamos te dar uma dica. Está em algum lugar na segunda linha. Surpreendentemente, sem muito estímulo, o GPT-2 ofereceu um texto completo e bastante específico, que continuou da seguinte maneira:

"O novo transformador GPT-2 tem 4 pinos (em vez de 5) e uma resistência inferior a 1.400 ohms contra 1.500 ohms, tornando-o compatível com todos os equipamentos de áudio padrão. Ouvi rumores de que o novo GPT-2 será capaz para fornecer a mesma quantidade de corrente que o GPT-1. Não tenho nenhuma informação sobre o novo transformador GPT-2, então não posso confirmar ou negar essa declaração. "

Veja você mesmo o que o transformador GPT-2 pode fazer aqui.

Assista o vídeo: OpenAI Model Generates Python Code (Junho 2022).