Conteúdo
GPT-3 ou Generative Pretrained Transformer 3rd Generation, é um modelo de aprendizado de máquina de rede neural treinado usando dados da internet para gerar qualquer tipo de texto. Desenvolvido pela OpenAI, é preciso uma pequena quantidade de texto de entrada para gerar uma grande quantidade de texto gerado por máquina relevante e complexo.
A rede neural de aprendizado profundo GPT-3 é um modelo com mais de 175 bilhões de parâmetros de aprendizado de máquina. Para escalar, o maior modelo de linguagem treinado antes do GPT-3 foi o modelo Turing NLG da Microsoft, que tem 10 bilhões de parâmetros. No início de 2021, o GPT-3 é a maior rede neural já construída. Como resultado, o GPT-3 é melhor do que qualquer modelo anterior na geração de texto atraente o suficiente para se parecer com o que um humano poderia escrever.
O que o GPT-3 pode fazer?
O processamento de linguagem natural inclui a geração de linguagem natural como um de seus principais componentes, que se concentra na geração de texto natural em linguagem humana. No entanto, gerar conteúdo que os humanos possam entender é um desafio para máquinas que não conseguem entender verdadeiramente as complexidades e nuances da linguagem. Usando texto da internet, o GPT-3 é treinado para gerar texto humano realista.
O GPT-3 é usado para criar artigos, poemas, histórias, relatórios e conversas, produzindo grandes quantidades de cópias de alta qualidade usando apenas uma pequena quantidade de texto de entrada.
O GPT-3 também é usado em tarefas de diálogo automatizado, respondendo a qualquer texto que uma pessoa insira em um computador com texto novo e apropriado ao contexto. A rede neural de aprendizado profundo pode criar qualquer coisa com uma estrutura textual, não apenas texto em linguagem humana. Ele também pode gerar automaticamente resumos de texto e até mesmo código de programação.
Exemplo de GPT-3
Devido aos seus poderosos recursos de geração de texto, o GPT-3 pode ser usado de várias maneiras. O GPT-3 é usado para gerar escrita criativa, como postagens de blog, cópia de anúncios e até poemas no estilo de Shakespeare, Edgar Allen Poe e outros autores famosos.
Com apenas alguns trechos de código de exemplo, o GPT-3 pode criar um código de trabalho que seja executado sem erros porque o código de programação é apenas uma forma textual. O GPT-3 também é usado para simular os efeitos poderosos dos sites. Usando apenas alguns textos sugeridos, um desenvolvedor combinou a ferramenta de prototipagem Figma UI com GPT-3 para criar um site com apenas uma ou duas frases descrevendo-os. O GPT-3 foi usado até para clonar sites fornecendo o URL como texto sugerido. Os desenvolvedores usam o GPT-3 de várias maneiras, desde a geração de trechos de código, expressões regulares, descrições de texto, funções do Excel e outros aplicativos de desenvolvimento para gerar gráficos e tabelas.
O GPT-3 também é usado em mundos de jogos para criar conversas de bate-papo realistas, questionários, imagens e outros gráficos com base em sugestões de texto. A rede neural de aprendizado profundo também pode gerar memes, receitas e quadrinhos.
Como funciona o GPT-3?
GPT-3 é um modelo de previsão de linguagem. Isso significa que ele possui um modelo de aprendizado de máquina de rede neural que pode receber o texto de entrada como entrada e convertê-lo no resultado mais útil que ele prevê. Isso é feito treinando o sistema para reconhecer padrões em grandes quantidades de texto na internet. Mais especificamente, o GPT-3 é a terceira versão de um modelo que se concentra em pré-treinar uma grande quantidade de texto para gerar texto.
Quando o usuário fornece entrada de texto, o sistema analisa o idioma e usa um preditor de texto para criar a saída mais provável. Mesmo sem muitos ajustes ou treinamento adicional, o modelo produziu um texto de saída de alta qualidade que parecia semelhante ao que um humano produziria.
Quais são os benefícios do GPT-3?
Sempre que uma grande quantidade de texto precisa ser gerada a partir de uma máquina com base em uma pequena quantidade de entrada de texto, o GPT-3 oferece uma ótima solução. Em muitos casos, é impraticável ou ineficiente ter saída de texto gerada por humanos, ou pode ser desejável gerar automaticamente texto com aparência humana. Por exemplo, um centro de atendimento ao cliente pode usar o GPT-3 para responder a perguntas dos clientes ou dar suporte a chatbots; uma equipe de vendas pode usá-lo para se conectar com clientes em potencial; uma equipe de marketing pode usar o GPT-3 para escrever uma cópia.
Quais são os riscos e limitações do GPT-3?
Embora a rede neural de aprendizado profundo seja muito grande e poderoso, ele possui algumas limitações e riscos associados ao seu uso. O maior problema é que o GPT-3 não está aprendendo constantemente. Ele é pré-treinado, o que significa que não possui memória contínua de longo prazo que aprende com cada interação. Além disso, o GPT-3 sofre do mesmo problema que todas as redes neurais: não tem a capacidade de explicar e explicar por que certas entradas levam a certas saídas.
Além disso, as arquiteturas de transformadores (GPT-3 é uma delas) sofrem de tamanho de entrada limitado. Os usuários não podem fornecer muito texto como entrada e saída, o que pode limitar alguns aplicativos. O GPT-3 especificamente pode lidar apenas com algumas frases de texto de entrada. O tempo de inferência do GPT-3 também é lento porque o modelo demora muito para ser gerado a partir dos resultados.
Mais preocupante, o GPT-3 sofre de vieses generalizados de aprendizado de máquina. Como o modelo é treinado em texto da internet, ele exibe muitos dos preconceitos que os humanos exibem em seu texto online. Por exemplo, dois pesquisadores do Middlebury Institute of International Studies descobriram que o GPT-3 é particularmente bom em gerar texto radical, como discursos que imitam teóricos da conspiração e supremacistas brancos. Isso apresenta uma oportunidade para grupos radicais automatizarem o discurso de ódio. Além disso, a qualidade do texto gerado é alta o suficiente para que as pessoas comecem a se preocupar um pouco com seu uso, temendo que o GPT-3 seja usado para criar artigos de “notícias falsas”.
História do GPT-3
Fundada em 2015 como uma organização sem fins lucrativos, a OpenAI desenvolveu o GPT-3 como um de seus projetos de pesquisa com o objetivo maior de promover e desenvolver “inteligência artificial amigável” de uma forma que beneficie toda a humanidade. A primeira versão do GPT foi lançada em 2018 e continha 117 milhões de parâmetros. A segunda versão do modelo, GPT-2, foi lançada em 2019 e possui cerca de 1,5 bilhão de parâmetros. Como a versão mais recente, o GPT-3 supera significativamente o modelo mais recente com mais de 175 bilhões de parâmetros, mais de 100 vezes o de seu antecessor e mais de 10 vezes o de programas semelhantes.
Leia também: O que alguém pode fazer com seu endereço IP?
Modelos pré-treinados anteriores, como a representação de codificador bidirecional de Transformers, demonstram a viabilidade de abordagens de gerador de texto e mostram que redes neurais poderosas devem gerar longas strings de texto que antes pareciam impossíveis.
A OpenAI libera gradualmente o acesso ao modelo para aprender a usá-lo e evitar possíveis problemas. O modelo foi lançado durante a versão beta, exigindo que os usuários se inscrevessem para usar o modelo, que inicialmente era gratuito. No entanto, o período beta terminou em 1º de outubro de 2020 e a empresa lançou um modelo de preços baseado em um sistema de crédito escalonado, variando de um nível de acesso gratuito a 100.000 créditos ou centenas de dólares por três meses de acesso. Acesso em massa. Em 2020, a Microsoft investiu US$ 1 bilhão na OpenAI para se tornar a licenciada exclusiva do modelo GPT-3.
O futuro do GPT-3
OpenAI e outros estão trabalhando em modelos mais poderosos e maiores. Há muitos esforços de código aberto em jogo para fornecer um modelo gratuito e não licenciado para equilibrar a propriedade exclusiva da Microsoft. A OpenAI está planejando versões maiores e mais específicas de domínio do modelo treinado em diferentes tipos de texto. Outros estão trabalhando em diferentes casos de uso e aplicações do modelo GPT-3. No entanto, o licenciamento exclusivo da Microsoft apresenta desafios para quem deseja integrar esses recursos em seus aplicativos.
