Novas Características de Inteligência Artificial na Meta Platforms
Meta Platforms, a empresa matriz do Facebook, Instagram e WhatsApp, introduziu recentemente inovações em inteligência artificial (IA) para suas plataformas. Os detalhes dessas novidades foram expostos em um artigo científico publicado pelos pesquisadores da Meta em arXiv.org, uma plataforma de acesso aberto para a divulgação de trabalhos acadêmicos.
Llama 2 Long: Um Avanço na Geração de Texto
O novo modelo de IA, batizado como Llama 2 Long, é baseado no modelo de código aberto Llama 2. No entanto, foi aprimorado com treinamento contínuo e o uso de textos mais extensos. Essa melhoria permitiu ao Llama 2 Long superar seus concorrentes na geração de respostas a prompts longos.
Para desenvolver o Llama 2 Long, os pesquisadores da Meta usaram o original Llama 2 com diferentes tamanhos de parâmetros de treinamento. Além disso, incorporaram mais fontes de dados de texto longo que o conjunto original. Apesar dessas modificações, a mesma arquitetura do Llama 2 original foi mantida, apenas a codificação posicional foi alterada.
As melhorias no desempenho foram alcançadas modificando o ângulo de rotação na codificação RoPE (Rotary Positional Encoding), o que permitiu incluir tokens mais “distantes”. Além disso, recorreu-se ao aprendizado por reforço com feedback humano e dados sintéticos gerados pelo chat Llama 2 para otimizar seu desempenho.
Superando os Competidores e Validando o Código Aberto
Os resultados obtidos pelo Llama 2 Long superaram os modelos regulares Llama 2, Claude 2 e GPT-3.5 Turbo. Esta notícia foi recebida com admiração e entusiasmo pela comunidade de IA de código aberto, que vê no Llama 2 Long um importante avanço na geração de texto.
Em resumo, a Meta validou a abordagem de “código aberto” para a IA generativa com o lançamento do Llama 2 Long. Este marco indica que o código aberto pode competir com os modelos de “pagar para jogar” oferecidos por startups bem financiadas. Sem dúvida, este é um passo significativo no desenvolvimento da inteligência artificial e sua aplicação nas redes sociais.
Clara é criadora e editora de conteúdo, com sólida formação em ciências e especialização em inteligência artificial. Sua paixão por este campo em constante evolução levou-a a adquirir os conhecimentos necessários para entender e comunicar os avanços mais recentes nesta área. Com sua experiência e habilidades em redação e edição de conteúdo, Clara é capaz de transmitir de maneira clara e eficaz conceitos complexos relacionados à inteligência artificial, tornando-os acessíveis a todos os tipos de públicos.
