Avanços em Inteligência Artificial: I-JEPA, o inovador modelo de aprendizado automático
Em um recente evento realizado em San Francisco, líderes do setor tecnológico se reuniram para debater sobre a integração e otimização de investimentos em Inteligência Artificial (IA). Um dos pontos destacados foi a apresentação por parte da Meta do I-JEPA, um inovador modelo de aprendizado automático baseado em autoaprendizagem supervisionada com imagens.
I-JEPA: Desenvolvido por Yann LeCun e seu desempenho eficiente
O I-JEPA foi desenvolvido por Yann LeCun, cientista chefe de IA na Meta. Este modelo mostra um forte desempenho em tarefas relacionadas à visão computacional e é mais eficiente que outros modelos avançados ao exigir apenas uma décima parte dos recursos informáticos para seu treinamento. O código fonte será aberto e apresentado brevemente durante a Conferência sobre Visão Computacional e Reconhecimento de Padrões (CVPR).
Inspiração natural: Aprendizado supervisionado autodirigido e informação relevante como senso comum
O aprendizado supervisionado autodirigido é inspirado no processo natural de aprendizado humano e animal, onde o conhecimento é adquirido através de observações sem a necessidade prévia de rotular dados para treinamento. Isso levou a avanços importantes tanto em modelos gerativos quanto em grandes modelos linguísticos (LLMs). A proposta “joint predictive embedding architecture” (JEPA) feita por LeCun permite aprender modelos do mundo e informações relevantes como senso comum.
Diferenças chave entre JEPA e I-JEPA: Abstrações e relações entre objetos
Existem diferenças chave entre JEPA e I-JEPA: enquanto os modelos gerativos como DALL-E ou GPT fazem previsões granulares mas podem falhar ao criar objetos detalhados, JEPA se concentra mais em aprender abstrações de alto nível, como os objetos se relacionam uns com os outros.
I-JEPA baseado em imagens: Previsão de informações faltantes e aplicações potenciais
A implementação baseada em imagens do modelo proposto por LeCun prevê informações ausentes usando objetivos abstratos, eliminando detalhes desnecessários ao nível de pixel. Para isso, utiliza um transformador visual (ViT) modificado para processamento de imagens e gera representações semânticas para partes faltantes.
Entre as aplicações potenciais do I-JEPA estão a robótica e os veículos autônomos, pois permite uma melhor compreensão do ambiente e manipulação de resultados plausíveis. Além disso, este modelo se destaca pela sua eficiência em memória e cálculo por não requerer técnicas intensivas em dados como outros métodos auto-supervisionados. Seu treinamento é mais rápido com menos recursos, utilizando 16 GPUs A100 em menos de 72 horas.
Menor necessidade de ajuste fino e benefícios adicionais
O I-JEPA também apresenta menor necessidade de ajuste fino para superar outros modelos avançados em tarefas como classificação, contagem de objetos ou previsão de profundidade. Por exemplo, pode ser feito um ajuste fino com apenas 1% do conjunto ImageNet-1K.
Os benefícios adicionais incluem a aplicabilidade a um maior número de tarefas devido ao uso simplificado do modelo e a maior disponibilidade de dados não rotulados úteis para aplicações que antes requeriam grandes quantidades de dados rotulados manualmente. O código fonte estará disponível em breve no GitHub sob licença não comercial, o que permitirá aos pesquisadores e desenvolvedores explorar ainda mais suas possibilidades.
Susana é uma profissional destacada em marketing e comunicação, criadora de conteúdo e especialista em SEO. Ela é formada em Psicologia pela Universidade de Santiago de Compostela e tem um mestrado em Marketing e Comportamento do Consumidor pela Universidade de Granada e Universidade de Jaén. Além disso, compartilhou seus conhecimentos através de conferências e workshops. Com ampla experiência em estratégias de marketing e comunicação, Susana conseguiu otimizar a visibilidade e o posicionamento das marcas através de técnicas de SEO.
