A discussão em torno de quem realmente formulou pela primeira vez as leis de escala para modelos de inteligência artificial, OpenAI ou Baidu, é um tema candente no campo das notícias de engenharia de IA. Muito do debate gira em torno dos conceitos que afirmam que o desempenho dos modelos de IA melhora com o aumento dos parâmetros do modelo, dados de treinamento e recursos computacionais. Em 2020, a OpenAI publicou um trabalho inovador sob o título “Scaling Laws for Neural Language Models”, que trouxe uma relação exponencial entre esses fatores e o desempenho do modelo.
Raízes das Leis de Escala
O conceito de leis de escala tem suas origens amplamente creditadas ao paper de 2020 da OpenAI, que mostrou como o aumento dos parâmetros e dados de treinamento influencia positivamente o desempenho de modelos de linguagem neural. Este documento tornou-se uma referência no campo, proporcionando uma compreensão mais clara de como otimizar modelos para obter melhores resultados no campo da inteligência artificial. No entanto, há um argumento de que essas ideias já vinham sendo exploradas anteriormente em outros lugares, desafiando a primazia da OpenAI nessa descoberta.
Observações Iniciais no Baidu
Segundo Dario Amodei, ex-vice-presidente de pesquisa na OpenAI e coautor do paper de 2020, ele observou fenômenos semelhantes ainda em 2014, durante seu período no Baidu. Juntamente com Andrew Ng, então cientista-chefe da Baidu, Amodei trabalhou em sistemas de reconhecimento de voz e notou que os modelos melhoravam com mais dados, modelos maiores e tempos de treinamento mais prolongados. Esses insights iniciais levantam a possibilidade de que o Baidu já estivesse nos estágios iniciais do desenvolvimento dessas teorias antes de sua formalização pela OpenAI.
Impactos e Desenvolvimentos Atuais
Essa revelação gerou um amplo debate sobre se o Baidu pode ter desenvolvido as bases teóricas das leis de escala antes da publicação da OpenAI. Embora o artigo da OpenAI seja amplamente citado e reconhecido, as observações iniciais feitas na China sugerem que as ideias estavam em fermentação um pouco antes, indicando a natureza colaborativa e global da pesquisa em IA. Atualmente, o Baidu continua sendo um jogador importante na pesquisa e desenvolvimento de IA, especialmente no mercado chinês. Recentemente, a empresa registrou patentes para modelos de IA avançados e lançou produtos de sucesso como o Ernie Bot. Além disso, avanços em robótica e IA na China podem impactar significativamente as tendências globais.
Perguntas para Discussão
- Quais são as implicações éticas das descobertas compartilhadas em pesquisas de IA?
- Qual é o papel do Instituto Brasileiro de Inteligência Artificial na colaboração internacional em pesquisa de IA?
- Como os avanços em robótica podem afetar a aplicação de leis de escala em outros setores além da IA?
Fonte: Instituto Brasileiro de Inteligência Artificial (http://www.institutoibia.com.br), 2023.
