Estudo aponta queda no desempenho de grandes modelos de linguagem da OpenAI, incluindo o GPT-3.5 e GPT-4

Um estudo feito por pesquisadores da Universidade de Stanford e da Universidade da Califórnia em Berkeley questiona o desempenho dos grandes modelos de linguagem (LLMs) da OpenAI, criadora do ChatGPT.

O artigo apresenta argumentos que sugerem uma piora na qualidade das tarefas realizadas pelo GPT-3.5 e GPT-4, inteligências artificiais (IAs) que alimentam o chatbot. Para isso, os pesquisadores testaram as versões de março e junho de 2023 desses modelos, em tarefas como resolução de problemas matemáticos, geração de códigos e raciocínio.

Eles observaram, por exemplo, uma queda significativa na precisão do GPT-4 na identificação de números primos, indo de 97,6% em março para apenas 2,4% em junho. Uma das hipóteses para a “piora no GPT” é que a OpenAI estaria reduzindo a capacidade para economizar em poder computacional, o que a companhia nega.