A diferença está a fechar

Na LMArena, o melhor modelo fechado pontua 1534 e o melhor de pesos abertos 1491. Uma diferença de 43 Elo, contra 107 antes. A capacidade está a tornar-se uma commodity. Executá-la continua a custar dinheiro.

Cada edifício é um modelo e sobe a cada duelo que ganha.

Em 2023, os melhores viviam atrás de um muro.

Depois os modelos abertos começaram a subir.

Em 2025, já estavam ao mesmo nível.

Hoje o muro é um degrau.

Mas cada um deles precisa de energia.

Cada modelo de IA

compete numa arena.

Dois modelos respondem ao mesmo prompt.

Uma pessoa escolhe a melhor resposta.

Ganhas, sobes.

Perdes, caís.

A pontuação chama-se Elo.

A mesma ideia dos rankings de xadrez.

Três anos desta disputa,

desenhados como uma cidade.

Desliza

O modelo mais inteligente deixou de ser a muralha.

Quando todos os modelos são suficientemente bons, a pergunta já não é qual.

É quanto custa mantê-los a funcionar.

O que acabaste de ver

Cada edifício é um modelo de IA. Ardósia é fechado, sálvia é pesos abertos. A altura é o seu Elo.

O Elo funciona como o ranking do xadrez. Dois modelos respondem ao mesmo prompt, uma pessoa escolhe a melhor resposta e o vencedor tira pontos ao perdedor. Milhões destes votos na LMArena definem cada pontuação. Em três anos, o skyline dos abertos subiu até ficar a 43 Elo do dos fechados.

A capacidade está a tornar-se uma commodity. O próximo limite é a energia. Alguém tem de alimentar cada um destes modelos, e essa conta só cresce.

Saber quanto custa realmente executar a tua IA é o problema em que trabalho na flowstate. Dados: classificação geral da LMArena, instantâneo de 2 de outubro de 2026.

A fronteira em números

A torre fechada mais alta chega aos 1534 Elo, a torre de pesos abertos mais alta aos 1491. Uma diferença de 43, contra 107 em fevereiro de 2024.

Métrica: Pontuação Arena da LMArena (uma nota ao estilo Elo), categoria geral, arena de texto. Cada edifício é um modelo e a altura é a pontuação máxima que atingiu.
Fechado: Licença proprietária.
Aberto: Licença de pesos abertos.
Período: 8 de maio de 2023 a 2 de outubro de 2026.

Fonte: classificação da Arena (arena.ai, antes LMArena), construído a partir da exportação lmarena-ai/leaderboard-dataset no Hugging Face (CC BY 4.0). Atualizado semanalmente.

Voltar a willhackett.com

A fronteira da IA a fechar-se

Em 2023, o melhor modelo fechado liderava o melhor modelo de pesos abertos por uma grande margem de Elo. Em 2 de outubro de 2026, o melhor modelo fechado pontuava cerca de 1534 e o melhor de pesos abertos cerca de 1491 na LMArena, uma diferença de cerca de 43 Elo, contra 107 em fevereiro de 2024. A vantagem de capacidade quase desapareceu. O que resta é o custo de executar estes modelos.