Cursor Composer e SWE‑1.5 – Revisão: Por que uma empresa de 10 bilhões de dólares lançou um modelo inferior
Cursor Composer e SWE‑1.5 – Revisão: Por que uma empresa de 10 bilhões de dólares lançou um modelo inferior
Introdução
O mercado de assistentes de codificação por IA está esquentando, e nesta semana dois players de peso — Cursor e Windsurf — lançaram novos modelos, Cursor Composer e SWE‑1.5. Ambos prometem latência ultra‑baixa para codificação “agente”, mas a tecnologia subjacente e o desempenho levantam sérias questões. Este artigo analisa as capacidades alegadas dos modelos, a metodologia de teste e por que os resultados podem decepcionar até os usuários mais tolerantes.
Contexto dos Novos Modelos
Cursor Composer
- Comercializado como um modelo “de fronteira” que é quatro vezes mais rápido que LLMs comparáveis.
- Projetado para tarefas de codificação de baixa latência e múltiplas etapas, com a maioria das interações concluídas em menos de 30 segundos.
- Baseado em uma fundação “open‑weights” não divulgada, supostamente baseada em um modelo de classe 4.6.
- Nenhum benchmark público foi divulgado, dificultando a verificação independente.
SWE‑1.5 (Windsurf)
- Promovido como o mais rápido dos dois, entregando até 950 tokens por segundo em hardware Cerebras.
- Treinado sobre uma base open‑source não revelada, com dados proprietários de reinforcement‑learning.
- Posicionado como uma alternativa de alta vazão para geração de código.
Metodologia de Teste
A avaliação utilizou as ferramentas de linha de comando oficiais fornecidas por cada fornecedor:
- Cursor Composer – acessado via o CLI do Cursor (a UI do editor mostrava apenas o modelo antigo Cheetah).
- SWE‑1.5 – acessado através do editor Windsurf.
Ambos os modelos foram desafiados com um conjunto representativo de problemas de codificação, que vão de calculadoras simples a protótipos de aplicativos web mais complexos. O tempo de execução, a correção e as taxas de erro foram registrados para cada tarefa.
Visão Geral de Desempenho
Cursor Composer
- Aplicativo de rastreamento de filmes – inúmeros erros de UI; a tela de descoberta estava quebrada.
- Calculadora UI Goatee – funcionou corretamente, mostrando que o modelo lida bem com lógica simples.
- Jogo Godo – falhou ao executar; modelos modernos como GLM‑4.5 e Miniax o executam sem problemas.
- Grande tarefa de código aberto – não foi concluída.
- Aplicativo Spelt – apareceu apenas a tela de login; erros de backend eram onipresentes.
- Cortador de imagens Tari (Rust) – não funcional.
- Classificação geral: 11.º no ranking interno, atrás de modelos como Kilo, Miniax e GLM‑4.5.
SWE‑1.5
- Ficou em 19.º no mesmo ranking.
- Conseguiu gerar a UI de uma calculadora, mas não realizou os cálculos.
- Produziu consistentemente código incorreto ou incompleto ao longo da bateria de testes.
Por Que os Resultados Importam
- Falta de Transparência – Ambas as empresas ocultam o modelo base exato que foi ajustado. A descrição sugere uma linhagem GLM‑4.5 ou Qwen‑3‑Coder, mas não há evidência concreta.
- Compromisso entre Velocidade e Qualidade – Embora o SWE‑1.5 alcance maior taxa de tokens por segundo, a qualidade da saída costuma ser inutilizável. Velocidade sozinha não compensa código quebrado.
- Benchmarks Ausentes – Sem avaliações aceitas pela comunidade (ex.: HumanEval, MBPP), as alegações de desempenho “de fronteira” permanecem sem fundamento.
- Questões Éticas Potenciais – Distribuir um modelo open‑source ajustado sem atribuição pode violar normas da comunidade e, em algumas jurisdições, termos de licenciamento.
Análise Técnica
- Seleção de Modelo – O comportamento observado alinha‑se mais a Qwen‑3‑Coder ou a um checkpoint mais antigo do GLM‑4.5 do que a um verdadeiro modelo de classe 4.6. A falta de raciocínio avançado e uso de ferramentas indica alinhamento pré‑treinamento insuficiente.
- Impacto do Reinforcement Learning (RL) – Os modestos ganhos do ajuste por RL são ofuscados pela escolha fraca do modelo base. Um alinhamento adequado durante o pré‑treinamento seria necessário para melhorias reais.
- Considerações de Hardware – Ambos rodam em hardware de alta vazão (Cerebras para o SWE‑1.5, não especificado para o Cursor). Contudo, modelos open‑source mais recentes (ex.: Miniax, GLM‑4.5) já atingem velocidades comparáveis ou superiores no mesmo hardware, tornando a vantagem de velocidade irrelevante.
Implicações para a Indústria
- Lacuna de Transparência – A recusa em divulgar o modelo subjacente mina a confiança. Usuários não podem verificar se o produto é uma inovação genuína ou um checkpoint open‑source rebatizado.
- Custo de Oportunidade – Empresas com capitalização de US$ 10 bilhões poderiam contratar equipes de ML dedicadas para desenvolver modelos proprietários ou, no mínimo, creditar abertamente o modelo base que estão ajustando.
- Reação da Comunidade – A escassez de críticas da comunidade de IA indica uma complacência crescente em relação à atribuição de modelos.
Recomendações para Profissionais
- Priorize Modelos Open‑Source Comprovados – Quando a velocidade for essencial, considere pesos abertos consolidados como Miniax, GLM‑4.5 ou Mistral‑7B e faça seu próprio ajuste fino.
- Valide Antes de Integrar – Execute um pequeno conjunto de benchmarks (ex.: geração de código, uso de ferramentas, tratamento de erros) antes de adotar um modelo de fornecedor.
- Exija Transparência – Insista em documentação clara sobre o modelo base, dados de treinamento e licenciamento para evitar armadilhas legais e de desempenho.
Conclusão
Tanto o Cursor Composer quanto o SWE‑1.5 prometem geração de código relâmpago, mas a realidade são saídas rápidas‑mas‑defeituosas. Os modelos tropeçam em tarefas básicas que checkpoints open‑source mais antigos executam com facilidade, e o processo de desenvolvimento opaco levanta preocupações éticas. Até que as empresas divulguem suas bases ou entreguem um modelo genuinamente superior, os desenvolvedores estarão melhor servidos ao permanecer com alternativas bem documentadas e validadas pela comunidade.
Este artigo reflete uma avaliação técnica independente e não endossa nenhum produto específico.