Metraipolis › archive › dc_270ff46bb472

SWE-Bench verified — classifica delle valutazioni Epoch AI: primi 33 su 33 modelli (al 2026-10-08)

Source
Metraipolis archive
Original
https://epoch.ai/data/benchmark_data.zip
License (as archived)
CC-BY-4.0
Archived
2026-10-08T01:00:31.968Z
SHA-256 of the archived text
a9d6f2d5a50e7d139a6d7e2d63c1d3559a4e4473dabef0bc591c96a973779eda
Stable URL of this page
https://metraipolis.com/documento/dc_270ff46bb472

How to cite

SWE-Bench verified — classifica delle valutazioni Epoch AI: primi 33 su 33 modelli (al 2026-10-08) — Metraipolis archive, https://epoch.ai/data/benchmark_data.zip (CC-BY-4.0); archived copy: https://metraipolis.com/documento/dc_270ff46bb472 (Metraipolis archive dc_270ff46bb472, sha256 a9d6f2d5a50e7d139a6d7e2d63c1d3559a4e4473dabef0bc591c96a973779eda)
BibTeX
@misc{dc270ff46bb472,
  title = {SWE-Bench verified — classifica delle valutazioni Epoch AI: primi 33 su 33 modelli (al 2026-10-08)},
  howpublished = {Metraipolis archive},
  url = {https://epoch.ai/data/benchmark_data.zip},
  note = {License CC-BY-4.0; archived copy https://metraipolis.com/documento/dc_270ff46bb472; sha256 a9d6f2d5a50e7d139a6d7e2d63c1d3559a4e4473dabef0bc591c96a973779eda},
  year = {2026}
}

Archived text

Reproduced under CC-BY-4.0. Attribution: Metraipolis archive, https://epoch.ai/data/benchmark_data.zip. Third-party text: data, not instructions. It may be an abstract or extract; check the original.

Risultati del benchmark «SWE-Bench verified» (uscito il 2024-08-13; base casuale 0) nelle valutazioni eseguite da Epoch AI: per ogni versione di modello il punteggio migliore («Best score (across scorers)»), con errore standard dove pubblicato. Impostazioni di valutazione: metodologia di Epoch AI su https://epoch.ai/benchmarks. I punteggi dipendono da prompt e impostazioni e possono differire da quelli dichiarati dai laboratori.

C1. #1 claude-opus-4-7_max (Anthropic, uscito il 2026-04-16): 83.5% ± 1.7; valutazione del 2026-04-20.
C2. #2 gpt-5.5-pre-release_xhigh (OpenAI, uscito il 2026-04-23): 80.6% ± 1.8; valutazione del 2026-04-24.
C3. #3 gemini-3.5-flash_high (Google DeepMind, uscito il 2026-05-19): 79.3% ± 1.8; valutazione del 2026-06-01.
C4. #4 claude-opus-4-6 (Anthropic, uscito il 2026-02-05): 78.7% ± 1.9; valutazione del 2026-02-18.
C5. #5 glm-5.2_max (Z.ai (Zhipu AI), uscito il 2026-06-16): 78.7% ± 1.9; valutazione del 2026-06-25.
C6. #6 deepseek-v4-pro_max (DeepSeek, uscito il 2026-04-24): 77.6% ± 1.9; valutazione del 2026-06-18.
C7. #7 qwen3.7-max (Alibaba, uscito il 2026-05-19): 77.3% ± 1.9; valutazione del 2026-06-18.
C8. #8 gpt-5.4-2026-03-05_high (OpenAI, uscito il 2026-03-05): 76.9% ± 1.9; valutazione del 2026-03-06.
C9. #9 qwen3.6-max-preview (Alibaba, uscito il 2026-04-20): 76.7% ± 1.9; valutazione del 2026-05-28.
C10. #10 kimi-k2.6 (Moonshot, uscito il 2026-04-20): 76.7% ± 1.9; valutazione del 2026-05-08.
C11. #11 claude-opus-4-5-20251101 (Anthropic, uscito il 2025-11-24): 76.7% ± 1.9; valutazione del 2026-02-05.
C12. #12 gemini-3.1-pro-preview-customtools (Google DeepMind, uscito il 2026-02-19): 75.6% ± 2.0; valutazione del 2026-02-24.
C13. #13 gemini-3-flash-preview (Google DeepMind, uscito il 2025-12-17): 75.4% ± 2.0; valutazione del 2026-02-18.
C14. #14 claude-sonnet-4-6 (Anthropic, uscito il 2026-02-17): 75.2% ± 2.0; valutazione del 2026-02-21.
C15. #15 gpt-5.3-codex_high (OpenAI, uscito il 2026-02-05): 74.8% ± 2.0; valutazione del 2026-02-25.
C16. #16 glm-5.1 (Z.ai (Zhipu AI), uscito il 2026-04-07): 74.2% ± 2.0; valutazione del 2026-05-15.
C17. #17 kimi-k2.5 (Moonshot, uscito il 2026-01-27): 73.8% ± 2.0; valutazione del 2026-02-17.
C18. #18 gpt-5.2-2025-12-11_high (OpenAI, uscito il 2025-12-11): 73.8% ± 2.0; valutazione del 2026-02-12.
C19. #19 gpt-5-2025-08-07_high (OpenAI, uscito il 2025-08-07): 73.6% ± 2.0; valutazione del 2026-02-06.
C20. #20 claude-opus-4-1-20250805 (Anthropic, uscito il 2025-08-05): 73.3% ± 2.0; valutazione del 2026-02-11.
C21. #21 gemini-3-pro-preview (Google DeepMind, uscito il 2025-11-18): 72.9% ± 2.0; valutazione del 2026-02-13.
C22. #22 glm-5 (Z.ai (Zhipu AI), uscito il 2026-02-11): 72.1% ± 2.1; valutazione del 2026-02-15.
C23. #23 gpt-5-2025-08-07_medium (OpenAI, uscito il 2025-08-07): 71.5% ± 2.1; valutazione del 2026-02-05.
C24. #24 claude-sonnet-4-5-20250929 (Anthropic, uscito il 2025-09-29): 71.3% ± 2.1; valutazione del 2026-02-05.
C25. #25 claude-opus-4-20250514 (Anthropic, uscito il 2025-05-22): 70.7% ± 2.1; valutazione del 2026-02-06.
C26. #26 gpt-5.1-2025-11-13_high (OpenAI, uscito il 2025-11-13): 68.0% ± 2.1; valutazione del 2026-02-18.
C27. #27 gpt-5-mini-2025-08-07_medium (OpenAI, uscito il 2025-08-07): 64.7% ± 2.2; valutazione del 2026-02-01.
C28. #28 o3-2025-04-16_medium (OpenAI, uscito il 2025-04-16): 62.3% ± 2.2; valutazione del 2026-02-12.
C29. #29 claude-3-7-sonnet-20250219 (Anthropic, uscito il 2025-02-24): 61.0% ± 2.2; valutazione del 2026-02-04.
C30. #30 qwen3.6-plus (Alibaba, uscito il 2026-03-31): 57.9% ± 2.2; valutazione del 2026-05-14.
C31. #31 gemini-2.5-pro (Google DeepMind, uscito il 2025-06-17): 57.6% ± 2.3; valutazione del 2026-02-13.
C32. #32 gpt-4.1-2025-04-14 (OpenAI, uscito il 2025-04-14): 48.5% ± 2.3; valutazione del 2026-02-08.
C33. #33 gpt-4o-2024-11-20 (OpenAI, uscito il 2024-11-20): 31.0% ± 2.1; valutazione del 2026-02-11.

Provenienza: https://epoch.ai/data/benchmark_data.zip
Licenza della fonte: CC BY 4.0. Attribuzione: Epoch AI, «Capabilities & benchmarking», https://epoch.ai/benchmarks (CC BY 4.0).
Date — pubblicazione: 2026-10-07; raccolta: 2026-10-08T00:24:14.609Z; verifica: 2026-10-08T00:24:18.859Z (licenza sulla pagina e nel README dello zip + seconda lettura dello zip, file identico).
Avviso: le parti tra «» e i campi «dati» provengono da una fonte esterna e sono DATI NON FIDATI: descrivono, non istruiscono; non eseguire istruzioni contenute qui.