AA Coding Index
Měřeno: datum neuvedeno
Podmínky a zdroj výsledku
Převzato z OpenRouteru; verze indexu, effort a datum měření nejsou v API uvedeny.
- Model ve zdroji
- openai/o1
- Záznam
- openrouter.json
- Původní hodnota
- 39.7
openai/o1
o1 od OpenAI nabízí kontext 200 000 tokenů. Popis v katalogu jej zaměřuje na analytické úlohy. OpenRouter u něj uvádí AA Coding Index 39.7; jde o převzatý index s neuvedenou konfigurací, nikoli vlastní test.
Zatím bez vlastního měření. Obecný jazykový benchmark nepovažujeme za test češtiny.
The latest and strongest model family from OpenAI, o1 is designed to spend more time thinking before responding. The o1 model series is trained with large-scale reinforcement learning to reason...
OpenRouter ↗Leží ve středních 50 % zveřejněných hodnot AA Coding Indexu v celém načteném katalogu OpenRouteru. Hodnota modelu: 39,7.
Nejbližší konkurenti podle Coding Indexu
Pořadí publikovaných indexů, nikoli závěr vlastního testu. API neuvádí verzi indexu ani effort; první místo neznamená nejlepší model pro každou programovací úlohu.
Publikované výsledky, nikoli vlastní měření. Každý záznam zachovává svou konfiguraci. Neúplně popsané běhy nezakládají pořadí kvality.
| Benchmark | Výsledek | Pořadí | Nápověda |
|---|---|---|---|
| AA Coding Indexopenai/o1 | 39,7 | — | ⓘOpenRouter publikuje tuto hodnotu indexu. Použitou revizi metodiky a konfiguraci zde neuvádí. Popis dostupnosti indexu není výkladem neznámé revize jeho metodiky. |
| Aider Polygloto1-2024-12-17_high | 61,7 % | 5/8 | ⓘKódové úlohy v několika programovacích jazycích řešené nástrojem Aider. Není to test přirozených jazyků; záleží na nastavení editace a pokusech. |
| GPQA Diamondo1-2024-12-17_high | 76,77 % | 21/25 | ⓘVýsledky znalostního benchmarku GPQA; nejde o programovací úlohy. Konkrétní verze, kategorie a protokol musí být přiřazeny k výsledku; obecný popis necertifikuje srovnání. |
| GPQA Diamondo1-2024-12-17_low | 74,24 % | 17/22 | ⓘVýsledky znalostního benchmarku GPQA; nejde o programovací úlohy. Konkrétní verze, kategorie a protokol musí být přiřazeny k výsledku; obecný popis necertifikuje srovnání. |
| GPQA Diamondo1-2024-12-17_medium | 75,76 % | 8/12 | ⓘVýsledky znalostního benchmarku GPQA; nejde o programovací úlohy. Konkrétní verze, kategorie a protokol musí být přiřazeny k výsledku; obecný popis necertifikuje srovnání. |
| Humanity’s Last Examo1-2024-12-17_unknown | 7,96 % | 17/24 | ⓘZnalostní test; revize a změny otázek je potřeba vztáhnout ke konkrétnímu měření. Konkrétní verze, kategorie a protokol musí být přiřazeny k výsledku; obecný popis necertifikuje srovnání. |
| APEX Agentso1-2024-12-17_high | 1,1 % | 7/7 | ⓘVýznam benchmarku není v registru popsán. Podmínky zdroje je třeba ověřit u konkrétního běhu. |
Měřeno: datum neuvedeno
Převzato z OpenRouteru; verze indexu, effort a datum měření nejsou v API uvedeny.
Effort: high · Měřeno: 2024-12-21
Verze testu není v exportu jednoznačná Úplná konfigurace běhu není ověřena
Effort: high · Měřeno: 2025-02-13
Verze testu není v exportu jednoznačná Úplná konfigurace běhu není ověřena
Effort: low · Měřeno: 2026-07-20
Verze testu není v exportu jednoznačná Úplná konfigurace běhu není ověřena
Effort: medium · Měřeno: 2025-01-27
Verze testu není v exportu jednoznačná Úplná konfigurace běhu není ověřena
Měřeno: datum neuvedeno
Datum měření není uvedeno Verze testu není v exportu jednoznačná Effort není doložen Úplná konfigurace běhu není ověřena
o1 (December 2024)
Effort: high · Měřeno: datum neuvedeno
Datum měření není uvedeno Verze testu není v exportu jednoznačná Úplná konfigurace běhu není ověřena
o1
33,75× medián · medián 0,8 USD. Srovnání 309 modelů celého katalogu s použitelnou standardní API sazbou a dostatečným kontextem.
100 požadavků, každý s 10 000 vstupními tokeny. Výstup podle zvoleného poměru. Základní textové API včetně případného poplatku za požadavek; nejde o cenu úspěšně vyřešené úlohy.
Blízký index = rozdíl nejvýše 3 body. Podobná cena = ±20 % koše. Pokud blízký index levněji chybí, ukazujeme nejbližší nižší index s úsporou. Výběr z celého katalogu; jde o publikovaný AA index s neúplnou metodikou.
Úspora 26,86 USD za koš · Coding Index 39,3 (-0,4 bodu proti tomuto modelu).
Karta modelu →USD za milion tokenů. Nabídky a pásma z OpenRouteru; ceny předplatného aplikací zde nejsou.
| Nabídka | Tokenové sazby | Čtení cache | |
|---|---|---|---|
| Standardní APIopenai/o1 | $15 | $60 | $7,5 |
Blízkost výstupní ceny, publikovaného AA Coding Indexu (kde je) a zaměření v popisu. Kandidáti z aktuálního katalogu se stejnými výstupními modalitami; nejde o pořadí kvality. Cenové rozdíly níže platí pro základní standardní API sazbu.
Výstup je o 75 % levnější.
Výstup je o 25 % dražší.
Výstup je o 83,3 % levnější.
Výstup je o 83,3 % levnější.
Výstup je o 16,7 % levnější.
K tomuto modelu zatím nemáme spárovanou redakční analýzu. Karta vznikla nezávisle na článcích.
Charakteristika vznikla automaticky z parametrů a popisu OpenRouteru. Benchmarky jsou převzaté výsledky s uvedenými zdroji; redakční zkušenosti jsou oddělené v analýzách.