AA Coding Index
Měřeno: datum neuvedeno
Podmínky a zdroj výsledku
Převzato z OpenRouteru; verze indexu, effort a datum měření nejsou v API uvedeny.
- Model ve zdroji
- deepseek/deepseek-r1
- Záznam
- openrouter.json
- Původní hodnota
- 24.6
deepseek/deepseek-r1
R1 od DeepSeek nabízí kontext 64 000 tokenů. Popis v katalogu jej zaměřuje na analytické úlohy. OpenRouter u něj uvádí AA Coding Index 24.6; jde o převzatý index s neuvedenou konfigurací, nikoli vlastní test.
Zatím bez vlastního měření. Obecný jazykový benchmark nepovažujeme za test češtiny.
DeepSeek R1 is here: Performance on par with [OpenAI o1](/openai/o1), but open-sourced and with fully open reasoning tokens. It's 671B parameters in size, with 37B active in an inference pass....
OpenRouter ↗Leží ve středních 50 % zveřejněných hodnot AA Coding Indexu v celém načteném katalogu OpenRouteru. Hodnota modelu: 24,6.
Nejbližší konkurenti podle Coding Indexu
Pořadí publikovaných indexů, nikoli závěr vlastního testu. API neuvádí verzi indexu ani effort; první místo neznamená nejlepší model pro každou programovací úlohu.
Publikované výsledky, nikoli vlastní měření. Každý záznam zachovává svou konfiguraci. Neúplně popsané běhy nezakládají pořadí kvality.
| Benchmark | Výsledek | Pořadí | Nápověda |
|---|---|---|---|
| AA Coding Indexdeepseek/deepseek-r1 | 24,6 | — | ⓘOpenRouter publikuje tuto hodnotu indexu. Použitou revizi metodiky a konfiguraci zde neuvádí. Popis dostupnosti indexu není výkladem neznámé revize jeho metodiky. |
| Aider PolyglotDeepSeek-R1 | 56,9 % | 10/20 | ⓘKódové úlohy v několika programovacích jazycích řešené nástrojem Aider. Není to test přirozených jazyků; záleží na nastavení editace a pokusech. |
| SciCodeDeepSeek-R1 | 35,71 % | 34/44 | ⓘTvorba kódu pro vědecké výzkumné problémy. Úzká oblast; konkrétní měření AA a obecná definice datasetu mají oddělený původ. |
| AA Intelligence Indexdeepseek/deepseek-r1 | 11,4 | — | ⓘSoubor především textových úloh v angličtině; není testem češtiny. Konkrétní verze, kategorie a protokol musí být přiřazeny k výsledku; obecný popis necertifikuje srovnání. |
| GPQA DiamondDeepSeek-R1 | 71,72 % | 42/69 | ⓘVýsledky znalostního benchmarku GPQA; nejde o programovací úlohy. Konkrétní verze, kategorie a protokol musí být přiřazeny k výsledku; obecný popis necertifikuje srovnání. |
| AA Agentic Indexdeepseek/deepseek-r1 | 1,1 | — | ⓘOpenRouter publikuje tuto hodnotu indexu. Použitou revizi metodiky a konfiguraci zde neuvádí. Popis dostupnosti indexu není výkladem neznámé revize jeho metodiky. |
Měřeno: datum neuvedeno
Převzato z OpenRouteru; verze indexu, effort a datum měření nejsou v API uvedeny.
Měřeno: 2025-01-20
Verze testu není v exportu jednoznačná Effort není doložen Úplná konfigurace běhu není ověřena
Měřeno: datum neuvedeno
Datum měření není uvedeno Verze testu není v exportu jednoznačná Effort není doložen Úplná konfigurace běhu není ověřena
DeepSeek R1 (Jan '25)
Měřeno: datum neuvedeno
Převzato z OpenRouteru; verze indexu, effort a datum měření nejsou v API uvedeny.
Měřeno: 2025-05-26
Verze testu není v exportu jednoznačná Effort není doložen Úplná konfigurace běhu není ověřena
Měřeno: datum neuvedeno
Převzato z OpenRouteru; verze indexu, effort a datum měření nejsou v API uvedeny.
1,5× medián · medián 0,8 USD. Srovnání 309 modelů celého katalogu s použitelnou standardní API sazbou a dostatečným kontextem.
100 požadavků, každý s 10 000 vstupními tokeny. Výstup podle zvoleného poměru. Základní textové API včetně případného poplatku za požadavek; nejde o cenu úspěšně vyřešené úlohy.
Blízký index = rozdíl nejvýše 3 body. Podobná cena = ±20 % koše. Pokud blízký index levněji chybí, ukazujeme nejbližší nižší index s úsporou. Výběr z celého katalogu; jde o publikovaný AA index s neúplnou metodikou.
Úspora 1,09 USD za koš · Coding Index 22,4 (-2,2 bodu proti tomuto modelu).
Karta modelu →Úspora 0,18 USD za koš · Coding Index 68,1 (+43,5 bodu proti tomuto modelu).
Karta modelu →USD za milion tokenů. Nabídky a pásma z OpenRouteru; ceny předplatného aplikací zde nejsou.
| Nabídka | Tokenové sazby | Čtení cache | |
|---|---|---|---|
| Standardní APIdeepseek/deepseek-r1 | $0,7 | $2,5 | — |
Blízkost výstupní ceny, publikovaného AA Coding Indexu (kde je) a zaměření v popisu. Kandidáti z aktuálního katalogu se stejnými výstupními modalitami; nejde o pořadí kvality. Cenové rozdíly níže platí pro základní standardní API sazbu.
Stejná základní cena výstupu.
Výstup je o 8 % levnější.
Stejná základní cena výstupu.
Výstup je o 54,4 % levnější.
Výstup je o 14 % levnější.
K tomuto modelu zatím nemáme spárovanou redakční analýzu. Karta vznikla nezávisle na článcích.
Charakteristika vznikla automaticky z parametrů a popisu OpenRouteru. Benchmarky jsou převzaté výsledky s uvedenými zdroji; redakční zkušenosti jsou oddělené v analýzách.