Skip to content

Benchmark

EKI Estonian idiom_bench

Multilingual benchmarks compare model performance across languages.

Models measured
100
Scores recorded
100
Sources
1
IQ weight
No weight published

Score distribution

38.1
Mean
37.3
Median
20.5
Std dev
11.7
10th percentile
65
90th percentile
3.3
Min
3.375
The band covers the middle 80% of scores. The line marks the median.

Results

The source marks these results as descriptive, not capability scores, so we list them by name instead of ranking them. Showing 51–100 of 100 results.

ModelScore
GPT 5.5· Keelemudelite mõõdupuu data docs73.7
GPT OSS 120B· Keelemudelite mõõdupuu data docs8.3
GPT-3.5 Turbo· Keelemudelite mõõdupuu data docs19.7
GPT-4o mini· Keelemudelite mõõdupuu data docs18.3
GPT-5.4 mini· Keelemudelite mõõdupuu data docs42.3
GPT-5.6 Luna· Keelemudelite mõõdupuu data docs64
GPT-5.6 Sol· Keelemudelite mõõdupuu data docs70.7
GPT-5.6 Terra· Keelemudelite mõõdupuu data docs64.3
GPT-6 Astra· Keelemudelite mõõdupuu data docs74
GPT-6 Luna· Keelemudelite mõõdupuu data docs64.7
GPT-6 Sol· Keelemudelite mõõdupuu data docs70.7
GPT-6.1 Terra· Keelemudelite mõõdupuu data docs69.3
Grok 3· Keelemudelite mõõdupuu data docs46.3
Grok 3 Mini· Keelemudelite mõõdupuu data docs25.3
Grok 4 Fast· Keelemudelite mõõdupuu data docs23
Grok 4.20· Keelemudelite mõõdupuu data docs31
Grok 4.5· Keelemudelite mõõdupuu data docs52.7
Grok 4.6· Keelemudelite mõõdupuu data docs55
Grok 4.7· Keelemudelite mõõdupuu data docs57.7
Hy4 preview· Keelemudelite mõõdupuu data docs35.7
Kimi K2 0905· Keelemudelite mõõdupuu data docs24.3
Kimi K3· Keelemudelite mõõdupuu data docs31.7
Llama 3.1 70B Instruct· Keelemudelite mõõdupuu data docs12.7
Llama 3.3 70B Instruct· Keelemudelite mõõdupuu data docs11.7
Llama 4 Maverick· Keelemudelite mõõdupuu data docs24.7
MiMo V2 Pro· Keelemudelite mõõdupuu data docs11.3
MiMo V2.6 Flash· Keelemudelite mõõdupuu data docs15.3
MiMo V2.6 Pro· Keelemudelite mõõdupuu data docs30.3
MiniMax M2.7· Keelemudelite mõõdupuu data docs5.7
MiniMax M3· Keelemudelite mõõdupuu data docs32.7
Mistral Large· Keelemudelite mõõdupuu data docs12.7
Mistral Large 3· Keelemudelite mõõdupuu data docs22.7
Mistral Large 4· Keelemudelite mõõdupuu data docs26.7
Mistral Medium 3.5· Keelemudelite mõõdupuu data docs16.3
Mistral Small· Keelemudelite mõõdupuu data docs12
Muse Glimmer 30B· Keelemudelite mõõdupuu data docs21
Muse Spark 1.2· Keelemudelite mõõdupuu data docs44.7
Muse Spark 1.3· Keelemudelite mõõdupuu data docs34.7
Muse Spark Open· Keelemudelite mõõdupuu data docs58.7
Nemotron 3 Super 120B A12B· Keelemudelite mõõdupuu data docs5.3
Nemotron 3 Ultra· Keelemudelite mõõdupuu data docs10.7
Qwen 3.8 27B· Keelemudelite mõõdupuu data docs16.3
Qwen3.5 27B· Keelemudelite mõõdupuu data docs16.3
Qwen3.6 27B· Keelemudelite mõõdupuu data docs18.3
Qwen3.6 Plus· Keelemudelite mõõdupuu data docs40.7
Qwen3.7 Max· Keelemudelite mõõdupuu data docs51.3
Qwen3.8 Flash· Keelemudelite mõõdupuu data docs22.7
Qwen3.8 Max· Keelemudelite mõõdupuu data docs44
Step 3.5 Flash· Keelemudelite mõõdupuu data docs5.7
Step 3.7 Flash· Keelemudelite mõõdupuu data docs5.7

Data credits: Keelemudelite mõõdupuu: Independent LLM leaderboard for Estonian. Eesti Keele Instituut. https://moodupuu.eki.ee, CC BY 4.0. Latest per-benchmark results selected with partial-run flags retained. (licence)