Skip to content

Benchmark

EKI Estonian idiom_bench

Multilingual benchmarks compare model performance across languages.

Models measured
100
Scores recorded
100
Sources
1
IQ weight
No weight published

Score distribution

38.1
Mean
37.3
Median
20.5
Std dev
11.7
10th percentile
65
90th percentile
3.3
Min
3.375
The band covers the middle 80% of scores. The line marks the median.

Results

The source marks these results as descriptive, not capability scores, so we list them by name instead of ranking them. Showing 1–50 of 100 results.

ModelScore
Claude 3 Haiku· Keelemudelite mõõdupuu data docs22.7
Claude Fable 5· Keelemudelite mõõdupuu data docs65
Claude Fable 5.1· Keelemudelite mõõdupuu data docs61.3
Claude Fable 5.2· Keelemudelite mõõdupuu data docs75
Claude Haiku 3.5· Keelemudelite mõõdupuu data docs21.3
Claude Haiku 4.5· Keelemudelite mõõdupuu data docs21.7
Claude Haiku 5.5· Keelemudelite mõõdupuu data docs35.3
Claude Opus 4· Keelemudelite mõõdupuu data docs44.7
Claude Opus 4.5· Keelemudelite mõõdupuu data docs46.7
Claude Opus 4.6· Keelemudelite mõõdupuu data docs48.3
Claude Opus 4.7· Keelemudelite mõõdupuu data docs49.7
Claude Opus 4.8· Keelemudelite mõõdupuu data docs49
Claude Opus 5· Keelemudelite mõõdupuu data docs58.3
Claude Opus 5.5· Keelemudelite mõõdupuu data docs62
Claude Sonnet 3.7· Keelemudelite mõõdupuu data docs51.3
Claude Sonnet 4· Keelemudelite mõõdupuu data docs30.3
Claude Sonnet 4.5· Keelemudelite mõõdupuu data docs33.7
Claude Sonnet 4.6· Keelemudelite mõõdupuu data docs37.3
Claude Sonnet 5· Keelemudelite mõõdupuu data docs40
Claude Sonnet 5.5· Keelemudelite mõõdupuu data docs47.3
Command R Plus 08 2024· Keelemudelite mõõdupuu data docs5.7
DeepSeek Chat· Keelemudelite mõõdupuu data docs18
DeepSeek V3.2· Keelemudelite mõõdupuu data docs20.7
DeepSeek V4 Flash· Keelemudelite mõõdupuu data docs37.7
DeepSeek V4 Pro· Keelemudelite mõõdupuu data docs48.7
DeepSeek V4.1 Flash· Keelemudelite mõõdupuu data docs50
Gemini 2.0 Flash· Keelemudelite mõõdupuu data docs37.7
Gemini 2.5 Flash· Keelemudelite mõõdupuu data docs51.7
Gemini 2.5 Pro· Keelemudelite mõõdupuu data docs57
Gemini 3 Flash· Keelemudelite mõõdupuu data docs59
Gemini 3.1 Pro Preview· Keelemudelite mõõdupuu data docs72.3
Gemini 3.5 Flash· Keelemudelite mõõdupuu data docs64
Gemini 3.6 Flash· Keelemudelite mõõdupuu data docs63.3
Gemini 3.7 Flash· Keelemudelite mõõdupuu data docs70.3
Gemini 3.8 Flash· Keelemudelite mõõdupuu data docs73.3
Gemini 4 Argon· Keelemudelite mõõdupuu data docs70
Gemma 2 27B IT· Keelemudelite mõõdupuu data docs11.3
Gemma 3 27B IT· Keelemudelite mõõdupuu data docs19.3
Gemma 4 31B IT· Keelemudelite mõõdupuu data docs18.3
GLM 4.7· Keelemudelite mõõdupuu data docs3.3
GLM 5· Keelemudelite mõõdupuu data docs24.3
GLM 5.2· Keelemudelite mõõdupuu data docs28
GLM 5.3· Keelemudelite mõõdupuu data docs29.7
GLM 5.3 Flash· Keelemudelite mõõdupuu data docs27
GPT 4· Keelemudelite mõõdupuu data docs36.7
GPT 4.1· Keelemudelite mõõdupuu data docs48.7
GPT 4o· Keelemudelite mõõdupuu data docs45.7
GPT 5· Keelemudelite mõõdupuu data docs54
GPT 5.2· Keelemudelite mõõdupuu data docs53
GPT 5.4· Keelemudelite mõõdupuu data docs61

Data credits: Keelemudelite mõõdupuu: Independent LLM leaderboard for Estonian. Eesti Keele Instituut. https://moodupuu.eki.ee, CC BY 4.0. Latest per-benchmark results selected with partial-run flags retained. (licence)