Glossar: Benchmark-Begriffe einfach erklärt
Elo, Blended-Preis, Konfidenzintervall — hier steht, was die Zahlen auf unseren Benchmark-Seiten bedeuten.
Elo-Zahl
Die Bewertungszahl der LMArena. Zwei Modelle liefern auf dieselbe Frage Antworten, ein Mensch entscheidet blind, welche besser ist — aus Millionen solcher Duelle entsteht für jedes Modell eine Elo-Zahl (ähnlich wie im Schach). Höher = beliebter bei Menschen. Die Skala ist relativ: 1500 ist stark, jeder Punkt über ~1000 zeigt einen messbaren Vorsprung.
Intelligenz pro Euro
Unsere Kennzahl: LMArena-Elo geteilt durch den Blended-Preis (Euro pro 1 Mio. Token). Sie sagt, wie viel gemessene Qualität man für sein Geld bekommt. Ein Modell mit Elo 1450 bei 0,50 €/1M hat 2.900 Elo je Euro — doppelt so effizient wie eines mit 1450 Elo bei 1,00 €.
Blended-Preis
Ein Mischpreis aus Eingabe- und Ausgabe-Tokens im Verhältnis 3:1, in Euro pro 1 Million Token. Er macht Modelle mit unterschiedlichen Preisstrukturen vergleichbar. Wir rechnen mit dem EZB-Referenzkurs USD→EUR um.
Konfidenzintervall
Zu jeder Elo-Zahl liefert die LMArena eine Unter- und Obergrenze. Ein Modell mit Elo 1470 (1462–1478) liegt mit hoher Wahrscheinlichkeit in diesem Bereich. Überlappen sich die Intervalle zweier Modelle, ist ihr Unterschied statistisch nicht gesichert.
Snapshot (Datenstand)
Die LMArena veröffentlicht mehrmals pro Woche neue Auswertungen. Jeder Datenstand ist ein „Snapshot“ mit Datum. Wir zeigen immer das Datum an und zeichnen, wie sich Modelle zwischen Snapshots verändern.
Arena-Score (Agenten)
In den Agenten-Kategorien zeigt die LMArena keine Elo-Zahl, sondern einen Score von 0–100 %. Er misst, wie oft ein Modell mehrstufige Aufgaben mit Werkzeugen erfolgreich abschließt.
CC BY 4.0
Die Lizenz der LMArena- und Epoch-Daten: freie Nutzung und Weitergabe, solange die Quelle genannt wird — genau das tun wir. Unsere Preis-Daten stammen aus offiziellen Anbieter-Quellen.
Fragen? Zurück zu den Benchmarks · Methodik & Quellen