Das Chess-Lab ist beendet.

Was das war

Fünf KI-Schach-Agenten — vier mit Memory das sie vor jedem Zug nachlasen, einer ohne als Kontrolle. Werktags trat jeder gegen Stockfish an um den ELO-Wert zu messen, am Wochenende spielten die vier Haupt-Agenten ein Turnier gegeneinander. Build in public unter Studio Meyer, beendet Ende Mai 2026.

Was wir wissen wollen

Vier Fragen treiben uns.

Wie stark spielen LLMs eigentlich Schach?Aktuelle Forschung sagt: pure LLMs ohne Hilfe peaken bei etwa ELO 758 (durchschnittlicher Online-Hobbyspieler), manche verlieren sogar gegen Zufall. Wir testen ob unser Stack aus Memory + 9-Station Reasoning-Pipeline den Wert hochziehen kann — gemessen ehrlich an Stockfish.

Hilft das Memory wirklich?Vier der fünf Agenten haben Memory: sie schreiben sich nach jedem Spiel auf was sie gelernt haben, und lesen es vor dem nächsten wieder nach. Der fünfte (Sonnet ohne Memory) hat das gleiche Modell wie Sonnet mit Memory — aber kein Memory. Wenn die Memory-Agenten über Wochen besser werden und Control nicht, haben wir den sauberen Beleg dass Memory den Unterschied macht.

Hilft Memory dem kleineren Modell mehr? Wenn Haiku mit Memory-Eintraegen schneller besser wird als Opus ohne (relativ zu Modell-Tier), ist Memory eine Abkuerzung statt grosser Hardware.

Holt der Selbst-Optimierer auf? Sonnet (Selbst-Lerner) schraubt zusaetzlich an seinen eigenen Gedanken-Vorgaben (Darwin Prompt-Evolution). Wenn er Opus einholt, ist das ein starker Hebel.

Historie

Letzte Champions

Wer hat in den letzten Wochenenden das Turnier gewonnen:

• 2026-W22: Opus · 31.5.2026

Studie B

Der Kontroll-Agent

Neben den vier Haupt-Agenten läuft ein fünfter mit: Sonnet ohne Memory aber mit Web-Suche. Er nutzt das gleiche Modell wie Sonnet mit Memory, tauscht aber Memory gegen Web-Zugang — seine Identität ist "vor jedem Zug nachschlagen". Er kann nicht in eigene Eintraege schauen oder gespeicherte Gegner-Muster nachlesen, dafür aber im Netz nach Eröffnungs-Theorie, Mittelspiel-Pattern und Endspiel-Technik suchen. Sein Zweck ist der Vergleichswert: wenn die Memory-Agenten über Zeit besser werden und er nicht (oder umgekehrt), haben wir eine klare Antwort auf "schlaegt Memory die Web-Suche?". Er spielte werktags Calibration gegen Stockfish und war auch im Wochenend-KO dabei — so wurde die Memory-gegen-Web-Frage auch direkt am Brett getestet.

ELO: 996 nach 1 Spielen (0W / 1L / 0D) · Profil ansehen →

Rhythmus (beendet)

Wie es lief

Werktage Mo-Fr — Stockfish-Calibration: ein Spiel pro Tag um 18:00 Madrider Zeit, reihum sodass jeder der fünf Agenten einmal pro Woche spielte. Der Gegner war eine bewusst schwach gestellte Stockfish — Gegner, nicht Helfer, ohne der KI während des Spiels Tipps zu geben.

Wochenende Sa+So — KO-Turnier: Samstag eine Vorrunde plus zwei Halbfinals, Sonntag das Finale zwischen den zwei Halbfinal-Siegern — ELO-gesetzt, ein Spiel pro Runde, bei Remis kam der hoeher Gesetzte weiter, Sonntag Abend wurde der Wochen-Champion gekuert.

Mehr zum Aufbau in den häufigen Fragen.

Stack

Womit das Ganze gebaut ist

Jeder Zug läuft durch eine 9-Stationen-Pipeline aus dem LangGraph-Framework: das Brett anschauen, eigene Memory-Eintraege durchsuchen, Gegner-Muster nachlesen, Plan fassen, Kandidaten generieren, jeden Kandidaten auf Legalitaet pruefen, kurz drüber nachdenken, ziehen. Bewusst eingebaut: Engine-Hilfsmittel wie Stockfish-Bewertung oder Eröffnungs-Datenbank sind blockiert — die KI muss mit ihrem eigenen Reasoning + ihrem Memory arbeiten. Der Kontroll-Agent ist die Ausnahme: kein Memory, dafür Web-Suche an. Wer auf der Agenten-Seite klickt, sieht welche Werkzeuge für jeden Agenten freigegeben sind.

Die Live-Anzeige geht über Postgres-Trigger direkt in deinen Browser via SSE, ohne Polling. ELO-Werte werden alle 60 Sekunden neu geladen. Kosten und Reasoning-Trace landen parallel in Langfuse damit wir hinterher genau wissen wo jeder Cent geblieben ist.