Haeufige Fragen.

Ein offenes Forschungs-Labor von uns. Wir lassen fuenf KI-Spieler Schach spielen — Mo-Fr spielt jeder einmal pro Woche gegen Stockfish (ca. 900 ELO, eine kostenlose Schach-Engine; ein Spiel pro Tag um 18 Uhr spanischer Zeit, ein rotierender Agent), am Wochenende im Turnier gegeneinander. Jeder Spieler ist eine andere KI von Anthropic (Haiku, Sonnet und Opus heissen die Modelle). Vier der fuenf haben ein eigenes Memory in das sie nach jedem Spiel ihre Lektionen schreiben. Der fuenfte (Sonnet ohne Memory, mit Web-Suche) ist die Kontroll-Gruppe.

Wir wollen nicht das beste Schach-Programm bauen. Wir wollen wissen: hilft ein Memory einer KI dabei besser zu werden? Hilft es dem kleineren Modell mehr als dem grossen? Holt der Lernende den auf der gleichen Stufe ohne Lernen ein? Schach ist nur die Buehne — der gleiche Aufbau funktioniert spaeter auch fuer Kunden-Beratung, Texte schreiben oder Daten auswerten.

Echt Schach. Jede KI bekommt das Brett im Klartext gezeigt, denkt sich Zuege aus, prueft ob die Zuege erlaubt sind, waehlt einen aus und spielt ihn. Wir benutzen kein Schach-Engine das die KI nach den besten Zuegen fragt — das waere ja kein Test der KI selbst. Die einzige Schach-Hilfe die immer an ist heisst chess.js und sagt nur "dieser Zug ist nach den Regeln erlaubt" oder "ist es nicht". Was die KI zieht, entscheidet sie aus eigenem Kopf.

Direkt auf der Startseite. Du siehst das laufende Spiel mittig im Spotlight — den Zug-Pfeil, den Pipeline-Rail links der das Denken der KI zeigt, und den Live-Feed mit Zuegen und Memory-Hits darunter. Wenn du auf einen Spieler klickst, siehst du die letzten Spiele und seine aktuelle ELO-Zahl. Wenn du auf "Spiel im Detail ansehen" klickst, siehst du jeden Zug einzeln mit der Begruendung warum die KI ihn gespielt hat.

Nein. Das ist offene Forschung. Du kannst zuschauen, die Daten ansehen, die Berichte lesen — alles kostenlos. Was uns Geld kostet sind die KI-Aufrufe selbst (jeder Zug kostet ein paar Cent), das tragen wir.

Das ist eine Schaetzung, keine echte Rechnung. Unsere KIs laufen ueber eine Flatrate, ein einzelnes Spiel kostet uns also nicht wirklich diese Dollar. Die angezeigte Zahl ist, was die gleichen Zuege beim oeffentlichen Token-Preis der API kosten wuerden — ein nuetzlicher Massstab um zu vergleichen wie "teuer" eine gruendliche Opus-Partie gegenueber einer schnellen Haiku-Partie ist, aber kein Geld das pro Spiel fliesst.

Einmal pro Tag um 18 Uhr spanischer Zeit (ein rotierender Agent). Die fuenf Agenten wechseln sich ab sodass jeder genau einmal pro Woche spielt — 5 Spiele pro Woche insgesamt. Montag bis Freitag spielen unsere KIs gegen Stockfish — das ist ein bekanntes Schach-Programm das wir als Massstab nehmen. Samstag und Sonntag spielen die KIs gegeneinander, das nennen wir Turnier.

Unter der Haube sorgt eine Software namens Temporal dafuer dass die Spiele puenktlich starten und keiner verloren geht wenn der Server mal kurz hustet. Wenn ein Spiel laeuft, ueberspringt sie das naechste (kein Stau, keine doppelten Spiele).

Stockfish ist das mit Abstand staerkste frei verfuegbare Schach-Programm der Welt. Es laeuft auf Millionen Computern, jeder Profi-Spieler nutzt es zur Vorbereitung, es ist seit Jahren in den meisten Stellungen staerker als jeder Mensch. Stockfish ist also der harte Massstab. Wir lassen unsere KIs nicht gegen Stockfish spielen weil wir glauben dass sie gewinnen — wir lassen sie spielen damit wir messen koennen wo sie stehen und ob sie ueber die Wochen besser werden.

Das Wochenende ist ein KO-Turnier. Samstag: eine Vorrunde (Seed 4 gegen Seed 5) plus zwei Halbfinals (Seed 1 gegen diesen Sieger, Seed 2 gegen Seed 3), alle nach ELO gesetzt. Sonntag: die zwei Halbfinal-Sieger spielen ein Spiel um den Titel. Ein Spiel pro Runde (4 total); der hoeher Gesetzte hat Weiss und kommt bei Remis weiter. Wer das Finale gewinnt ist Champion der Woche.

Aktuell wird er einfach auf der Tournaments-Seite vermerkt und die ELO-Zahlen aller Teilnehmer werden nachjustiert. Das war es. Wir sammeln die Wochen-Champions ueber Monate damit wir spaeter sagen koennen welcher Spieler-Typ (Tier-Stufe + Memory ja/nein) am haeufigsten oben steht.

ELO ist eine Zahl die zeigt wie stark ein Schach-Spieler ist. Je hoeher, desto staerker. Sie wurde von Arpad Elo erfunden (daher der Name) und wird heute fuer fast alle Spiele mit zwei Seiten genutzt — von Schach ueber Tennis bis League of Legends.

Bei uns starten alle KI-Spieler bei 1000. Nach jedem Spiel rechnen wir nach: wer gewinnt nimmt Punkte vom Verlierer mit. Wieviele Punkte haengt davon ab wie wahrscheinlich der Sieg war. Wer den Favoriten schlaegt kassiert viele Punkte, wer den Aussenseiter schlaegt nur wenige. Bei einem Unentschieden gibt es nur einen kleinen Punktetausch.

Bei uns gibt es zwei Stellschrauben dabei. Erstens: wir lassen die Zahl nie unter 100 fallen (das nennen wir den Boden), damit kein Spieler in den Keller stuerzt von dem er nicht mehr rauskommt. Zweitens: in den ersten 20 Spielen aendert sich die ELO doppelt so schnell — danach wird sie ruhiger. So findet die KI in der Anfangsphase schneller ihr echtes Niveau und steht spaeter stabil.

Weil wir nicht behaupten wollen dass unsere KIs gleich auf Profi-Niveau sind. Magnus Carlsen hat ueber 2800 ELO. Ein guter Vereinsspieler liegt um 1600. Wir starten bewusst tief bei 1000 und lassen die KIs sich nach oben spielen. Das ehrlich gemessene Niveau ist uns wichtiger als eine schoene Zahl auf dem Papier. Wenn eine unserer KIs nach 200 Spielen bei 1400 steht, dann steht sie da wirklich — und wir koennen das vergleichen mit dem anderen Modell auf Position 1300.

Doch, fuer unsere KIs ist es unfair. Stockfish wird die meisten Spiele gewinnen. Das ist auch okay. Wir wollen nicht gewinnen — wir wollen einen festen Massstab. Stockfish ist immer gleich stark (wir koennen die Staerke fest einstellen). Damit ist Stockfish wie ein Lineal: jede Woche das gleiche Lineal, jede Woche koennen wir messen ob unsere KI gegen das Lineal besser oder schlechter geworden ist. Wenn die KI sich verbessert sehen wir das sofort — die Zahl der Niederlagen wird kleiner, die Spiele werden laenger.

Sobald ein Spiel zu Ende ist (Matt, Patt, Aufgabe oder 50 Zuege ohne Schlag), rechnet das System sofort die neue ELO fuer beide Seiten aus und schreibt sie in die Datenbank. Auf der Startseite und auf den Spieler-Seiten siehst du die neue Zahl beim naechsten Aufruf. Wir veroeffentlichen jede Woche eine Uebersicht: wer hat wieviele Spiele gespielt, wer ist auf welche ELO gekommen, wer hat sich am meisten verbessert.

Memory ist das Memory jeder KI. Nach jedem Spiel darf die KI ein paar Gedanken hineinschreiben — zum Beispiel "Wenn der Gegner mit dem Springer in die Mitte zieht, sollte ich die Bauern auf der Seite vorziehen statt Tausch anbieten". Vor dem naechsten Spiel und vor jedem Zug darf sie wieder hineinschauen und sich erinnern.

Das Memory wird von einem Tool namens mcp-nex betrieben (das ist ein anderes Produkt aus unserem Haus). Jede KI hat dabei ihren eigenen, abgeschlossenen Bereich. Die Memory-Eintraege von Haiku sind unsichtbar fuer Sonnet (mit Memory) und umgekehrt. Niemand kupfert beim anderen ab.

Jede KI hat einen Schalter-Block mit neun einzelnen Tools die wir je Spieler an- oder ausschalten koennen. So koennen wir vergleichen: bringt es etwas wenn der Spieler Tool X bekommt? Hier sind alle neun:

Weil wir die KIs selbst testen wollen, nicht die Tools. Wenn wir der KI ein Schach-Engine danebenstellen das ihr fluestert welcher Zug der beste ist, dann spielt nicht mehr die KI — dann spielt die Engine und die KI tippt nur ab. Das waere unfair gemessen.

Wir wollen wissen wie weit die KI mit ihrem eigenen Denken und ihrem Memory kommt. Deshalb sind nur die zwei Grund-Tools (Regeln pruefen, Figuren zaehlen) und das Memory standardmaessig an. Die starken Schach-Hilfen (Eroeffnungs-Datenbank, Endspiel-Datenbank, externe Engine) sind aus. Wir schalten sie nur ein wenn wir gezielt eine Vergleichs-Studie machen wollen — zum Beispiel "wieviel staerker wird die KI wenn sie die Eroeffnungs-Datenbank dazu bekommt?".

Der Kontroll-Spieler heisst chess-sonnet-control und bekommt kein Memory. Dafuer ist bei ihm die Web-Suche aktiv — seine Identitaet ist "vor jedem Zug nachschlagen". Er nutzt das gleiche KI-Modell wie Sonnet (mit Memory) — den Mittelfeld-Spieler — tauscht aber Memory gegen Web-Zugang. So koennen wir am Ende sagen: hat Sonnet (mit Memory) tatsaechlich durch das Memory besser gespielt, oder waere die Web-Suche der entscheidende Faktor gewesen, oder keines von beiden?

Ohne diesen Kontroll-Spieler waere unsere Forschung nicht ehrlich. Vielleicht spielen ja alle Sonnet-Modelle einfach von Natur aus besser im Laufe der Wochen weil sie sich an die Umgebung gewoehnen. Der Kontroll-Spieler zeigt uns ob das so ist.