DeepSquare: Was Schach über Entscheidungen unter Zeitdruck zeigt

Jede zusätzliche Prüfung hat einen Preis

Im Schach sind Züge und Regeln bekannt. Trotzdem ist der Raum möglicher Partieverläufe für eine vollständige Suche viel zu groß. Eine Engine muss auswählen, welche Fortsetzungen sie genauer untersucht und wie sie noch nicht vollständig berechnete Stellungen bewertet. Dabei zählt auch, wie viel Zeit eine einzelne Bewertung benötigt. Eine aufwendigere Einschätzung kann die Auswahl verbessern, lässt aber weniger Zeit für weitere Suche.

Die AlphaZero-Arbeit von Silver und Kollegen zeigt eine bekannte Verbindung aus gelernter Bewertung und Baumsuche. Sie belegt ein Verfahren unter den beschriebenen Versuchsbedingungen. Für ein eigenes Projekt bleibt die technische Frage offen, welche Kombination von Bewertung, Suche und Zeitsteuerung die beste Leistung im vorgesehenen Betrieb erreicht. Diese Kombination muss als Gesamtsystem untersucht werden.

Quellen: Silver et al.: AlphaZero, Science (2018)

Vier Aussagen verlangen vier Nachweise

Die Entwicklung wird übersichtlicher, wenn jede Messung eine klar begrenzte Frage beantwortet. Ein bestandener Regeltest belegt etwas anderes als ein schnellerer Rechenlauf. Auch mehr berechnete Stellungen pro Sekunde rechtfertigen für sich genommen keine Aussage über die Qualität des gewählten Zugs.

• KorrektheitWerden Regeln, Zustände und vereinbarte Funktionen in den geprüften Fällen richtig behandelt?
• EffizienzWird dieselbe festgelegte Rechenarbeit unter vergleichbaren Bedingungen schneller oder mit weniger Ressourcen erledigt?
• SpielstärkeErzielt die vollständige Engine gegen definierte Gegner unter festgelegten Bedingungen belastbar bessere Ergebnisse?
• ÜbertragbarkeitVerbessert ein Ansatz auch die Entscheidung im neuen Anwendungsbereich? Dafür sind eigenständige Tests erforderlich.

Quellen: Stockfish: Creating a test on Fishtest

Das Zeitbudget gehört zum Versuch

Angenommen, eine Änderung beschleunigt die Stellungsbewertung, übersieht aber häufiger einen wichtigen Zusammenhang. Die Engine könnte mehr Stellungen untersuchen und trotzdem schlechter spielen. Umgekehrt kann eine langsamere Bewertung helfen, wenn sie die Suche gezielter führt. Ein sinnvoller Vergleich hält deshalb Hardware, Konfiguration und Versuchsbedingungen fest und prüft die Wirkung unter dem tatsächlich relevanten Zeitbudget.

Auch die Auswahl der Stellungen beeinflusst das Ergebnis. Eine Verbesserung an bekannten Entwicklungsfällen muss sich an bisher ungenutzten Aufgaben und in Partien bewähren. Gegner, Eröffnungen, Farbverteilung und statistische Unsicherheit gehören in den Bericht. Die offizielle Stockfish-Testmethodik illustriert diese Trennung durch Laufzeitmessungen und gesonderte Spielstärketests mit unterschiedlichen Bedenkzeiten. Ein eigener Nachweis muss die Bedingungen des eigenen Systems abbilden.

Quellen: Silver et al.: AlphaZero, Science (2018)Stockfish: Creating a test on Fishtest

Was sich aus dem Testfeld lernen lässt

DeepSquare beschreibt auf seiner öffentlichen Engine-Seite die Weiterentwicklung von Spielstärke, nachvollziehbaren Entscheidungen und unterschiedlichen Spielcharakteren. Menschlich verständliche Erklärungen und weitere Funktionen werden dort als schrittweise Entwicklungsziele eingeordnet. Die interessante Forschungsfrage ist, wie solche Ziele zusammenwirken und mit jeweils passenden Nachweisen bewertet werden können.

Für betriebliche Entscheidungen bietet Schach vor allem methodische Anregungen: Alternativen explizit machen, Rechenzeit begrenzen, Bewertungen prüfen und Ergebnisse reproduzierbar vergleichen. Die Grenze ist ebenso wesentlich. Im Schach sind Regeln, Spielzustand und Ergebnisdefinition außergewöhnlich klar. Unternehmen arbeiten mit fehlenden Informationen, veränderlichen Rahmenbedingungen und mehreren Zielen. Ein gutes Schachergebnis liefert deshalb keinen Nachweis für Leistung im Feld. Dort beginnt eine neue, fachlich eigenständige Prüfung.

Quellen: DeepSquare: Engine