6 Astra spielt Portal 1 autonom durch
Dass GPT-6 Astra in der Lage ist, Aufgaben eigenständiger als die Vorgänger zu lösen, ist einer der Fortschritte, die OpenAI ankündigte. Was das in der Praxis bedeutet, will nun ein X-Nutzer demonstriert haben: Ein auf GPT-6 Astra basierender Agent soll Valves Klassiker Portal 1 weitestgehend autonom durchgespielt haben.
Für den Durchlauf nutzte er GPT-6 Astra, zunächst im Maximum-Denkmodus, nach Kapazitätsfehlern schaltete er auf den „Fast Mode“ um. Inklusive der Wartezeit benötigte der Agent damit 23 Stunden und 43 Minuten, um Portal erfolgreich zu absolvieren.
Die Tokenpreise belaufen sich dem Nutzer cozyblaze zufolge auf 571 US-Dollar. Er ließ das Experiment aber über sein Codex-Abo für 200 US-Dollar im Monat laufen.
Steuerung über MCP-Schnittstelle und modifiziertes SourcePauseTool
Zugriff auf das Spiel erhielt GPT-6 Astra über einen lokalen MCP-Server und eine modifizierte Version des SourcePauseTool (SPT) – ein spezielles Werkzeug für Speedruns, Spielpausen und Tool-Assisted Speedruns (TAS). Der Agent kann Screenshots, Spielerposition und den Blickwinkel auswerten. Im Pausenmodus plante er die nächsten Schritte. Das können maximal bis zu 1.000 Eingaben sein oder rund 6.600 Ticks, was 99 Sekunden Spielzeit entspricht.
Die Eingaben sendete der Agent via JavaScript über den MCP-Server. Zurück kamen erneut Screenshots, die der Agent dann wieder auswertete und den nächsten Zug plante.
Cozyblaze erklärt, nur kaum in den Ablauf eingegriffen zu haben. Anfangs habe er das Ziel ausgegeben, dann sei noch der Umstieg auf den „Fast Mode“ infolge der Kapazitätsfehler erfolgt und die Anweisung gegeben worden, den Abspann laufen zu lassen. Das Gameplay erledigte der Agent demnach autonom.
Wie das dann aussieht, zeigt cozyplan in einem YouTube-Video. Die Denkpausen sind entfernt, das Video zeigt also nicht, wie schnell der Agent tatsächlich spielte.
Den Code und Hintergrundinformationen hat cozyblaze auf GitHub veröffentlicht. Wer will, kann den Agenten-Durchlauf also selbst testen. Neben dem Code benötigen Interessierte aber auch Portal als Originalspiel.
Videospiele als Testgelände für KI-Agenten
Wie sich KI-Modelle in Videospielen schlagen, ist immer wieder Teil von Experimenten. Cozyblaze verweist auf Aussagen von OpenAI. Das Unternehmen erklärte demnach schon im Jahr 2016, Agenten sollten irgendwann eine breite Palette an Spielen lösen können.
OpenAI experimentierte in der Folge dann genauso wie andere KI-Labs immer wieder mit Spielen. Im Juni 2022 – also noch Monate vor Start des ChatGPT-Hypes – berichtete das KI-Lab von den ersten Erfolgen in Minecraft wie dem Herstellen einer Diamantspitzhacke, die die Modelle eigenständig schafften. Für das Minecraft-Modell nutzte OpenAI damals 70.000 Stunden Minecraft-Videos auf YouTube.
Bei dem Portal-Experiment dürfte das Modell ebenfalls davon profitieren, dass es eine Vielzahl an Wikis, Dokumentationen und Video-Material zu dem Klassiker aus 2007 gibt. Es existierte also massenhaft Trainingsmaterial, sodass der Agent vermutlich sehr effizient planen konnte.