124 outils MCP, manette virtuelle et conduite en arrière-plan : comment un développeur fait jouer l’IA Claude à GTA 4 avant la sortie de GTA 6
À dix jours du lancement mondial de Grand Theft Auto VI (fixé au 19 novembre 2026), l’effervescence autour de la saga de Rockstar Games inspire les expérimentations techniques les plus audacieuses. Sur le forum r/ClaudeAI de Reddit, le développeur connu sous le pseudonyme Wonderful-Ad-8579 a dévoilé et publié en open-source sur GitLab son projet LLM Game Automation MCP. Son idée : relier l’agent Claude Code d’Anthropic à un serveur Model Context Protocol (MCP) capable de lancer et de jouer à Grand Theft Auto IV en tâche de fond sous Windows 10 et Windows 11, sans jamais bloquer l’écran ni confisquer la souris et le clavier du PC.
Une DLL injectée dans la swapchain et un périphérique virtuel par processus
Jusqu’ici, la plupart des dispositifs permettant à une intelligence artificielle de jouer sur PC reposaient sur l’API Windows SendInput combinée à des captures d’écran du bureau complet. Une approche contraignante qui oblige à laisser le jeu au premier plan, immobilise le curseur physique de l’utilisateur et interdit de faire tourner plusieurs instances en même temps. Pour contourner ce verrou, le socle bas niveau baptisé vinput adopte une isolation stricte par processus.
Concrètement, l’exécutable en ligne de commande (vinput.exe) injecte une bibliothèque C++ (vinput64.dll ou vinput32.dll, épaulée par MinHook) directement au cœur du processus du jeu cible et communique avec elle via un tube nommé dédié. Au lieu de photographier l’écran Windows, l’outil extrait chaque image directement depuis la swapchain du moteur graphique (via un hook sur la fonction Present en Direct3D 9, Direct3D 11, Direct3D 12, OpenGL, Vulkan ou DirectDraw, avec conversion automatique des flux HDR en 8 bits). Même lorsque la fenêtre de GTA IV est entièrement recouverte par un navigateur web ou un éditeur de code, l’agent continue de percevoir chaque image calculée par le GPU.
Du côté des contrôles, vinput simule le focus actif à l’intérieur du jeu, intercepte les messages de désactivation de Windows et achemine les actions de l’IA sur tous les canaux scrutés par les moteurs : messages fenêtrés (WM_KEYDOWN et WM_CHAR), Raw Input, DirectInput 8 (avec un curseur virtuel qui neutralise le piège de capture souris propre à GTA IV) ainsi qu’une manette virtuelle XInput pad 0 (XInputGetState). Tandis qu’Anthropic a récemment bridé secrètement Claude Code pour lui interdire de cloner des jeux vidéo, cette passerelle MCP transforme l’agent en véritable joueur autonome. Conçu exclusivement pour les titres solo hors-ligne, le module intègre d’ailleurs un garde-fou qui refuse toute injection dès qu’il détecte la présence d’un système anti-triche comme EasyAntiCheat ou BattlEye.
Du quai de Liberty City à l’hélicoptère : Claude Code s’auto-corrige en boucle fermée
Dans la séquence vidéo enregistrée en temps réel et sans montage par le créateur, on observe Claude conduire prudemment Niko Bellic à travers les carrefours chargés de Liberty City jusqu’à un point de passage GPS, faire décoller un hélicoptère et marcher jusqu’à un marqueur de mission. Par-dessus la bibliothèque C++, un serveur MCP écrit en TypeScript (qui aligne désormais 124 outils dans sa version v0.5.3 publiée ce 9 novembre, dont nav_go, nav_perceive, click_text par reconnaissance optique Windows.Media.Ocr ou encore aim_shoot) orchestre les décisions du modèle.
Plutôt que de coder des scripts rigides pour chaque titre, l’architecture repose sur des profils de navigation JSON (nav-profile@1) décrivant la géométrie de l’interface, les couleurs du radar et les règles d’arrivée. Le dépôt embarque déjà 21 profils préconfigurés : outre GTA IV Complete Edition et GTA V Enhanced, on y retrouve GTA: The Trilogy – The Definitive Edition, Red Dead Redemption (à cheval et à pied), Sleeping Dogs, Watch_Dogs, Far Cry 3, Far Cry 5, Dishonored, Hogwarts Legacy, The Elder Scrolls III: Morrowind, Kingdom Come: Deliverance, Dragon Age: Inquisition et Halo Wars 2, complétés par des sessions de test sur Detroit: Become Human, Cities: Skylines et Totally Accurate Battle Simulator.
Le détail le plus marquant réside dans la méthode de développement : selon Wonderful-Ad-8579, c’est Claude Code lui-même (assisté ponctuellement par Codex) qui a planifié l’architecture, rédigé l’essentiel du code et assuré le débogage autonome. Chaque agent se voit confier un jeu comme banc d’essai et un problème concret à résoudre, comme une voiture qui cale sur une intersection. L’IA lance le jeu via le serveur MCP, identifie ce que les capteurs lisent mal, corrige le code, puis compare ses performances avant et après sur le même parcours. C’est ainsi que l’agent a découvert que maintenir la touche de frein dans GTA IV faisait reculer une voiture déjà immobilisée, ajustant son module de conduite pour ne freiner que lorsque le véhicule roule vers l’avant et validant un score de 3 trajets réussis sur 3 entre le quai d’arrivée et l’appartement de Roman.
Cécité sans mini-carte et visée assistée à la manette : les vraies limites du modèle
Malgré cette prouesse d’ingénierie, le créateur reste très transparent sur les limites actuelles du modèle d’Anthropic en plein jeu. Dès que Niko Bellic pénètre dans un bâtiment ou évolue dans une zone dépourvue de mini-carte et de tracé GPS, l’agent perd sa boussole spatiale et éprouve les plus grandes difficultés à s’orienter en intérieur. Sur route ouverte, sa conduite demeure volontairement lente et méthodique afin de laisser au modèle le temps d’analyser la courbure du radar sans percuter le décor.
Les fusillades constituent l’autre grand défi technique. En visée purement optique à la souris, Claude peinait à aligner ses tirs sur des ennemis mobiles, affichant zéro élimination lors des premiers essais croisés sur GTA IV. Pour contourner cet obstacle dans la révision v0.5.3 déployée ce 9 novembre, l’outil combat_compass intègre désormais le mode pad_assist : l’agent maintient la gâchette gauche de sa manette virtuelle XInput pour enclencher le verrouillage natif de Rockstar et ne presse la détente que lorsqu’il détecte visuellement l’anneau de cible, passant ainsi de 0 à 16 éliminations sur le protocole de test. Alors qu’un vétéran de Rockstar comme Obbe Vermeij évoquait récemment le rôle de l’IA dans la décompilation de GTA IV et les futurs portages PC, l’intégralité du code source et des binaires précompilés de LLM Game Automation MCP est dès à présent téléchargeable gratuitement sur GitLab.
Mon avis sur cette fiche technique
Ce qui me bluffe dans l’architecture de vinput, ce n’est pas tant de voir Niko Bellic respecter prudemment les priorités à Liberty City que la boucle d’auto-évaluation imaginée autour du protocole MCP. En isolant la capture Direct3D et la manette XInput dans un tunnel par processus, ce développeur a fait sauter le principal verrou qui freinait les agents IA sur PC : pouvoir s’entraîner des heures en tâche de fond sans paralyser la machine hôte. Voir Claude Code diagnostiquer tout seul pourquoi son freinage enclenche la marche arrière dans GTA IV, réécrire sa propre logique et vérifier son gain statistique sur plus de 320 fichiers de tests prouve qu’en matière d’assurance qualité (QA) automatisée, l’industrie du jeu vidéo tient déjà là un laboratoire redoutable.
Grand Theft Auto 6 (GTA 6)
Retrouvez toutes les bandes-annonces, la fiche technique et les actualités dédiées à Grand Theft Auto 6 (GTA 6).
Retrouvez Pro-Gamer en priorité sur Google
Ajoutez pro-gamer.fr à vos sources préférées pour retrouver nos guides et actus directement dans votre flux Google Discover et vos résultats de recherche.
Passionné de hardware et de jeu vidéo, Arthur « Heimdall » navigue entre la France et l'Angleterre où il travaille dans la vente de solutions logicielles B2B. Diplômé d'école de commerce et passionné de bancs d'essai, il monte et démonte des PC depuis son enfance, traquant chaque degré thermique et chaque milliseconde de latence d'affichage. Joueur éclectique passé par Assassin's Creed et Roblox, c'est sur les raids de World of Warcraft qu'il a rencontré Grimtag et Chaya avant de rejoindre l'aventure Pro-Gamer.
