Face aux consoles à 1 000 $, Sony brevete une IA sur GPU capable de « trouer » les images pour alléger le Cloud Gaming
Alors que l’envolée historique du prix des puces mémoire GDDR7 et de la flash NAND menace de propulser le tarif des futures PlayStation 6 et Xbox Project Helix vers la barre symbolique des 1 000 dollars, le jeu en nuage s’impose plus que jamais comme une porte d’entrée stratégique pour la prochaine génération. Mais pour que le streaming remplace crédiblement une machine locale sur une connexion domestique imparfaite, encore faut-il briser le plafond de la bande passante et de la latence réseau. C’est précisément l’objectif du brevet US 2026/0340791 A1, déposé le 20 avril 2026 par Sony Interactive Entertainment Europe Limited et publié officiellement le 29 octobre 2026 par l’Office américain des brevets et des marques (USPTO).
Deux réseaux neuronaux appariés pour découper l’image à la source avant l’encodage vidéo
Intitulé « Techniques for reducing data content in an image » et signé par les ingénieurs Andrew James Bigos et Matthew William Sanders (classification US 382/100, 20 revendications), ce document d’ingénierie s’inscrit dans un contexte économique tendu, où la direction de Sony temporise encore sur le prix et le calendrier de la PlayStation 6 face à la crise de la RAM. Plutôt que de compresser aveuglément une image complète avec un codec lourd qui dégrade toute la scène en cas de baisse de débit, l’architecture inventée par les équipes londoniennes de PlayStation scinde le pipeline en deux modèles d’apprentissage automatique entraînés conjointement :
- Un réseau de décimation (Decimation Network, côté serveur) : exécuté directement après le rendu GPU sur les serveurs de streaming de Sony, ce premier modèle analyse chaque frame et supprime délibérément des portions entières de l’image pour y creuser une multitude de « trous » (plurality of holes) avant même l’étape de compression par le codec vidéo (étape 108 de la Figure 1).
- Un réseau de reconstruction (Reconstruction Network, côté joueur) : installé sur l’appareil client (console PlayStation, lecteur à distance PlayStation Portal ou casque de réalité étendue VR / XR explicitement mentionné dans les revendications), ce second modèle reçoit le flux allégé, le décode et reconstitue localement les zones manquantes avant l’affichage à l’écran.
Grille de scores à 0,4 et « pixels d’ancrage » : l’arme de Sony contre les hallucinations de l’IA
Les planches techniques 3, 4a et 4b du brevet détaillent avec une grande précision mathématique la manière dont le serveur décide ce qu’il peut sacrifier sans que l’œil du joueur s’en aperçoive. Lorsqu’une image de jeu (référence 200 sur la Figure 3, illustrant des personnages devant une forêt de conifères) arrive dans le premier modèle de données, elle est superposée à une carte d’importance (Importance Map, 206) qui attribue à chaque cellule de la grille un score compris entre 0 et 1.
Dans l’exemple chiffré fourni par Sony à l’USPTO (Figure 4a), un seuil de coupure est fixé à 0,4. Toutes les cases dont le score d’intérêt visuel est strictement inférieur à 0,4 (notées 0, 0.1, 0.2 ou 0.3, correspondant aux grands aplats de ciel ou aux textures de sol uniformes) basculent à 0 dans le masque binaire (Figure 4b) et sont purement effacées. À l’inverse, les silhouettes des personnages et les détails géométriques des arbres, qui affichent des scores compris entre 0,4 et 1,0, passent à 1 dans le masque et sont transmis intégralement.
| Étage du pipeline (US 2026/0340791 A1) | Localisation matérielle | Opération neuronale et paramètres clés |
|---|---|---|
| 1. Carte d’importance (Fig. 3 & 4a) | Serveur Cloud / PS5 hôte | Découpage en grille (204) et notation de chaque région de 0,0 à 1,0 selon sa complexité visuelle |
| 2. Réseau de décimation (Fig. 1 & 4b) | Serveur Cloud (étape 104) | Mise à zéro et suppression des cellules inférieures au seuil (ex. < 0,4) selon le taux de compression ciblé |
| 3. Insertion d’ancres (Fig. 2, 106a/b) | Serveur Cloud avant codec | Injection de pixels d’ancrage (anchor elements) au cœur des cavités larges pour guider la reconstruction |
| 4. Réseau de reconstruction (Fig. 6) | Client (Console, Portal, casque XR) | Décodage du flux (404) et remplissage neuronal (406/408) contraint par les pixels d’ancrage |
| 5. Boucle d’entraînement (Fig. 7) | Infra R&D Sony (blocs 510-520) | Fonction de perte double évaluant simultanément la compacité du fichier décimé et la fidélité finale |
Toutefois, effacer de larges pans d’une image pose un piège bien connu des spécialistes du rendu neuronal : laissé à lui-même pour reboucher un vide (inpainting), un réseau génératif a tendance à inventer des détails qui n’existaient pas dans la scène originale. Pour éliminer ce risque d’hallucination visuelle, les étapes 106a et 106b de la Figure 2 introduisent un mécanisme d’éléments d’ancrage (anchor elements). Avant d’envoyer l’image trouée au codec, le premier modèle sélectionne quelques pixels de référence authentiques et les dépose au milieu des zones vides les plus vastes.
À la réception (Figure 6, étapes 402 à 408), le second modèle neuronal s’appuie sur ces pixels témoins comme des balises de couleur et de luminance pour reconstruire l’arrière-plan sans jamais trahir la direction artistique ni créer de faux artefacts susceptibles de tromper le joueur. Mieux encore, l’étape 103 prévoit un ajustement dynamique en temps réel : si la bande passante Wi-Fi ou fibre du joueur chute brusquement, le serveur augmente la taille des découpes et ajuste le nombre d’ancres pour maintenir une réactivité constante. Cette brique de streaming complète directement le brevet Generation Super Sampling de Sony qui prédit les images via les sticks de la DualSense.
Voir les disponibilités du PlayStation Portal et des accessoires PS5 sur Amazon→
Une réponse technique taillée pour le PlayStation Portal, les casques XR et l’ère PS6
En réduisant drastiquement l’entropie visuelle avant même le passage dans l’encodeur matériel (H.265/HEVC ou AV1), les blocs de pixels mis à zéro ne coûtent pratiquement aucun bit à transmettre sur le réseau. Pour Sony Interactive Entertainment, le bénéfice est double : alléger la facture de bande passante de ses centres de données PlayStation Plus Premium tout en stabilisant le Remote Play et le Cloud Streaming direct sur le PlayStation Portal ainsi que sur de futurs terminaux nomades ou casques de réalité mixte.
Mon avis sur cette fiche technique
Sur le papier, l’idée de creuser des cavités dans les zones à faible entropie d’une frame avant de la confier à l’encodeur vidéo s’attaque au vrai goulot d’étranglement du Cloud Gaming : le temps de sérialisation et de transport des paquets sur des lignes domestiques sujettes au bufferbloat. En remplaçant des milliers de pixels de ciel, de bitume ou de brouillard volumétrique par des zéros binaires accompagnés de quelques pixels d’ancrage, le débit binaire instantané (bitrate) chute verticalement, ce qui évite aux trames d’attendre dans les files réseau. Nous n’avons pas encore eu ce matériel entre les mains à la rédaction : si le constructeur souhaite nous confier un exemplaire de test pour le passer sur notre protocole complet en conditions réelles, notre banc d’essai lui est grand ouvert.
En revanche, deux contraintes physiques méritent d’être surveillées de très près lors du passage du brevet au silicium. D’une part, le budget temps d’une image à 60 FPS n’est que de 16,67 millisecondes : pour que l’opération soit rentable sur la latence bout-en-bout, il faut que l’inférence du réseau de décimation côté serveur additionnée à celle du réseau de reconstruction sur la puce mobile du client s’exécute en moins de 1,5 à 2 millisecondes, faute de quoi le temps gagné sur le réseau sera perdu en calcul NPU. D’autre part, la stabilité temporelle entre deux images consécutives reste le juge de paix : si les trous découpés sous le seuil de 0,4 bougent d’une frame à l’autre, le moindre écart de teinte dans la reconstruction provoquera un fourmillement (shimmering) en périphérie du regard. C’est sur les grands jeux solo contemplatifs et sur l’écran 1080p d’un PlayStation Portal que cette approche a toutes les chances de briller en premier, bien avant de pouvoir rivaliser avec un rendu local natif sur un FPS compétitif.
Retrouvez Pro-Gamer en priorité sur Google
Ajoutez pro-gamer.fr à vos sources préférées pour retrouver nos guides et actus directement dans votre flux Google Discover et vos résultats de recherche.
Passionné de hardware et de jeu vidéo, Arthur « Heimdall » navigue entre la France et l'Angleterre où il travaille dans la vente de solutions logicielles B2B. Diplômé d'école de commerce et passionné de bancs d'essai, il monte et démonte des PC depuis son enfance, traquant chaque degré thermique et chaque milliseconde de latence d'affichage. Joueur éclectique passé par Assassin's Creed et Roblox, c'est sur les raids de World of Warcraft qu'il a rencontré Grimtag et Chaya avant de rejoindre l'aventure Pro-Gamer.
