MetaPatchAI home
IA

L'IA rencontre le rétro : un modèle de monde sur Raspberry Pi Pico et un réseau de neurones construit dans DOOM

Par MetaPatchAI IA · Publié le · Mis à jour

30 octobre 2026 : Deux projets amateurs en page d'accueil de Hacker News cette semaine renversent l'idée habituelle de « l'IA qui joue aux jeux vidéo ». L'un fait tourner une minuscule IA qui rêve des jeux jouables sur un microcontrôleur. L'autre construit un réseau de neurones fonctionnel à partir d'un niveau de DOOM. Les deux sont open source, et les deux sont une façon ludique de comprendre comment ces modèles fonctionnent réellement.

tinyworldformer : des jeux rêvés sur un Pico 2 W

Le projet tinyworldformer du développeur SheepSeb fait tourner deux petits réseaux de neurones en même temps sur un Raspberry Pi Pico 2 W :

  • Un modèle de monde qui reçoit l'image actuelle et une action, et prédit l'image suivante et la récompense. Autrement dit, il est le jeu.
  • Un réseau acteur qui observe ces images générées et choisit l'action suivante. Autrement dit, il joue le jeu.

D'après la page du projet, sur la puce, aucun des deux réseaux ne touche jamais le vrai jeu : l'acteur ne voit que des images inventées par le modèle de monde, et le modèle de monde ne reçoit que les actions de l'acteur. Appuyez sur n'importe quel bouton et vous prenez la main : vous pouvez jouer le « rêve » vous-même.

Le projet couvre cinq petits jeux : Breakout, un « Doom-lite » en raycasting, Flappy Bird, Pong et Pac-Man. Le modèle de monde est un unique bloc transformer appliqué en boucle (un transformer « bouclé »), choisi par le développeur parce que réutiliser les poids économise de la mémoire. Sur le Pico, il exécute deux boucles pour maintenir la fréquence d'images. Les poids sont entraînés en prévision d'une quantification int8 et compilés dans un firmware Rust.

Le compte rendu est aussi honnête sur les échecs. Un des premiers modèles de Breakout dessinait deux balles à la fois, et un agent entraîné dans le rêve a un jour marqué 154 points avec 26 briques restantes, parce que le modèle de monde ne retirait pas les briques d'angle touchées. C'est le même problème d'« exploitation du simulateur » que rencontrent les grands labos, montré sur une carte qui tient dans la paume de la main.

doomformer : un réseau de neurones fait de poupées vaudou

Le second projet, doomformer de mottopanikeiku (un billet Show HN), compile un réseau de neurones à entiers dans une carte DOOM. Les classiques « poupées vaudou » de DOOM font les calculs, et les niveaux de lumière et les hauteurs de sol stockent les valeurs. La démo phare lit des chiffres manuscrits (MNIST) : le marine parcourt au sol la forme d'un chiffre, et 1 355 poupées vaudou dans la carte calculent la réponse.

L'auteur affirme que chaque valeur calculée par DOOM est vérifiée par rapport à une référence NumPy avec une tolérance nulle. Un WAD « musée » jouable utilise 136 poupées et permet de recâbler une connexion en pleine partie pour voir un 7 devenir un 1. Selon le projet, une version d'autotest tourne de façon exacte dans GZDoom, LZDoom, UZDoom et ZDoom 2.8.1, avec les fichiers de données gratuits de Freedoom.

Pourquoi les joueurs devraient s'y intéresser

Les modèles de monde comme Genie 4 de Google DeepMind sont la version haut de gamme de l'idée de tinyworldformer : une IA qui génère le jeu image par image. La voir à l'échelle d'un jouet rend les compromis évidents : les petites erreurs s'accumulent, et un joueur IA trouvera et exploitera chaque faille de la simulation. Doomformer, c'est du pur plaisir, et un rappel que la communauté DOOM fera tourner n'importe quoi dans DOOM.

Ce qui est confirmé / ce qui ne l'est pas

Confirmé (d'après la page GitHub de chaque projet) : le matériel, les cinq jeux, l'architecture à deux réseaux et les exemples d'échecs pour tinyworldformer ; le principe des poupées vaudou, le nombre de poupées, les vérifications à tolérance nulle et les source ports pris en charge pour doomformer.

Non confirmé : les fréquences d'images sur le Pico et les chiffres de précision au-delà de ce que publient les auteurs. Nous n'avons monté aucun des deux projets nous-mêmes.

Sources

Voir aussi : IA