World models

World Models, David Ha & Jürgen Schmidhuber, 2018 (arxiv 1803.10122). Trois composants :

• V (VAE) : compresse l’observation en un latent spatial z ;
• M (RNN / MDN-RNN) : modélise la dynamique temporelle, prédit le futur z ;
• C (contrôleur) : une politique minuscule qui opère sur les features de V + M.

L’idée forte : entraîner l’agent entièrement dans son propre modèle du monde halluciné (le “rêve”), puis transférer la politique vers le réel. Modèle du monde lourd, contrôleur léger.

Pourquoi pour forge : la partie world model, un agent qui se construit une représentation interne de son environnement pour planifier et agir sans tout réessayer en vrai.

À creuser : ce que serait concrètement le world model de forge (état du repo ? du pipeline ?) et le V/M/C correspondants ? Liés : forge