Comprehension algorithmique

We Don’t Understand Neural Networks At The Algorithmic Level, A. H. Zakai (kripken) (billet).

Le billet reprend les trois niveaux de Marr : computationnel (l’objectif), algorithmique (le comment), physique (l’implémentation). On comprend les réseaux au niveau computationnel et au niveau physique, mais pas au niveau algorithmique : on ignore quels algorithmes ils exécutent vraiment. Mathématiquement Turing-complets, mais l’algo concret reste une question scientifique ouverte, sans dimension métaphysique sur la conscience. Les réseaux construisent bien des représentations internes (échecs, langage), des modèles du monde, mais le “comment” reste à élucider.

Pourquoi en périphérie de forge : rappel d’humilité. Si on ne sait pas quel algo tourne dedans, la validation passe par le comportement (specs, oracles), pas par l’introspection du modèle. Ça justifie au fond toute la démarche de validation sémantique.

À creuser : ce que ça change pour valider un agent dont on ne lit pas l’algorithme interne ? Liés : world-models, intent-formalization, forge