Une nouvelle étude scientifique, publiée fin octobre par Yann LeCun et Randall Balestriero, suggère que la performance d'une intelligence artificielle ne dépend pas nécessairement de sa taille colossale. En s'appuyant sur les architectures JEPA, les chercheurs démontrent qu'un modèle compact, correctement entraîné, peut surpasser des systèmes 660 fois plus volumineux dans sa compréhension du monde.
La démonstration du théorème platonicien
L'étude s'attaque à l'hypothèse dite « platonicienne », qui postule que des modèles d'IA entraînés sur des données différentes finissent par converger vers une représentation interne commune du monde. Si cette idée était jusqu'ici une simple observation empirique, les chercheurs d'AMI Labs affirment l'avoir transformée en théorème pour les architectures JEPA (Joint-Embedding Predictive Architectures). Selon leurs travaux, ces modèles parviennent à aligner leurs représentations internes dès lors qu'ils sont exposés à des « bonnes vues », c'est-à-dire des observations corrélées d'une même scène, comme une image associée à sa description textuelle.
L'efficience contre la course aux paramètres
Les résultats expérimentaux mettent en lumière un écart frappant avec les modèles de langage actuels (LLM). Un système JEPA de 109 millions de paramètres a démontré une capacité d'alignement supérieure à celle de modèles atteignant 72 milliards de paramètres, comme Qwen2.5-72B. Au-delà de la précision, l'efficience est notable : le modèle compact nécessite 42 fois moins d'exemples d'entraînement pour atteindre des performances équivalentes. Cette approche remet en question la stratégie actuelle de l'industrie, qui consiste à empiler massivement les unités de calcul (GPU) pour accroître la puissance des modèles.
Un changement de paradigme pour l'industrie
Pour Yann LeCun, cette publication renforce sa position critique vis-à-vis des LLM traditionnels, qu'il juge inadaptés pour atteindre une véritable compréhension du monde physique. Bien que ces travaux n'aient pas encore fait l'objet d'une relecture par les pairs et que la métrique d'alignement utilisée ne garantisse pas une supériorité dans toutes les tâches complexes, l'enjeu est majeur. Si la qualité des données d'entraînement devient le facteur déterminant plutôt que le volume de paramètres, cela pourrait offrir une alternative durable face à la crise de la consommation énergétique des centres de données et aux contraintes matérielles croissantes du secteur technologique.