Dans un article du Financial Times, Bender est présentée comme sceptique face à l’engouement autour des grands modèles de langage. Elle affirme que ces systèmes ne comprennent pas vraiment le langage et que les promesses de révolution technologique ou marketing industriel sont surévaluées. Nous pouvons déduire tout cela grâce à ce post X et à certains articles.
Des commentateurs débattent de la validité des arguments linguistiques contre les modèles de langage statistique, certains considérant que Bender sous-estime certains progrès empiriques du deep learning.
Il a répondu à la critique en tweetant “i am a stochastic parrot, and so r u”, une manière ironique de reprendre et retourner la métaphore de Bender pour minimiser son argument sur l’absence d’intelligence réelle dans les grands modèles de langage.
Il conteste l’idée que les LLM soient simplement des « parrots », arguant que ces systèmes montrent des comportements émergeants, une adaptation à des tâches nouvelles et une capacité à faire des inférences qui dépassent la simple répétition statistique. Goldberg dit que sa critique repose sur une définition trop étroite de la « compréhension » plutôt que sur les performances observables des modèles.
Dans un préprint intitulé The Slodderwetenschap (Sloppy Science) of Stochastic Parrots, il qualifie la thèse de Bender et de ses co-autrices de science bâclée (sloppy science), accusant l’article d’être davantage un manifeste qu’un travail scientifique rigoureux, et d’ignorer la nécessité d’un examen coûts-bénéfices équilibré dans l’évaluation des LLM.
