Les grands modèles de langues (GMLs) : Bien plus que des compléteurs automatiques
Cette itération provient de l’infolettre hebdomadaire que nous maintenons avec deux amis auquel je suggère fortement de s’abonner! Cliquez ici pour le faire :)
Lorsque nous pensons à la manière dont fonctionne le langage, il est évident que le sens d'un mot n'existe pas en isolation. Des mots comme "chaise" ou "chien" n'ont pas de sens en eux-mêmes. Ce ne sont que des lettres que nous avons regroupées pour représenter des concepts que nous reconnaissons entre-nous.
Le sens des mots provient de deux facteurs clés : les autres mots dans la phrase et les autres mots dans toutes les phrases que vous avez déjà entendu ou prononcé dans votre vie. Cette dualité de sens explique pourquoi les grands modèles de langues (GMLs ou LLM en anglais) sont si performants alimentés par (1) des mécanismes d'attention et (2) un entraînement intensif sur des millions (voire des billions) de phrases.
N'est-il pas ironique que le sens d'un mot provienne de tout sauf de lui-même ?
Ces deux facteurs clés reflète la manière dont les humains comprennent le langage. Nous tirons le sens du (1) contexte fourni et de (2) nos expériences passées.
Il est commun de croire que les GMLs autoregressifs ne sont que des compléteurs automatiques avancés. En réalité, ces GMLs font bien plus que prédire le prochain mot sur la base d'une simple probabilité statistique, comme c'est le cas avec les systèmes de complétion automatique de base. Les GMLs ne font pas qu’imiter la compréhension, ils y parviennent, de leur manière.
Note: Les modèles autoregressifs génèrent du texte un mot à la fois, en prédisant chaque mot en fonction du contexte précédent.
Contrairement aux GMLs, nous pensons et planifions avant de parler. Nous, nous ne pensons pas de facon autoregressive. Nous ne nous contentons pas d'attendre de prononcer un mot pour commencer à penser au suivant. Nous construisons des idées et des concepts, puis les mots et les phrases suivent. Ceci mène à l'une des capacités les plus fascinantes des GMLs, qu’on peut observer à travers l'utilisation des requêtes (ou prompts en anglais) par chaîne de pensée (CdP, ou Chain-of-Thought prompting (CoT) en anglais).
Le CdP permet à ces modèles d’imiter ce comportement de planification. Ils peuvent planifier leurs réponses, en s'éloignant des prédictions simplistes “mot par mot” typiques des modèles autoregressifs. Cette capacité rapproche encore plus les GMLs à une vraie forme d'intelligence, selon comment vous définissez l’intelligence.
Au lieu de générer des mots directement, un à la fois, ils élaborent un plan et l'intègrent dans leur contexte, un peu comme nous réfléchissons avant de parler. C'est pourquoi le CdP, surtout lorsqu'il est combiné avec quelques exemples (Few-Shot prompting en anglais, comme nous l'avons abordé dans une itération récente), rend les modèles si puissants. Cela reflète notre processus de pensée tout en imitant notre capacité à nous adapter à différentes situations.
🙏 Nous tenons à remercier Geoffrey Hinton pour son excellente présentation à l'événement Ai4 auquel nous avons assisté, qui nous a inspiré cet article.
