KI-Glossar

Un LLM, pour large language model, est un réseau de neurones entraîné à prédire le mot suivant sur d'immenses quantités de texte. De cette tâche simple émergent des capacités de rédaction, de traduction et de raisonnement partiel. GPT, Claude et Gemini sont des LLM. Un LLM ne consulte pas de base de connaissances en direct : il restitue ce que ses paramètres ont encodé pendant l'entraînement.

Un token est l'unité de base que manipule un modèle de langage : un morceau de mot, un mot court ou un signe de ponctuation. En français, un mot vaut souvent un à trois tokens. La tarification des API et la taille de la fenêtre de contexte se comptent en tokens, pas en mots ni en caractères.

La fenêtre de contexte est la quantité maximale de texte qu'un modèle peut prendre en compte en une seule fois : la consigne, l'historique de conversation et les documents fournis. Elle se mesure en tokens. Au-delà de cette limite, le modèle oublie le début de l'échange. Une fenêtre large permet d'analyser un long document, mais ne garantit pas que le modèle exploite bien chaque partie.

Un prompt est l'instruction en langage naturel envoyée à un modèle d'IA. Le prompt engineering désigne la pratique consistant à formuler ces instructions pour obtenir un résultat fiable : préciser le rôle, le format attendu, donner des exemples, fixer des contraintes. Ce n'est pas de la programmation, mais une compétence de cadrage qui change nettement la qualité des réponses.

Une hallucination est une réponse fausse qu'un modèle présente avec assurance, comme une citation inventée ou une fonction logicielle inexistante. Elle découle du fonctionnement même des LLM, qui prédisent un texte plausible sans vérifier sa véracité. Aucun modèle n'en est totalement exempt : tout résultat à enjeu doit être vérifié à la source.

Le fine-tuning consiste à poursuivre l'entraînement d'un modèle déjà existant sur un jeu de données spécifique, pour l'adapter à un ton, un domaine ou un format précis. Il modifie les poids du modèle, contrairement au prompt ou au RAG. C'est utile pour spécialiser un comportement, mais coûteux et vite dépassé quand un nouveau modèle de base sort.

Le RAG, retrieval-augmented generation, est une technique qui va chercher des documents pertinents dans une base externe, puis les fournit au modèle pour qu'il fonde sa réponse dessus. Cela permet de répondre sur des données récentes ou privées sans réentraîner le modèle, et de citer des sources. La qualité du RAG dépend autant de la recherche documentaire que du modèle lui-même.

Un embedding est la représentation d'un texte, d'une image ou d'un son sous forme de liste de nombres, un vecteur, qui capture son sens. Deux contenus proches en sens ont des vecteurs proches dans l'espace. Les embeddings rendent possibles la recherche sémantique, les recommandations et le RAG.