Comprendre les LLM : ce que j'explique en formation aux débutants

En bref : Un LLM (Large Language Model) est un programme informatique entraîné sur des quantités massives de texte pour prédire et générer le mot suivant. Il ne cherche pas une réponse dans une base de données : il produit le texte statistiquement le plus probable. Un LLM ne sait pas, il prédit, ce qui explique ses hallucinations occasionnelles.

J'anime régulièrement des ateliers d'initiation à l'IA pour des équipes qui découvrent ChatGPT ou Claude. La question qui revient le plus souvent dès la première heure : "mais en fait, comment ça marche ?". Cet article reprend l'explication que je donne à ces participants, en évitant le jargon technique et en gardant ce qui compte vraiment pour comprendre ce qu'on a entre les mains.

LLM, en une phrase

Un Large Language Model (grand modèle de langage) est un programme informatique entraîné à prédire et générer du texte. Il a "lu" des quantités massives de texte (internet, livres, articles) et a appris des patterns statistiques sur la manière dont les mots et les idées s'enchaînent.

Quand je pose une question à ChatGPT ou à Claude, le modèle ne "cherche" pas la réponse dans une base de données — il génère du texte qui est statistiquement probable d'être une bonne réponse, basé sur tout ce qu'il a vu pendant l'entraînement. C'est une nuance que je martèle en formation : un LLM ne sait pas, il prédit.

Les composantes essentielles, sans les maths

Je présente quatre concepts pour que les participants comprennent assez pour décider en connaissance de cause.

L'architecture Transformer : technologie de base inventée par Google en 2017 dans le papier "Attention is All You Need". Elle permet au modèle de tenir compte du contexte de toute une séquence de texte, pas seulement des mots immédiatement adjacents. C'est ce qui a tout changé.

Les paramètres : les "neurones" appris du modèle. GPT-4 a des centaines de milliards de paramètres. Plus il y en a, plus le modèle peut capturer des patterns complexes, mais plus il depend des conditions à entraîner et faire tourner. La taille ne fait pas tout — un modèle plus petit bien entraîné peut surperformer un modèle plus gros mal calibré.

Le pré-entraînement : phase principale où le modèle apprend sur des volumes massifs de texte à prédire le mot suivant. C'est ce qui prend des mois et des millions de dollars.

Le fine-tuning et le RLHF : ajustements post-entraînement pour rendre le modèle utile comme assistant (répondre aux questions, suivre des instructions, refuser les demandes dangereuses). Le RLHF (Reinforcement Learning from Human Feedback) consiste à faire noter des réponses par des humains, puis à apprendre au modèle à produire des réponses mieux notées.

Pourquoi certains modèles sont meilleurs que d'autres

La qualité dépend de plusieurs facteurs que je détaille en formation.

La qualité des données d'entraînement compte autant que la taille. Un modèle entraîné sur du contenu de qualité, diversifié, avec des données récentes sera plus précis qu'un gros modèle nourri au tout-venant. La taille capture des patterns plus subtils mais ne garantit pas la qualité — Mistral l'a démontré avec des modèles plus petits que GPT mais excellents sur leurs tâches cibles. Le fine-tuning fait une différence énorme : beaucoup de travail post-pré-entraînement va vers rendre le modèle utile, sûr et aligné. Et les innovations d'architecture (Mixture of Experts, attention optimisée) permettent à des modèles plus modernes d'être aussi performants que des géants d'il y a deux ans pour une fraction du conditions.

Les principaux modèles que je teste

Modèle	Éditeur	Points forts
GPT-4o	OpenAI	Polyvalence, multimodalité, écosystème
Claude Sonnet/Opus	Anthropic	Raisonnement long, fenêtre 200k tokens, sécurité
Gemini	Google	Intégration ecosystem Google, multimodal
Mistral	Mistral AI	Efficacité, hébergement UE, open source
Llama	Meta	Open source, déploiement local

Pour aller plus loin, j'ai écrit des retours détaillés sur ChatGPT vs Claude, Gemini et Mistral.

Ce que les LLM ne font pas (et que je rappelle en boucle)

C'est la partie de la formation où je vois les participants changer de regard sur l'outil. Les LLM ne "savent" pas vraiment : un LLM est un très bon prédicteur statistique de texte, pas une intelligence consciente qui comprend. Ils peuvent halluciner — générer des informations fausses avec grande confiance. C'est structurellement inévitable : ils génèrent ce qui est statistiquement plausible, pas ce qui est vrai. Ils ont une date de coupure : les modèles ne connaissent pas les événements postérieurs à leur date d'entraînement, sauf avec accès web. Leur contexte est limité : chaque conversation a une fenêtre de contexte au-delà de laquelle les informations plus anciennes sont oubliées (200k tokens chez Claude, plus court chez d'autres).

Anthropic publie une excellente documentation sur les limites de Claude que je conseille à mes participants pour aller plus loin. Et OpenAI documente ses modèles avec les dates de coupure de connaissance pour chaque version.

Comment je conseille de les utiliser

Connaître ces limites aide à les utiliser intelligemment. Je vérifie systématiquement les faits importants — la sortie d'un LLM n'est pas une source. Je l'utilise pour raisonner, structurer, reformuler, brainstormer — pas pour des données précises sans vérification. J'apprends les techniques de prompt engineering pour obtenir de meilleurs résultats — c'est l'objet d'une formation dédiée mais quelques bases changent déjà tout.

La règle simple que je donne à mes participants : un LLM est un excellent stagiaire brillant et rapide, qui invente avec confiance quand il ne sait pas. À traiter comme tel, avec relecture et vérification, et on en tire un énorme bénéfice.

--- Sources : Vaswani et al. — "Attention is All You Need", 2017 ; OpenAI technical documentation ; Anthropic documentation officielle ; Mistral AI papers ; Meta Llama research papers ; HuggingFace model cards methodology.