Rendre les LLM explicables : analyser, justifier et auditer les décisions de l'IA générative

Module 1 — Pourquoi l'explicabilité est essentielle

• Interprétabilité versus explicabilité : distinctions et enjeux
• Particularités des modèles génératifs et des LLM
• Domaines d'application critiques : juridique, médical, RH, finance
• Conséquences d'un déficit d'explication : confiance, adoption, conformité

Module 2 — Explicabilité des LLMs : limites et leviers

• Les LLM, boîtes noires ou systèmes réductibles ? Mode de fonctionnement
• Prompts, mémoire, outputs : identification des sources de biais
• Contraintes structurelles : instabilité, hallucinations, absence de traçabilité
• Reproductibilité : défi réel ou objectif inatteignable ?

Module 3 — Méthodes d'explicabilité dans le contexte GenAI

• Prompt engineering orienté vers l'interprétabilité
• Approches chain-of-thought et raisonnement étape par étape (step-by-step reasoning)
• Justification générée par le modèle versus preuve calculée
• Éléments observables dans LangChain : logs, agents, outils
• Travaux pratiques : analyse et justification pas-à-pas d'une réponse LLM ; comparaison génération correcte / incorrecte ; reconstruction de la chaîne de raisonnement ; visualisation du contexte et du prompt complet

Module 4 — Tracer, comprendre et expliquer via LangChain

• Ce que LangChain rend observable : comportements d'agents, appels d'outils et journaux de chaînes
• Journalisation, gestionnaires de callbacks et structuration explicite des prompt templates
• Présentation de TruLens, PromptLayer, Helicone et LangSmith
• Construction d'un pipeline entièrement traçable

Module 5 — Utiliser les ontologies et les graphes pour expliquer

• Structuration du savoir au service de l'explicabilité
• Association graphes de connaissances et LLM pour produire un contexte interprétable
• Ontologies métiers comme support d'explication intelligible pour l'utilisateur
• Interaction entre un agent LLM et un graphe structuré
• Travaux pratiques : conception d'un assistant explicable ; agent justifiant ses réponses à partir d'un graphe ou d'une ontologie ; rédaction de prompts auto-explicatifs ; journalisation complète du cycle requête-réponse

Module 6 — Explicabilité et cadre réglementaire

• Exigences du RGPD et de l'AI Act : droit à l'explication et obligations de transparence
• Documentation, journalisation et reproductibilité des systèmes IA
• Concevoir des interfaces affichant des justifications intelligibles
• Rôle de l'explicabilité dans les DPIA et les évaluations de risque

Module 7 — Méthodes d'audit des systèmes GenAI

• Construire un log explicatif : prompt, contexte, sources et raisonnement
• Contrôle qualité des réponses générées (hallucinations, cohérence, biais)
• Intégrer des agents « critique » ou des scores d'explication
• Évaluation humaine des raisonnements produits
• Travaux pratiques : construction d'un système de réponse auditable (cas : assistant juridique ou RH) ; déploiement d'un flux complet avec justification et log d'audit ; démonstration d'une interface explicative (textuelle et graphique)