JSON Mode
Fonctionnalité d'API forçant le LLM à produire une sortie valide au format JSON, facilitant l'intégration dans les applications.
Définition complète
Le JSON mode est une contrainte de décodage qui garantit que la sortie du LLM est toujours un JSON syntaxiquement valide, évitant les erreurs de parsing dans les applications. Il est disponible dans les APIs d'OpenAI, Anthropic (via tool use), Mistral et d'autres. Certaines implémentations supportent le « structured output » ou « JSON schema » permettant de contraindre la sortie à un schéma précis (types de champs, champs requis, enum). Techniquement, cela est réalisé en guidant le sampling du décodeur pour ne choisir que des tokens compatibles avec la grammaire JSON (grammar sampling). Essentiel pour les agents IA et les pipelines de traitement qui doivent extraire des données structurées depuis des LLM.