Démonstration
Un assistant qui cite ses sources
Pose une question sur n8n. La réponse est construite à partir de la documentation officielle uniquement, chaque affirmation renvoie à la page qui la justifie, et quand la documentation ne contient pas la réponse, l'assistant le dit au lieu d'inventer.
Le corpus est en anglais : tu peux interroger en français, la recherche fonctionne dans les deux langues et la réponse revient dans ta langue.
Ce qui est mesuré, et pourquoi ça compte
La plupart des assistants documentaires ne sont évalués par personne : on lit trois réponses, elles semblent bonnes, on livre. Celui-ci est mesuré sur un jeu de 25 questions de référence dont on connaît la page attendue.
3 257
extraits indexés
1 309 pages de documentation
100 %
rappel@10
la bonne page est trouvée
86 %
citations justes
sur 22 questions de référence
3/3
refus hors sujet
il n'invente pas
Ces mesures ont changé deux choix techniques. La recherche combine similarité sémantique et recherche plein texte : à poids égal, le plein texte dégradait les résultats, et il a fallu le pondérer pour qu'il apporte quelque chose. Et le nombre d'extraits envoyés au modèle est passé de 8 à 10 parce que la mesure montrait de bonnes pages trouvées mais jamais transmises.
25 questions restent un garde-fou, pas une preuve statistique — c'est dit ainsi dans le dépôt.
Comment c'est construit
- ·Découpage— la documentation est découpée sur la hiérarchie des titres, pas tous les N caractères, et chaque extrait porte son fil d'ariane pour rester compréhensible hors de sa page.
- ·Recherche hybride — similarité sémantique (embeddings dans PostgreSQL/pgvector) fusionnée avec la recherche plein texte, pour attraper aussi bien les questions vagues que les noms exacts de nœuds.
- ·Génération contrainte — le modèle ne répond qu'à partir des extraits reçus et doit citer ; seules les sources réellement citées sont affichées.
- ·Exploitation— ingestion idempotente et reprenable, purge des pages disparues, journal des exécutions avec coût et incidents. C'est ce qui sépare une démo d'un système qu'on peut confier à un client.
Projet conçu et développé par Noriax, indépendant de n8n. La documentation interrogée appartient à n8n et reste consultable sur docs.n8n.io. Les réponses peuvent comporter des erreurs : les liens de source sont là pour que tu puisses vérifier. Voir les prestations.