Aller au contenu

L’assistant sur les données

On pose sa question en français. Le modèle écrit la requête, la base fournit les chiffres, et la réponse cite ses sources.

En bref

L’assistant répond en français à des questions sur les données de sortants.fr. Le modèle écrit la requête et la base fournit les chiffres : un métier à qui l’on propose un assistant demande d’abord d’où sort le chiffre. Il est monté comme chez un client, avec un périmètre de données limité à ce qu’il a le droit de voir, des réponses vérifiables une par une, et des questions de référence qui mesurent la qualité à chaque modification.

Nature
Projet personnel
État
En service sur mon poste depuis septembre 2026
Rôle
Conception, code, évaluation
Pile
Python, DuckDB, Ollama, Qwen2.5-Coder 7B quantifié, RTX 4060 de 8 Go
Données
Celles de sortants.fr, lues en place. Aucune donnée envoyée à un service extérieur
Mots-clés
LLM · IA générative · inférence locale · Ollama · Qwen2.5-Coder · quantification Q4_K_M · text-to-SQL · DuckDB · Python · prompt engineering · injection de prompt · OWASP LLM Top 10 · garde-fous · évaluation · jeu de test · traçabilité des sources

Ce que ça prouve

Que je sais monter un assistant sur des données d’entreprise comme on le ferait chez un client : un périmètre borné, des réponses vérifiables, une défense placée là où elle tient, et une mesure de qualité à chaque modification.

Une question, une réponse

QUESTION
  Quel est le taux d'acces du master
  MIAGE de Bordeaux en 2025 ?

REQUÊTE
  SELECT f.mention, f.etablissement,
         a.taux_acces
  FROM v_formation f
  JOIN v_admission a USING (ifc)
  WHERE f.mention ILIKE '%MIAGE%'
    AND f.academie ILIKE '%Bordeaux%'
    AND a.session = '2025'

RÉSULTAT
  etablissement           taux_acces
  Université de Bordeaux  30.09

BASE DE CALCUL ET SOURCE
  taux_acces
    rang_dernier_appele_pp / n_can_pp
    MonMaster, millésime 2026_S1
    Licence Ouverte 2.0

MESURE
  premier jeton   481 ms
  débit           51.7 jetons/s
  total           1.72 s
  SQL exécuté     3 ms
Exécution du 21 septembre 2026 sur mon poste. Lignes repliées et valeur arrondie. Le master est celui dont je sors.

Comment ça marche

  1. L’utilisateurUne question en français
  2. Le modèle, sur la machineÉcrire la requête SQLle modèle traduit la question, et s’arrête là
  3. La porte et la basegardeLa portel’analyseur de la base, puis sept contrôles sur l’arbreRefusée : la requête s’arrête ici.
  4. La porte et la basegardeLa base, privée d’accès au disqueexécute la requête et fournit les chiffres
  5. L’utilisateurLa réponsela requête, le résultat, la base de calcul et la source de chaque colonne
Le chemin d’une question. Les deux blocs pleins sont des gardes.

Le modèle écrit la requête et s’arrête là. Lui donner les lignes à résumer rouvrirait la porte par laquelle un chiffre inventé entre.

Ce que j’ai décidé

La défense se place après le modèle

Retenu
Traiter la requête produite comme une chaîne fournie par un tiers non fiable.
Écarté
Écrire dans le prompt que le modèle doit ignorer les consignes de l’utilisateur.

La question de l’utilisateur peut contenir des instructions destinées au modèle, et le modèle peut les suivre, même quand le prompt lui dit de les ignorer.

Faire relire la requête par l’analyseur de la base

Retenu
L’analyseur de la base refuse tout ce qui n’est pas un SELECT, puis sept contrôles portent sur l’arbre syntaxique qu’il produit.
Écarté
Chercher des mots comme DROP ou un point-virgule dans le texte.

Une liste de mots perd contre la tolérance du moteur qu’elle prétend protéger. Un cas de test vérifie d’ailleurs qu’un point-virgule placé dans un commentaire passe, puisqu’il est inoffensif.

def examiner(sql: str, con: duckdb.DuckDBPyConnection) -> Verdict:
    """Analyse la requête et rend un verdict. Ne l'exécute pas."""
    try:
        brut = con.execute("SELECT json_serialize_sql(?)", [sql]).fetchone()[0]
        arbre = json.loads(brut)
    except Exception as e:  # l'analyseur lui-même a refusé la chaîne
        return Verdict(False, sql, "analyse", f"Requête illisible : {e}")

    if arbre.get("error"):
        # DuckDB ne sérialise que les SELECT. Tout le reste s'arrête ici.
        return Verdict(
            False, sql, "select_seul",
            "Seule une instruction SELECT est acceptée. "
            f"L'analyseur répond : {arbre.get('error_message', '')}",
        )
Le début d’examiner(), dans assistant/porte.py du dépôt sortants-assistant, lignes 234 à 248, tel qu’il est écrit au 18 septembre 2026. Les sept contrôles sur l’arbre suivent.

Rendre la requête fausse impossible à écrire

Retenu
Des vues qui figent les filtres de dénombrement.
Écarté
Exposer la table source et compter sur le modèle pour se souvenir de la règle.

La table porte une ligne de total en plus des lignes de détail. Une somme naïve produit une phrase juste et un chiffre faux, sans aucun signal d’erreur.

Nombre de sortants selon la façon de sommer : un facteur 8,6.

Comment la qualité se mesure

Quinze questions de référence servent à régler le prompt. Huit autres sont tenues à l’écart et ne servent qu’à mesurer : un écart qui se creuse entre les deux jeux signale un réglage trop ajusté à ses propres exemples.

Questions de réglage
12 justes sur 15
Questions témoins
5 justes sur 8
Questions hostiles
18 essayées, aucune donnée sortie du périmètre
Temps de réponse
236 ms de médiane jusqu’au premier jeton, 48 jetons par seconde
Mémoire vidéo
6 124 Mio occupés sur 8 188, en médiane

Ce qui a raté

  • Test d’injection : il cherchait des mots interdits dans le texte, et signalait comme faille une requête saine où le mot figurait dans une chaîne. Il relève depuis les tables que la requête désigne, lues dans l’arbre syntaxique.
  • Débit mesuré dix fois trop bas : 4,8 jetons par seconde affichés pour 47 réels, parce que la mesure incluait la fermeture du flux.
  • Consignes en prose : quatre ont échoué, le score restait à 10 sur 15 et les échecs se déplaçaient. Cinq exemples dans le prompt l’ont porté à 12.
  • Documentation du schéma : elle trompait le modèle sur la casse de quatre colonnes, et ses égalités ne rendaient rien.

Outils

  • Python 3.12, DuckDB en mémoire, appels HTTP directs au moteur.
  • Ollama, modèle ouvert quantifié, température nulle et graine fixe pour que deux passages soient comparables.
  • Une abstraction de moteurs compatible OpenAI, prête pour vLLM ou une API hébergée.