fix: réparation JSON tronqué + retry 429 + whitelist codes CPAM anti-hallucination

- parse_json_response : réparation JSON tronqué par max_tokens (fermeture
  auto des structures ouvertes), meilleur stripping des blocs fencés avec
  texte superflu après la fermeture ```
- call_ollama : retry avec backoff exponentiel (1s/2s/4s) pour les erreurs
  429 rate limit, 3 tentatives au lieu de 2
- Validation adversariale : max_tokens 800 → 1500
- Prompt CPAM : whitelist PÉRIMÈTRE DE CODES AUTORISÉS (dossier DP+DAS +
  UCR) avec interdiction explicite des codes hors périmètre
- Tests : 19 tests parse_json/_repair_truncated_json, 6 tests whitelist

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
This commit is contained in:
dom
2026-02-20 13:33:39 +01:00
parent 5d5f119057
commit e77c10da7d
6 changed files with 291 additions and 10 deletions

View File

@@ -1950,3 +1950,49 @@ class TestCheckDasBioCoherenceExtended:
)
warnings = _check_das_bio_coherence(dossier)
assert len(warnings) >= 1
class TestCodesAutorisesWhitelist:
"""Tests pour la whitelist de codes autorisés (anti-hallucination)."""
def test_whitelist_in_prompt(self):
"""Le prompt contient la section PÉRIMÈTRE DE CODES AUTORISÉS."""
dossier = _make_dossier() # DP K81.0, DAS K56.0
controle = _make_controle() # dp_ucr=K80.1, da_ucr=K56.0
prompt, _ = _build_cpam_prompt(dossier, controle, [])
assert "PÉRIMÈTRE DE CODES AUTORISÉS" in prompt
assert "INTERDICTION" in prompt
def test_whitelist_contains_dossier_codes(self):
"""Tous les codes du dossier sont dans la whitelist."""
dossier = _make_dossier() # DP K81.0, DAS K56.0
controle = _make_controle()
prompt, _ = _build_cpam_prompt(dossier, controle, [])
assert "K81.0" in prompt
assert "K56.0" in prompt
def test_whitelist_contains_ucr_codes(self):
"""Tous les codes UCR sont dans la whitelist."""
dossier = _make_dossier()
controle = _make_controle()
controle.dp_ucr = "K80.1"
prompt, _ = _build_cpam_prompt(dossier, controle, [])
assert "K80.1" in prompt
def test_whitelist_dedup(self):
"""Les codes en double (dossier + UCR) ne sont listés qu'une fois."""
dossier = _make_dossier() # K56.0 en DAS
controle = _make_controle() # da_ucr=K56.0
prompt, _ = _build_cpam_prompt(dossier, controle, [])
# K56.0 apparaît dans PÉRIMÈTRE mais une seule fois dans cette section
perimetre_idx = prompt.index("PÉRIMÈTRE DE CODES AUTORISÉS")
interdit_idx = prompt.index("INTERDICTION")
perimetre_section = prompt[perimetre_idx:interdit_idx]
assert perimetre_section.count("K56.0") == 1
def test_whitelist_prohibition_message(self):
"""Le message d'interdiction est clair et complet."""
dossier = _make_dossier()
controle = _make_controle()
prompt, _ = _build_cpam_prompt(dossier, controle, [])
assert "Ne mentionne AUCUN code CIM-10 qui ne figure pas" in prompt

128
tests/test_ollama_client.py Normal file
View File

@@ -0,0 +1,128 @@
"""Tests unitaires pour le client Ollama (parsing JSON, réparation tronqué)."""
import pytest
from src.medical.ollama_client import parse_json_response, _repair_truncated_json
class TestParseJsonResponse:
"""Tests de parse_json_response()."""
def test_valid_json(self):
result = parse_json_response('{"key": "value"}')
assert result == {"key": "value"}
def test_fenced_json(self):
raw = '```json\n{"key": "value"}\n```'
assert parse_json_response(raw) == {"key": "value"}
def test_fenced_no_closing(self):
raw = '```json\n{"key": "value"}'
assert parse_json_response(raw) == {"key": "value"}
def test_whitespace(self):
assert parse_json_response(' \n {"a": 1} \n') == {"a": 1}
def test_invalid_json_returns_none(self):
assert parse_json_response("pas du json") is None
def test_fenced_with_trailing_text(self):
"""JSON fencé suivi de texte superflu du LLM après la fermeture."""
raw = '```json\n{"coherent": true, "erreurs": [], "score_confiance": 9}\n```\n\n**Justification de la vérification :**\n1. OK'
result = parse_json_response(raw)
assert result is not None
assert result["coherent"] is True
assert result["score_confiance"] == 9
def test_empty_string(self):
assert parse_json_response("") is None
class TestRepairTruncatedJson:
"""Tests de _repair_truncated_json() — réparation JSON tronqué par max_tokens."""
def test_truncated_object(self):
"""Objet principal non fermé."""
text = '{"coherent": false, "erreurs": ["erreur 1"]'
result = _repair_truncated_json(text)
assert result is not None
assert result["coherent"] is False
assert result["erreurs"] == ["erreur 1"]
def test_truncated_array_and_object(self):
"""Array et objet non fermés."""
text = '{"coherent": false, "erreurs": ["erreur 1", "erreur 2"'
result = _repair_truncated_json(text)
assert result is not None
assert result["coherent"] is False
assert len(result["erreurs"]) == 2
def test_truncated_string_in_array(self):
"""Chaîne tronquée à l'intérieur d'un array."""
text = '{"coherent": false, "erreurs": ["erreur longue qui se term'
result = _repair_truncated_json(text)
assert result is not None
assert result["coherent"] is False
assert len(result["erreurs"]) == 1
assert "erreur longue" in result["erreurs"][0]
def test_deeply_nested_truncation(self):
"""Troncation dans un objet imbriqué."""
text = '{"data": {"inner": [1, 2'
result = _repair_truncated_json(text)
assert result is not None
assert result["data"]["inner"] == [1, 2]
def test_valid_json_passthrough(self):
"""JSON déjà valide → retourné tel quel."""
text = '{"a": 1}'
result = _repair_truncated_json(text)
assert result == {"a": 1}
def test_complete_adversarial_format(self):
"""Format exact de la validation adversariale."""
text = '{"coherent": false, "erreurs": ["Incohérence bio CRP"], "score_confiance": 4}'
result = _repair_truncated_json(text)
assert result is not None
assert result["score_confiance"] == 4
def test_adversarial_truncated_at_score(self):
"""Troncation juste avant score_confiance."""
text = '{"coherent": false, "erreurs": ["Incohérence bio"]'
result = _repair_truncated_json(text)
assert result is not None
assert result["coherent"] is False
# score_confiance absent → -1 par défaut dans le code appelant
def test_hopelessly_broken(self):
"""Texte vraiment non réparable."""
assert _repair_truncated_json("juste du texte libre") is None
def test_escaped_quotes(self):
"""Chaînes avec des guillemets échappés."""
text = '{"msg": "il a dit \\"bonjour\\""}'
result = _repair_truncated_json(text)
assert result is not None
assert "bonjour" in result["msg"]
def test_truncated_after_escaped_quote(self):
"""Troncation après un guillemet échappé dans une chaîne."""
text = '{"msg": "valeur avec \\"guillemet'
result = _repair_truncated_json(text)
assert result is not None
def test_parse_json_uses_repair(self):
"""parse_json_response() utilise la réparation en fallback."""
# JSON tronqué (objet non fermé)
raw = '{"coherent": true, "erreurs": [], "score_confiance": 8'
result = parse_json_response(raw)
assert result is not None
assert result["coherent"] is True
assert result["score_confiance"] == 8
def test_parse_json_repair_fenced_truncated(self):
"""JSON fencé ET tronqué."""
raw = '```json\n{"coherent": false, "erreurs": ["erreur"'
result = parse_json_response(raw)
assert result is not None
assert result["coherent"] is False