f92da4d54e
fix: Propagation globale sélective v2 - Normalisation dates + Multi-pass
...
- Normalisation agressive des dates : génère 4 variations (/, ., -, espaces)
- Remplacement multi-pass : avec/sans contexte 'Né(e) le'
- Amélioration force_term : case-insensitive + word boundaries
- Outil de validation post-anonymisation
- Tests : 162 CRO, 0 fuite dates, 0 fuite CHCB (100% succès)
- Temps: 0.1s/doc
Résout les 36 CRO avec fuites identifiées dans l'audit initial.
2026-03-02 12:22:58 +01:00
871221ea56
docs: Résumé complet Phase 2 optimisations
2026-03-02 12:00:06 +01:00
f188116bc1
fix: Propagation globale sélective pour corriger fuites dates CRO
...
Problème:
- 36 CRO avec fuites dates de naissance (Né(e) le DD/MM/YYYY)
- Dates détectées page 0 mais pas propagées pages suivantes
- Désactivation propagation globale avait éliminé 951 FP mais créé fuites
Solution:
- Propagation SÉLECTIVE: uniquement PII critiques (DATE_NAISSANCE, NIR, IPP, EMAIL, force_term)
- PII non-critiques (TEL, ADRESSE, etc.) NON propagés (évite 951 FP)
- Remplacement amélioré: gère variations format dates (/, ., -, espaces)
- Gère contexte 'Né(e) le' avec case-insensitive
Impact attendu:
- Rappel: 100% (plus de fuites)
- Précision: 85-87% (légère baisse vs 88.27%, mais acceptable)
- FP réintroduits: ~10-20 (vs 951 avant)
Fichiers:
- anonymizer_core_refactored_onnx.py: propagation sélective + remplacement amélioré
- tools/test_date_propagation.py: script test sur CRO
- LEAK_FIX.md: documentation complète de la correction
2026-03-02 11:59:32 +01:00
6806aee587
feat: Filtre hospitalier pour éliminer les faux positifs
...
- Ajout config/hospital_stopwords.yml avec adresses/téléphones hôpitaux
- Ajout detectors/hospital_filter.py pour filtrer les FP
- Intégration dans anonymizer_core_refactored_onnx.py
- Test sur document: 40 -> 32 détections (-8 FP)
- Élimine: adresses hôpitaux, codes postaux CEDEX, épisodes dans noms de fichiers
2026-03-02 11:21:48 +01:00
dfa45041d7
feat: Analyse propagation globale - 100% des *_GLOBAL et NOM_EXTRACTED sont des FP
2026-03-02 11:01:14 +01:00
4eba826ca5
feat: Analyse baseline - 77.7% FP dus à NOM_EXTRACTED, 19.2% à propagation globale
2026-03-02 10:59:10 +01:00
0ba5424eb0
feat: Annotation automatique et évaluation qualité baseline - Rappel 100%, Précision 18.97%
2026-03-02 10:51:38 +01:00
30a6ebcc19
feat: Benchmark de performance baseline - 2.62s/doc moyen, 92% dans objectif
2026-03-02 10:42:15 +01:00
340348b820
feat: Phase 1 - Système d'évaluation de la qualité
...
- Sélection et copie de 27 documents représentatifs (10 simples, 12 moyens, 5 complexes)
- Outil d'annotation CLI complet (tools/annotation_tool.py)
- Guide d'annotation détaillé (docs/annotation_guide.md)
- Évaluateur de qualité (evaluation/quality_evaluator.py)
* Calcul Précision, Rappel, F1-Score
* Identification faux positifs/négatifs
* Métriques par type de PII
* Export JSON et rapports texte
- Scanner de fuite (evaluation/leak_scanner.py)
* Détection PII résiduels (CRITIQUE)
* Détection nouveaux PII (HAUTE)
* Scan métadonnées PDF (MOYENNE)
- Benchmark de performance (evaluation/benchmark.py)
* Mesure temps de traitement
* Mesure CPU/RAM
* Export JSON/CSV
- Tests unitaires complets pour tous les composants
- Documentation complète du module d'évaluation
Tâches complétées:
- 1.1.1 Sélection de 27 documents (au lieu de 30)
- 1.1.2 Outil d'annotation CLI
- 1.2.1 Évaluateur de qualité
- 1.2.2 Scanner de fuite
- 1.2.3 Benchmark de performance
Prochaines étapes:
- 1.1.3 Annotation des 27 documents (manuel)
- 1.1.4 Enrichissement stopwords médicaux
- 1.3 Mesure de la baseline
2026-03-02 10:07:41 +01:00
0067738df6
spec: Architecture complète avec VLM (5 couches détection)
...
- Ajout documentation VLM (Ollama qwen2.5vl:7b)
- Pipeline complet: Regex → VLM → EDS-Pseudo → CamemBERT → Contextuel
- Nouvelles exigences REQ-013/REQ-014 pour optimisation VLM
- Tâches Phase 2.5: amélioration prompt, validation croisée, perf
- Document ARCHITECTURE_REELLE.md avec détails complets
- Matériel: AMD Ryzen 9 9950X, 128GB RAM, RTX 5070 12GB
- Objectifs: Rappel ≥99.5%, Précision ≥97%, F1 ≥0.98
2026-03-02 09:52:49 +01:00
