spec: Architecture complète avec VLM (5 couches détection)

- Ajout documentation VLM (Ollama qwen2.5vl:7b)
- Pipeline complet: Regex → VLM → EDS-Pseudo → CamemBERT → Contextuel
- Nouvelles exigences REQ-013/REQ-014 pour optimisation VLM
- Tâches Phase 2.5: amélioration prompt, validation croisée, perf
- Document ARCHITECTURE_REELLE.md avec détails complets
- Matériel: AMD Ryzen 9 9950X, 128GB RAM, RTX 5070 12GB
- Objectifs: Rappel ≥99.5%, Précision ≥97%, F1 ≥0.98
This commit is contained in:
2026-03-02 09:52:49 +01:00
parent cb84698c2d
commit 0067738df6
8 changed files with 3251 additions and 0 deletions

View File

@@ -0,0 +1,408 @@
# Tasks - Optimisation de la Qualité d'Anonymisation
## Phase 1 : Mesure et Baseline (2 semaines)
### 1.1 Création du Dataset de Test Annoté
- [ ] 1.1.1 Sélectionner 30 documents représentatifs des 59 dossiers OGC
- [ ] 1.1.1.1 Analyser la répartition des documents (types, complexité, taille)
- [ ] 1.1.1.2 Sélectionner 10 documents simples (1-2 pages, peu de PII)
- [ ] 1.1.1.3 Sélectionner 15 documents moyens (3-5 pages, PII variés)
- [ ] 1.1.1.4 Sélectionner 5 documents complexes (>5 pages, nombreux PII)
- [ ] 1.1.1.5 Copier les documents dans `tests/ground_truth/`
- [ ] 1.1.2 Créer l'outil d'annotation CLI
- [ ] 1.1.2.1 Créer `tools/annotation_tool.py`
- [ ] 1.1.2.2 Implémenter l'extraction et affichage du texte
- [ ] 1.1.2.3 Implémenter la saisie guidée des annotations
- [ ] 1.1.2.4 Implémenter la validation du format JSON
- [ ] 1.1.2.5 Implémenter l'export au format standardisé
- [ ] 1.1.2.6 Ajouter la documentation d'utilisation
- [ ] 1.1.3 Annoter les 30 documents sélectionnés
- [ ] 1.1.3.1 Annoter les 10 documents simples
- [ ] 1.1.3.2 Annoter les 15 documents moyens
- [ ] 1.1.3.3 Annoter les 5 documents complexes
- [ ] 1.1.3.4 Valider les annotations (double vérification)
- [ ] 1.1.3.5 Calculer les statistiques du dataset (PII par type, difficulté)
- [ ] 1.1.4 Enrichir la liste des stopwords médicaux
- [ ] 1.1.4.1 Extraire les termes médicaux des 30 documents annotés
- [ ] 1.1.4.2 Identifier les faux positifs actuels (termes masqués à tort)
- [ ] 1.1.4.3 Ajouter les nouveaux termes à `_MEDICAL_STOP_WORDS_SET`
- [ ] 1.1.4.4 Documenter les sources des stopwords
### 1.2 Système d'Évaluation de la Qualité
- [ ] 1.2.1 Implémenter l'évaluateur de qualité
- [ ] 1.2.1.1 Créer `evaluation/quality_evaluator.py`
- [ ] 1.2.1.2 Implémenter la classe `EvaluationResult` (dataclass)
- [ ] 1.2.1.3 Implémenter la classe `QualityEvaluator`
- [ ] 1.2.1.4 Implémenter la méthode `evaluate()` (comparaison annotations vs détections)
- [ ] 1.2.1.5 Implémenter le calcul des métriques (Précision, Rappel, F1)
- [ ] 1.2.1.6 Implémenter l'identification des faux négatifs
- [ ] 1.2.1.7 Implémenter l'identification des faux positifs
- [ ] 1.2.1.8 Implémenter la génération de rapport texte
- [ ] 1.2.1.9 Ajouter les tests unitaires
- [ ] 1.2.2 Implémenter le scanner de fuite
- [ ] 1.2.2.1 Créer `evaluation/leak_scanner.py`
- [ ] 1.2.2.2 Implémenter la classe `LeakReport` (dataclass)
- [ ] 1.2.2.3 Implémenter la classe `LeakScanner`
- [ ] 1.2.2.4 Implémenter `scan_text()` (détection PII résiduels)
- [ ] 1.2.2.5 Implémenter `scan_metadata()` (scan métadonnées PDF)
- [ ] 1.2.2.6 Implémenter la classification par sévérité
- [ ] 1.2.2.7 Implémenter la génération de rapport de fuite
- [ ] 1.2.2.8 Ajouter les tests unitaires
- [ ] 1.2.3 Implémenter le benchmark de performance
- [ ] 1.2.3.1 Créer `evaluation/benchmark.py`
- [ ] 1.2.3.2 Implémenter la collecte des métriques de temps
- [ ] 1.2.3.3 Implémenter la collecte des métriques CPU/RAM
- [ ] 1.2.3.4 Implémenter la collecte des métriques de qualité
- [ ] 1.2.3.5 Implémenter l'export JSON des résultats
- [ ] 1.2.3.6 Implémenter l'affichage tabulaire des résultats
- [ ] 1.2.3.7 Ajouter les tests unitaires
### 1.3 Mesure de la Baseline
- [ ] 1.3.1 Exécuter l'évaluation sur le dataset annoté
- [ ] 1.3.1.1 Anonymiser les 30 documents annotés avec le système actuel
- [ ] 1.3.1.2 Exécuter l'évaluateur sur les 30 documents
- [ ] 1.3.1.3 Générer le rapport de qualité baseline
- [ ] 1.3.1.4 Identifier les faux négatifs critiques
- [ ] 1.3.1.5 Identifier les faux positifs fréquents
- [ ] 1.3.2 Exécuter le benchmark de performance
- [ ] 1.3.2.1 Benchmarker le système actuel sur les 30 documents
- [ ] 1.3.2.2 Mesurer le temps de traitement moyen
- [ ] 1.3.2.3 Mesurer l'utilisation CPU/RAM
- [ ] 1.3.2.4 Exporter les résultats baseline
- [ ] 1.3.3 Analyser les résultats baseline
- [ ] 1.3.3.1 Analyser les types de PII manqués (faux négatifs)
- [ ] 1.3.3.2 Analyser les types de faux positifs
- [ ] 1.3.3.3 Identifier les patterns problématiques
- [ ] 1.3.3.4 Prioriser les améliorations à implémenter
- [ ] 1.3.3.5 Documenter les findings dans un rapport
---
## Phase 2 : Amélioration de la Détection (3 semaines)
### 2.1 Amélioration des Regex
- [ ] 2.1.1 Améliorer la détection des téléphones
- [ ] 2.1.1.1 Créer `detectors/improved_regex.py`
- [ ] 2.1.1.2 Implémenter `RE_TEL_IMPROVED` (formats fragmentés)
- [ ] 2.1.1.3 Ajouter 20+ tests unitaires pour les téléphones
- [ ] 2.1.1.4 Valider sur le dataset annoté
- [ ] 2.1.2 Améliorer la détection des emails
- [ ] 2.1.2.1 Implémenter `RE_EMAIL_IMPROVED` (domaines médicaux)
- [ ] 2.1.2.2 Ajouter 20+ tests unitaires pour les emails
- [ ] 2.1.2.3 Valider sur le dataset annoté
- [ ] 2.1.3 Améliorer la détection des adresses
- [ ] 2.1.3.1 Implémenter `RE_ADRESSE_IMPROVED` (compléments Bât., Appt.)
- [ ] 2.1.3.2 Ajouter 20+ tests unitaires pour les adresses
- [ ] 2.1.3.3 Valider sur le dataset annoté
- [ ] 2.1.4 Améliorer la détection des NIR
- [ ] 2.1.4.1 Implémenter `RE_NIR_IMPROVED` (espaces variables)
- [ ] 2.1.4.2 Ajouter 20+ tests unitaires pour les NIR
- [ ] 2.1.4.3 Valider sur le dataset annoté
- [ ] 2.1.5 Améliorer la détection des noms avec caractères spéciaux
- [ ] 2.1.5.1 Adapter les regex pour O'Brien, D'Angelo, Müller, etc.
- [ ] 2.1.5.2 Ajouter 20+ tests unitaires
- [ ] 2.1.5.3 Valider sur le dataset annoté
- [ ] 2.1.6 Intégrer les regex améliorées
- [ ] 2.1.6.1 Remplacer les regex dans `anonymizer_core_refactored_onnx.py`
- [ ] 2.1.6.2 Exécuter les tests de régression
- [ ] 2.1.6.3 Mesurer l'amélioration (Rappel, Précision)
### 2.2 Détection Contextuelle
- [ ] 2.2.1 Implémenter le détecteur contextuel
- [ ] 2.2.1.1 Créer `detectors/contextual.py`
- [ ] 2.2.1.2 Implémenter la classe `ContextualDetector`
- [ ] 2.2.1.3 Implémenter la détection avec contexte fort
- [ ] 2.2.1.4 Implémenter la détection des noms en MAJUSCULES
- [ ] 2.2.1.5 Implémenter la détection avec contexte faible
- [ ] 2.2.1.6 Implémenter le filtrage via stopwords médicaux
- [ ] 2.2.1.7 Implémenter la dédoplication et tri par confiance
- [ ] 2.2.1.8 Ajouter les tests unitaires
- [ ] 2.2.2 Valider le détecteur contextuel
- [ ] 2.2.2.1 Tester sur le dataset annoté
- [ ] 2.2.2.2 Mesurer le rappel (noms détectés)
- [ ] 2.2.2.3 Mesurer la précision (faux positifs)
- [ ] 2.2.2.4 Ajuster les seuils de confiance si nécessaire
### 2.3 Approche Hybride
- [ ] 2.3.1 Implémenter le détecteur hybride
- [ ] 2.3.1.1 Créer `detectors/hybrid.py`
- [ ] 2.3.1.2 Implémenter la classe `HybridDetector`
- [ ] 2.3.1.3 Implémenter le pipeline en 4 étapes (Regex → EDS → CamemBERT → Contextuel)
- [ ] 2.3.1.4 Implémenter le masquage progressif
- [ ] 2.3.1.5 Implémenter la fusion des résultats
- [ ] 2.3.1.6 Implémenter la traçabilité (méthode de détection)
- [ ] 2.3.1.7 Ajouter les tests d'intégration
- [ ] 2.3.2 Intégrer le détecteur hybride
- [ ] 2.3.2.1 Modifier `anonymizer_core_refactored_onnx.py` pour utiliser `HybridDetector`
- [ ] 2.3.2.2 Ajouter la configuration activable/désactivable par détecteur
- [ ] 2.3.2.3 Exécuter les tests de régression
- [ ] 2.3.2.4 Mesurer l'amélioration globale
- [ ] 2.3.3 Optimiser les performances avec GPU
- [ ] 2.3.3.1 Activer l'accélération CUDA pour EDS-Pseudo
- [ ] 2.3.3.2 Activer l'accélération CUDA pour CamemBERT-NER
- [ ] 2.3.3.3 Implémenter le batch processing optimisé pour GPU
- [ ] 2.3.3.4 Tester différentes tailles de batch (4, 8, 16, 32)
- [ ] 2.3.3.5 Mesurer l'utilisation VRAM et ajuster batch_size
- [ ] 2.3.3.6 Implémenter le fallback CPU automatique si GPU indisponible
- [ ] 2.3.3.7 Profiler le code (cProfile + CUDA profiler)
- [ ] 2.3.3.8 Identifier les goulots d'étranglement
- [ ] 2.3.3.9 Optimiser les parties critiques
- [ ] 2.3.3.10 Vérifier que le temps de traitement est < 10s/PDF avec GPU
- [ ] 2.3.4 Implémenter le traitement parallèle multi-PDF
- [ ] 2.3.4.1 Créer un gestionnaire de pool de workers (ProcessPoolExecutor)
- [ ] 2.3.4.2 Tester avec 4, 8, 12 workers (optimal sur 16 cœurs)
- [ ] 2.3.4.3 Implémenter la répartition de charge intelligente
- [ ] 2.3.4.4 Mesurer le speedup avec parallélisation
- [ ] 2.3.4.5 Gérer les conflits d'accès GPU entre workers
### 2.4 Configuration
- [ ] 2.4.1 Créer le fichier de configuration
- [ ] 2.4.1.1 Créer `config/quality_config.yml`
- [ ] 2.4.1.2 Définir les paramètres d'évaluation
- [ ] 2.4.1.3 Définir les paramètres de validation
- [ ] 2.4.1.4 Définir les paramètres de détection
- [ ] 2.4.1.5 Définir les paramètres GPU (device, batch_size, max_vram)
- [ ] 2.4.1.6 Définir les paramètres VLM (Ollama URL, model, timeout, confidence)
- [ ] 2.4.1.7 Définir les paramètres de performance (max_workers, parallélisation)
- [ ] 2.4.1.8 Définir les paramètres de reporting
- [ ] 2.4.2 Implémenter le chargement de configuration
- [ ] 2.4.2.1 Utiliser `pydantic` pour valider la configuration
- [ ] 2.4.2.2 Créer les modèles de configuration typés
- [ ] 2.4.2.3 Implémenter le chargement depuis YAML
- [ ] 2.4.2.4 Ajouter les tests de validation
### 2.5 Optimisation VLM
- [ ] 2.5.1 Améliorer le prompt VLM
- [ ] 2.5.1.1 Analyser les hallucinations actuelles du VLM
- [ ] 2.5.1.2 Créer un prompt plus précis avec exemples négatifs
- [ ] 2.5.1.3 Ajouter des instructions anti-hallucination
- [ ] 2.5.1.4 Tester sur échantillon de pages manuscrites
- [ ] 2.5.1.5 Mesurer le taux d'hallucination avant/après
- [ ] 2.5.2 Implémenter la validation croisée VLM ↔ NER
- [ ] 2.5.2.1 Créer `detectors/vlm_validator.py`
- [ ] 2.5.2.2 Implémenter la comparaison VLM vs NER
- [ ] 2.5.2.3 Définir les règles de résolution de conflits
- [ ] 2.5.2.4 Rejeter les détections VLM non confirmées (seuil configurable)
- [ ] 2.5.2.5 Logger les conflits pour analyse
- [ ] 2.5.2.6 Ajouter les tests unitaires
- [ ] 2.5.3 Optimiser les performances VLM
- [ ] 2.5.3.1 Vérifier si Ollama supporte GPU (CUDA)
- [ ] 2.5.3.2 Configurer Ollama pour utiliser le GPU si disponible
- [ ] 2.5.3.3 Mesurer le temps de traitement par page (baseline)
- [ ] 2.5.3.4 Optimiser la résolution d'image (trade-off qualité/vitesse)
- [ ] 2.5.3.5 Implémenter un cache des résultats VLM par hash d'image
- [ ] 2.5.3.6 Mesurer le speedup après optimisations
---
## Phase 3 : Validation et Reporting (1 semaine)
### 3.1 Validation Post-Anonymisation
- [ ] 3.1.1 Implémenter la validation post-anonymisation
- [ ] 3.1.1.1 Créer `core/post_validation.py`
- [ ] 3.1.1.2 Implémenter la fonction `validate_anonymized_pdf()`
- [ ] 3.1.1.3 Intégrer le scanner de fuite
- [ ] 3.1.1.4 Implémenter la vérification de lisibilité
- [ ] 3.1.1.5 Implémenter la génération de certificat
- [ ] 3.1.1.6 Implémenter le mode strict (blocage si fuite)
- [ ] 3.1.1.7 Ajouter les tests unitaires
- [ ] 3.1.2 Intégrer la validation dans le pipeline
- [ ] 3.1.2.1 Modifier `anonymizer_core_refactored_onnx.py` pour appeler la validation
- [ ] 3.1.2.2 Ajouter l'option `--validate` en CLI
- [ ] 3.1.2.3 Ajouter l'option dans la GUI
- [ ] 3.1.2.4 Tester sur le dataset annoté
### 3.2 Reporting
- [ ] 3.2.1 Créer le générateur de rapports
- [ ] 3.2.1.1 Créer `tools/quality_reporter.py`
- [ ] 3.2.1.2 Implémenter la classe `QualityReporter`
- [ ] 3.2.1.3 Créer le template HTML (`templates/quality_report.html`)
- [ ] 3.2.1.4 Implémenter la génération de graphiques (matplotlib)
- [ ] 3.2.1.5 Implémenter l'export JSON
- [ ] 3.2.1.6 Implémenter l'export HTML
- [ ] 3.2.1.7 Ajouter les tests unitaires
- [ ] 3.2.2 Générer les rapports de qualité
- [ ] 3.2.2.1 Générer le rapport baseline (avant optimisation)
- [ ] 3.2.2.2 Générer le rapport après optimisation
- [ ] 3.2.2.3 Créer un rapport comparatif (avant/après)
- [ ] 3.2.2.4 Exporter en HTML et JSON
### 3.3 Tests de Régression
- [ ] 3.3.1 Créer la suite de tests de régression
- [ ] 3.3.1.1 Créer `tests/regression/test_regression.py`
- [ ] 3.3.1.2 Implémenter le test de qualité (Rappel ≥ 99.5%, Précision ≥ 97%)
- [ ] 3.3.1.3 Implémenter le test de performance (temps < 30s/PDF)
- [ ] 3.3.1.4 Implémenter le test de non-régression (vs baseline)
- [ ] 3.3.1.5 Configurer pytest pour exécution automatique
- [ ] 3.3.2 Exécuter les tests de régression
- [ ] 3.3.2.1 Exécuter sur le dataset annoté complet
- [ ] 3.3.2.2 Vérifier que tous les tests passent
- [ ] 3.3.2.3 Corriger les régressions si nécessaire
### 3.4 Validation sur Corpus Complet
- [ ] 3.4.1 Exécuter sur les 59 dossiers OGC complets
- [ ] 3.4.1.1 Anonymiser les 130 fichiers avec le système optimisé
- [ ] 3.4.1.2 Exécuter le scanner de fuite sur tous les fichiers
- [ ] 3.4.1.3 Vérifier qu'aucune fuite critique n'est détectée
- [ ] 3.4.1.4 Générer le rapport de qualité global
- [ ] 3.4.2 Validation manuelle (échantillon)
- [ ] 3.4.2.1 Sélectionner 10 documents aléatoires
- [ ] 3.4.2.2 Vérifier manuellement la qualité d'anonymisation
- [ ] 3.4.2.3 Vérifier la lisibilité médicale
- [ ] 3.4.2.4 Documenter les observations
- [ ] 3.4.3 Comparer avec la baseline
- [ ] 3.4.3.1 Comparer les métriques de qualité (Rappel, Précision, F1)
- [ ] 3.4.3.2 Comparer les métriques de performance (temps, CPU, RAM)
- [ ] 3.4.3.3 Calculer le gain d'amélioration
- [ ] 3.4.3.4 Documenter les résultats
---
## Phase 4 : Documentation et Finalisation (3 jours)
### 4.1 Documentation
- [ ] 4.1.1 Créer le guide d'annotation
- [ ] 4.1.1.1 Créer `docs/annotation_guide.md`
- [ ] 4.1.1.2 Documenter le processus d'annotation
- [ ] 4.1.1.3 Documenter le format JSON
- [ ] 4.1.1.4 Ajouter des exemples
- [ ] 4.1.2 Créer le guide d'évaluation
- [ ] 4.1.2.1 Créer `docs/evaluation_guide.md`
- [ ] 4.1.2.2 Documenter l'utilisation de l'évaluateur
- [ ] 4.1.2.3 Documenter l'utilisation du scanner
- [ ] 4.1.2.4 Documenter l'utilisation du benchmark
- [ ] 4.1.2.5 Ajouter des exemples
- [ ] 4.1.3 Créer la référence API
- [ ] 4.1.3.1 Créer `docs/api_reference.md`
- [ ] 4.1.3.2 Documenter les classes principales
- [ ] 4.1.3.3 Documenter les méthodes publiques
- [ ] 4.1.3.4 Ajouter des exemples de code
- [ ] 4.1.4 Mettre à jour le README
- [ ] 4.1.4.1 Ajouter la section "Évaluation de la Qualité"
- [ ] 4.1.4.2 Ajouter les nouvelles dépendances
- [ ] 4.1.4.3 Ajouter les exemples d'utilisation
- [ ] 4.1.4.4 Ajouter les métriques de qualité
### 4.2 Finalisation
- [ ] 4.2.1 Revue de code
- [ ] 4.2.1.1 Vérifier la qualité du code (pylint, black, mypy)
- [ ] 4.2.1.2 Vérifier la couverture de tests (≥ 80%)
- [ ] 4.2.1.3 Vérifier la documentation (docstrings)
- [ ] 4.2.1.4 Corriger les problèmes identifiés
- [ ] 4.2.2 Préparer les livrables
- [ ] 4.2.2.1 Dataset annoté (30+ documents)
- [ ] 4.2.2.2 Code source (détecteurs + évaluation)
- [ ] 4.2.2.3 Tests (unitaires + régression)
- [ ] 4.2.2.4 Documentation (guides + API)
- [ ] 4.2.2.5 Rapports (baseline + optimisé + comparatif)
- [ ] 4.2.2.6 Configuration (`quality_config.yml`)
- [ ] 4.2.3 Validation finale
- [ ] 4.2.3.1 Vérifier que tous les critères de succès sont atteints
- [ ] 4.2.3.2 Vérifier que les métriques cibles sont atteintes (Rappel ≥ 99.5%, Précision ≥ 97%)
- [ ] 4.2.3.3 Vérifier que les performances sont acceptables (< 30s/PDF)
- [ ] 4.2.3.4 Obtenir la validation d'un expert médical (échantillon)
---
## Tâches Optionnelles (si temps disponible)
- [ ]* Implémenter un cache des résultats NER pour améliorer les performances
- [ ]* Implémenter la parallélisation du traitement par lots (déjà inclus dans Phase 2)
- [ ]* Créer une interface web pour l'annotation (alternative à la CLI)
- [ ]* Implémenter l'export des rapports en PDF
- [ ]* Créer un dashboard de monitoring (Grafana/Prometheus)
- [ ]* Implémenter l'analyse automatique des échecs (suggestions d'amélioration)
- [ ]* Fine-tuner EDS-Pseudo sur le dataset annoté
- [ ]* Implémenter un modèle ensemble (vote majoritaire)
- [ ]* Optimiser le batch size dynamiquement selon la VRAM disponible
- [ ]* Implémenter le préchargement asynchrone des modèles NER
- [ ]* Tester d'autres modèles VLM (Qwen3-VL 8B, LLaVA, etc.)
- [ ]* Implémenter un système de feedback utilisateur pour améliorer le VLM
- [ ]* Créer un mode "review" pour valider les détections VLM manuellement
---
## Dépendances entre Tâches
**Critiques** (bloquantes) :
- 1.1 (Dataset annoté) → 1.3 (Baseline) → 2.x (Amélioration) → 3.4 (Validation)
- 1.2.1 (Évaluateur) → 1.3.1 (Évaluation baseline)
- 1.2.2 (Scanner) → 3.1 (Validation post-anonymisation)
- 2.1 + 2.2 + 2.3 (Détecteurs) → 3.3 (Tests régression)
**Parallélisables** :
- 1.2.1 (Évaluateur) || 1.2.2 (Scanner) || 1.2.3 (Benchmark)
- 2.1.1 || 2.1.2 || 2.1.3 || 2.1.4 || 2.1.5 (Regex indépendantes)
- 4.1.1 || 4.1.2 || 4.1.3 (Documentation)
---
## Estimation de Charge
**Phase 1** : 10 jours (2 semaines)
- Annotation : 5 jours (30 docs × 1h = 30h)
- Évaluation : 3 jours
- Baseline : 2 jours
**Phase 2** : 15 jours (3 semaines)
- Regex : 5 jours
- Contextuel : 3 jours
- Hybride : 3 jours
- VLM optimization : 2 jours
- GPU optimization : 1 jour
- Config : 1 jour
**Phase 3** : 5 jours (1 semaine)
- Validation : 2 jours
- Reporting : 1 jour
- Tests régression : 1 jour
- Validation corpus : 1 jour
**Phase 4** : 3 jours
- Documentation : 2 jours
- Finalisation : 1 jour
**Total** : 33 jours (6.6 semaines) ≈ **7 semaines avec marge**