docs: Rapport détaillé des résultats baseline
This commit is contained in:
152
tests/ground_truth/BASELINE_RESULTS.md
Normal file
152
tests/ground_truth/BASELINE_RESULTS.md
Normal file
@@ -0,0 +1,152 @@
|
||||
# Résultats Baseline - Système d'Anonymisation
|
||||
|
||||
Date: 2026-03-02
|
||||
|
||||
## Vue d'ensemble
|
||||
|
||||
Évaluation du système d'anonymisation actuel sur un dataset de 27 documents représentatifs.
|
||||
|
||||
## Configuration
|
||||
|
||||
- **NER**: ✅ Activé (EDS-Pseudo ONNX)
|
||||
- **VLM**: ❌ Désactivé (Ollama qwen2.5vl:7b)
|
||||
- **Documents traités**: 25/27 (2 échecs - PDFs protégés par mot de passe)
|
||||
|
||||
## Résultats de Performance
|
||||
|
||||
### Temps de Traitement
|
||||
|
||||
| Métrique | Valeur |
|
||||
|----------|--------|
|
||||
| Temps total | 65.55s |
|
||||
| Temps moyen | **2.62s** par document |
|
||||
| Temps médiane | 0.84s |
|
||||
| Temps min | 0.31s |
|
||||
| Temps max | 17.84s |
|
||||
| Écart-type | 4.43s |
|
||||
|
||||
### Débit
|
||||
|
||||
| Métrique | Valeur |
|
||||
|----------|--------|
|
||||
| Documents/seconde | 0.38 |
|
||||
| PII/seconde | 97.6 |
|
||||
|
||||
### PII Détectés
|
||||
|
||||
| Métrique | Valeur |
|
||||
|----------|--------|
|
||||
| Total PII | **6,395** |
|
||||
| Moyenne | 255.8 par document |
|
||||
| Médiane | 54 |
|
||||
| Min | 0 |
|
||||
| Max | 1,622 |
|
||||
|
||||
## Validation des Objectifs
|
||||
|
||||
### Objectif de Performance: < 10s par document (sans VLM)
|
||||
|
||||
✅ **ATTEINT**
|
||||
- Temps moyen: 2.62s ≤ 10.0s
|
||||
- Temps max: 17.84s ≤ 30.0s (3× objectif)
|
||||
- **92% des documents** dans l'objectif (23/25)
|
||||
|
||||
### Objectif de Couverture: ≥ 80% des documents dans l'objectif
|
||||
|
||||
✅ **ATTEINT** (92%)
|
||||
|
||||
## Analyse de Corrélation
|
||||
|
||||
### Documents avec beaucoup de PII (>512)
|
||||
- Nombre: 5 documents
|
||||
- Temps moyen: **10.25s**
|
||||
- Observation: Corrélation forte entre nombre de PII et temps de traitement
|
||||
|
||||
### Documents avec peu de PII (<128)
|
||||
- Nombre: 15 documents
|
||||
- Temps moyen: **0.54s**
|
||||
- Observation: Traitement très rapide pour les documents simples
|
||||
|
||||
## Documents Lents (> 5.24s)
|
||||
|
||||
| Document | Temps | PII |
|
||||
|----------|-------|-----|
|
||||
| 025_complexe_trackare_trackare-02016820-23095226 | 17.84s | 1,622 |
|
||||
| 026_complexe_trackare_trackare-15000536-23074384 | 12.04s | 1,056 |
|
||||
| 027_complexe_trackare_trackare-10027557-23183041 | 8.78s | 859 |
|
||||
| 024_complexe_trackare_trackare-17001141-23066188 | 8.55s | 804 |
|
||||
|
||||
**Observation**: Tous les documents lents sont des documents Trackare complexes avec >800 PII.
|
||||
|
||||
## Documents Rapides (< 1.31s)
|
||||
|
||||
| Document | Temps | PII |
|
||||
|----------|-------|-----|
|
||||
| 021_moyen_compte_rendu_CRO_23201117.redacted_raster | 0.31s | 0 |
|
||||
| 004_simple_anapath_anapath_53_23224186.redacted_raster | 0.35s | 0 |
|
||||
| 022_moyen_compte_rendu_cro2_516_23187028 | 0.37s | 29 |
|
||||
| 001_simple_unknown_BACTERIO_23018396 | 0.38s | 43 |
|
||||
| 010_simple_anapath_ANAPATH_23217289 | 0.40s | 54 |
|
||||
|
||||
**Observation**: Documents déjà anonymisés (redacted_raster) ou simples avec peu de PII.
|
||||
|
||||
## Types de PII Détectés (Exemple: Document Complexe)
|
||||
|
||||
Document: `025_complexe_trackare_trackare-02016820-23095226_02016820_23095226.pdf`
|
||||
|
||||
| Type | Nombre |
|
||||
|------|--------|
|
||||
| NOM_EXTRACTED | 1,244 |
|
||||
| NOM | 168 |
|
||||
| NOM_GLOBAL | 88 |
|
||||
| DATE_NAISSANCE | 35 |
|
||||
| EPISODE | 33 |
|
||||
| ADRESSE | 8 |
|
||||
| TEL | 8 |
|
||||
| CODE_POSTAL | 7 |
|
||||
| VILLE | 6 |
|
||||
| Autres | 25 |
|
||||
|
||||
## Échecs
|
||||
|
||||
2 documents ont échoué en raison de protection par mot de passe:
|
||||
- `006_simple_anapath_ANAPATH_23142660.pdf`
|
||||
- `007_simple_anapath_ANAPATH_23096332.pdf`
|
||||
|
||||
## Conclusions
|
||||
|
||||
### Points Forts ✅
|
||||
|
||||
1. **Performance excellente**: Temps moyen de 2.62s bien en dessous de l'objectif (10s)
|
||||
2. **Couverture élevée**: 92% des documents traités dans l'objectif
|
||||
3. **Scalabilité**: Traitement rapide des documents simples (<1s)
|
||||
4. **Détection efficace**: 6,395 PII détectés sur 25 documents
|
||||
|
||||
### Points d'Attention ⚠️
|
||||
|
||||
1. **Documents complexes**: Les documents Trackare avec >800 PII prennent 8-18s
|
||||
2. **Variabilité**: Écart-type élevé (4.43s) indique une grande variabilité
|
||||
3. **Propagation globale**: Beaucoup de détections `*_GLOBAL` (propagation automatique)
|
||||
4. **PDFs protégés**: 2 documents non traités (protection par mot de passe)
|
||||
|
||||
### Prochaines Étapes
|
||||
|
||||
1. **Annotation manuelle** (Tâche 1.1.3): Annoter les 27 documents pour évaluation qualité
|
||||
2. **Évaluation qualité** (Tâche 1.3.1): Calculer Précision, Rappel, F1-Score
|
||||
3. **Analyse des faux positifs/négatifs** (Tâche 1.3.3): Identifier les patterns problématiques
|
||||
4. **Optimisation GPU** (Phase 2): Accélérer le traitement des documents complexes
|
||||
5. **Amélioration des détecteurs** (Phase 2): Regex, contextuel, hybride
|
||||
|
||||
## Fichiers Générés
|
||||
|
||||
- `tests/ground_truth/pdfs/baseline_anonymized/` - 25 documents anonymisés (vector + raster PDF)
|
||||
- `tests/ground_truth/pdfs/baseline_anonymized/batch_results.json` - Résultats détaillés du batch
|
||||
- `tests/ground_truth/benchmarks/baseline_benchmark.json` - Statistiques de performance
|
||||
- `tests/ground_truth/benchmarks/baseline_benchmark.csv` - Export CSV pour analyse
|
||||
|
||||
## Outils Disponibles
|
||||
|
||||
- `tools/batch_anonymize_test_dataset.py` - Anonymisation en batch
|
||||
- `tools/run_baseline_benchmark.py` - Génération du rapport de benchmark
|
||||
- `tools/show_anonymization_example.py` - Affichage détaillé d'un document
|
||||
- `tools/show_batch_summary.py` - Résumé global du batch
|
||||
Reference in New Issue
Block a user