anonymisation

Go to file

Domi31tls a827d860f1 fix: corrections retours collaborateurs — FP médicaments, N° venue, taille PDF

- Fix critique: whole-word search dans redact_pdf_raster et redact_pdf_vector
  pour éviter le substring matching (ex: "Luc" dans "FLUCONAZOLE",
  "TATIN" dans "ATORVASTATINE"). Appliqué à tous les kinds nom/NER.
- Ajout regex RE_VENUE_SEJOUR pour N° venue / N° séjour (BACTERIO, Trackare)
- DDN multiline élargi: tolère 0-3 lignes entre label DDN et date (tableaux BACTERIO)
- N° venue multiline: détection dans tableaux BACTERIO interleaved
- Réduction taille PDF raster: 150 DPI + JPEG quality 85 (était 300 DPI PNG)
  Ratio moyen: 19.5x (était 30-50x)
- Score qualité maintenu: 97.0/100 (grade A), 0 régression

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

2026-03-12 10:38:27 +01:00

.github/workflows

Ajout build portable : Python embarqué + lanceur .bat (sans compilation)

2026-02-17 23:27:32 +01:00

.kiro/specs/anonymization-quality-optimization

docs(phase1): Résumé exécutif Phase 1 pour l'utilisateur

2026-03-02 23:37:42 +01:00

.snapshots

feat: Phase 1 - Système d'évaluation de la qualité

2026-03-02 10:07:41 +01:00

ano

chore: add .gitignore, remove PDFs/models/zips from history

2026-03-05 00:37:19 +01:00

config

fix(phase2): Élimination FP cross-line + word boundaries — 0 fuite, 0 FP médical

2026-03-08 11:24:22 +01:00

corpus_validation

gui: Ajout indicateurs qualité (fuites, performances)

2026-03-02 21:34:18 +01:00

corpus_validation_sample

feat: Validation corpus complet - 100% qualité confirmée

2026-03-02 19:55:48 +01:00

data

feat(phase2): Fine-tuning CamemBERT-bio v2 (F1=0.90) + enrichissement données

2026-03-10 02:06:08 +01:00

detectors

feat: Optimize EPISODE false positives - filter trackare filename episodes

2026-03-02 15:33:29 +01:00

docs

feat(phase3): CamemBERT v3 + détection villes + initiales + texte espacé + docs réglementaires

2026-03-11 12:16:13 +01:00

evaluation

fix: corrections retours collaborateurs — FP médicaments, N° venue, taille PDF

2026-03-12 10:38:27 +01:00

pdf_natif

chore: add .gitignore, remove PDFs/models/zips from history

2026-03-05 00:37:19 +01:00

regression_tests

feat(phase2): Multi-signal NER — BDPM gazetteers, confiance EDS, safe patterns, GLiNER

2026-03-09 12:01:46 +01:00

scripts

feat(phase3): CamemBERT v3 + détection villes + initiales + texte espacé + docs réglementaires

2026-03-11 12:16:13 +01:00

test_3ogc

feat: Phase 1 - Système d'évaluation de la qualité

2026-03-02 10:07:41 +01:00

test_anonymise

feat: Phase 1 - Système d'évaluation de la qualité

2026-03-02 10:07:41 +01:00

test_chcb_leak

docs: Analyse finale validation corpus - système fonctionnel

2026-03-02 21:38:30 +01:00

test_doctr_fix

gui: Ajout indicateurs qualité (fuites, performances)

2026-03-02 21:34:18 +01:00

test_gui_output

fix(gui): Retirer paramètre use_vlm non supporté par process_pdf

2026-03-02 21:53:54 +01:00

tests

feat(phase1): Implémentation corrections qualité Phase 1

2026-03-02 23:36:29 +01:00

tools

feat(phase1): Implémentation corrections qualité Phase 1

2026-03-02 23:36:29 +01:00

.~lock.FONCTIONNEMENT.md#

feat: Phase 1 - Système d'évaluation de la qualité

2026-03-02 10:07:41 +01:00

.gitignore

chore: add .gitignore, remove PDFs/models/zips from history

2026-03-05 00:37:19 +01:00

analyze_anonymization_result.py

demo: Test d'anonymisation sur document réel

2026-03-02 10:19:55 +01:00

anonymizer_core_refactored_onnx.py

fix: corrections retours collaborateurs — FP médicaments, N° venue, taille PDF

2026-03-12 10:38:27 +01:00

anonymizer_core_refactored.py

Initial commit — Pseudonymisation de PDF v5

2026-02-16 15:03:37 +01:00

audit_fp_detector.py

Stop words +170 : détection automatique FP via dictionnaire français (audit_fp_detector.py)

2026-02-28 10:04:33 +01:00

build_windows.bat

Fix build Nuitka : ne compiler que nos modules, copier les packages tels quels

2026-02-17 23:08:29 +01:00

camembert_ner_manager.py

feat(phase3): CamemBERT v3 + détection villes + initiales + texte espacé + docs réglementaires

2026-03-11 12:16:13 +01:00

corpus_validation_full.log

gui: Ajout indicateurs qualité (fuites, performances)

2026-03-02 21:34:18 +01:00

corpus_validation.log

feat: Validation corpus complet - 100% qualité confirmée

2026-03-02 19:55:48 +01:00

demo_complete_anonymization.py

demo: Test d'anonymisation sur document réel

2026-03-02 10:19:55 +01:00

demo_evaluation.py

demo: Ajout script de démonstration et correction tests

2026-03-02 10:14:56 +01:00

eds_pseudo_manager.py

feat(phase2): Multi-signal NER — BDPM gazetteers, confiance EDS, safe patterns, GLiNER

2026-03-09 12:01:46 +01:00

FONCTIONNEMENT.md

feat: Phase 1 - Système d'évaluation de la qualité

2026-03-02 10:07:41 +01:00

gliner_manager.py

feat(phase2): Multi-signal NER — BDPM gazetteers, confiance EDS, safe patterns, GLiNER

2026-03-09 12:01:46 +01:00

install.sh

Initial commit — Pseudonymisation de PDF v5

2026-02-16 15:03:37 +01:00

ner_manager_onnx.py

Initial commit — Pseudonymisation de PDF v5

2026-02-16 15:03:37 +01:00

pdf_mask_designer.py

Initial commit — Pseudonymisation de PDF v5

2026-02-16 15:03:37 +01:00

Pseudonymisation_Gui_Models_V4.py

Initial commit — Pseudonymisation de PDF v5

2026-02-16 15:03:37 +01:00

Pseudonymisation_Gui_V5.py

feat(gui): Ajout bouton Arrêter pour stopper le traitement en cours

2026-03-02 22:04:00 +01:00

pseudonymisation_pipeline_gui_v3.py

Initial commit — Pseudonymisation de PDF v5

2026-02-16 15:03:37 +01:00

Pseudonymisation_Pipeline_Robuste_Patch.py

Initial commit — Pseudonymisation de PDF v5

2026-02-16 15:03:37 +01:00

pseudonymisation_pipeline_robuste.py

Initial commit — Pseudonymisation de PDF v5

2026-02-16 15:03:37 +01:00

qc_audit.py

Amélioration qualité anonymisation : dico médicaments auto, noms soignants, garde trackare, validation EDS, QC audit

2026-02-26 18:58:18 +01:00

readme.md

Initial commit — Pseudonymisation de PDF v5

2026-02-16 15:03:37 +01:00

requirements.txt

Initial commit — Pseudonymisation de PDF v5

2026-02-16 15:03:37 +01:00

run_batch_30_audit.py

feat(phase2): Intégration CamemBERT-bio ONNX comme 3e signal NER (vote triple)

2026-03-09 13:42:56 +01:00

run_batch_59ogc.py

feat: Phase 1 - Système d'évaluation de la qualité

2026-03-02 10:07:41 +01:00

run_batch_silver_export.py

feat(phase2): Fine-tuning CamemBERT-bio v2 (F1=0.90) + enrichissement données

2026-03-10 02:06:08 +01:00

server.py

feat: serveur API FastAPI pour microservice anonymisation

2026-03-10 02:04:52 +01:00

setup_env_and_build.bat

Initial commit — Pseudonymisation de PDF v5

2026-02-16 15:03:37 +01:00

test_anonymization_example.py

demo: Test d'anonymisation sur document réel

2026-03-02 10:19:55 +01:00

test_gui_error.py

fix(gui): Retirer paramètre use_vlm non supporté par process_pdf

2026-03-02 21:53:54 +01:00

test_gui_fixed.py

test: Vérifier que le GUI fonctionne après correction

2026-03-02 21:54:55 +01:00

test-mini.js

chore: add .gitignore, remove PDFs/models/zips from history

2026-03-05 00:37:19 +01:00

vlm_manager.py

Sécurité VLM : format JSON forcé, modèle local uniquement, fix logging critique

2026-02-27 02:38:30 +01:00

readme.md

placer tout les fichiers dans un répertoire. faire un chmod 777 install.sh pour lui donner les droits d'execution lancer ./install.sh pour lancer l'installation complete

L'installation peut prendre du temps, elle charge deux modele IA nlp. Elle crée un environement virtuel python.