Ma précédente modif affichait les étapes dans un SECOND splash tkinter
qui s'ouvrait après le splash natif PyInstaller. L'utilisateur voulait
voir les étapes dans la PREMIÈRE fenêtre (splash natif avec logo).
Refonte launch_gui() :
- Suppression du splash tkinter intermédiaire (pas de fenêtre qui clignote)
- Le splash natif PyInstaller reste visible pendant toute la phase d'import
- Handler logging installé sur le root logger pour intercepter chaque
log.info() du core. Traduction en libellé lisible + pyi_splash.update_text()
- Import synchrone (pas besoin de thread puisque le splash natif tourne
dans son propre processus bootloader)
- À la fin : splash natif fermé + lancement de la GUI principale
Résultat : l'utilisateur voit une seule fenêtre (splash natif avec logo)
où défilent sous le message "Démarrage…" toutes les étapes de chargement
des gazetteers, modèles et index. Quand tout est prêt, le splash disparaît
et la GUI apparaît. Plus de fenêtre intermédiaire.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Demande utilisateur : voir défiler les étapes (chargement des dictionnaires,
des modèles...) dans le splash au démarrage — effet pro apprécié des clients.
Implémentation :
- Nouveau handler logging.Handler installé sur le root logger avant l'import
du core. Intercepte chaque log.info() et :
* Traduit le message technique en libellé "prod" lisible (table de
correspondance _LOG_TRANSLATIONS : "Gazetteers INSEE prénoms" →
"Chargement des prénoms français (INSEE)…", etc.)
* Pousse le libellé dans le splash tkinter (detail_var, label secondaire)
* Pousse aussi dans le splash natif PyInstaller via pyi_splash.update_text()
- Splash tkinter agrandi 440×200 → 480×240 pour la nouvelle ligne détail
- Couleur primaire magenta (#E91E63) pour cohérence avec la GUI principale
- Handler retiré quand le splash se ferme (évite impact sur la GUI)
L'utilisateur voit maintenant défiler :
Chargement des prénoms français (INSEE)…
Chargement des noms de famille (INSEE)…
Chargement des communes françaises (INSEE)…
Chargement des numéros FINESS…
Indexation des établissements de santé…
Chargement du lexique médical…
Chargement de la base médicamenteuse (BDPM)…
Chargement des stop-words…
Chargement du vocabulaire clinique…
Chargement des phrases protégées…
Moteur d'anonymisation prêt…
Interface prête — finalisation…
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Intégration du logo "aivanonym" (gradient magenta → rose → pêche → noir)
fourni par le propriétaire. Refonte visuelle complète :
• APP_VERSION bump v5.4 → v5.5
• Assets (tous générés depuis assets/icons/logo.png) :
- assets/icons/app.ico multi-résolution 16→256 (icône EXE Windows)
- assets/icons/icon_{16,32,48,64,128,256,512}.png (fallback + taskbar)
- assets/logo_header.png (260×61, intégré dans l'en-tête de la GUI)
- assets/logo_splash.png (335×80, intégré dans le splash)
- assets/splash.png redessiné avec logo + bandeau gradient primary→accent
• Palette dérivée du logo (remplace l'ancien bleu) :
- CLR_PRIMARY #E91E63 magenta logo (CTA, liens)
- CLR_PRIMARY_DARK #C2185B hover / pressed
- CLR_PRIMARY_LIGHT #FCE4EC fond doux (tags, cartes)
- CLR_ACCENT #FFB74D pêche logo (secondaire)
- CLR_ACCENT_LIGHT #FFF3E0
- CLR_TEXT/SECONDARY proches du noir/gris du logo
• Pseudonymisation_Gui_V5.py :
- Helper _asset(name) : résout sous sys._MEIPASS/assets en mode frozen
- _apply_window_icon() : iconbitmap (.ico sur Windows) + iconphoto (PNG)
- _load_image_safe() : charge PIL avec ref persistante (évite GC tkinter)
- Header fixe hors onglets : logo image + baseline "100% local"
- Ligne accent magenta sous le header (inspiration logo)
- Onglets custom uniformes (remplace ttk.Notebook dont les tabs avaient
des tailles variables selon l'état) : tous les boutons identiques,
seule une bordure basse magenta signale l'onglet actif. _switch_tab()
gère l'affichage du contenu et la mise à jour des styles.
- Onglet 1 "Anonymisation" : workflow principal (choix, lancer, résultats)
- Onglet 2 "Paramètres" : 3 listes (whitelist/blacklist/stopwords) +
export/import + save. Plus de section repliable — respiration visuelle.
- Boutons export/import repensés avec les couleurs de la palette
• anonymisation_onefile.spec :
- datas : ajout du dossier assets/ entier
- EXE(icon=assets/icons/app.ico) : le .exe a maintenant le logo dans
l'Explorateur Windows, la barre des tâches, le gestionnaire des tâches
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Demande utilisateur : pouvoir identifier la build au premier coup d'oeil
sans confondre ancien/nouveau exe lors des tests.
Implémentation :
- build_info.py (gitignored, fallback "dev" pour mode développement)
régénéré automatiquement par scripts/rebuild_anon.ps1 avec :
BUILD_DATE = "2026-04-15 18:15"
BUILD_COMMIT = "234137e"
BUILD_BRANCH = "main"
- Pseudonymisation_Gui_V5.py : fonction _version_long() qui construit
"v5.4 · 2026-04-15 18:15 · #234137e" depuis build_info (avec fallback
silencieux si module absent en dev). Affichée dans :
- Titre fenêtre : "Pseudonymisation de vos documents — v5.4 · ..."
- Status bar en bas à droite
- anonymisation_onefile.spec : build_info.py ajouté aux datas bundlées.
- scripts/rebuild_anon.ps1 : STEP 4a génère build_info.py avant le
PyInstaller avec git rev-parse short + branch + date courante.
- .gitignore : build_info.py exclu (volatile, regénéré).
En mode dev (pas frozen) : affichage "v5.4" seul (fallback).
En mode frozen : affichage complet avec date/commit.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Message cosmétique sur Windows : "Prêt (NER indisponible : optimum.onnxruntime
introuvable. Installez 'optimum' et 'onnxruntime')". Apparaît dans la barre de
statut de la GUI quand EDS-Pseudo échoue à charger, et que le fallback
ner_manager_onnx.py essaie d'utiliser optimum.
Cause : 'optimum' n'était pas dans hiddenimports → PyInstaller ne le bundlait
pas → ner_manager_onnx.py mettait ORTModelForTokenClassification = None au
niveau module → l'appel à load() levait RuntimeError.
Le pipeline principal (CamemBERT-bio ONNX + EDS-Pseudo + GLiNER) ne passe
PAS par ner_manager_onnx.py — il utilise camembert_ner_manager.py qui charge
directement l'ONNX via onnxruntime sans optimum. Donc le masquage fonctionne
correctement malgré ce message. Mais le message inquiète l'utilisateur.
Fix : ajouter optimum + sous-modules aux hiddenimports. Impact taille
attendu : ~30-80 MB selon les dépendances embarquées.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Après deux rebuilds Windows silencieusement échoués (PermissionError
WinError 5 lors du os.remove par PyInstaller), amélioration du script :
1. Renommer l'ancien Anonymisation.exe en Anonymisation.old-HHMMSS.exe
AVANT le build (au lieu de laisser PyInstaller faire os.remove qui
échoue si Defender tient un handle). Move-Item bypass la plupart des
scanners antivirus.
2. Exclusions Defender sur dist/ et build/ (Add-MpPreference).
3. Retry Remove-Item avec délai 10s × 5 sur build/ en cas de lock.
4. Vérification timestamp APRÈS/AVANT : si l'exe final a le même
LastWriteTime qu'avant le build, exit code 2 "ÉCHEC CRITIQUE —
timestamp inchangé". Évite le faux OK quand le build rate mais que
l'ancien exe subsiste.
5. Encodage UTF-8 BOM nécessaire pour PowerShell Windows (accents
français dans les messages).
Validé : rebuild v5d a passé — nouveau exe 17:47:40 (vs ancien 17:09:32),
ancien renommé en Anonymisation.old-174023.exe.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Audit manuel après batch QC : 20 occurrences de "Dr Ute" dans
trackare-03020576-23175616 non masquées. Audit jsonl confirme : 0 hit pour
"Ute" → pas détecté.
Cause : _add_candidate (deux implémentations, lignes 1908 et 2225) filtrait
len(token) < 4, empêchant la création du NameCandidate pour "Ute" (3 chars)
même avec bypass_stopwords=True. La cross-validation écrasait alors
all_names avec validated_names (vide pour Ute), et _apply_extracted_names
ne recevait donc jamais Ute.
Le commit 2f79f7c avait fait le fix uniquement dans _apply_extracted_names.
Fix incomplet : le filtre amont _add_candidate rejetait avant.
Correctif symétrique sur _add_candidate (×2) + _add_tokens_force_first :
accepter 3 chars UNIQUEMENT si bypass=True (contexte Dr/Mme) ET majuscule
initiale ET alpha pur. 2 chars reste filtré (initiales ambigues).
Validation :
- "DR. DURANTEAU Ute" matche bien RE_EXTRACT_DR_DEST et capture "DURANTEAU Ute"
- Audit produit "Ute DURANTEAU" en bloc + "DURANTEAU" seul (41 hits total)
- PDF redacted : 0 résiduel "Ute" (avant : 38)
Cas protégés :
- "Ute" accepté : bypass=True, U majuscule, alpha ✓
- "Les" refusé : bypass=True mais stopword (filtré ailleurs) ✓
- "JF" refusé : 2 chars, filtre longueur < 3 ✓
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
L'utilisateur a signalé un chevauchement visuel entre la ligne statique
"Premier lancement : 30-60 secondes…" du PNG et la ligne dynamique
PyInstaller (qui affiche "Chargement EDS-Pseudo…", etc.) affichée par
pyi_splash.update_text().
Correctifs :
- PNG redessiné avec 3 lignes statiques seulement (titre, sous-titre,
"Démarrage en cours — merci de patienter…") et une ZONE LIBRE y=170-235
pour le texte dynamique.
- text_pos du Splash() ajusté à (60, 195) pour centrer dans la zone libre.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
L'exe --onefile décompresse ~720 Mo dans %TEMP% au lancement. Sur Windows,
cela prend 15-30 s AVANT que Python ne démarre. Pendant ce temps :
- Aucune fenêtre visible (même le splash tkinter existant n'était pas encore
exécuté, car il faut d'abord l'import de Python).
- L'utilisateur clique parfois plusieurs fois, croit que l'app est plantée.
Solution : Splash natif PyInstaller (Splash() dans le .spec). L'image est
affichée PAR LE BOOTLOADER de l'exe, AVANT même le démarrage Python. Le
texte sous l'image est actualisable via pyi_splash.update_text(), puis
fermé via pyi_splash.close() une fois le splash tkinter visible.
Changements :
- assets/splash.png (480x240) : titre + sous-titre + indication de durée
- anonymisation_onefile.spec : Splash() + splash/splash.binaries dans EXE()
- launcher.py : import pyi_splash (fallback silencieux en mode dev), helpers
_splash_update / _splash_close, fermeture du splash natif dès que le
splash tkinter est à l'écran (évite superposition).
- .gitignore : exception !assets/** pour versionner l'image du splash
(règle générale *.png exclut tout le reste).
Effet utilisateur attendu : fenêtre visible IMMÉDIATEMENT au double-clic,
avec message "Démarrage en cours — merci de patienter…". Suppression du
trou noir de 15-30 s.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Fuite détectée lors du QC batch 22 : le nom "Douar" était dans l'audit
(NOM page 6) mais restait visible dans le PDF redacted_vector. Cause :
dans get_text('words') le word était 'Douar,nécessitant' (virgule collée
sans espace). _search_whole_word faisait un == strict après strip des
ponctuations frontières, mais la virgule était au MILIEU — pas stripée.
→ aucun match → aucun rectangle → fuite.
Fix : passe 2 dans _search_whole_word avec regex word-boundary sur le
texte complet du word (pattern `(?<![A-Za-zÀ-ÿ])token(?![A-Za-zÀ-ÿ])`)
+ bbox proportionnelle au ratio chars matched / chars total du word.
Approximation exacte sur polices monospace, précision ±pixels sur
polices proportionnelles — couverte par le rectangle de redaction.
Validation bout-en-bout sur trackare-BA042686-23090597 : "Douar" masqué
(0 page résiduelle). QC strict retombe de 1 anomalie à 0.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Suite aux fixes #1-5 (entjur FINESS, mono-mots distinctifs, énumérations
ville, RE_HOPITAL_VILLE ALL-CAPS), 11 entrées du YAML sont devenues
redondantes avec les détections automatiques.
Avant : 14 force_mask_terms + 4 force_mask_regex
Après : 4 force_mask_terms + 1 force_mask_regex
Retiré (couvert par gazetteers/regex) :
- CENTRE HOSPITALIER COTE BASQUE (et variantes) → ETAB via RE_HOPITAL_VILLE
- POLYCLINIQUE COTE BASQUE SUD (et variantes accentuées) → ETAB via RE_HOPITAL_VILLE
- 640780417 (entjur CHCB) → FINESS_NUMBERS après fix#1
- BAYONNE, BAYONNE CEDEX → VILLE via gazetteer + énumérations + suffixe CEDEX
- 64109 → CODE_POSTAL via regex (capture maintenant "64109 BAYONNE CEDEX" en bloc)
- LES EMBRUNS, REED LES EMBRUNS, EMBRUNS BIDART → ETAB via AC FINESS (mono-mots distinctifs)
- regex Centre Hospitalier / Polyclinique Côte Basque → fix#5 RE_HOPITAL_VILLE
- regex [Ee]mbruns → fix#3 mono_mots_distinctifs.txt
Conservé (irréductible local ou politique métier) :
- CHCB (sigle local non référencé FINESS)
- 'Dates du séjour :' (libellé administratif)
- CONCERTATION (mention RCP — politique métier)
- LABORATOIRE de BIOLOGIE MEDICALE (libellé administratif)
- regex adresse 13 Avenue Interne J. LOEB (filet, AC FINESS adresses suffit)
Validation sur trackare-18007562 :
- Avant : 122 hits (dont 7 force_term/force_regex)
- Après : 119 hits — disparition des doublons, capture améliorée
(ex: "64109 BAYONNE CEDEX" capturé en bloc CODE_POSTAL au lieu de 3 hits séparés)
- Couverture identique : CENTRE HOSPITALIER, COTE BASQUE, BAYONNE, 64109 toujours masqués
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Le pattern type utilisait [Cc]entre\s+[Hh]ospitalier : seule la 1re lettre
de chaque mot était ambidextre, la suite devait être en minuscules. "CENTRE
HOSPITALIER COTE BASQUE" (tout majuscule) échappait → compensé par regex
YAML force_mask_regex "Centre\s+Hospitalier\s+…".
Fix : utiliser (?i:…) case-insensitive localement sur les sous-motifs "type
d'établissement" et "déterminants" (de, du, la…) tout en gardant le nom
propre strict (1re lettre majuscule obligatoire). Évite les FP tout en
capturant les majuscules complètes.
Cas validés :
- "Centre Hospitalier de Bayonne" → match (inchangé)
- "CENTRE HOSPITALIER COTE BASQUE" → match (nouveau)
- "POLYCLINIQUE CÔTE BASQUE SUD" → match (nouveau)
- "CLINIQUE SAINT-JEAN" → match (nouveau)
- "examen hôpital de Bordeaux" → pas de match (exclusion préservée)
Test YAML stripped : CENTRE HOSPITALIER et COTE BASQUE sont maintenant
masqués par ETAB (regex/AC) au lieu de force_term. Après ce fix + Fix#4,
on peut retirer les regex "Centre\s+Hospitalier…" et "Polyclinique…" du YAML.
Non-régression : 122 hits sur trackare-18007562 avec YAML complet.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Trois trous de détection identifiés par l'audit de règles :
1. Énumération "Bordeaux et Bayonne" / "Bordeaux, Bayonne, Biarritz" : la règle
contextuelle _RE_GEO_BEFORE n'acceptait que des déclencheurs directs (à, de,
hôpital de, urgences de…). Dans une énumération, la 2ème ville+ échappait.
Nouvelle passe 2 : propagation mutuelle entre hits AC adjacents liés par
" et " ou ", ". Itération à point fixe pour chaînes longues. Garde-fou :
chaque hit ≥ 5 lettres pour éviter FP sur communes courtes homonymes.
2. Code postal encore en chiffres : _RE_GEO_BEFORE n'acceptait que
[CODE_POSTAL] déjà masqué. Ajout de `\b\d{5}\s+` comme déclencheur pour
couvrir l'ordre dans lequel _mask_ville_gazetteers est appelée avant le
masquage du code postal.
3. Suffixe CEDEX : "BAYONNE CEDEX" capturait BAYONNE seul. Extension automatique
de la capture pour inclure " CEDEX" et " CEDEX N" adjacents.
Cas validés :
- "travaille à Bordeaux et Bayonne" → [VILLE] et [VILLE]
- "Régions : Bordeaux, Bayonne, Biarritz" → 3× [VILLE] (chaîne sans ancre)
- "64109 BAYONNE CEDEX" → [VILLE] (capture CEDEX inclus)
- "charge", "médecin et patient" → aucun FP
Non-régression : 122 hits sur trackare-18007562.
Après ce fix, on peut retirer BAYONNE, BAYONNE CEDEX du YAML force_mask_terms.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Le matcher Aho-Corasick FINESS rejetait tous les mono-mots < 10 chars pour
éviter les faux positifs. Conséquence : EMBRUNS (7 chars), présent dans
etablissements_distinctifs.txt, était ignoré et devait être forcé en YAML
(LES EMBRUNS, REED LES EMBRUNS, EMBRUNS BIDART, regex [Ee]mbruns).
Nouveau fichier data/finess/mono_mots_distinctifs.txt contenant la whitelist
curée des mono-mots courts considérés comme distinctifs. Maintenance manuelle
(un mot par ligne, commentaires autorisés). Le matcher accepte un mono-mot
< 10 chars uniquement s'il est dans cette whitelist.
Initialisation : embruns, embrun (documents CHCB "Les Embruns").
Validation :
- _FINESS_AC matche maintenant "les embruns quelque part" et "embruns seul"
- Pas de régression sur trackare-18007562 (122 hits)
Après ce fix + futurs, on pourra retirer LES EMBRUNS / REED LES EMBRUNS /
EMBRUNS BIDART et regex [Ee]mbruns de force_mask_terms du YAML.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Deux corrections exploitant mieux les gazetteers FINESS/INSEE pour réduire la
dépendance au YAML force_mask_terms.
1. scripts/build_finess_gazetteers.py : ne lisait que col 1 (finess_et) du CSV.
Les col 2 (entjur, entité juridique) étaient ignorés. ~48k numéros
juridiques manqués, dont 640780417 (CHCB entjur) forcé en YAML à cause
de cette lacune. Fix : lecture col 1 + col 2 avec déduplication.
Régénération : 101 941 → 150 436 numéros (+48 495).
2. anonymizer_core_refactored_onnx.py :
- _FINESS_ETAB_NAMES (122k noms) chargé mais jamais consulté après le
refactoring NER-first (le matching passe par l'Aho-Corasick sur
etablissements_distinctifs.txt). Suppression → -122k entrées RAM.
- _INSEE_PRENOMS (lowercase) et _INSEE_PRENOMS_SET (uppercase sans accents)
lisaient deux fois le même fichier prenoms_france.txt. Fusion en une
seule passe disque, les deux formes dérivées en mémoire. -36k lectures.
Validation :
- 640780417 présent dans _FINESS_NUMBERS après rebuild
- 122 hits sur trackare-18007562 (non-régression)
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Plantages signalés sous Windows : causes identifiées et corrigées.
1. anonymisation_onefile.spec : les fichiers data/stopwords_manuels.txt,
villes_blacklist.txt, dpi_labels_blacklist.txt, companion_blacklist.txt
n'étaient PAS inclus dans le bundle PyInstaller (seuls les sous-dossiers
data/bdpm, data/finess, data/insee l'étaient). Résultat en frozen : sets
vides, qualité dégradée, plus de faux positifs.
2. anonymizer_core_refactored_onnx.py : chargements robustifiés.
- Helper _load_txt_set avec try/except et logging WARNING si fichier absent
- Fallbacks intégrés (_DPI_LABELS_FALLBACK, _COMPANION_BLACKLIST_FALLBACK)
pour continuer à fonctionner si bundle partiel
- try/except sur stopwords_manuels.txt, villes_blacklist.txt, BDPM
3. launcher.py : UX repensée pour le chargement des modèles.
- SetupWindow (premier lancement) : auto-démarrage (plus de clic nécessaire),
progress bar avec étapes visuelles (⏳/✓/✗ par modèle), bouton relance si
échec, bouton "continuer malgré tout" pour modèles optionnels.
- Splash screen ajouté dans launch_gui() : le chargement des gazetteers
(INSEE 200k+ noms, FINESS 100k+ établissements) prend 15-30 s au démarrage
normal. Sans feedback, l'utilisateur croyait l'app plantée. Le splash
tourne pendant l'import (thread séparé, poll avec splash.after).
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Troisième liste paramétrable dans la GUI v5.4, après whitelist_phrases et
blacklist.force_mask_terms : "Mots à ne jamais identifier comme noms".
Cible les sigles, acronymes métier locaux, ou termes ALL-CAPS récurrents
qui ressemblent à des noms propres mais n'en sont pas.
Différence avec la whitelist :
- whitelist_phrases : terme spécifique à protéger même s'il a été masqué
par regex/NER (filtre final sur l'audit + sous-mots de hits multi-mots)
- additional_stopwords : empêche le terme d'être candidat-nom dès l'amont
(intégré à _MEDICAL_STOP_WORDS_SET, filtre toutes les étapes)
Wired dans _load_params, _save_params, _export_params, _import_params.
La nouvelle clé additional_stopwords est incluse dans le JSON d'échange
inter-établissements.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Suite de l'externalisation des règles. Trois listes étaient codées en dur dans
anonymizer_core_refactored_onnx.py et impossibles à modifier par les
établissements sans recompiler :
- _NEVER_MASK_AS_NAME (12 entrées) — labels DPI structurels
- _DPI_LABELS_BLACKLIST (14 entrées, doublon partiel du précédent)
- _COMPANION_BLACKLIST (~75 entrées) — spécialités, labos pharma, mots ambigus
Les deux premières fusionnées dans data/dpi_labels_blacklist.txt (11 entrées
uniques, comparaison case-insensitive). La troisième dans
data/companion_blacklist.txt (75 entrées, comparaison uppercase).
Ajout de deux clés YAML pour enrichissement par établissement :
- additional_dpi_labels (ex: "Service", "Statut")
- additional_companion_blacklist (ex: spécialités locales)
Les 3 niveaux cumulatifs habituels s'appliquent : code (vide) → fichiers data/
→ YAML config. Chargement au démarrage avec log INFO du nombre d'entrées.
Test trackare-18007562-23054899 : 122 hits, 0 régression, 0 DPI label masqué
comme NOM.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Bug majeur depuis l'externalisation : la GUI v5.4 écrivait whitelist_phrases
(clé racine), mais le core ne lisait que whitelist.sections_titres /
noms_maj_excepts (imbriqué). _apply_whitelist post-masquage était par ailleurs
désactivée (c157205) sans remplacement.
Correctif :
- load_dictionaries() lit whitelist_phrases et alimente deux sets globaux
(_WHITELIST_NEVER_MASK_TOKENS, _WHITELIST_NEVER_MASK_PHRASES). Mots-outils
(de, du, le...) écartés pour éviter blocages collatéraux.
- _apply_extracted_names : check whitelist en pré-masquage, prime sur les
force_names (ex: "DUPONT" reste visible même après "Dr DUPONT").
- process_pdf : filtrage final de l'audit avant redact_pdf_vector. Les hits
multi-mots dont au moins un sous-token est whitelist sont retirés.
- redact_pdf_vector : check whitelist sur les sous-mots cherchés
individuellement quand le multi-mots n'est pas trouvé sur la page.
Validé sur trackare-18007562-23054899 :
- Avec whitelist BELLEAU : 0 hit dans audit, 31 occurrences préservées dans PDF
- Sans whitelist : 0 occurrence dans PDF (non-régression OK)
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
pyzbar interprétait les cellules de tableaux trackare comme des codes-barres
et les noircissait. Ajout d'un seuil minimum de surface (2000 px²) pour
filtrer les faux positifs sur les petites zones.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
- Whitelist post-masquage désactivée : injectait des phrases au mauvais
endroit dans le texte anonymisé (bug critique)
- Labels DPI "Date", "Note", "Heure", "Type", "Saint", "Page" ajoutés à
_NEVER_MASK_AS_NAME et _DPI_LABELS_BLACKLIST pour empêcher leur
propagation globale comme noms de personnes
- Corrige "Date d'admission → [NOM] d'admission",
"Note d'évolution → [NOM] d'évolution", etc.
Score évaluation : 99.3/100 (fuites pré-existantes Sie/GRAND inchangées)
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Les noms avec bypass_stopwords=True (contexte Dr/Mme confirmé) sont
maintenant toujours acceptés par la cross-validation, même s'ils sont
dans les stop-words médicaux (ex: Dr MASSE, Dr GRAND).
Note: les fuites "Sie" (3 chars) et "GRAND" (stop-word) existaient
déjà avant le refactoring NER-first (score 99.3 identique).
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
La cross-validation NER (_cross_validate_name_candidates) gère désormais
les décisions contextuelles nom/terme-médical. Les stop-words purement
médicaux sont supprimés :
- data/stopwords_manuels.txt : 1307 → 233 entrées (uniquement les mots
ambigus qui sont aussi des noms/prénoms INSEE)
- _MEDICAL_STOP_WORDS_SET hardcodé : ~400 → 80 entrées essentielles
(mots courts, formes galéniques, titres hospitaliers)
- Les enrichissements BDPM (~7300), edsnlp (~2000) et fichier externe
sont conservés tels quels
Score qualité inchangé : 100/100 (A+), 0 fuite, 0 faux positif.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Step 5: anonymise_document_regex now accepts optional NER managers,
runs NER on the original (unmasked) text, and cross-validates
regex-extracted names against NER detections + INSEE gazetteers.
NER-only detections (names found by NER but missed by regex) are
also added. Falls back to original behavior when no NER is available.
Step 6: process_pdf passes NER managers into anonymise_document_regex
for NER-first cross-validation. The existing NER safety net pass on
masked text is preserved (double-pass: original + masked text).
Quality score: 100.0/100 (A+), zero regression.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Add infrastructure for NER-first name validation without changing
existing behavior. New code only, quality score remains 100/100.
Step 1: Load INSEE family names (219K) and prenoms (33K) as
module-level gazetteers (_INSEE_NOMS_FAMILLE, _INSEE_PRENOMS_SET)
normalized uppercase without accents.
Step 2: Add _run_ner_on_original_text() that runs all available NER
models (EDS-Pseudo, GLiNER, CamemBERT-bio) on unmasked text and
returns deduplicated NerDetection list.
Step 3: Add NerDetection and NameCandidate dataclasses. Modify
_extract_document_names and _extract_trackare_identity to also
return NameCandidate lists with context_strength (high/medium/low)
metadata. Callers updated for new return values.
Step 4: Add _cross_validate_name_candidates() implementing decision
matrix: high context always accepted, medium/low validated against
NER confirmations, INSEE membership, and stopword filtering.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Toutes les listes de règles sont maintenant modifiables sans toucher
au code Python :
Fichiers de données (data/) :
- stopwords_manuels.txt : 1307 termes médicaux/techniques
- villes_blacklist.txt : 117 communes à ne pas matcher
- medicaments_stopwords.txt : 7312 médicaments BDPM (existant)
- Chargés automatiquement au démarrage
Config YAML (dictionnaires.yml) :
- additional_stopwords : mots supplémentaires par établissement
- additional_villes_blacklist : villes supplémentaires
- whitelist_phrases : phrases à ne jamais anonymiser
- force_mask_terms : mots à toujours masquer
Chaîne de chargement : code dur → fichiers data/ → YAML config
Les 3 niveaux se cumulent (union).
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Au premier lancement, la config embarquée est copiée dans config/
à côté de l'exe. Les lancements suivants utilisent cette copie externe.
Workflow de mise à jour :
1. L'établissement exporte ses paramètres (JSON)
2. On fusionne avec merge_params.py
3. On leur envoie le nouveau dictionnaires.yml par email
4. Ils le déposent dans config/ à côté de l'exe
5. Aucune recompilation nécessaire
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
GUI :
- Bouton "Exporter pour envoi" → fichier JSON sur le Bureau avec
whitelist + blacklist + version + date, prêt à envoyer par email
- Bouton "Importer" → charge un JSON et fusionne (sans doublons)
Serveur :
- scripts/merge_params.py : fusionne les JSON reçus des établissements
dans la config maîtresse dictionnaires.yml
Usage : python scripts/merge_params.py export1.json export2.json
Workflow :
1. L'établissement ajuste les paramètres dans la GUI
2. Clique "Exporter" → fichier JSON
3. Envoie par email
4. On fusionne avec merge_params.py
5. On reconstruit l'exe avec la config enrichie
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Bug critique corrigé : les noms forcés (contexte Dr/Mme) comme "MASSE"
étaient masqués dans le texte mais pas dans le PDF raster car filtrés
par les stop-words médicaux. Nouveau kind "NOM_FORCE" qui bypass le
filtre stop-words dans les fonctions de redaction vector et raster.
GUI : remplacement des zones texte brut par des listes interactives
avec champ de saisie + bouton Ajouter + bouton Supprimer, fond coloré
(vert pour whitelist, rose pour blacklist).
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
- Nouvelle section whitelist_phrases dans dictionnaires.yml : phrases
qui ne doivent jamais être anonymisées (FP récurrents)
- Fonction _apply_whitelist : restaure les phrases whitelistées après
anonymisation, même si des mots ont été remplacés par des placeholders
- GUI : section "Paramètres avancés" repliable avec :
- Zone texte whitelist (phrases à exclure)
- Zone texte blacklist (mots à toujours masquer)
- Bouton sauvegarder → persiste dans le YAML
- Phrases initiales : "classification internationale", "prise en charge",
"bas de contention", "date de naissance", "code postal", etc.
Score évaluation maintenu à 100.0/100 (A+)
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Nouveau module format_converter.py : conversion automatique vers PDF
avant anonymisation. Formats supportés :
- PDF (passthrough)
- DOCX (python-docx → texte → PDF)
- ODT (odfpy → texte → PDF)
- RTF (striprtf → texte → PDF)
- TXT (texte brut → PDF via PyMuPDF)
- HTML (BeautifulSoup → texte → PDF)
- JPEG/PNG/TIFF/BMP (image embarquée → OCR docTR en aval)
Nouvelle fonction process_document() : wrapper qui gère la conversion
puis appelle process_pdf(). GUI mise à jour pour chercher tous les
formats supportés (plus seulement *.pdf).
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
ProcessPoolExecutor relançait l'exe pour chaque sous-processus de
rastérisation sous PyInstaller --onefile, créant une fenêtre GUI par page.
En mode frozen, la rastérisation est maintenant séquentielle.
Aussi: remplacement du mutex Windows par un file lock (msvcrt.locking)
plus fiable pour la protection anti-multi-instance.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Bug #1 (critique) : RE_EXTRACT_STAFF_ROLE matchait à l'intérieur des mots
(IDE dans METOCLOPRAMIDE, AS dans ATORVASTATINE) → ajout \b word boundaries
et suppression du ? optionnel sur ASH (AS matchait partout)
Bug #2 : raster multi-mots utilisait page.search_for() (substring matching)
→ ajout vérification frontières de mots pour les tokens multi-mots
dans redact_pdf_raster et redact_pdf_vector
FP FINESS Aho-Corasick :
- "resistance" (Centre de la Résistance) matchait "résistance aux fluoroquinolones"
- "radiotherapie" matchait "tumorectomie, radiothérapie et hormonothérapie"
→ ajout blacklist : resistance, radiotherapie, chimiotherapie, etc.
FP villes : "COU" (commune) matchait dans "prurit (cou, décolleté, dos)"
→ ajout COU, DOS, SEIN, BRAS à _VILLE_BLACKLIST
Stop-words : ajout "totale", "partielle", "prothese", "unicompartimentale"
Score évaluation maintenu à 100.0/100 (A+)
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
L'OCR docTR est maintenant déclenché page par page (< 150 chars) au lieu
d'un seuil global sur tout le document. Permet de traiter les documents
mixtes (pages texte + pages scannées) sans pénaliser le temps de traitement
sur les pages déjà riches en texte.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
- RE_TEL : ajout du format +33(0)XXXXXXXXX (ex: +33(0)156125400)
- _add_tokens_force_first : tous les tokens après Dr/Mme/Mr sont maintenant
dans force_names (bypass stop-words médicaux). Corrige la fuite de noms
de médecins homonymes de termes médicaux (ex: Dr MASSE)
Score évaluation maintenu à 100.0/100 (A+)
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
- Nouveau module scripts/check_resources.py : état GPU/VRAM/RAM/CPU,
require_resources() et wait_for_resources() avec polling
- Intégré dans finetune_camembert_bio.py (8 Go VRAM + 8 Go RAM)
- Intégré dans run_batch_silver_export.py (workers × 4 Go RAM)
- Évaluateur : EVA et RAI ajoutés aux termes médicaux (score 100.0/100)
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Intégration du modèle CamemBERT-bio-deid v3 (F1=0.96, Recall=0.97, 1112 docs)
et corrections qualité issues de l'audit approfondi sur 29 fichiers.
Détection des villes en texte libre :
- Automate Aho-Corasick sur 33K communes INSEE + 11.6K villes FINESS
- Stratégie contextuelle : exige un contexte géographique (à, de, vers,
habite, urgences de, etc.) sauf pour les villes composées (Saint-Palais)
- Blacklist de ~80 communes homonymes de mots courants (charge, signes, plan...)
- Normalisation SAINT↔ST pour les variantes orthographiques
- De 18 fuites de villes à 2 cas résiduels atypiques
Masquage des initiales de prénom :
- Post-traitement regex : "Dr T. [NOM]" → "Dr [NOM] [NOM]"
- Références initiales : "Ref : JF/VA" → "Ref : [NOM]/[NOM]"
Détection texte espacé d'en-tête :
- "C E N T R E H O S P I T A L I E R" → [ETABLISSEMENT]
Autres corrections :
- Fix regex RE_EXTRACT_MME_MR (Mr?.? → Mr.?, \s+ → [ \t]+, * → {0,4})
- Stop words médicaux : lever, coucher, services hospitaliers (viscérale, etc.)
- CamemBERT NER manager : version tracking, propriété version, log F1/Recall
- Script finetune : export ONNX automatique + mise à jour VERSION.json
- Évaluateur qualité : exclusion stop words médicaux des alertes INSEE
Documentation :
- Spécifications techniques CamemBERT-bio-deid v3
- Conformité RGPD + AI Act (caviardage PDF raster)
- AIPD (Analyse d'Impact Protection des Données)
Score qualité : 97.0/100 (Grade A), Leak score 100/100
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
Expose le pipeline complet d'anonymisation (regex + NER ensemble + rescan)
via REST API sur port 8200. Chargement des 3 modèles NER au démarrage
(EDS-Pseudo, CamemBERT-bio ONNX, GLiNER). Endpoints: /anonymize/text,
/anonymize/pdf, /health. Utilisé par T2A v2 comme brique externe.
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
