anonymisation/docs/memoire-projet.md

Memoire projet

Derniere mise a jour : 2026-04-22

Objet

But du projet : anonymiser/pseudonymiser des documents medicaux de facon fiable, diffable, validable par des humains, avec une contrainte forte de conformite et de non-fuite.

Ce fichier sert de point de reprise rapide pour ne pas perdre le fil entre deux sessions.

Etat courant

• La source de verite des dictionnaires par defaut est config/dictionnaires.default.yml.
• La surcharge runtime/site est config/dictionnaires.yml.
• Les dictionnaires hardcodes ont ete externalises vers data/.
• Les regles d'administration ont un contrat dedie :
  • config/admin_rules.default.yml
  • config/admin_rules.yml
  • schemas/admin_rules.schema.json
  • admin_rules.py
• Les regles admin sont branchees dans le moteur ONNX.
• Le core legacy n'est pas encore aligne sur ce branchement admin.
• La GUI conserve maintenant le chemin relatif des cas sous anonymise/ au lieu d'ecraser les sorties homonymes.
• La GUI ignore maintenant le sous-dossier anonymise/ lors du scan recursif des entrees.
• L'onglet Parametres de la GUI charge maintenant les listes effectives default + overlay, donc les phrases/termes par defaut sont visibles meme si config/dictionnaires.yml est vide.
• L'onglet Parametres affiche aussi un resume chiffré des listes visibles et precise que le moteur applique d'autres regles automatiques non affichees dans ces champs.
• La GUI expose maintenant un mode masques PDF reutilisables pour les documents formates :
  • ouverture d'un editeur de caviardage manuel depuis l'onglet Parametres
  • stockage persistant des templates dans config/mask_templates/
  • ouverture automatique du PDF courant quand l'utilisateur a selectionne un fichier PDF
  • selection d'un template dans la GUI pour l'appliquer a tous les PDF du lot avant anonymisation
• La GUI expose maintenant aussi des profils metier :
  • definitions chargees depuis config/profiles.default.yml + config/profiles.yml
  • selection d'un profil dans l'onglet Parametres
  • surcharge de configuration appliquee au moteur pour le lot courant
  • options de poste utilisateur prises en compte comme masque manuel requis et VLM desactive
• Le moteur anonymise maintenant correctement deux layouts reels supplementaires :
  • numero de venue BACTERIO rejete juste avant IPP
  • artefacts de noms de fichiers scannes EXT2-...-1234567890.TIF

Validation deja en place

• Suite rapide : tests/synthetic_regression/
• Corpus complet de revue : tests/synthetic_review/
• Runner de revue : tools/run_synthetic_review_corpus.py
• Protocole humain : docs/protocole-validation-humaine.md
• Fiche de revue : docs/fiche-validation-humaine-modele.md

Tests ajoutes/maintenus :

• tests/unit/test_config_externalization.py
• tests/unit/test_header_pii_detection.py
• tests/unit/test_synthetic_regression.py
• tests/unit/test_admin_rules_validator.py
• tests/unit/test_admin_rules_integration.py
• tests/unit/test_gui_batch_paths.py

Commits repere

• 500ebc2 Externalize dictionaries and add anonymization review corpus
• b58d79f Add project framing for anonymization
• 0fc8665 Add human review protocol and admin rules contract
• df5dabf Wire admin rules into ONNX anonymizer

Dernier constat important

La campagne lancee depuis la GUI sur le dossier global tests/synthetic_regression/cases n'est pas exploitable comme validation complete.

Cause racine :

• la GUI parcourt recursivement tous les fichiers supportes du dossier choisi
• la GUI ecrit toutes les sorties dans un seul dossier anonymise/
• les sorties sont nommees avec le seul stem du fichier source
• comme chaque cas contient input.txt, test.txt et expected.txt, les sorties s'ecrasent entre elles

Rapport detaille :

• docs/rapport-analyse-campagne-gui-2026-04-21.md

Conclusion :

• seul le cas 010_spaced_establishment_header restait encore verifiable
• ce cas etait conforme
• la campagne globale est non concluante pour les autres cas

Correctif applique ensuite

Le probleme de nommage GUI identifie ci-dessus a ete corrige dans Pseudonymisation_Gui_V5.py.

Effets du correctif :

• les sorties de campagne conservent desormais le sous-dossier relatif de chaque cas
• le dossier anonymise/ est exclu des entrees candidates, pour eviter les retraitements accidentels
• le controle de fuite GUI relit desormais les .pseudonymise.txt de facon recursive

Exemple attendu :

• anonymise/001_patient_header_and_birth/test.pseudonymise.txt
• anonymise/002_contact_bundle/test.pseudonymise.txt

Echantillon reel CHUXX du 2026-04-22

Lot teste :

• dossier source : /home/dom/Téléchargements/II-1 Ctrl_T2A_2025_CHUXX_DocJustificatifs
• echantillon aleatoire reproductible de 30 documents
• manifeste : anonymise/_sample_manifest_2026-04-22_seed20260422.json

Resultat de traitement :

• 27 documents anonymises avec succes
• 3 echecs dus a des PDF proteges par mot de passe :
  • 149_23089771/ANAPATH 23089771.pdf
  • 26_23127395/ANAPATH 23127395.pdf
  • 29_23137897/ANAPATH 23137897.pdf

Validation apres correctifs moteur :

• 2 fuites probables observees au premier passage ont ete corrigees :
  • 228_23176885/BACTERIO 23176885.pdf
  • 84_23215994/trackare-16014215-23215994_16014215_23215994.pdf
• controle automatique final : 22 documents sans fuite detectee sur 27
• les 5 alertes restantes sont des faux positifs connus du LeakScanner
  • initiales d'une lettre dans l'audit (A, F, S)
  • code produit 16371071 dans une ligne CLARISCAN
  • ratio medical 1/10000

Rapports produits :

• anonymise/_sample_run_report_2026-04-22_seed20260422.json
• anonymise/_sample_validation_report_2026-04-22_seed20260422.json
• anonymise/_sample_validation_triage_2026-04-22_seed20260422.json

Prochaine action recommandee

Relancer soit :

• une nouvelle vague aleatoire de 30 documents reels CHUXX
• soit la campagne de validation sur tests/synthetic_regression/cases

Objectif :

• separer les vrais ecarts moteur des faux positifs du validateur
• prioriser ensuite une amelioration du LeakScanner pour ignorer les hits NOM mono-lettre et certains numeriques medicaux non patients

Option recommandee :

• verifier d'abord que la GUI ne traite plus anonymise/ comme entree
• lancer une passe complete sur le corpus
• confirmer visuellement que chaque cas produit sa sortie dans son propre sous-dossier

Amelioration utile ensuite :

• ajouter un mode GUI "campagne de tests" qui ne traite que test.txt
• generer automatiquement un rapport de comparaison contre les expected.txt

Fichiers a relire en premier pour reprendre

• docs/cadrage-projet-anonymisation.md
• docs/spec-regles-administration.md
• docs/protocole-validation-humaine.md
• docs/rapport-analyse-campagne-gui-2026-04-21.md
• gui_batch_paths.py
• anonymizer_core_refactored_onnx.py
• Pseudonymisation_Gui_V5.py

Etat du worktree a ne pas confondre avec le chantier courant

Il existe des changements hors perimetre qu'il ne faut pas ecraser par erreur :

• suppressions sous ano/pdf_natif/pseudonymise/
• gros volume non tracke sous data/silver_annotations/
• sorties generees sous tests/synthetic_review/actual/
• sorties GUI sous tests/synthetic_regression/cases/anonymise/

Regle de reprise

Avant toute nouvelle passe de validation humaine sur corpus :

1. verifier le mode de sortie de la GUI
2. eviter de traiter le dossier global tant que le nommage de sortie n'est pas corrige
3. preferer un cas a la fois si la GUI n'a pas encore ete corrigee

Derniere avancee

Les profils metier ne sont plus seulement lus depuis YAML :

• la GUI permet maintenant de creer un nouveau profil
• la GUI permet d'enregistrer les reglages courants dans le profil selectionne
• les profils utilisateur sont ecrits dans config/profiles.yml
• un profil peut memoriser :
  • les listes visibles de preservation / masquage / stop-words
  • le caractere obligatoire du masque manuel
  • la desactivation du VLM
  • le modele de masque PDF prefere

Effet important :

• la selection d'un profil recharge maintenant ses reglages visibles dans l'onglet Parametres
• le lancement de traitement utilise les reglages courants de l'ecran via une config temporaire de lot, sans exiger un Sauvegarder prealable dans dictionnaires.yml

Ergonomie GUI :

• l'onglet Parametres a ete simplifie pour un usage bureautique
• la navigation est maintenant organisee en trois onglets stables :
  • Anonymisation
  • Parametres
  • Profils
• les listes manuelles sont revenues directement dans Parametres
• la creation / edition / suppression / profil par defaut sont gerees directement dans l'onglet Profils
• on evite ainsi les enchainements de popups pour le flux normal
• l'onglet Profils expose maintenant explicitement le masque PDF memorise par ce profil
• le sens de masque manuel obligatoire est documente dans l'UI :
  • cela n'impose pas un masque precis
  • cela bloque seulement le lancement si aucun masque PDF n'est selectionne

Packaging Windows :

• le build Windows a maintenant un point d'entree "un clic" : build_windows_oneclick.bat
• ce lanceur appelle scripts/build_windows_oneclick.ps1
• le packaging utilise PyInstaller via anonymisation_onefile.spec
• le .spec n'est plus fige sur C:\Users\dom\ai\anonymisation ; il resolve maintenant le projet de facon portable
• les repertoires de configuration, donnees, detecteurs, assets et modele ONNX sont embarques dans l'executable
• sur la machine Windows de build, la sortie attendue est :
  • dist\Anonymisation.exe
  • release\Anonymisation-Windows\
  • release\Anonymisation-Windows.zip
  • release\Anonymisation.exe.sha256.txt
• objectif produit :
  • les utilisateurs finaux n'ont pas besoin d'installer Python
  • le build doit en revanche etre realise depuis un poste Windows
• risque Windows identifie :
  • un executable PyInstaller non signe peut declencher SmartScreen / Defender
  • meme signe, un nouveau hash peut encore afficher un avertissement de reputation selon les politiques Windows
  • scripts/build_windows_oneclick.ps1 accepte maintenant une signature Authenticode via -Sign
  • un fichier local non versionne build_signing.local.ps1 peut activer la signature automatiquement pour conserver le build en un clic
  • le modele de configuration est build_signing.example.ps1

Build Windows realise le 2026-04-23 via SSH sur dom@192.168.1.11 :

• poste : DESKTOP-58D5CAC
• chemin projet Windows : C:\Users\dom\ai\anonymisation
• executable cree : C:\Users\dom\ai\anonymisation\dist\Anonymisation.exe
• archive creee : C:\Users\dom\ai\anonymisation\release\Anonymisation-Windows.zip
• hash : C:\Users\dom\ai\anonymisation\release\Anonymisation.exe.sha256.txt
• SHA256 final : 8F3E3786D669F44824D24BF14AC06EF22CE19A8E900056DAB031891791871841
• taille exe : environ 697 MB
• contenu OCR : python-doctr, torchvision, opencv-python, scipy embarques dans l'environnement de build
• signature : non signee, car aucun certificat n'est configure
• smoke test : lancement de l'exe OK ; processus encore vivant apres 45 secondes, puis arret volontaire

Correctif build Windows du 2026-04-23 :

• probleme constate au lancement utilisateur : No module named admin_rules
• cause : admin_rules.py n'avait pas ete synchronise sur le poste Windows avant le build precedent
• correction : transfert de admin_rules.py sur C:\Users\dom\ai\anonymisation
• durcissement : scripts/build_windows_oneclick.ps1 verifie maintenant la presence des modules source critiques avant PyInstaller
• nouveau build cree : C:\Users\dom\ai\anonymisation\dist\Anonymisation.exe
• nouveau SHA256 : 0EB97B1E2859D0BCD6E45DC420CFDC929C3B79B6B0AF123CF59F2230187F5712
• smoke test : lancement de l'exe OK ; processus encore vivant apres 60 secondes, puis arret volontaire

Demarrage produit / installateur Windows du 2026-04-23 :

• le lanceur conserve le splash visuel aivanonym existant
• apres le splash natif PyInstaller, une fenetre de demarrage applicative reprend le meme visuel et affiche :
  • etapes numerotees de chargement
  • barre de progression
  • journal court des modules/dictionnaires charges
• la fenetre de configuration initiale affiche aussi le visuel produit et un journal des chargements de modeles
• les sorties stdout/stderr de type tqdm pendant le chargement EDS-Pseudo / GLiNER sont redirigees vers ce journal pour montrer les poids/modules en cours
• un script Inno Setup a ete ajoute : installer/Anonymisation.iss
• le build Windows peut maintenant produire un vrai installateur : release\Anonymisation-Setup.exe
• l'installateur propose :
  • choix du dossier d'installation
  • installation utilisateur sans droit administrateur par defaut
  • raccourci menu Demarrer
  • option icone bureau
  • desinstallation Windows standard
• scripts/build_windows_oneclick.ps1 genere l'installateur si Inno Setup 6 est present ; sinon il conserve EXE/ZIP et affiche un avertissement
• verification locale Linux : python3 -m py_compile launcher.py Pseudonymisation_Gui_V5.py camembert_ner_manager.py eds_pseudo_manager.py gliner_manager.py
• smoke test local du nouveau splash : OK
• build Windows non relance a ce stade : authentification SSH refusee lors de la tentative de reconnexion au poste Windows

Build Windows installateur realise le 2026-04-23 via SSH sur dom@192.168.1.11 :

• Inno Setup 6.7.1 installe en mode utilisateur sur le poste Windows via scripts/install_inno_setup_build_dep.ps1
• chemin Inno : C:\Users\dom\AppData\Local\Programs\Inno Setup 6\ISCC.exe
• build relance avec scripts\build_windows_oneclick.ps1 -SkipRequirements
• executable cree : C:\Users\dom\ai\anonymisation\dist\Anonymisation.exe
• archive creee : C:\Users\dom\ai\anonymisation\release\Anonymisation-Windows.zip
• installateur cree : C:\Users\dom\ai\anonymisation\release\Anonymisation-Setup.exe
• taille executable : 730 483 452 octets, environ 696.6 MB
• taille ZIP : 728 300 929 octets
• taille installateur : 729 517 505 octets, environ 695.7 MB
• SHA256 executable : 520EE614CD9B56EB7C748AB5BCCDF0DD4DAAD0726EF0EAB0EFE89177A84E5882
• SHA256 installateur : A22B5D1A3AE10203DEEA7FB053C0184695A88084294603CF1EA643F123597FC1
• signature : non signee, car aucun certificat Authenticode n'est configure
• smoke test Windows : lancement de dist\Anonymisation.exe OK ; deux processus Anonymisation repondants apres 60 secondes, puis arret volontaire