anonymisation

Go to file

Domi31tls c110de4a2e feat(T-I): validateur paranames + filtre mots-outils FR du gazetteer

Validateur scripts/validate_paranames.py exécuté sur le gazetteer réel,
révèle 2 défauts → corrigés :

- Mots-outils FR (avec/dans/voir/...) présents dans INSEE/paranames →
  risque FP au contexte 'low'. Ajout de 347 mots-outils spaCy fr (sûrs,
  filtrés des patronymes INSEE fréquents) à stopwords_manuels.txt.
  build_paranames_gazetteer.py filtre désormais aussi contre ce fichier ;
  gazetteer reconstruit (1 379 196 noms, mots-outils ≥3 chars retirés).
- Priorité sécurité respectée : allez/polygone sont de vrais patronymes
  INSEE rares → laissés MASQUABLES (pas de fuite), hors stopwords.
- OYARCABAL reclassé en warning (couvert par regex F3, absent de Wikidata).

Garde-fous vérifiés : Petit/Boucher/Berger conservés, noms étrangers
(EJNAINI/NGUYEN/...) conservés. Validateur 5/5. tests/unit 85 passed.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-06-03 11:20:21 +02:00

.github/workflows

Ajout build portable : Python embarqué + lanceur .bat (sans compilation)

2026-02-17 23:27:32 +01:00

.kiro/specs/anonymization-quality-optimization

docs(phase1): Résumé exécutif Phase 1 pour l'utilisateur

2026-03-02 23:37:42 +01:00

.snapshots

feat: Phase 1 - Système d'évaluation de la qualité

2026-03-02 10:07:41 +01:00

ano

chore: add .gitignore, remove PDFs/models/zips from history

2026-03-05 00:37:19 +01:00

archives/legacy_gui

chore(rgpd): replace CHCB/Bayonne refs in docs (D-12)

2026-06-02 14:40:20 +02:00

assets

feat(ui): refonte UI — logo aivanonym + palette magenta/pêche + onglets + v5.5

2026-04-15 22:04:41 +02:00

config

chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)

2026-06-02 14:39:21 +02:00

data

feat(T-I): validateur paranames + filtre mots-outils FR du gazetteer

2026-06-03 11:20:21 +02:00

detectors

chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)

2026-06-02 14:39:21 +02:00

docs

docs(decision): D-14 architecture plateforme licence app.aivanov.fr

2026-06-02 18:36:23 +02:00

evaluation

feat: réduction FP + gazetteers adresses FINESS + batch parallèle + corrections multi-axes

2026-03-16 09:26:56 +01:00

installer

chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)

2026-06-02 14:39:21 +02:00

pdf_natif

chore: add .gitignore, remove PDFs/models/zips from history

2026-03-05 00:37:19 +01:00

regression_tests

chore(gitignore): exclude corpus_validation + tests/ground_truth + silver_annotations (PII)

2026-06-02 14:41:14 +02:00

schemas

Add human review protocol and admin rules contract

2026-04-21 10:59:02 +02:00

scripts

feat(T-I): validateur paranames + filtre mots-outils FR du gazetteer

2026-06-03 11:20:21 +02:00

test_doctr_fix

gui: Ajout indicateurs qualité (fuites, performances)

2026-03-02 21:34:18 +01:00

tests

test(T-G): réparer corpus synthétique post-cleanup CHCB + dégel 009

2026-06-03 10:31:38 +02:00

tools

chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)

2026-06-02 14:39:21 +02:00

.~lock.FONCTIONNEMENT.md#

feat: Phase 1 - Système d'évaluation de la qualité

2026-03-02 10:07:41 +01:00

.gitignore

chore(gitignore): exclude corpus_validation + tests/ground_truth + silver_annotations (PII)

2026-06-02 14:41:14 +02:00

admin_mode.py

feat(admin): D-11 Ollama VLM caché par défaut + module admin_mode

2026-06-02 16:48:59 +02:00

admin_rules.py

Wire admin rules into ONNX anonymizer

2026-04-21 12:10:17 +02:00

analyze_anonymization_result.py

demo: Test d'anonymisation sur document réel

2026-03-02 10:19:55 +01:00

anonymisation_onefile.spec

feat(gui): apply WIP profils+masques+build-windows from stash (2026-04-27)

2026-06-02 11:09:46 +02:00

anonymizer_core_refactored_onnx.py

feat(detect): paranames loader + fallback étendu cross-validation

2026-06-02 15:48:54 +02:00

anonymizer_core_refactored.py

Externalize dictionaries and add anonymization review corpus

2026-04-21 10:32:57 +02:00

audit_fp_detector.py

Stop words +170 : détection automatique FP via dictionnaire français (audit_fp_detector.py)

2026-02-28 10:04:33 +01:00

build_windows.bat

Externalize dictionaries and add anonymization review corpus

2026-04-21 10:32:57 +02:00

camembert_ner_manager.py

feat(phase3): CamemBERT v3 + détection villes + initiales + texte espacé + docs réglementaires

2026-03-11 12:16:13 +01:00

config_defaults.py

feat(gui): apply WIP profils+masques+build-windows from stash (2026-04-27)

2026-06-02 11:09:46 +02:00

corpus_validation_full.log

gui: Ajout indicateurs qualité (fuites, performances)

2026-03-02 21:34:18 +01:00

corpus_validation.log

feat: Validation corpus complet - 100% qualité confirmée

2026-03-02 19:55:48 +01:00

demo_complete_anonymization.py

demo: Test d'anonymisation sur document réel

2026-03-02 10:19:55 +01:00

demo_evaluation.py

demo: Ajout script de démonstration et correction tests

2026-03-02 10:14:56 +01:00

eds_pseudo_manager.py

feat(phase2): Multi-signal NER — BDPM gazetteers, confiance EDS, safe patterns, GLiNER

2026-03-09 12:01:46 +01:00

FONCTIONNEMENT.md

Externalize dictionaries and add anonymization review corpus

2026-04-21 10:32:57 +02:00

format_converter.py

feat: support multi-formats — DOCX, images, ODT, RTF, TXT, HTML

2026-03-18 09:25:26 +01:00

gliner_manager.py

feat(phase2): Multi-signal NER — BDPM gazetteers, confiance EDS, safe patterns, GLiNER

2026-03-09 12:01:46 +01:00

install.sh

Initial commit — Pseudonymisation de PDF v5

2026-02-16 15:03:37 +01:00

launcher.py

feat(gui): apply WIP profils+masques+build-windows from stash (2026-04-27)

2026-06-02 11:09:46 +02:00

ner_manager_onnx.py

Initial commit — Pseudonymisation de PDF v5

2026-02-16 15:03:37 +01:00

pdf_mask_designer.py

feat(gui): apply WIP profils+masques+build-windows from stash (2026-04-27)

2026-06-02 11:09:46 +02:00

profile_defaults.py

chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)

2026-06-02 14:39:21 +02:00

Pseudonymisation_Gui_V5.py

feat(admin): D-13 partial — bannière "MODE ADMIN" + doc périmètre

2026-06-02 17:04:01 +02:00

qc_audit.py

Amélioration qualité anonymisation : dico médicaments auto, noms soignants, garde trackare, validation EDS, QC audit

2026-02-26 18:58:18 +01:00

quarantine.py

feat(q1): F+sécurité — rescan inconditionnel + hardening quarantine

2026-06-02 10:44:52 +02:00

readme.md

Initial commit — Pseudonymisation de PDF v5

2026-02-16 15:03:37 +01:00

requirements.txt

chore(deps): rendre python-doctr requis (OCR systématique)

2026-04-27 16:17:41 +02:00

run_batch_30_audit.py

chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)

2026-06-02 14:39:21 +02:00

run_batch_59ogc.py

chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)

2026-06-02 14:39:21 +02:00

run_batch_silver_export.py

chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)

2026-06-02 14:39:21 +02:00

server.py

Externalize dictionaries and add anonymization review corpus

2026-04-21 10:32:57 +02:00

setup_env_and_build.bat

Initial commit — Pseudonymisation de PDF v5

2026-02-16 15:03:37 +01:00

test_anonymization_example.py

demo: Test d'anonymisation sur document réel

2026-03-02 10:19:55 +01:00

test-mini.js

chore: add .gitignore, remove PDFs/models/zips from history

2026-03-05 00:37:19 +01:00

vlm_manager.py

Sécurité VLM : format JSON forcé, modèle local uniquement, fix logging critique

2026-02-27 02:38:30 +01:00

readme.md

placer tout les fichiers dans un répertoire. faire un chmod 777 install.sh pour lui donner les droits d'execution lancer ./install.sh pour lancer l'installation complete

L'installation peut prendre du temps, elle charge deux modele IA nlp. Elle crée un environement virtuel python.