Dom/anonymisation
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
162 Commits 3 Branches 1 Tag
ae73abe65d3ccdc790658aefb5acb57f27ff7363
Go to file
Clone
Open with VS Code Open with VSCodium Open with Intellij IDEA
Download ZIP Download TAR.GZ Download BUNDLE
Domi31tls ae73abe65d feat(T-I): validateur paranames + filtre mots-outils FR du gazetteer 
Validateur scripts/validate_paranames.py exécuté sur le gazetteer réel,
révèle 2 défauts → corrigés :

- Mots-outils FR (avec/dans/voir/...) présents dans INSEE/paranames →
  risque FP au contexte 'low'. Ajout de 347 mots-outils spaCy fr (sûrs,
  filtrés des patronymes INSEE fréquents) à stopwords_manuels.txt.
  build_paranames_gazetteer.py filtre désormais aussi contre ce fichier ;
  gazetteer reconstruit (1 379 196 noms, mots-outils ≥3 chars retirés).
- Priorité sécurité respectée : allez/polygone sont de vrais patronymes
  INSEE rares → laissés MASQUABLES (pas de fuite), hors stopwords.
- OYARCABAL reclassé en warning (couvert par regex F3, absent de Wikidata).

Garde-fous vérifiés : Petit/Boucher/Berger conservés, noms étrangers
(EJNAINI/NGUYEN/...) conservés. Validateur 5/5. tests/unit 85 passed.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
2026-06-03 11:20:21 +02:00
.github/workflows
Ajout build portable : Python embarqué + lanceur .bat (sans compilation)
2026-02-17 23:27:32 +01:00
.kiro/specs/anonymization-quality-optimization
docs(phase1): Résumé exécutif Phase 1 pour l'utilisateur
2026-03-02 23:37:42 +01:00
.snapshots
feat: Phase 1 - Système d'évaluation de la qualité
2026-03-02 10:07:41 +01:00
ano/config
feat: Phase 1 - Système d'évaluation de la qualité
2026-03-02 10:07:41 +01:00
archives/legacy_gui
chore(rgpd): replace CHCB/Bayonne refs in docs (D-12)
2026-06-02 14:40:20 +02:00
assets
feat(ui): refonte UI — logo aivanonym + palette magenta/pêche + onglets + v5.5
2026-04-15 22:04:41 +02:00
config
chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)
2026-06-02 14:39:21 +02:00
data
feat(T-I): validateur paranames + filtre mots-outils FR du gazetteer
2026-06-03 11:20:21 +02:00
detectors
chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)
2026-06-02 14:39:21 +02:00
docs
docs(decision): D-14 architecture plateforme licence app.aivanov.fr
2026-06-02 18:36:23 +02:00
evaluation
feat: réduction FP + gazetteers adresses FINESS + batch parallèle + corrections multi-axes
2026-03-16 09:26:56 +01:00
installer
chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)
2026-06-02 14:39:21 +02:00
regression_tests
chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)
2026-06-02 14:39:21 +02:00
schemas
Add human review protocol and admin rules contract
2026-04-21 10:59:02 +02:00
scripts
feat(T-I): validateur paranames + filtre mots-outils FR du gazetteer
2026-06-03 11:20:21 +02:00
tests
test(T-G): réparer corpus synthétique post-cleanup CHCB + dégel 009
2026-06-03 10:31:38 +02:00
tools
chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)
2026-06-02 14:39:21 +02:00
.~lock.FONCTIONNEMENT.md#
feat: Phase 1 - Système d'évaluation de la qualité
2026-03-02 10:07:41 +01:00
.gitignore
chore(gitignore): exclude corpus_validation + tests/ground_truth + silver_annotations (PII)
2026-06-02 14:41:14 +02:00
admin_mode.py
feat(admin): D-11 Ollama VLM caché par défaut + module admin_mode
2026-06-02 16:48:59 +02:00
admin_rules.py
Wire admin rules into ONNX anonymizer
2026-04-21 12:10:17 +02:00
analyze_anonymization_result.py
demo: Test d'anonymisation sur document réel
2026-03-02 10:19:55 +01:00
anonymisation_onefile.spec
feat(gui): apply WIP profils+masques+build-windows from stash (2026-04-27)
2026-06-02 11:09:46 +02:00
anonymizer_core_refactored_onnx.py
feat(detect): paranames loader + fallback étendu cross-validation
2026-06-02 15:48:54 +02:00
anonymizer_core_refactored.py
Externalize dictionaries and add anonymization review corpus
2026-04-21 10:32:57 +02:00
audit_fp_detector.py
Stop words +170 : détection automatique FP via dictionnaire français (audit_fp_detector.py)
2026-02-28 10:04:33 +01:00
build_windows.bat
Externalize dictionaries and add anonymization review corpus
2026-04-21 10:32:57 +02:00
camembert_ner_manager.py
feat(phase3): CamemBERT v3 + détection villes + initiales + texte espacé + docs réglementaires
2026-03-11 12:16:13 +01:00
config_defaults.py
feat(gui): apply WIP profils+masques+build-windows from stash (2026-04-27)
2026-06-02 11:09:46 +02:00
corpus_validation_full.log
gui: Ajout indicateurs qualité (fuites, performances)
2026-03-02 21:34:18 +01:00
corpus_validation.log
feat: Validation corpus complet - 100% qualité confirmée
2026-03-02 19:55:48 +01:00
demo_complete_anonymization.py
demo: Test d'anonymisation sur document réel
2026-03-02 10:19:55 +01:00
demo_evaluation.py
demo: Ajout script de démonstration et correction tests
2026-03-02 10:14:56 +01:00
eds_pseudo_manager.py
feat(phase2): Multi-signal NER — BDPM gazetteers, confiance EDS, safe patterns, GLiNER
2026-03-09 12:01:46 +01:00
FONCTIONNEMENT.md
Externalize dictionaries and add anonymization review corpus
2026-04-21 10:32:57 +02:00
format_converter.py
feat: support multi-formats — DOCX, images, ODT, RTF, TXT, HTML
2026-03-18 09:25:26 +01:00
gliner_manager.py
feat(phase2): Multi-signal NER — BDPM gazetteers, confiance EDS, safe patterns, GLiNER
2026-03-09 12:01:46 +01:00
install.sh
Initial commit — Pseudonymisation de PDF v5
2026-02-16 15:03:37 +01:00
launcher.py
feat(gui): apply WIP profils+masques+build-windows from stash (2026-04-27)
2026-06-02 11:09:46 +02:00
ner_manager_onnx.py
Initial commit — Pseudonymisation de PDF v5
2026-02-16 15:03:37 +01:00
pdf_mask_designer.py
feat(gui): apply WIP profils+masques+build-windows from stash (2026-04-27)
2026-06-02 11:09:46 +02:00
profile_defaults.py
chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)
2026-06-02 14:39:21 +02:00
Pseudonymisation_Gui_V5.py
feat(admin): D-13 partial — bannière "MODE ADMIN" + doc périmètre
2026-06-02 17:04:01 +02:00
qc_audit.py
Amélioration qualité anonymisation : dico médicaments auto, noms soignants, garde trackare, validation EDS, QC audit
2026-02-26 18:58:18 +01:00
quarantine.py
feat(q1): F+sécurité — rescan inconditionnel + hardening quarantine
2026-06-02 10:44:52 +02:00
readme.md
Initial commit — Pseudonymisation de PDF v5
2026-02-16 15:03:37 +01:00
requirements.txt
chore(deps): rendre python-doctr requis (OCR systématique)
2026-04-27 16:17:41 +02:00
run_batch_30_audit.py
chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)
2026-06-02 14:39:21 +02:00
run_batch_59ogc.py
chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)
2026-06-02 14:39:21 +02:00
run_batch_silver_export.py
chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)
2026-06-02 14:39:21 +02:00
server.py
Externalize dictionaries and add anonymization review corpus
2026-04-21 10:32:57 +02:00
setup_env_and_build.bat
Initial commit — Pseudonymisation de PDF v5
2026-02-16 15:03:37 +01:00
test_anonymization_example.py
demo: Test d'anonymisation sur document réel
2026-03-02 10:19:55 +01:00
test-mini.js
chore: add .gitignore, remove PDFs/models/zips from history
2026-03-05 00:37:19 +01:00
vlm_manager.py
Sécurité VLM : format JSON forcé, modèle local uniquement, fix logging critique
2026-02-27 02:38:30 +01:00

readme.md

placer tout les fichiers dans un répertoire. faire un chmod 777 install.sh pour lui donner les droits d'execution lancer ./install.sh pour lancer l'installation complete

L'installation peut prendre du temps, elle charge deux modele IA nlp. Elle crée un environement virtuel python.

Reference in New Issue View Git Blame Copy Permalink
Description
No description provided
Readme 283 MiB
Languages
Python 98.2%
Batchfile 1%
PowerShell 0.5%
Shell 0.3%