anonymisation

Dom/anonymisation

Fork 0

Commit Graph

Author	SHA1	Message	Date
Domi31tls	bf268bac12	fix(scripts): reprocess_audit30 path local Dom (env override) (D-12 fixup) L'agent CHCB cleanup a remplacé CHCB → CHUXX dans le path SOURCE_ROOT mais le vrai dossier sur le disque Dom s'appelle bien 'II-1 Ctrl_T2A_2025_CHCB_DocJustificatifs (1)'. Ça a cassé toutes les recherches PDF (29/29 MISSING). Fix : lecture du path depuis env var ANON_AUDIT30_SOURCE avec fallback sur le path local réel. Le nom CHCB est dans le path filesystem chez Dom, pas une référence sémantique à anonymiser. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-02 14:47:09 +02:00
Domi31tls	92557d4e74	chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12) Anonymise toutes les références à des entités réelles (CHCB, Bayonne, Saint-Denis, Réunion, etc.) dans le code source, les configurations YAML, les scripts/outils, et les tests unitaires. Conserve les tests synthétiques (cases) intentionnels. - profile key chcb_strict → chuxx_strict - CHCB → CHUXX, Bayonne → Chicago, Saint-Denis → Springfield, Réunion → Province Bêta, 64100/97400 → 12345, FINESS → 999999999, préfixe tél 05.59.44 → 0X.XX.XX - renomme tools/test_chcb_leak.py → tools/test_force_term_leak.py Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-02 14:39:21 +02:00
Domi31tls	2f96f56432	chore(scripts): add reprocess_audit30.py for quality regression testing Petit utilitaire pour re-traiter le corpus audit_30 avec le code courant et générer un dossier de sortie horodaté. Usage: python scripts/reprocess_audit30.py [--out /tmp/.../foo] [--no-ner] Lit la liste des 29 docs depuis evaluation/baseline_scores.json, retrouve chaque PDF source dans /home/dom/Téléchargements/.../CHCB_DocJustificatifs, appelle process_pdf() pour chacun, sortie dans /tmp/reprocess_audit30/ (ou --out). Permet ensuite de mesurer la qualité avec : python scripts/evaluate_quality.py --dir <output> --compare Validé sur audit_30 — 29 docs en ~4 min avec NER ONNX. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-02 14:26:02 +02:00

Author

SHA1

Message

Date

Domi31tls

bf268bac12

fix(scripts): reprocess_audit30 path local Dom (env override) (D-12 fixup)

L'agent CHCB cleanup a remplacé CHCB → CHUXX dans le path SOURCE_ROOT
mais le vrai dossier sur le disque Dom s'appelle bien
'II-1 Ctrl_T2A_2025_CHCB_DocJustificatifs (1)'. Ça a cassé toutes
les recherches PDF (29/29 MISSING).

Fix : lecture du path depuis env var ANON_AUDIT30_SOURCE avec fallback
sur le path local réel. Le nom CHCB est dans le path filesystem chez
Dom, pas une référence sémantique à anonymiser.

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>

2026-06-02 14:47:09 +02:00

Domi31tls

92557d4e74

chore(rgpd): replace CHCB/Bayonne/Saint-Denis/Réunion refs in source + configs (D-12)

Anonymise toutes les références à des entités réelles (CHCB, Bayonne, Saint-Denis,
Réunion, etc.) dans le code source, les configurations YAML, les scripts/outils,
et les tests unitaires. Conserve les tests synthétiques (cases) intentionnels.

- profile key chcb_strict → chuxx_strict
- CHCB → CHUXX, Bayonne → Chicago, Saint-Denis → Springfield,
  Réunion → Province Bêta, 64100/97400 → 12345, FINESS → 999999999,
  préfixe tél 05.59.44 → 0X.XX.XX
- renomme tools/test_chcb_leak.py → tools/test_force_term_leak.py

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>

2026-06-02 14:39:21 +02:00

Domi31tls

2f96f56432

chore(scripts): add reprocess_audit30.py for quality regression testing

Petit utilitaire pour re-traiter le corpus audit_30 avec le code courant
et générer un dossier de sortie horodaté.

Usage:
    python scripts/reprocess_audit30.py [--out /tmp/.../foo] [--no-ner]

Lit la liste des 29 docs depuis evaluation/baseline_scores.json, retrouve
chaque PDF source dans /home/dom/Téléchargements/.../CHCB_DocJustificatifs,
appelle process_pdf() pour chacun, sortie dans /tmp/reprocess_audit30/
(ou --out).

Permet ensuite de mesurer la qualité avec :
    python scripts/evaluate_quality.py --dir <output> --compare

Validé sur audit_30 — 29 docs en ~4 min avec NER ONNX.

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>

2026-06-02 14:26:02 +02:00

3 Commits