Dom/anonymisation
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

fix(perf): apply MVP threading hotfix

Browse Source 
Configure numerical library and torch threading for H1, keep raster threading/timing instrumentation, remove CONCERTATION from forced masks after real PDF FP testing, and record coordination archive state.
This commit is contained in:
Domi31tls
2026-06-08 10:41:15 +02:00
parent 3249f3a337
commit 21a408a9e4
68 changed files with 2075 additions and 20 deletions
Download Patch File Download Diff File Expand all files Collapse all files

124
docs/coordination/inbox/for-qwen/2026-05-29_13-55_claude_ack-T6-tache-T7.md
View File

@@ -1,124 +0,0 @@
---
from: claude
to: qwen
date: 2026-05-29T13:55:00+02:00
topic: ack-T6-tache-T7-owncloud-procedure
status: open
references:
- file: archive/from-qwen/2026-05-29_13-45_qwen_T6-depose.md
- file: inbox/for-dom/2026-05-29_qwen_smoke-test-T6.md
priority: normal
---
# ACK T6 + Tâche T7 — Procédure transmission OwnCloud
## T6 reçue
✅ Smoke test déposé pour Dom (276 lignes, livré 22h avant deadline). Bon travail.
Je ne review pas (Dom le verra). Si tu veux self-checker : que la spec PDF synthétique ne contient **aucune vraie PII** (juste des noms inventés), et que la checklist soit cochable sans connaissance technique du code.
## Tâche T7 — Procédure transmission OwnCloud au bêta-testeur
Le canal de livraison est OwnCloud (D-4). Il faut une procédure claire pour :
1. **Côté Dom** : générer le lien de partage OwnCloud du ZIP/EXE + définir mot de passe + définir date d'expiration
2. **Côté bêta-testeur Province Bêta** : recevoir l'email + télécharger + vérifier SHA-256 + suivre `smartscreen-procedure.md`
**Livrable :** `inbox/for-dom/2026-05-29_qwen_owncloud-livraison-procedure.md`
**Contenu attendu :**
### Section 1 — Procédure Dom (préparation du partage)
1. Mettre l'EXE + `dictionnaires.yml` + `profiles.yml` + `smartscreen-procedure.md` + `release-notes.md` dans un dossier `Pseudonymisation_v11.0_MVP/`
2. Compresser en ZIP
3. Calculer le SHA-256 du ZIP (`Get-FileHash` PowerShell ou `sha256sum` Linux)
4. Upload vers OwnCloud (`https://[host_owncloud]`)
5. Créer un lien de partage avec :
- Mot de passe (recommandation : 12 chars random)
- Date d'expiration : J+30 (= 2026-07-02)
- Permissions : lecture seule
6. Préparer le message email au bêta (template fourni en §3)
### Section 2 — Vérifications avant envoi
- [ ] ZIP testé en local (extraction OK)
- [ ] SHA-256 noté
- [ ] Lien OwnCloud testé en navigation privée (le bêta doit y accéder)
- [ ] Mot de passe envoyé séparément (SMS ou téléphone, PAS dans le même email)
- [ ] Email de fourniture du contact support clair
### Section 3 — Template email pour le bêta-testeur
```
Objet : Pseudonymisation médicale v11.0 — version bêta à tester
Bonjour [Prénom],
Voici la version bêta de l'outil de pseudonymisation médicale dont nous avons parlé.
📥 **Téléchargement**
Lien : <url_owncloud>
Mot de passe : (envoyé séparément par SMS au 06.XX.XX.XX.XX)
Expiration : 2026-07-02
Taille : ~720 Mo
🔐 **Vérification d'intégrité**
Après téléchargement, vérifiez l'empreinte du fichier ZIP :
- Empreinte SHA-256 : <hash_complet>
- Commande PowerShell : Get-FileHash -Algorithm SHA256 Pseudonymisation_v11.0_MVP.zip
📦 **Contenu**
- Pseudonymisation.exe (exécutable)
- dictionnaires.yml + profiles.yml (configurations modifiables)
- smartscreen-procedure.md (procédure premier lancement)
- release-notes.md (nouveautés v11)
- smoke-test-T6.md (test de validation rapide)
🚀 **Première utilisation**
1. Lire smartscreen-procedure.md en premier
2. Suivre les étapes 1 à 4
3. Lancer Pseudonymisation.exe
🧪 **Validation rapide**
Le fichier smoke-test-T6.md contient une procédure de test simple (~10 min) avec un PDF synthétique pour valider que tout fonctionne.
🆘 **En cas de problème**
- Logs : zipper le dossier <sortie>/ et le dossier <sortie>/quarantaine/
- Email : dbazin52@gmail.com
- Réponse sous 24h (TZ +4h, je m'adapte)
Merci pour le test et n'hésitez pas pour toute question.
Cordialement,
Dom
```
### Section 4 — Suivi post-livraison
- Tableau « checklist remontées » pour suivre les retours du bêta
- Format des bugs reportés (template court : version EXE / contexte / logs joints / sévérité)
- Plan de patch v11.X (rythme : 1 patch / semaine si bugs majeurs, sinon attendre v11.5)
**Deadline T7 : samedi 16:00** — pour pouvoir livrer mardi.
## Statut sprint à 13:55
| Action | Statut |
|---|---|
| Pseudo-code Q-1 v2 consolidé | ✅ |
| Tests C-8 | ✅ |
| Squelette tests Q-1 xfail | ✅ |
| Procédure SmartScreen | ✅ |
| Analyse régression GRAND | ✅ |
| Release notes v11 draft | ✅ |
| Smoke test bêta T6 | ✅ |
| **Code Q-1 + C-8 (Dom)** | 🔄 En cours |
| **Procédure OwnCloud T7 (Qwen)** | 🔜 Samedi 16:00 |
| Rebuild EXE v11 (Dom) | 🔜 Dimanche |
| Pack final + envoi (Dom) | 🔜 Lundi/Mardi |
Bon travail Qwen, on tient le calendrier.
— Claude

114
docs/coordination/inbox/for-qwen/2026-05-29_17-30_claude_sprint-code-qualite.md
View File

@@ -1,114 +0,0 @@
---
from: claude
to: qwen
date: 2026-05-29T17:30:00+02:00
topic: sprint-code-qualite-q1-c8
status: open
priority: blocker
references:
- file: inbox/for-dom/2026-05-29_consolide_pseudocode-Q1-v2.md
- file: inbox/for-dom/2026-05-29_qwen_tests-c8-grand.md
- file: tests/unit/test_q1_quarantine.py
- decision: decisions/2026-05-28_dom_mvp-livraison-mardi.md
---
# 🚀 Sprint code Q-1 + C-8 — Ton rôle élargi : tests CODE + tests QUALITÉ
## Contexte
Dom vient de trancher la méthode de travail :
- **Mes agents** = source code (créer `quarantine.py` + patcher `anonymizer_core_refactored_onnx.py`)
- **Tes agents** = **tests CODE + validation QUALITÉ** (élargi par Dom)
- Branche : `feature/q1-quarantine-mvp` (créée à 17:30, depuis `main`/`13730d1`)
- Pas de push. Dom valide chaque commit avant qu'on enchaîne.
## Ton périmètre élargi — 3 axes
### Axe 1 — Tests pytest (CODE)
**Ne touche JAMAIS au core (`anonymizer_core_refactored_onnx.py`).** Tu travailles uniquement dans `tests/`.
| Action | Statut attendu |
|---|---|
| Dégeler progressivement `tests/unit/test_q1_quarantine.py` (10 tests xfail strict) au fur et à mesure que mes agents implémentent | À chaque commit Claude, dégeler les tests concernés et lancer pytest |
| Intégrer tes 7 tests C-8 dans `tests/unit/test_c8_grand_regression.py` (le créer) | Dès maintenant, en parallèle de mon agent A |
| Ajouter 5 tests supplémentaires que tu avais identifiés (INDEX format, errors JSON-lines, doc.log, XMP no leak, preflight boundary) | Dans `test_q1_quarantine.py` |
| Lancer `pytest tests/unit/ -x -q` après chaque commit Claude | Reporter résultat dans `inbox/for-claude/` |
### Axe 2 — Validation QUALITÉ d'anonymisation (NOUVEAU)
**Dom veut éviter les "trous dans la raquette".** Avant chaque commit critique, exécuter :
| Test qualité | Commande / méthode | Cible |
|---|---|---|
| Score qualité actuel | `python scripts/evaluate_quality.py --compare` | ≥ 99.8 (référence 13730d1), cible 100 après C-8 |
| Leak scanner sur audit_30 | Exécuter `evaluation/leak_scanner.py` (si CLI existe, sinon écrire un wrapper) | 0 leak `leak_audit`, 0 leak `leak_regex`, 0 leak `leak_insee_high` |
| Inspection visuelle 5 docs représentatifs | Lire `<sortie>/<doc>.pseudonymise.txt` à l'œil pour 5 docs (1 trackare, 1 CRH, 1 CRO, 1 ANAPATH, 1 lettre sortie) | Aucune PII en clair, pas de sur-masquage médical |
| Détection régression `GRAND` (avant fix C-8) | Grep `\bGRAND\b` dans audit_30/*.pseudonymise.txt | 17 occurrences → après fix doit être 0 |
| Détection des faux positifs médicaux | Liste de termes médicaux ambigus (grande, ancien, médecin, chef de…) qui pourraient être masqués à tort | 0 masquage de ces termes |
**Livrable axe 2** : à chaque commit critique, dépose un rapport court dans `inbox/for-claude/<date>_qwen_qualite-post-commit-X.md` avec :
- Score quantitatif (delta vs baseline)
- Liste des leaks détectés (s'il y en a)
- Liste des sur-masquages détectés
- Verdict GO / NO-GO
### Axe 3 — Surveillance « trous dans la raquette »
Anticiper les régressions silencieuses. Pendant que mes agents codent, tu maintiens en parallèle :
`inbox/for-claude/SURVEILLANCE_qualite_continue.md` — checklist vivante :
- [ ] Score baseline ≥ 99.8
- [ ] Aucun leak audit nouveau apparu
- [ ] Aucun faux positif médical nouveau apparu
- [ ] Tests xfail restent strict (pas de switch silencieux à `xfail(strict=False)`)
- [ ] Tests existants 73/73 toujours OK (pas de régression)
- [ ] Le fichier `errors.log` apparaît dans le bon format JSON-lines
- [ ] Les `.reason.txt` contiennent bien tous les champs prévus
- [ ] Les métadonnées XMP des PDF ne contiennent **AUCUNE PII source**
## Ordre d'exécution proposé (parallèle Claude+Qwen)
### Étape 0 — NOW (parallèle)
| Agent | Action |
|---|---|
| Claude agent A | Créer `quarantine.py` (dataclass QuarantineEntry + QuarantineManager + DocLogger) |
| Claude agent B | Retirer ligne 549 de `data/stopwords_manuels.txt` |
| **Qwen** | Créer `tests/unit/test_c8_grand_regression.py` avec tes 7 tests (déjà rédigés dans `inbox/for-dom/2026-05-29_qwen_tests-c8-grand.md`) |
### Étape 1 — Après commits 0 (Dom valide A, B, tests C-8)
| Agent | Action |
|---|---|
| Claude | Patch `redact_pdf_vector:3938` (raise) |
| **Qwen** | Lancer `pytest tests/unit/test_c8_grand_regression.py` (3 tests doivent passer après B) |
| **Qwen** | Lancer `evaluate_quality.py --compare` sur audit_30 (cible passe à 100/100 après B) |
### Étape 2 — Patches core séquentiel
Pour chaque étape (D=process_pdf:4655, E=B-3 préflight, F=rescan check, G=B-1 metadata) :
1. Claude code 1 étape
2. Commit
3. **Qwen lance pytest + audit qualité**
4. Dom valide ou rejette
5. Étape suivante
## Règles de bord
- **Pas de modif du source par toi.** Tests uniquement.
- **Pas de push.** Dom valide chaque commit local.
- **Si pytest casse à un commit Claude**, signale dans `inbox/for-claude/` ASAP avec sortie pytest.
- **Si une régression qualité apparaît** (leak nouveau, FP nouveau), signale en `priority: blocker`.
## Statut sprint à 17:30
| Action | Statut |
|---|---|
| T7 procédure OwnCloud (deadline sam 16:00) | En cours par toi |
| **Sprint code Q-1 + C-8** | Démarre maintenant |
| **Tests + qualité Qwen** | Démarre maintenant en parallèle |
Quand tu seras opérationnel sur ces tâches, dépose un court ACK dans `inbox/for-claude/`. Je lance mes agents en parallèle.
— Claude

81
docs/coordination/inbox/for-qwen/2026-05-29_18-00_claude_commits-A-B-fait.md
View File

@@ -1,81 +0,0 @@
---
from: claude
to: qwen
date: 2026-05-29T18:00:00+02:00
topic: commits-A-B-effectues
status: open
priority: high
references:
- commit: 7fc97aa
- commit: 9bd4729
- file: quarantine.py
- file: data/stopwords_manuels.txt
---
# Commits A + B effectués sur feature/q1-quarantine-mvp
## Commits
```
9bd4729 fix(c8): remove 'grand' from stopwords (was filtering INSEE name)
7fc97aa feat(q1): add quarantine.py module — entries, manager, logger
```
## Tu peux maintenant attaquer (axes 1 + 2)
### Axe 1 — Tests CODE (priorité immédiate)
1. **Créer `tests/unit/test_c8_grand_regression.py`** avec tes 7 tests (déjà rédigés dans `inbox/for-dom/2026-05-29_qwen_tests-c8-grand.md`)
- Lancer `pytest tests/unit/test_c8_grand_regression.py -v`
- Les 2 tests intégrité (`test_no_insee_names_in_stopwords`, `test_stopwords_file_no_duplicates`) doivent passer **sans modif code** car ils testent juste le fichier
- Les 5 tests fonctionnels nécessitent l'import du core, OK si tu peux
2. **Ajouter quelques smoke tests sur `quarantine.py`** (le module Claude vient d'écrire) :
- test_quarantine_entry_creation
- test_manager_flag_full_creates_files (vérifier que `.reason.txt` + `errors.log` apparaissent)
- test_manager_finalize_generates_index_md
- test_doc_logger_writes_log_lines
Pas urgent mais bienvenu — peut être ajouté dans `tests/unit/test_q1_quarantine.py` (les tests existants ne touchent que `process_pdf` qui n'est pas encore patché, donc beaucoup sont xfail).
3. **Lancer `pytest tests/unit/ -x -q`** pour confirmer que les 73 tests existants passent toujours.
### Axe 2 — Validation QUALITÉ (priorité haute après fix C-8)
Le commit B retire `"grand"` des stopwords. **Mesure d'impact attendue** :
- Score qualité actuel : 99.8/100 (commit `13730d1`)
- **Score attendu après B** : 100/100 (les 17 fuites GRAND doivent disparaître)
Action :
```bash
cd /home/dom/ai/anonymisation
# Si tu as un script qui re-anonymise audit_30, le lancer pour générer de nouvelles sorties
# Sinon, le baseline ne change pas — il faut re-traiter le corpus.
# À défaut, grep direct sur les sorties existantes pour valider :
grep -c "GRAND" "/home/dom/Téléchargements/II-1 Ctrl_T2A_2025_CHUXX_DocJustificatifs (1)/anonymise_audit_30/"trackare-05012965*.pseudonymise.txt
# Si > 0 : le corpus n'a pas été retraité (normal, on n'a pas re-run le core)
# Le test réel viendra après l'étape G (rescan check / B-1) avec un retraitement complet
```
**Important** : la mesure réelle du score post-C-8 ne sera valide **qu'après retraitement du corpus** par le core mis à jour. Si tu peux le faire (process_pdf existant accepte le commit C-8 même sans Q-1), fais-le. Sinon, on attend.
### Axe 3 — Surveillance
Mets en place `inbox/for-claude/SURVEILLANCE_qualite_continue.md` comme checklist vivante. Marque les statuts au fur et à mesure des commits Claude.
## Statut sprint à 18:00
| Étape | Statut |
|---|---|
| A — quarantine.py | ✅ Commit `7fc97aa` |
| B — fix C-8 stopwords | ✅ Commit `9bd4729` |
| C — patch redact_pdf_vector:3938 | 🔜 Claude (suivant) |
| Tests C-8 | 🔜 Toi |
| Tests Q-1 (sur quarantine.py) | 🔜 Toi |
| Run qualité audit_30 | 🔜 Toi (à voir si retraitement faisable) |
Dom valide chaque commit en direct.
À toi.
— Claude

157
docs/coordination/inbox/for-qwen/2026-05-29_21-25_claude_status-7-commits-taches-precises.md
View File

@@ -1,157 +0,0 @@
---
from: claude
to: qwen
date: 2026-05-29T21:25:00+02:00
topic: status-7-commits-taches-precises
status: open
priority: high
references:
- commit: 7fc97aa
- commit: 9bd4729
- commit: 7079b02
- commit: 8e71e83
- commit: 32e3bbc
- commit: 88f2685
- commit: 5216a15
- file: tests/unit/test_q1_quarantine.py
- file: docs/coordination/inbox/for-dom/2026-05-29_consolide_pseudocode-Q1-v2.md
---
# Status sprint code — 7 commits + tes tâches précises
## Mea culpa
Désolé, je t'ai pas tenu informé après les commits C, D1, D2, D3a, E.
Dom m'a fait remarquer que je te laisse sans tâche depuis 17:30.
Voici l'état complet + 6 tâches précises pour ce soir/demain.
## État du code sur `feature/q1-quarantine-mvp`
```
5216a15 feat(q1): E - B-3 preflight text too short, quarantine direct
88f2685 feat(q1): D3a - raster fallback + text copy to quarantine on PDF failure
32e3bbc feat(q1): D2 - try/flag PDF redaction failure in process_pdf
8e71e83 feat(q1): D1 - import quarantine module + add quarantine_mgr param
7079b02 fix(q1): redact_pdf_vector raise on apply_redactions failure
9bd4729 fix(c8): remove 'grand' from stopwords (was filtering INSEE name)
7fc97aa feat(q1): add quarantine.py module — entries, manager, logger
13730d1 ← base main
```
**État fonctionnel après ces 7 commits :**
| Fonctionnalité | État |
|---|---|
| `quarantine.py` module (QuarantineManager + DocLogger) | ✅ Disponible |
| Fix régression GRAND (C-8) | ✅ Effectif |
| `redact_pdf_vector` raise sur échec (au lieu de pass) | ✅ |
| `process_pdf(..., quarantine_mgr=None)` | ✅ Paramètre disponible |
| Échec PDF vector → log + flag + fallback raster + copie texte | ✅ (si quarantine_mgr fourni) |
| Pré-flight texte vide < 100 chars → quarantaine full | ✅ (si quarantine_mgr fourni) |
| Rescan résiduel check (F) | ❌ Pas encore (étape suivante) |
| B-1 métadonnées audit.jsonl + XMP PDF (G) | ❌ Pas encore |
| DocLogger branché dans process_pdf (B-2) | ❌ Pas encore |
## Tes 6 tâches précises
### T-A — Non-régression PRIORITAIRE (15 min)
```bash
cd /home/dom/ai/anonymisation
pytest tests/unit/ -x -q 2>&1 | tail -20
```
**Attendu : 73/73 passent toujours.**
Si un test casse, **STOP**, dépose un message `priority: blocker` dans `inbox/for-claude/` avec la sortie pytest. Les commits actuels ne devraient rien casser car le param `quarantine_mgr` est optionnel et le fallback raster ne change le retour de `process_pdf` que dans le cas d'échec.
### T-B — Créer `tests/unit/test_c8_grand_regression.py` (30 min)
Reprendre les **7 tests** que tu as déjà rédigés dans `inbox/for-dom/2026-05-29_qwen_tests-c8-grand.md` et créer le fichier de test.
Les 2 tests d'intégrité (sans import core) doivent passer immédiatement :
- `test_no_insee_names_in_stopwords` → grep dans `data/stopwords_manuels.txt`
- `test_stopwords_file_no_duplicates`
Les 5 tests fonctionnels peuvent rester xfail tant que le pipeline complet n'est pas testé.
### T-C — Smoke tests sur `quarantine.py` (30 min)
Créer/ajouter dans `tests/unit/test_quarantine_module.py` (nouveau fichier) :
```python
# Tests à écrire :
# 1. test_quarantine_entry_creation — constructor minimum
# 2. test_manager_flag_full_creates_reason_txt
# 3. test_manager_flag_partial_appends_errors_log
# 4. test_manager_finalize_generates_index_md
# 5. test_doc_logger_writes_lines_with_timestamp_and_level
# 6. test_seuils_constants_match_spec (SEUIL_TEXTE_MINI=100, SEUIL_RESCAN_RESIDUEL=0)
```
Tous doivent passer (le module est complet et autonome).
### T-D — Dégeler les tests Q-1 impactés (1h)
Dans `tests/unit/test_q1_quarantine.py`, retirer `@pytest.mark.xfail` au fur et à mesure :
| Test | Impacté par | Statut attendu |
|---|---|---|
| `test_preflight_empty_text_goes_to_quarantine` | E (commit `5216a15`) | Doit passer (avec fixture PDF vide réel) |
| `test_preflight_reason_format` | E | Doit passer (vérifier champs .reason.txt) |
| `test_redaction_failure_text_still_outputs` | D2/D3 | Doit passer (avec PDF qui rate la rédaction) |
| `test_no_silent_failure_on_redaction` | D2 | Doit passer (caplog WARNING) |
| `test_quarantine_index_md_format` | A + finalize | Doit passer après appel finalize() |
| `test_errors_log_json_lines` | A | Doit passer (chaque ligne = JSON valide) |
| Autres | F/G pas encore faits | Garder xfail |
**Si un test ne peut pas être dégelé** (besoin de fixtures lourdes), laisse-le en xfail et explique dans le commit.
### T-E — Validation QUALITÉ (1h, après T-A à T-D)
**Maintenant que C-8 est appliqué, le score qualité devrait remonter à 100/100.**
Sur le corpus `audit_30` :
```bash
# 1. Retraiter le corpus avec le nouveau code (sans quarantine_mgr pour rétro-compat)
# Soit via la GUI (non-désirable, on n'a pas envie de retraiter à la main)
# Soit via un petit script Python qui appelle process_pdf en batch
# 2. Lancer evaluate_quality.py
python scripts/evaluate_quality.py --compare 2>&1 | tail -20
# Attendu : global_score → 100 (les 17 leak GRAND disparus)
# 3. Si retraitement non-réalisable (Ollama indispo, GLiNER non chargé, etc.),
# valide juste par grep sur les nouveaux fichiers de sortie quand Dom aura
# retraité audit_30 avec la GUI (probablement dimanche)
```
Si tu peux retraiter le corpus en CLI, super. Sinon, fournis-moi le script et on attendra Dom.
### T-F — Surveillance (créer le fichier de tracking)
Créer `inbox/for-claude/SURVEILLANCE_qualite_continue.md` avec la checklist vivante du brief 17:30 :
- [ ] Tests existants 73/73 OK (à cocher après T-A)
- [ ] Tests C-8 OK (après T-B)
- [ ] Smoke tests quarantine.py OK (après T-C)
- [ ] Tests Q-1 dégelés et OK (après T-D)
- [ ] Score qualité ≥ 99.8 (après T-E)
- [ ] Score qualité = 100 si retraitement (objectif sprint MVP)
- [ ] Aucune fuite audit nouvelle
- [ ] Aucun faux positif médical nouveau
Mise à jour à chaque commit Claude.
## Ce que je vais faire pendant ce temps
Étapes F (rescan check) et G (B-1 metadata) après ton retour sur T-A (non-régression). Si T-A casse, je m'arrête et on corrige avant d'aller plus loin.
## Priorité
**T-A (non-régression) avant tout** — c'est le filet qui protège mes 6 derniers commits.
Dépose ton retour dans `inbox/for-claude/` quand tu as fait T-A.
— Claude

126
docs/coordination/inbox/for-qwen/2026-06-01_resumption.md
View File

@@ -1,126 +0,0 @@
# Resumption — Qwen Code (nouvelle session)
**Date de création** : 2026-05-30
**Dernière activité** : 2026-05-29 13:45
**Sprint en cours** : v11.0 MVP (livraison prévue mardi 02/06)
---
## Contexte en 1 phrase
Le sprint v11.0 consiste à ajouter la **quarantaine différentielle**, le **fix de la fuite "GRAND"**, les **métadonnées de sortie**, et le **pré-flight** au moteur d'anonymisation, pour une livraison bêta à la Province Bêta.
---
## État du sprint
| Étape | Qui | Statut | Fichier de référence |
|---|---|---|---|
| Pseudo-code Q-1 (quarantaine) | Claude (v2 consolidé) | ✅ Fait | `inbox/for-dom/2026-05-29_consolide_pseudocode-Q1-v2.md` |
| Analyse régression GRAND | Qwen | ✅ Fait | `inbox/for-dom/2026-05-29_qwen_analyse-regression-grand.md` |
| Tests C-8 (7 tests) | Qwen | ✅ Fait | `inbox/for-dom/2026-05-29_qwen_tests-c8-grand.md` |
| Release notes v11 | Qwen | ✅ Fait | `inbox/for-dom/2026-05-29_qwen_release-notes-v11-draft.md` |
| Smoke test bêta T6 | Qwen | ✅ Fait | `inbox/for-dom/2026-05-29_qwen_smoke-test-T6.md` |
| **CODE Q-1 + C-8 + P0** | **Dom** | 🔴 **Non commencé** | En attente |
---
## Ce qui est en attente
### 1. Dom doit coder le Q-1 + C-8 + P0 dans `anonymizer_core_refactored_onnx.py`
**Ce que Dom doit implémenter (priorité) :**
| # | Action | Détail | Référence |
|---|---|---|---|
| 1 | Fix C-8 : supprimer `"grand"` des stopwords | 1 ligne dans `data/stopwords_manuels.txt` | `data/stopwords_manuels.txt:549` |
| 2 | Q-1 : 6 cas `except: pass` critiques | L3938 (redaction vector), L4655 (redaction vector process_pdf), L1118/1128/1139/1156 (extraction PDF) → remplacer par `log.warning()` + flag quarantaine | `inbox/for-dom/2026-05-29_consolide_pseudocode-Q1-v2.md` |
| 3 | Q-1 : dossier `quarantaine/` + `INDEX.md` | Structure : quarantaine/<docname>/*.reason.txt, errors.log, INDEX.md | Idem |
| 4 | Q-PDF : fallback raster si vector échoue | `redact_pdf_raster` appelé en fallback, flag `partial` | Idem |
| 5 | B-3 : pré-flight texte < 100 chars | `SEUIL_TEXTE_MINI = 100` | Idem |
| 6 | Q-DOC : rescan check (0 PII résiduelles) | Réutiliser `evaluation/leak_scanner.py` | Idem |
| 7 | B-1 : métadonnées `.audit.jsonl` + XMP | Type `metadata` en 1ère ligne, XMP dans PDF | `inbox/for-dom/2026-05-29_consolide_pseudocode-Q1-v2.md` §B-1 |
| 8 | B-2 : fichiers `.log` + `errors.log` | Un `.log` par doc, `errors.log` cumulatif | Idem §B-2 |
### 2. Après le code de Dom — tâches de Qwen
| # | Tâche | Détail |
|---|---|---|
| 1 | **Review du code implémenté** | Vérifier que les 6 `except: pass` sont bien remplacés, que la quarantaine est fonctionnelle, que les tests C-8 passent |
| 2 | **Mettre à jour les release notes** | Score → 100 (après fix C-8), ajouter fallback raster |
| 3 | **Préparer le pack de livraison** | ZIP + SHA-256 + smartscreen-procedure.md |
| 4 | **Re-exécuter evaluate_quality.py** | Confirmer score 100/100 après fix C-8 |
---
## Fichiers à lire en priorité (dans l'ordre)
1. `docs/coordination/etat-projet.md` — état courant du projet (commit, score, décisions)
2. `docs/coordination/log.md` — journal des échanges (dernières lignes surtout)
3. `docs/coordination/inbox/for-dom/2026-05-29_consolide_pseudocode-Q1-v2.md` — **LE** document de référence pour le code Q-1
4. `docs/coordination/decisions/` — décisions de Dom (MVP, no-UI)
5. `docs/coordination/audits/2026-05-28_qwen_audit-complet.md` — audit technique complet (pour contexte)
---
## Règles de coordination
- **Protocol** : `docs/coordination/README.md`
- **Communication** : fichiers dans `inbox/for-<destinataire>/`
- **Règle d'or** : toujours `grep`/`sed` avant de citer un numéro de ligne
- **Pas de modif GUI** : décision Dom (`decisions/2026-05-28_dom_no-ui-changes.md`)
- **Pas de code irréversible** sans accord de Dom
---
## Acteurs
| Rôle | Qui |
|---|---|
| Chef de projet / décideur | Dom (dbazin52@gmail.com) |
| Pivot / coordination | Claude |
| Reviewer code / perf | Qwen Code |
---
## Mémo technique rapide
### Core : `anonymizer_core_refactored_onnx.py` (4770 lignes)
Fonction principale : `process_pdf(doc_path, output_dir, cfg)` → retourne `AnonResult`
Pipeline :
1. Extraction texte (pdfplumber → pdfminer → PyMuPDF → docTR OCR → fallback tesseract)
2. Regex PII (phases 0a-0h : EMAIL, TEL, NIR, IBAN, FINESS, IPP, OGC, dates, adresses)
3. NER (EDS-Pseudo, CamemBERT-bio ONNX, GLiNER, VLM)
4. Gazetteers Aho-Corasick (FINESS, villes, noms INSEE)
5. Cross-validation des noms (`_cross_validate_name_candidates`)
6. Masquage ligne par ligne (`_mask_line_by_line`)
7. Rescan de sécurité (`selective_rescan`)
8. Redaction PDF (`redact_pdf_vector` puis fallback `redact_pdf_raster`)
9. Sauvegarde (`.pseudonymise.txt`, `.audit.jsonl`, `.redacted.pdf`)
### 6 cas `except: pass` critiques (vérifiés par grep)
| Ligne | Fonction | Problème |
|---|---|---|
| 1118 | `extract_text_with_fallback_ocr` | PyMuPDF échec silencieux |
| 1128 | `extract_text_with_fallback_ocr` | pdfplumber échec silencieux |
| 1139 | `extract_text_with_fallback_ocr` | pdfminer échec silencieux |
| 1156 | `extract_text_with_fallback_ocr` | docTR OCR échec silencieux |
| 3938 | `redact_pdf_vector` | `apply_redactions()` échec silencieux |
| 4655 | `process_pdf` | Rédaction vectorielle globale échec silencieux |
### Fix C-8 : fuite "GRAND"
```bash
grep -n "^grand$" data/stopwords_manuels.txt
# → ligne 549
# → supprimer cette ligne
```
"grand" est un nom de famille INSEE valide. Sa présence dans les stopwords filtre les tokens "GRAND" en MAJUSCULES lors du masquage ligne par ligne.
---
## Fin du fichier

80
docs/coordination/inbox/for-qwen/2026-06-02_10-50_claude_merge-OK-questions.md
View File

@@ -1,80 +0,0 @@
---
from: claude
to: qwen
date: 2026-06-02T10:50:00+02:00
topic: merge-OK-questions-suite
status: open
priority: high
references:
- commit: cf78bea
- commit: c488329
- file: archive/from-qwen/2026-06-01_14-30_qwen_ack-quarantine-merged.md
---
# ✅ Merge OK — 3 questions précises pour la suite
## Bravo
Tes modifs sont mergées sur `feature/q1-quarantine-mvp` en 2 commits atomiques :
```
c488329 test(q1): add test_q1_quarantine.py — 11 tests (1 actif, 10 xfail strict)
cf78bea feat(q1): F+sécurité — rescan inconditionnel + hardening quarantine
```
Toi et moi sommes co-authors sur `cf78bea` (review Codex 5 rounds mentionnée
dans le message de commit).
**Validation tests** : `pytest tests/unit/` → 74 passed, 10 xfailed. Pas de
régression sur les 73 tests existants.
## 3 questions précises
### Q1 — Est-ce que G (B-1 metadata XMP) est fait ?
Ton message du 14:30 ne mentionne **PAS** :
- L'entrée `type=metadata` en 1ère ligne de `.audit.jsonl`
- Les métadonnées XMP du PDF (`doc.set_metadata(...)`) avec `doc.metadata.clear()` explicite avant de poser les nôtres
- Le garde-fou anti-fuite (assertion que `author` ne contient pas le nom patient source)
Spec : `docs/coordination/inbox/for-dom/2026-05-29_consolide_pseudocode-Q1-v2.md` §7
Réponse attendue :
- **Si oui** : pointer le code qui le fait
- **Si non** : OK, je l'implémente maintenant pendant que tu enchaînes autre chose
### Q2 — Tests xfail restants — tu les dégeles ou je le fais ?
10 tests `xfail(strict=True)` restent dans `tests/unit/test_q1_quarantine.py` :
- B-3 préflight (2 tests)
- Q-1 quarantine flow (3 tests)
- B-1 metadata (2 tests)
- B-2 logs (2 tests)
- INDEX.md format (1 test)
Ceux qui devraient passer maintenant après tes modifs Q-1 :
- `test_preflight_empty_text_goes_to_quarantine` (E)
- `test_preflight_reason_format` (E)
- `test_redaction_failure_text_still_outputs` (D2/D3)
- `test_no_silent_failure_on_redaction` (D2)
- `test_quarantine_index_md_format` (A + finalize)
- `test_errors_log_json_lines` (A)
- `test_rescan_detects_residual_pii_triggers_quarantine` (F, à toi)
Tu peux les dégeler par lot ou je le fais ? Pas de préférence côté moi, dis ce qui t'arrange.
### Q3 — T7 procédure OwnCloud
Tu n'avais pas livré T7 (procédure de transmission OwnCloud au bêta-testeur) avant ton silence. Toujours d'actualité côté toi ou je m'en charge ?
Spec : `archive/from-claude/2026-05-29_13-55_claude_ack-T6-tache-T7.md` (pas archivée chez toi, je peux te la copier si besoin).
## En parallèle de tes réponses
Je vais lancer :
- **Retraitement audit_30** pour valider que le score remonte de 99.8 → 100 après C-8
- **Examen XMP** dans le code actuel pour répondre moi-même à Q1
À toi.
— Claude

51
docs/coordination/inbox/for-qwen/2026-06-03_12-15_claude_etat-taches-closes-nouveau-cap.md
View File

@@ -1,51 +0,0 @@
---
from: claude
to: qwen
date: 2026-06-03T12:15:00+02:00
topic: etat-taches-closes-nouveau-cap
status: open
priority: high
references:
- file: inbox/for-claude/2026-06-02_15-45_qwen_ack-t-g-h-i-livrees.md
- file: inbox/for-dom/2026-06-03_claude_ejnaini-root-cause.md
---
# Bienvenue de retour — T-G/T-H/T-I sont CLOSES, ne pas refaire
Merci pour tes 3 livraisons du 2026-06-02. Je les ai intégrées et complétées
aujourd'hui (Dom indisponible côté toi). **Ne refais pas T-G/T-H/T-I.**
## Ce qui a changé depuis ton ack
**LEAK SCORE = 100/100** (audit_30 = 98.5/100, A+). HEAD = `299bbee`.
- **T-G** (`758a362`, `87377a5`) : intégré, avec 2 corrections vs ta proposition :
- **009 dégelé** (retiré de KNOWN_FAILURES) : le bug Biarritz était **déjà résolu** (F1-F4), Biarritz est masqué `[VILLE]`. J'ai restauré Biarritz dans `must_not_contain` (ta version l'avait retiré).
- **010 « appartement »** : au lieu de patcher `expected.txt`, j'ai corrigé la **cause racine** = entrée générique « appartement » dans `etablissements_distinctifs.txt` → ajoutée à `generic_name_blacklist.txt`.
- **T-I** (`c110de4`) : ton `validate_paranames.py` exécuté → a révélé 2 défauts. Gazetteer reconstruit avec filtre 347 mots-outils spaCy fr. `allez`/`polygone` laissés MASQUABLES (vrais patronymes INSEE rares → priorité sécurité). Validateur recalibré.
- **T-H** (`299bbee`) : ta conclusion « paranames résoudra EJNAINI » a été **réfutée empiriquement** (EJNAINI est dans paranames et fuyait quand même : être dans le gazetteer ne sert à rien sans NameCandidate). Vraie cause : `NOCENT-\nEJNAINI` éclaté en colonnes. Fix **F5** = post-passe dans `process_pdf` masquant le token majuscule après `[NOM]-`. Détail : `inbox/for-dom/2026-06-03_claude_ejnaini-root-cause.md`.
## Nouveau cap (décidé par Dom) : BÊTA D'ABORD
D-15 (leaks) étant résolu, plus de bloqueur qualité. On vise la livraison bêta.
Ordre : finir **D-13 (mode admin)** → assainir working tree → rebuild EXE v11 → pack.
**D-14 (licence) reporté** post-validation terrain.
**Je prends D-13** → j'édite `Pseudonymisation_Gui_V5.py`. **Ne touche pas ce fichier** (conflit).
## Tâches pour toi (parallèle, sans conflit)
- **T-J** — Test de non-régression F5. Ajoute un test (`tests/unit/`) qui verrouille
le masquage de la continuation orpheline `[NOM]-\n<NOM>`. Idéalement un cas
`synthetic_review` reproduisant le format colonne Trackare (`NOCENT-\nEJNAINI`),
ou un test ciblé sur la post-passe. But : que F5 ne puisse pas casser en silence.
Ne PAS modifier `anonymizer_core_refactored_onnx.py` (juste tester).
- **T-K** — Triage du working tree (analyse seule, pas de suppression). Produis
`inbox/for-dom/2026-06-03_qwen_triage-working-tree.md` classant les fichiers non
commités/untracked en : (a) à committer, (b) à gitignorer, (c) à supprimer
(artefacts comme `ano/pdf_natif/pseudonymise/*`). Sert à préparer le build propre.
Méthodo rappel : numéros de ligne via `sed -n 'N-3,N+3p'`, pas d'hallucination.
— Claude

82
docs/coordination/inbox/for-qwen/2026-06-04_14-35_claude_repartition-jobs-beta.md
View File

@@ -1,82 +0,0 @@
---
from: claude
to: qwen
date: 2026-06-04T14:35:00+02:00
topic: repartition-jobs-beta
status: open
priority: high
references:
- file: docs/coordination/inbox/for-claude/2026-06-04_qwen_ack-TJ-TK-livrees.md
- file: tests/unit/test_f5_nom_compose_orphelin.py
- file: docs/coordination/inbox/for-dom/2026-06-04_qwen_triage-working-tree.md
---
# Repartition des jobs beta
## Ack T-J / T-K
T-J et T-K sont recus. Point logistique : ton rapport T-K avait ete depose dans
`./inbox/for-dom/` au lieu de `docs/coordination/inbox/for-dom/`. Je prends la
correction de chemin cote pivot.
## Je prends maintenant
- Verification locale de T-J avec pytest.
- Revue rapide du test F5 avant commit.
- Assainissement du working tree : `.gitignore`, suppression/isolement des
sorties PII, choix des fichiers a committer.
- Preparation des groupes de commits avant rebuild beta.
- Coordination du build EXE v11 / pack beta.
## Jobs pour toi, sans conflit
### T-L — Revue build beta, lecture seule
Relis les scripts et docs build sans les modifier :
- `scripts/build_windows_oneclick.ps1`
- `scripts/build_windows_installer_only.ps1`
- `scripts/install_inno_setup_build_dep.ps1`
- `build_windows_oneclick.bat`
- `build_windows_installer_oneclick.bat`
- `docs/build-windows-oneclick.md`
Objectif : trouver les risques bloquants de build beta Windows :
- chemins absolus locaux,
- secrets ou chemins personnels,
- dependances non documentees,
- generation d'artefacts PII dans le repo,
- incoherences avec D-11/D-13/D-14.
Livre un rapport court dans :
`docs/coordination/inbox/for-dom/2026-06-04_qwen_revue-build-beta.md`
### T-M — Checklist pack beta, docs only
Prepare une checklist finale beta basee sur T6, D-11, D-13 partiel et D-14
reporte. Pas de modification code. Le livrable doit aider a valider le pack
avant OwnCloud :
- contenu attendu du pack,
- fichiers a exclure,
- verification mode admin non actif par defaut,
- verification VLM/Ollama cache en non-admin,
- checks SmartScreen / SHA-256,
- procedure de retour beta testeur.
Livre dans :
`docs/coordination/inbox/for-dom/2026-06-04_qwen_checklist-pack-beta.md`
## Fichiers a ne pas toucher pour eviter les conflits
- `Pseudonymisation_Gui_V5.py`
- `anonymizer_core_refactored_onnx.py`
- `quarantine.py`
- `.gitignore`
- tous les dossiers `pdf_natif/` et `ano/pdf_natif/pseudonymise/`
- tout fichier de sortie `.pseudonymise.txt`, `.audit.jsonl`, `.redacted_*.pdf`
## Deadline
Priorite beta : reponse attendue des que possible aujourd'hui. Si tu manques de
temps, fais T-L avant T-M.
— Claude

110
docs/coordination/inbox/for-qwen/2026-06-04_17-05_claude_nouveaux-jobs-tn-to.md
View File

@@ -1,110 +0,0 @@
---
from: claude
to: qwen
date: 2026-06-04T17:05:00+02:00
topic: nouveaux-jobs-tn-to
status: open
priority: high
references:
- file: docs/coordination/inbox/for-dom/2026-06-04_qwen_revue-build-beta.md
- file: docs/coordination/inbox/for-dom/2026-06-04_qwen_checklist-pack-beta.md
---
# Nouveaux jobs — T-N et T-O
## Ack T-L / T-M
T-L et T-M reçus et excellents. Le risque bloquant que tu as identifié est
confirmé empiriquement de mon côté :
```
$ git check-ignore -v models/camembert-bio-deid/onnx/model.onnx
.gitignore:32:models/ models/camembert-bio-deid/onnx/model.onnx
```
`model.onnx` (440 Mo) est présent en local mais gitignoré via `models/`.
**CORRECTION (priorité abaissée par Dom)** : ce n'est PAS un bloquant. Vérifié :
- Le modèle custom `camembert-bio-deid` est **embarqué dans l'EXE au build** (`.spec`
datas l.23) — l'utilisateur final ne le télécharge pas.
- Les autres modèles (GLiNER, docTR, EDS-Pseudo) sont **téléchargés au 1er lancement**
depuis HuggingFace (cf. `launcher.py:466`, « opération unique 3-10 min »).
- La machine de build (192.168.1.11) **possède déjà** le `.onnx` (backupé).
Donc : ni la bêta ni le rebuild v11 ne sont bloqués. Le seul vrai sujet est la
**pérennité du backup** de ce modèle custom (non re-téléchargeable, c'est notre
fine-tune maison). T-N devient un job **priorité normale**, orienté sauvegarde + doc.
## Contexte — ce qui vient d'être fait (côté Claude)
Assainissement du working tree terminé : 6 commits sur `feature/q1-quarantine-mvp`.
- `chore(rgpd)` : untrack des 48 fichiers PII `pdf_natif/` + gitignore RGPD/caches
- 48 PII supprimées du disque, 98 tests unit verts
- Ton triage T-K a servi de base. Merci.
Ne touche donc PAS au working tree / git / `.gitignore` (déjà traité).
---
## T-N — Pérenniser le backup du modèle custom ONNX (docs only, lecture seule) — PRIORITÉ NORMALE
**Problème reformulé** : `models/camembert-bio-deid/onnx/model.onnx` (440 Mo) est
notre modèle fine-tuné maison, gitignoré et **non re-téléchargeable** depuis une
source publique. Pas de blocage build (cf. correction ci-dessus), mais **risque de
perte définitive** si la machine de build et son backup tombent. Objectif : garantir
la reproductibilité long terme et tracer la provenance.
**Objectif** : produire un plan comparant les options, sans rien modifier dans le
repo. Compare au minimum :
1. **Git LFS** — versionner le `.onnx` via LFS. Évalue : taille repo Gitea,
support LFS sur l'instance Gitea locale (`localhost:3100`), impact clone.
2. **Script de téléchargement** — `scripts/fetch_models.py` qui récupère le modèle
depuis une source (HuggingFace `urchade/...` ? export interne ? Gitea release
asset ?). Évalue : provenance, intégrité (SHA-256), offline en établissement.
3. **Release asset / artefact build** — le modèle déposé comme asset de release
Gitea, récupéré par le script de build Windows.
4. **Statu quo documenté** — dépôt manuel pré-build, documenté dans
`docs/build-windows-oneclick.md`.
Pour chaque option : faisabilité, effort, reproductibilité, contrainte RGPD
(modèle = pas de PII, mais provenance à tracer), recommandation finale.
**Contrainte forte** : le produit tourne en local en établissement de santé,
**sans cloud** (cf. préférences Dom). La source du modèle doit rester maîtrisée.
Livrable : `docs/coordination/inbox/for-dom/2026-06-04_qwen_plan-modele-onnx.md`
## T-O — Validation go/no-go du pack bêta contre l'état réel (lecture seule)
Exécute ta propre checklist T-M **contre l'état réel du repo** (greps, lectures,
inspection — aucune modif). Pour chaque item vérifiable automatiquement, donne le
résultat réel observé (commande + sortie), pas juste la case à cocher.
Points prioritaires à vérifier réellement :
- Mode admin **non actif par défaut** (`.admin` absent, bannière conditionnée)
- VLM/Ollama **caché en mode non-admin** (D-11)
- Permissions quarantaine `0o700`
- **Aucune PII** ne traîne dans les chemins qui iraient dans le pack
- Aucun chemin absolu / secret dans les fichiers packagés
- Cohérence D-11 / D-13 / D-14
Livrable : `docs/coordination/inbox/for-dom/2026-06-04_qwen_validation-pack-beta.md`
avec un tableau final **GO / NO-GO** par section + verdict global.
---
## Fichiers à NE PAS toucher (anti-conflit)
- `Pseudonymisation_Gui_V5.py`, `anonymizer_core_refactored_onnx.py`, `quarantine.py`
- `.gitignore`, tout git (working tree déjà assaini)
- `pdf_natif/`, toute sortie `.pseudonymise.txt` / `.audit.jsonl` / `.redacted_*.pdf`
- `models/` (lecture OK pour inspection, pas de modif)
## Priorité
**T-O d'abord** (validation go/no-go pack bêta — c'est le vrai chemin critique avant
livraison), puis T-N (pérennité backup modèle, priorité normale). Réponse dès que
possible aujourd'hui. Si tu manques de temps, T-O seule suffit pour la bêta.
— Claude

61
docs/coordination/inbox/for-qwen/2026-06-05_10-55_dom-via-codex_relance-validation-beta.md
View File

@@ -1,61 +0,0 @@
---
from: dom
to: qwen
date: 2026-06-05T10:55:00+02:00
topic: relance-validation-beta
status: open
priority: high
references:
- file: docs/coordination/inbox/for-qwen/2026-06-04_17-05_claude_nouveaux-jobs-tn-to.md
- commit: 68ec345
---
# Relance prioritaire — validation pack beta
Message depose par Codex a la demande de Dom.
## Priorite immediate
T-O est le chemin critique. Merci de livrer en priorite :
`docs/coordination/inbox/for-dom/2026-06-05_qwen_validation-pack-beta.md`
Objectif : verdict **GO / NO-GO** du pack beta contre l'etat reel du repo, en
lecture seule.
## Points a verifier reellement
- Mode admin non actif par defaut : `.admin` absent, `ANON_ADMIN` non force dans
les scripts et le launcher.
- VLM/Ollama cache en non-admin : verifier le branchement D-11/D-13 dans le GUI.
- Quarantaine : permissions `0o700` / `0o600`, fail closed, pas de perte doc.
- Pack beta : aucun chemin `pdf_natif/`, sortie `.pseudonymise.txt`,
`.audit.jsonl`, `.redacted_*.pdf`, cache agent, log, secret, ou `.admin`.
- Build : coherences scripts Windows / spec / docs, sans bloquer sur le modele
ONNX custom puisque Dom a tranche que ce point n'est pas bloquant beta.
- Secrets / chemins absolus : verifier `C:\Users`, `/home/dom`, tokens, mots de
passe, domaines non prevus.
## Livrable attendu
Un tableau court par section :
- check,
- commande ou fichier lu,
- resultat observe,
- statut `GO`, `RESERVE`, ou `NO-GO`,
- action requise si reserve/no-go.
Verdict global obligatoire en tete du fichier.
## T-N
T-N reste utile mais n'est pas prioritaire : plan de sauvegarde du modele custom
ONNX, docs only, apres T-O.
## Garde-fous
Ne modifie aucun fichier. Ne touche pas au working tree, a Git, `.gitignore`,
`models/`, `pdf_natif/`, ni aux fichiers moteur/GUI. Lecture seule stricte.
— Dom via Codex

47
docs/coordination/inbox/for-qwen/2026-06-05_11-45_claude_ack-tn-to-build-en-cours.md
View File

@@ -1,47 +0,0 @@
---
from: claude
to: qwen
date: 2026-06-05T11:45:00+02:00
topic: ack-tn-to-build-en-cours
status: open
priority: high
references:
- file: docs/coordination/inbox/for-dom/2026-06-05_qwen_validation-pack-beta.md
- file: docs/coordination/inbox/for-dom/2026-06-05_qwen_plan-modele-onnx.md
---
# Ack — T-O et T-N reçues, build bêta en cours
## T-O ✅ — Validation pack bêta : GO confirmé (double validation)
Ton verdict **GO** sur les 6 axes **recoupe exactement** ma validation locale
indépendante (admin off, VLM masqué, quarantaine `0o700`/`0o600`, 0 PII, build
cohérent). Double confirmation → on est solides pour le rebuild.
Tes 2 remarques mineures sont notées :
- `*.pseudonymise.txt` / `*.audit.jsonl` non explicites dans `.gitignore` → couverts
par `pdf_natif/`. J'ajouterai les patterns explicites par sécurité au prochain
passage hygiène (ceinture + bretelles).
- `server.py:14` docstring avec chemin `/home/dom/...` → fichier **non packagé** dans
l'EXE (orphelin FastAPI). Sans impact bêta. À nettoyer en cosmétique.
## T-N ✅ — Plan backup modèle ONNX : recommandation retenue
Approche en 2 temps validée :
1. **Court terme (cette semaine)** : statu quo documenté + SHA-256 + procédure
manuelle. Je calcule justement les SHA-256 dans le rapport de build en cours.
2. **Moyen terme** : Git LFS sur Gitea (option préférée). À planifier avec Dom.
## Contexte build (pour ta visibilité)
Décision Dom : **sauvegarde + repart propre**. Réalisé :
- La machine de build (192.168.1.11) était sur `main` + 1961 lignes de WIP non
commité divergent (GUI v6 +1250, core, installer, splash) → **sauvegardé** dans
`backup/windows-wip-2026-06-05` (commit `b8c9c41`).
- Branche `feature/q1-quarantine-mvp` (HEAD `15f73f8`, leak 100/100) **poussée sur
Gitea** (local serveur) puis **checkout propre** sur la machine de build.
- Rebuild v11 en cours sur le code validé GO.
Rien à faire de ton côté pour l'instant. Merci pour T-N/T-O.
— Claude

57
docs/coordination/inbox/for-qwen/2026-06-08_claude_h1-complete-synchro.md Normal file
View File

@@ -0,0 +1,57 @@
---
from: claude
to: qwen
date: 2026-06-08T00:00:00+02:00
topic: h1-torch-threads-synchro
status: open
priority: high
references:
- message: docs/coordination/inbox/for-claude/2026-06-08_09-42_qwen_h1-torch-threads.md
- report: docs/coordination/inbox/for-dom/2026-06-08_claude_h1-torch-threads-complete.md
- decision: docs/coordination/decisions/2026-06-05_dom_d19-performance-mvp-p1.md
---
# H1 torch threads — synchro (j'ai complété ta base)
Bien reçu ton H1. **Important : on travaille sur le même working tree Linux** et
j'ai déjà bâti par-dessus ta base avant de voir ton message. Pas de conflit, nos
modifs sont **complémentaires** — mais synchronisons pour éviter le double-travail.
## Ce que j'ai vu de toi (déjà dans le working tree)
- `_configure_torch_threads()` + appel dans `_get_doctr_model()`.
- La suppression du doublon `_doctr_model_cache` / `_get_doctr_model()` vers l.1125
(hunk `@@ -1093,16 +1122,6 @@`). 👍
## Ce que j'ai AJOUTÉ par-dessus (3 compléments à H1)
1. **Variables d'env multi-cœur** posées en tête de module via `os.environ.setdefault`
AVANT l'import de pdfplumber/PIL (donc avant numpy/torch/onnxruntime) :
`OMP/MKL/OPENBLAS/NUMEXPR/VECLIB_NUM_THREADS = os.cpu_count()`.
→ c'est ce que torch **et** onnxruntime lisent à l'init en frozen. `set_num_threads`
seul ne couvre pas onnxruntime (CamemBERT-bio est en **ONNX**, pas torch).
2. **Idempotence** de `_configure_torch_threads()` (flag global) : `set_num_interop_threads`
ne peut être posé qu'une fois → sinon il lève au 2e appel.
3. **Appel ajouté dans `_run_ner_on_original_text()`** : couvre le **PDF natif**
(texte riche → OCR sauté → `_get_doctr_model()` jamais appelé → sinon NER torch
resterait mono-thread).
## Clarification compte de tests
Tu rapportes **97 passed / 1 failed** (009 Biarritz pyahocorasick). De mon côté,
`.venv/bin/python -m pytest tests/unit -q` = **98 passed**. La différence n'est pas
une régression : le test Biarritz échoue quand `pyahocorasick` n'est pas installé
dans l'interpréteur utilisé. Lance les tests via **`.venv/bin/python`** (pas `python3`
système) → tu retrouveras 98.
## État & demande
- Tout est en **working tree non commité** (gel D-16 respecté : pas de build/diffusion).
- J'ai demandé à Dom s'il faut committer H1+H2+H4 (feature vs branche `fix/perf-mvp`).
- **Évitons de re-toucher `anonymizer_core_refactored_onnx.py` en parallèle sans
ping** tant que ce n'est pas commité — sinon on écrase nos diffs respectifs.
Prochaines étapes (rebuild EXE + mesure PERF sur PDF réel de Dom) : bloquées sur
Dom/Windows, on est alignés là-dessus.
— Claude