feat(phase2): Gazetteers FINESS 102K établissements + fine-tuning CamemBERT-bio F1=89%

Gazetteers FINESS (data.gouv.fr open data):
- 102K numéros FINESS → détection par lookup exact dans _mask_admin_label + selective_rescan
- 122K noms d'établissements, 113K téléphones, 76K adresses (disponibles)
- Un nombre 9 chiffres matchant un vrai FINESS est masqué même sans label "FINESS"

Fine-tuning CamemBERT-bio (almanach/camembert-bio-base):
- Export silver annotations réécrit : alignement original↔pseudonymisé (difflib)
  → 6862 entités B- (vs 3344 avec l'ancien audit-only) sur 222K tokens
- Sliding windows (200 tokens, stride 100) pour documents longs
- WeightedNERTrainer avec class weights cappés (max 10x) + label smoothing
- Résultat: Precision=88.1%, Recall=89.8%, F1=88.9% (20 epochs, lr=1e-5)
- Modèle sauvegardé dans models/camembert-bio-deid/best (non commité)

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
This commit is contained in:
2026-03-09 13:27:37 +01:00
parent 6e0e8c7312
commit 26b210607c
36 changed files with 447533 additions and 62915 deletions

View File

@@ -2,7 +2,7 @@ Courrier O
Epi O
- O
RICHARD, O
[NOM] B-PER
CLAUDE B-PER
___________________________________________________________________________________________________________________________ O
Courriers O
médicaux O
@@ -11,16 +11,14 @@ Lettre O
de O
sortie O
05/07/23 O
14 O
: O
17 O
14:17 O
(mod. O
le O
07/07/23 O
12:19 O
par O
[NOM] B-PER
[NOM] B-PER
PENOUILH B-PER
Emilie I-PER
, O
statut O
: O
@@ -34,7 +32,8 @@ le O
juillet O
2023 O
Docteur O
[NOM] B-PER
Philippe B-PER
ETCHETO I-PER
Centre O
Médical O
de O
@@ -43,14 +42,16 @@ Zup O
Quartier O
Ste O
Croix O
[CODE_POSTAL] B-ZIP
64100 B-ZIP
BAYONNE I-ZIP
Cher O
Confrère, O
Monsieur O
[NOM] B-PER
, O
[DATE_NAISSANCE] B-DATE_NAISSANCE
, O
Claude O
RICHARD, O
né O
le O
27/08/1954, O
a O
été O
hospitalisé O
@@ -409,21 +410,20 @@ patient O
Page O
1 O
17/04/2025 O
09 O
: O
17:42 O
09:17:42 O
Courrier O
Epi O
- O
RICHARD, O
[NOM] B-PER
CLAUDE B-PER
___________________________________________________________________________________________________________________________ O
Courriers O
médicaux O
Bien O
confraternellement. O
Docteur O
[NOM] B-PER
Antoine B-PER
DOUARD I-PER
Courrier O
lu O
et O
@@ -437,6 +437,4 @@ patient O
Page O
2 O
17/04/2025 O
09 O
: O
17:42 O
09:17:42 O