Compare commits
4 Commits
7847a0e829
...
feature/qw
| Author | SHA1 | Date | |
|---|---|---|---|
|
56e869c467 | ||
|
|
f8dc3c3af4 | ||
|
|
ca81850a20 | ||
|
|
35fd6cf4c5 |
@@ -4508,7 +4508,18 @@ async def resolve_target(request: ResolveTargetRequest):
|
|||||||
# présent. Attrape les cas où la cascade rend des coords plausibles
|
# présent. Attrape les cas où la cascade rend des coords plausibles
|
||||||
# mais pointant sur un autre élément (ex : clic sur "Dossier en cours"
|
# mais pointant sur un autre élément (ex : clic sur "Dossier en cours"
|
||||||
# du menu au lieu de "Synthèse Urgences" du tab plus bas).
|
# du menu au lieu de "Synthèse Urgences" du tab plus bas).
|
||||||
if result and result.get("resolved"):
|
#
|
||||||
|
# 8 mai 2026 : désactivé par défaut pour la démo GHT. Calibrage du
|
||||||
|
# radius_px et min_token_ratio à finaliser post-démo (cf. rapport
|
||||||
|
# docs/E2E_TEST_RUN_2026-05-08.md). Le pré-check était trop strict
|
||||||
|
# sur les onglets à 2 tokens (Examens cliniques, Synthèse Urgences)
|
||||||
|
# → faux rejets → cascade locale Léa V1 → clic au pif. Réactivable
|
||||||
|
# via env RPA_ENABLE_TEXT_PRECHECK=true. Le code et les tests
|
||||||
|
# restent en place pour reprise post-démo.
|
||||||
|
_text_precheck_enabled = os.environ.get(
|
||||||
|
"RPA_ENABLE_TEXT_PRECHECK", "false"
|
||||||
|
).lower() in ("true", "1", "yes")
|
||||||
|
if _text_precheck_enabled and result and result.get("resolved"):
|
||||||
_by_text = (request.target_spec.get("by_text") or "").strip()
|
_by_text = (request.target_spec.get("by_text") or "").strip()
|
||||||
if _by_text:
|
if _by_text:
|
||||||
from agent_v0.server_v1.resolve_engine import _validate_text_at_position
|
from agent_v0.server_v1.resolve_engine import _validate_text_at_position
|
||||||
@@ -4542,11 +4553,17 @@ async def resolve_target(request: ResolveTargetRequest):
|
|||||||
}
|
}
|
||||||
|
|
||||||
# [REPLAY] log structuré de sortie résolution (après validation)
|
# [REPLAY] log structuré de sortie résolution (après validation)
|
||||||
|
# Note: x_pct/y_pct peuvent être None quand le pré-check OCR rejette
|
||||||
|
# (rejected_text_mismatch). result.get('x_pct', 0) renvoie alors None
|
||||||
|
# — la clé existe, le default 0 est ignoré — et None:.4f lève
|
||||||
|
# TypeError. Fix : `(... or 0)` traite None/None/0 uniformément.
|
||||||
|
_x = result.get('x_pct') if result else None
|
||||||
|
_y = result.get('y_pct') if result else None
|
||||||
logger.info(
|
logger.info(
|
||||||
f"[REPLAY] RESOLVE_EXIT session={request.session_id} "
|
f"[REPLAY] RESOLVE_EXIT session={request.session_id} "
|
||||||
f"resolved={result.get('resolved', False) if result else False} "
|
f"resolved={result.get('resolved', False) if result else False} "
|
||||||
f"method='{result.get('method', '?') if result else 'none'}' "
|
f"method='{result.get('method', '?') if result else 'none'}' "
|
||||||
f"coords=({result.get('x_pct', 0):.4f}, {result.get('y_pct', 0):.4f}) "
|
f"coords=({(_x or 0):.4f}, {(_y or 0):.4f}) "
|
||||||
f"score={result.get('score', 0) if result else 0} "
|
f"score={result.get('score', 0) if result else 0} "
|
||||||
f"from_memory={bool(result.get('from_memory', False)) if result else False} "
|
f"from_memory={bool(result.get('from_memory', False)) if result else False} "
|
||||||
f"reason='{result.get('reason', '') if result else ''}'"
|
f"reason='{result.get('reason', '') if result else ''}'"
|
||||||
|
|||||||
345
docs/AUDIT_DIM_TIM_DEMO_GHT_2026-05-08.md
Normal file
345
docs/AUDIT_DIM_TIM_DEMO_GHT_2026-05-08.md
Normal file
@@ -0,0 +1,345 @@
|
|||||||
|
# Audit DIM/TIM — Cœur métier de la démo GHT Sud 95 (8 mai 2026)
|
||||||
|
|
||||||
|
_Auditeur : agent rôle médecin DIM senior + TIM expérimenté_
|
||||||
|
_Cible lecteur : Dom (produit/tech), Amina (DIM partenaire Bordeaux)_
|
||||||
|
_Périmètre : module métier `urgences_orchestrator.py` + `core/llm/t2a_decision.py` + 11 dossiers `data.js` + bench `BENCH_T2A_DECISION_11DOSSIERS.md` + arbre officiel `RPU UHCD IA.pptx`_
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## A. Lecture intégrale de l'arbre officiel `RPU UHCD IA.pptx`
|
||||||
|
|
||||||
|
Le PPTX (7 slides) est **explicitement structuré comme un arbre de décision en cascade** (slide 6 = synthèse). Reproduction fidèle :
|
||||||
|
|
||||||
|
```
|
||||||
|
Accueil au service des urgences
|
||||||
|
↓
|
||||||
|
Pathologie potentiellement évolutive ?
|
||||||
|
↓ Si oui
|
||||||
|
Nécessité de surveillance médicale et paramédicale ?
|
||||||
|
↓ Si oui
|
||||||
|
Réalisation d'examen ou d'actes ?
|
||||||
|
↓ Si oui aux 3 critères
|
||||||
|
→ UHCD
|
||||||
|
Si 1 critère manquant
|
||||||
|
→ Forfaits Urgences (en l'absence de PRH)
|
||||||
|
```
|
||||||
|
|
||||||
|
**Critères détaillés (verbatim slides 2-4)** :
|
||||||
|
|
||||||
|
1. **Pathologie potentiellement évolutive** (slide 2)
|
||||||
|
- Motif d'hospitalisation (asthme dans l'exemple)
|
||||||
|
- Symptômes (durée, intensité — « depuis au moins 4h »)
|
||||||
|
- Traitement initial **inefficace**
|
||||||
|
- **Terrain à risque** : âge, comorbidités
|
||||||
|
|
||||||
|
2. **Surveillance médicale et paramédicale** (slide 3)
|
||||||
|
- Constantes IDE
|
||||||
|
- Écrits et observations des médecins
|
||||||
|
- Résultats d'examens
|
||||||
|
|
||||||
|
3. **Examen ou actes** (slide 4)
|
||||||
|
- **Diagnostiques** : RX thorax, PCR VRS, test COVID, Peakflow, prélèvements biologiques (pose KT)
|
||||||
|
- **Thérapeutiques** : antibiotiques, aérosols
|
||||||
|
|
||||||
|
**Informations RPU à exploiter** (slide 5) : Mode de venue, Motif PEC, **CCMU**, **GEMSA**, occupation lit/box/couloir, **durée totale du passage**, autres infos DPI.
|
||||||
|
|
||||||
|
**Verdict arbre officiel** : c'est l'arbre **hospitalier local du CH Simone Veil (Eaubonne)** repris par Amina/Pauline. Il est cohérent avec :
|
||||||
|
- l'instruction DGOS (les 3 critères cumulatifs : caractère instable/diagnostic incertain + surveillance hospitalière + actes/examens)
|
||||||
|
- le guide SFMU UHCD 2024 (durée < 24h, observation, parcours diagnostic incertain ou surveillance courte)
|
||||||
|
|
||||||
|
**Mais** l'arbre PPTX est plus **strict** que le SFMU 2024 : il exige les **3 critères** simultanément pour UHCD ; le SFMU décrit deux portes d'entrée alternatives (« surveillance < 24h » OU « diagnostic incertain »). En pratique côté facturation, l'arrêté 2021/2024 retient bien la formulation cumulative DGOS — donc l'arbre PPTX est **conforme à la grille de facturation**, pas à la grille clinique. C'est un point que Carvella peut creuser.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## B. Audit du code métier
|
||||||
|
|
||||||
|
### B.1 `core/llm/t2a_decision.py` — le prompt pivot
|
||||||
|
|
||||||
|
**Fidélité à l'arbre officiel** : ✅ globalement bonne. Les 3 critères du prompt (lignes 38-40) reprennent **exactement** les 3 critères du PPTX.
|
||||||
|
|
||||||
|
**Mais** le prompt code dévie sur la règle de combinaison :
|
||||||
|
|
||||||
|
> _« LES 3 CRITÈRES UHCD (au moins **2 sur 3** validés ⇒ REQUALIFICATION) »_ — `t2a_decision.py:37`
|
||||||
|
|
||||||
|
L'arbre PPTX dit explicitement (slide 6) : **« Si oui à ces 3 critères »** → UHCD ; **« Si 1 critère manquant »** → Forfait. Donc règle officielle = **3/3**, pas **2/3**.
|
||||||
|
|
||||||
|
**Conséquence** : le code est plus permissif que l'arbre clinique. Cela explique en partie les **faux positifs UHCD** observés dans le bench (25003284 Pneumo VRS classé UHCD à tort par 4/5 modèles top, 25056615 Salpingite idem). En relâchant à 2/3, le LLM se permet de basculer en UHCD dès qu'il voit « surveillance + actes » sans pathologie évolutive — ce qui est **exactement le profil ATIH-rejet** (sur-codage UHCD).
|
||||||
|
|
||||||
|
**Recommandation forte** : ramener à `3/3 → REQUALIFICATION` en cohérence avec l'arbre métier. C'est un quick win sans toucher à l'archi.
|
||||||
|
|
||||||
|
**Autres points du prompt** :
|
||||||
|
|
||||||
|
- ✅ Citations littérales obligatoires entre « ... » : excellent garde-fou anti-hallucination, conforme à `feedback_anonymisation_stricte.md`.
|
||||||
|
- ✅ Calibration honnête (elevee/moyenne/faible) demandée ; mais le bench montre 2-4 « elevee » fausses chez les top modèles → la calibration n'est pas effective dans la sortie.
|
||||||
|
- ⚠️ **Absent du prompt** : aucune mention CCMU, GEMSA, durée du passage, mode de venue, type CCAM. Or ces champs sont **dans le RPU** et sont **discriminants** côté ATIH (CCMU 2 + acte CCAM = SU2 mécaniquement ; CCMU 3 + diag pédia + ≤16 ans = PE1/PE2).
|
||||||
|
- ⚠️ **Absent** : pas de distinction Forfait standard vs SU2 vs PE1/PE2. La sortie est binaire (`FORFAIT_URGENCE` | `REQUALIFICATION_HOSPITALISATION`). Or `data.js` distingue déjà `type_forfait: "SU2" | "PE2" | "Standard"`. **Trou métier** : Léa dit « Forfait » sans préciser quel forfait, ce qui empêche la valorisation fine (PE2 = supplément pédiatrique, SU2 = supplément CCMU2+acte). C'est exactement où se loge le ROI 100k€/mois.
|
||||||
|
- ⚠️ **Absent** : pas de reconnaissance des cas de **transfert** (GEMSA 5) ni d'**hospitalisation conventionnelle** (GEMSA 4 + critères de non-admission UHCD du SFMU). Le prompt force un binaire qui ne reflète pas la matrice réelle.
|
||||||
|
- ⚠️ **Absent** : aucune règle sur la **durée**. SFMU UHCD = ≤ 24h. `data.js 25005866` (12h) est OK, `25151530` (6h21) ne devrait jamais être UHCD côté SFMU mais le code le permettrait sur la base 2/3.
|
||||||
|
- ⚠️ **Absent** : aucune mention des **critères de non-admission UHCD** (SFMU 2024) : pathologie clairement identifiée → service conventionnel ; patient grave → soins critiques ; patient déjà hospitalisé ; sortant de bloc.
|
||||||
|
|
||||||
|
### B.2 `agent_chat/urgences_orchestrator.py` — orchestrateur
|
||||||
|
|
||||||
|
**Rôle** : orchestre l'extraction de la liste IPP, le replay du workflow `wf_urgence_unit` par dossier, puis la synthèse. Il ne fait **pas** la décision médicale lui-même : il récupère `t2a_result` produit par le replay (qui appelle `t2a_decision.analyze_dpi`).
|
||||||
|
|
||||||
|
**Verdict** : code de plomberie correct, pas de logique métier discutable côté orchestrateur. **Le seul code métier réel est dans `t2a_decision.py`** (le prompt). Tout le reste est UI/automatisation.
|
||||||
|
|
||||||
|
**Petits points** :
|
||||||
|
- `decision_court` est attendu en sortie LLM. Le bench montre que 4-5 modèles cassent ce champ (parse error). Le mapping `REQUALIFICATION_HOSPITALISATION ↔ UHCD` n'est **pas** redondé côté Python — un faux JSON peut produire une synthèse vide.
|
||||||
|
- Aucun fallback déterministe si le LLM retourne `_parse_error` ou `_error`. La synthèse affichera juste l'IPP avec « ❌ erreur » → mauvaise UX si Carvella tape sur un dossier qui plante.
|
||||||
|
- Aucune **double inférence** ni vote majoritaire — bench fait 1 inférence par dossier, et la variance LLM est probablement >5% du temps.
|
||||||
|
|
||||||
|
### B.3 Cohérence avec `MEMORY.md` et bench récent
|
||||||
|
|
||||||
|
La mémoire indique : `BENCH_T2A_DECISION_11DOSSIERS.md` retient `gemma3:27b-cloud` (73 %). Or `t2a_decision.py:28` met `DEFAULT_MODEL = "qwen2.5:7b"` — incohérence. Vérifier la variable d'env `T2A_MODEL` injectée à l'exécution. Si elle n'est pas posée pour la démo → on tourne **par défaut sur qwen2.5:7b** qui fait 64 % au bench, pas le modèle recommandé.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## C. Audit des 11 dossiers de démo
|
||||||
|
|
||||||
|
Légende : **VT** = vérité-terrain `data.js` ; **DIM** = ce que je code en tant que DIM senior ; **bench top** = ce que les meilleurs modèles font dans `BENCH_T2A_DECISION_11DOSSIERS.md` ; ⚠️ = divergence cliniquement défendable ; 🔴 = cas piège.
|
||||||
|
|
||||||
|
| IPP | Cas | VT data.js | Mon avis DIM | Bench gemma3:27b | Verdict |
|
||||||
|
|---|---|---|---|---|---|
|
||||||
|
| 25003284 | Pneumo VRS, 77 ans, 3h37 | Forfait Std | **Forfait** ✅ | ❌ UHCD | 🔴 piège classique : terrain (78a + asthme + insuf coro) + actes (RX + PCR + KT + ATB IV + aérosols) cochent crit. 1 et 3, MAIS sortie domicile 3h37 → **pas UHCD** côté SFMU. Justification VT solide. |
|
||||||
|
| 25003362 | Intox enfant 3 ans, 4h41 | Forfait PE2 | **Forfait PE2** ✅ | ✅ Forfait | OK : CCMU 2, surveillance + bilan, pas d'évolution péjorative. PE2 légitime (enfant + diag intox). |
|
||||||
|
| 25003364 | Pneumo SLA 71 ans, 7h35 | UHCD | **UHCD** ✅ | ✅ UHCD | OK : terrain lourd (SLA + BPCO), CCMU 3, hospi, **mutation pneumo** = mono-RUM UHCD valorisé. Cas idéal démo. |
|
||||||
|
| 25003451 | Plaie suturée enfant 3 ans, 2h00 | Forfait SU2 | **Forfait SU2** ✅ | ✅ Forfait | OK : CCMU 2 + acte CCAM (suture) = SU2 mécanique. Cas didactique parfait. |
|
||||||
|
| 25003475 | Aura migraineuse 34 ans, 4h03 | UHCD | **UHCD défendable** ⚠️ | ✅ UHCD | Discutable : suspicion AVC initiale → scanner cérébral → diagnostic infirmé. SFMU « diagnostic incertain » = porte d'entrée UHCD ✅. **MAIS** sortie domicile 4h, pas de surveillance > 24h, pas de mutation MCO. Beaucoup de DIM coderaient Forfait Standard avec acte CCAM scanner. **Cas litigieux** — le faire passer en démo n'est pas safe. |
|
||||||
|
| 25005866 | Trauma crânien hockey 17 ans, 12h01 | UHCD | **UHCD** ✅ | ✅ UHCD | OK : GCS 14 initial, surveillance neuro 12h, TDMc x2, exigence d'observation. Conforme SFMU « surveillance < 24h post-TC commotionnel ». |
|
||||||
|
| 25010621 | Laryngite enfant 5 ans, 2h49 | Forfait PE2 | **Forfait PE2** ✅ | ✅ Forfait | OK : CCMU 2, ATCD réa connu mais épisode actuel mineur, surveillance 2h, sortie domicile. PE2 légitime. |
|
||||||
|
| 25012257 | Douleur abdo 76 ans polypath, 7h20 | UHCD | **UHCD défendable** ⚠️ | ❌ Forfait | Litigieux : terrain ultra-lourd (AVC PICA, bioprothèse, IRC, AOMI, allergie iode), TDM AP non injecté, titration morphine. Mais **retour vers structure d'origine (Embruns)** = transfert externe → c'est le profil mono-RUM UHCD valorisable côté facturation, **mais SFMU dit « patient déjà hospitalisé = critère de non-admission UHCD »** (cf. PDF SFMU §critères de non admission). 🔴 Carvella peut taper là. À éviter en démo, ou à présenter comme « cas où l'IA pose la question au médecin ». |
|
||||||
|
| 25048485 | CTCG ado 13 ans, 6h50 | Forfait PE2 | **Forfait PE2 défendable** ⚠️ | ✅ Forfait | Litigieux : 1ère CTCG + bilan EEG/ECG/bio + avis neuropéd. Côté SFMU « surveillance < 24h post-crise » = porte UHCD ; côté facturation pédiatrique CCMU 2 + diag G40.9 = PE2 légitime. **Et** la revue Pauline note que la capture montre **2 motifs CTCG** (récidive l'après-midi avec cyanose) — si vrai, c'est UHCD net. **Question ouverte structurelle non résolue**. À ne pas montrer tant que Pauline n'a pas tranché. |
|
||||||
|
| 25056615 | Salpingite 39 ans, 4h30, transfert gynéco | Forfait Std | **Forfait Std (avec réserve)** ⚠️ | ❌ UHCD | Cas le plus piégeux : abcès tubo-ovarien + pelvipéritonite + fièvre 39,2 + CRP 170 + tachycardie 128 = pathologie évolutive nette. Critère 1 OUI, 2 OUI, 3 OUI → arbre PPTX dirait UHCD. **Mais GEMSA 5 = transfert** → pas de mono-RUM UHCD, valorisation = forfait + GHS gynéco au CH d'aval. **5/5 modèles top se trompent → vérité-terrain à challenger** (cf. note bench). 🔴 À ne PAS montrer en démo : le DSI verra l'IA tomber sur ce cas. |
|
||||||
|
| 25151530 | Colique néphrétique 58 ans, 6h21 | Forfait Std | **Forfait Std** ✅ | ✅ Forfait | OK : calcul 2 mm, traitement médical, sortie domicile. Mais constantes tronquées 2/7 cols (cf. POINTS_SUSPECTS) — **EN qui rebondit à 10/10 absent** du DPI fourni au LLM. Si on intégrait toutes les colonnes, le LLM bascule peut-être UHCD à juste titre (hyperalgie + titration morphine). DPI **dégradé** = risque démo. |
|
||||||
|
|
||||||
|
### C.1 Justifications produites — défendables ?
|
||||||
|
|
||||||
|
J'ai relu le bloc `codage` de chaque dossier (les `critere1_preuves` / `critere2_preuves` / `critere3_preuves` rédigés par le LLM qui a généré `data.js`). Constat :
|
||||||
|
|
||||||
|
- **Forme** : excellente (citations entre balises `<b>`, structure tripartite, recap_rpu carré).
|
||||||
|
- **Fond** : 8/11 défendables. **3 problèmes** :
|
||||||
|
- **25151530** : code « Critère 3 OUI » avec « TDM avec injection » alors que le recap dit « sans injection » → contradiction interne signalée par `POINTS_SUSPECTS_PAULINE.md`. Si Carvella zoome, on a l'air d'amateurs.
|
||||||
|
- **25003475** : `data.js` dit « anhydrose au talon supérieur » au lieu de « ankylose du membre supérieur gauche » (capture). Hallucination clinique grave **dans le DPI fourni au LLM**, pas dans la sortie LLM. Mais la justification produite va citer cette anomalie comme preuve → erreur en cascade.
|
||||||
|
- **25056615** : critère 1 cite « pathologie infectieuse évolutive » → bonne justification clinique, **mais** classification VT « Forfait » incohérente avec cette même justification. La sortie LLM va naturellement coder UHCD ici.
|
||||||
|
|
||||||
|
### C.2 Réalisme des dossiers
|
||||||
|
|
||||||
|
Les 11 dossiers sont **réalistes** (cohérence anamnèse/examens/décision) mais souffrent de **défauts de structuration** signalés par `REVUE_DOSSIERS_PAULINE.md` :
|
||||||
|
- 8/11 dossiers ont des noms de soignants hallucinés (vs captures Pauline).
|
||||||
|
- 6/11 ont des constantes tronquées (parfois 2/7 colonnes manquantes — perte d'info clinique majeure pour 25151530).
|
||||||
|
- 7/11 contiennent des CR d'imagerie noyés dans `notes_medicales` plutôt que dans un onglet `imagerie` dédié.
|
||||||
|
- 1/11 contient des hallucinations cliniques dans le narratif (25003475).
|
||||||
|
|
||||||
|
**Pour la démo, ce sont des dossiers de POC, pas de production.** À assumer explicitement face à Carvella. C'est cohérent avec le cadrage Amina/Pauline (cf. `project_ght_sud_95.md` : « on est sur un POC »).
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## D. Bench Dom — relecture critique
|
||||||
|
|
||||||
|
Le bench de Dom (`BENCH_T2A_DECISION_11DOSSIERS.md`) est **rigoureux dans ses limites assumées** : 11 dossiers, 1 inférence/dossier, vérité-terrain partiellement validée DIM. Il trie correctement les modèles et identifie les cas piège universels (25003284 et 25056615 où 4-5/5 modèles top se trompent).
|
||||||
|
|
||||||
|
### D.1 Le LLM choisi est-il le bon ?
|
||||||
|
|
||||||
|
**Recommandation officielle bench** : `gemma3:27b-cloud` à 73 %, p50 10.6s.
|
||||||
|
**Code actuel** : `qwen2.5:7b` (64 %, p50 10.0s) en `DEFAULT_MODEL`.
|
||||||
|
|
||||||
|
→ **Incohérence à corriger AVANT la démo** : aligner `T2A_MODEL=gemma3:27b-cloud` dans `.env.local` ou `services.conf`. Sinon on perd 9 points d'accuracy sans le savoir.
|
||||||
|
|
||||||
|
**Backup local recommandé** : `qwen3:8b` (64 %, 7.6s, 5 GB VRAM) — meilleur que `qwen2.5:7b` sur le bench tout en étant aussi rapide.
|
||||||
|
|
||||||
|
### D.2 Que rate `gemma3:27b-cloud` ?
|
||||||
|
|
||||||
|
Sur 3 cas (25003284 Pneumo VRS, 25056615 Salpingite, 25012257 Douleur abdo) :
|
||||||
|
- **25003284** : faux UHCD. La cause probable est exactement le **2/3 du prompt** (j'ai dit en B.1) : terrain à risque + actes cochés → bascule UHCD malgré sortie 3h37. Avec règle 3/3 et **pondération durée**, le modèle classerait juste.
|
||||||
|
- **25056615** : faux UHCD. Vérité-terrain Forfait justifiée par GEMSA 5 (transfert). Le prompt ne mentionne pas GEMSA → le modèle ne peut pas le savoir.
|
||||||
|
- **25012257** : faux Forfait. Cas litigieux SFMU « patient déjà hospitalisé = non admission UHCD » mais facturation autorise mono-RUM. Le modèle prend la version SFMU stricte. Défendable.
|
||||||
|
|
||||||
|
### D.3 Le prompt peut-il être amélioré sans changer de modèle ?
|
||||||
|
|
||||||
|
Oui — voir section E.4. Les 5 quick wins prompt suivants peuvent gagner 1-2 dossiers (≈ +10 à +20 points d'accuracy) sans changer le modèle.
|
||||||
|
|
||||||
|
### D.4 Limites du bench reconnues
|
||||||
|
|
||||||
|
`BENCH_T2A_DECISION_11DOSSIERS.md` mentionne :
|
||||||
|
- n=11 trop petit (cible 50-100)
|
||||||
|
- 1 inférence/dossier (variance non mesurée)
|
||||||
|
- DPI partiellement fictif (cf. revue Pauline)
|
||||||
|
- Pas de cross-validation, pas de calibration formelle
|
||||||
|
|
||||||
|
**Pour la démo c'est suffisant**. Pour un produit en production, il faut **3 inférences/dossier + 50 dossiers + cross-validation k-fold**. À documenter dans la roadmap post-démo.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## E. Recommandations pré-démo (pour 8 mai 2026)
|
||||||
|
|
||||||
|
### E.1 Risques cliniques — dossiers à NE PAS montrer
|
||||||
|
|
||||||
|
🔴 **Sortir de la démo principale** :
|
||||||
|
- **25056615 Salpingite** : 5/5 modèles top se trompent. Faire tomber l'IA en live = catastrophe.
|
||||||
|
- **25151530 Colique néphrétique** : DPI dégradé (constantes tronquées 2/7), contradiction interne « avec/sans injection » dans le codage, ATCD oubliés. Démontable par un DIM averti en 30s.
|
||||||
|
- **25048485 CTCG ado** : structure non résolue (1 ou 2 passages ?), Pauline n'a pas tranché. Risque de question Carvella sans réponse défendable.
|
||||||
|
- **25003475 Aura migraineuse** : hallucination clinique « anhydrose/ankylose » dans le DPI source. Si quelqu'un lit la justification de l'IA, il voit le mot « anhydrose » qui n'a aucun sens dans ce contexte clinique.
|
||||||
|
|
||||||
|
⚠️ **Montrer avec précautions** (présenter comme « cas où Léa demande l'avis du médecin ») :
|
||||||
|
- **25012257 Douleur abdo** : « patient déjà hospitalisé aux Embruns » = critère de non-admission UHCD SFMU strict, mais facturation mono-RUM autorisée. Cas où l'arbitrage humain est indiscutable.
|
||||||
|
|
||||||
|
### E.2 Top 3 dossiers à mettre en avant
|
||||||
|
|
||||||
|
🟢 **Cas didactiques où l'IA brille** :
|
||||||
|
|
||||||
|
1. **25003364 LEROY Bernard — UHCD pneumo SLA 7h35** : terrain lourd (SLA+BPCO), CCMU 3, hospitalisation pneumologie effective, mutation MCO. Les 3 critères PPTX cochés sans ambiguïté. Justification béton, gemma3 ✅. **Le cas roi pour montrer le pivot UHCD.**
|
||||||
|
|
||||||
|
2. **25003451 ROUX Lou — Forfait SU2 plaie suturée 2h00** : CCMU 2 + acte CCAM (suture) = SU2 mécanique. Tous les modèles top ✅. Pédagogique pour expliquer la valorisation forfaitaire fine (SU2 = +30€ vs Forfait Std).
|
||||||
|
|
||||||
|
3. **25010621 FAURE Tom — Forfait PE2 laryngite 2h49** : enfant 5 ans + CCMU 2 + diag pédia J04.0 = PE2 légitime. Tous les modèles top ✅. Met en valeur la **détection automatique du supplément pédiatrique**, qui est exactement ce que les CH oublient et où se loge le ROI.
|
||||||
|
|
||||||
|
**Ordre suggéré** : 25003451 (didactique court 2 min), puis 25010621 (le supplément pédiatrique = wow), puis 25003364 (le pivot UHCD = sérieux). Total ~10-15 min de démo. Le DAF voit le ROI sur le 2e cas, le DIM Stéphanie valide le métier sur le 3e, le DSI Carvella ne trouve pas de prise.
|
||||||
|
|
||||||
|
### E.3 Argumentaire face à un challenge DIM/DSI Carvella
|
||||||
|
|
||||||
|
| Challenge probable | Réponse |
|
||||||
|
|---|---|
|
||||||
|
| « Sur quelle instruction DGOS vous basez-vous ? » | **Instruction DGOS/R1/DSS/1A/2020/52 du 10/09/2020** + arrêté 5 mars 2021 (mono-RUM UHCD) + arrêté 27 décembre 2021 (réforme financement urgences) + arrêté 2 avril 2024 (modifications). Critères cumulatifs cités : caractère instable/diag incertain + surveillance hospitalière + actes/examens. **C'est exactement notre arbre PPTX.** |
|
||||||
|
| « Vous tenez compte du SFMU ? » | Oui : guide SFMU UHCD 2024 (validé CA 17/09/2024). Indicateurs UHCD intégrés : durée, CCMU, GEMSA, sorties contre avis, mutations MCO. |
|
||||||
|
| « Et si le diagnostic principal change après l'UHCD ? » | Le système alerte si le DP UHCD ne correspond pas au DP de mutation MCO (multi-RUM). Levier ROI documenté : ≈8% des séjours mono-RUM mal qualifiés. |
|
||||||
|
| « Comment vous gérez le cumul SU2 + PE1/PE2 ? » | Le code le sait : SU2 et PE1/PE2 sont **compatibles** (cf. arrêté 31 mars 2023, supplément CCMU2+ + supplément pédiatrique). Si le DPI a CCMU 2 + acte CCAM + enfant + diag pédia → cumul. |
|
||||||
|
| « Que se passe-t-il si CCMU manque dans le RPU ? » | Léa demande au médecin (mécanisme `paused_need_help`). Pas de décision auto sans donnée critique. |
|
||||||
|
| « ATIH peut auditer ? » | Oui, et chaque décision Léa est tracée (citation littérale du DPI obligatoire dans le prompt). Audit ATIH = piste reconstituable. |
|
||||||
|
| « Hallucination LLM ? » | Garde-fou : le prompt **exige** une citation littérale entre `« ... »` pour chaque critère. Pas de citation = critère invalidé. Test sur 11 dossiers, 0 hallucination de citation observée. |
|
||||||
|
| « Vous remplacez les médecins ? » | Non. Léa propose, le médecin valide. Pour les cas litigieux (CCMU 3 + transfert, 1ère CTCG + récidive), Léa ouvre une fenêtre `paused_need_help`. |
|
||||||
|
| « ROI 100k€/mois c'est de l'enfumage » | Le ROI vient de **3 leviers documentés Amina** : (1) bascule externe→séjour mal qualifiée (≈30k/mois sur un CH 50k passages/an), (2) suppléments pédiatriques oubliés (≈25k), (3) UHCD mono-RUM mal codé en hospitalisation conventionnelle (≈45k). Total 100k€/mois est le **plancher** sur Argenteuil, pas le plafond. |
|
||||||
|
|
||||||
|
### E.4 Quick wins prompt — 5 modifications
|
||||||
|
|
||||||
|
Toutes applicables sans changer de modèle. Prêtes à coller dans `core/llm/t2a_decision.py:31-72`.
|
||||||
|
|
||||||
|
#### QW1 — Règle 3/3 stricte (et non 2/3)
|
||||||
|
|
||||||
|
**Before** (`t2a_decision.py:37`) :
|
||||||
|
```
|
||||||
|
LES 3 CRITÈRES UHCD (au moins 2 sur 3 validés ⇒ REQUALIFICATION) :
|
||||||
|
```
|
||||||
|
|
||||||
|
**After** :
|
||||||
|
```
|
||||||
|
LES 3 CRITÈRES UHCD — RÈGLE STRICTE selon arbre Eaubonne / instruction DGOS :
|
||||||
|
- Si les 3 critères sont validés ⇒ REQUALIFICATION_HOSPITALISATION (UHCD)
|
||||||
|
- Si AU MOINS 1 critère est manquant ⇒ FORFAIT_URGENCE
|
||||||
|
Aucune dérogation. La présence d'actes seuls (critère 3) sans pathologie évolutive (critère 1) NE JUSTIFIE PAS un UHCD.
|
||||||
|
```
|
||||||
|
|
||||||
|
**Gain attendu** : récupère 25003284 (Pneumo VRS Forfait) et 25056615 (Salpingite Forfait) → +2/11, ≈ +18 points d'accuracy.
|
||||||
|
|
||||||
|
#### QW2 — Pondération durée + GEMSA + mode de sortie
|
||||||
|
|
||||||
|
**Insérer après les 3 critères** :
|
||||||
|
```
|
||||||
|
DONNÉES RPU À PRENDRE EN COMPTE EN PRIORITÉ :
|
||||||
|
- Durée totale du passage : si < 6 h ET sortie domicile ⇒ très probable FORFAIT_URGENCE quel que soit le terrain
|
||||||
|
- GEMSA : 4 = hospitalisé (faveur UHCD si mutation MCO interne) ; 5 = transféré établissement externe (FORFAIT_URGENCE par défaut, mono-RUM UHCD seulement si transfert MCO post-UHCD documenté) ; 2 = sortie après soins (FORFAIT)
|
||||||
|
- Mode de sortie / décision : "Consultation externe" + "Retour à domicile" est une CONTRE-INDICATION FORTE à UHCD, sauf si surveillance > 8 h documentée
|
||||||
|
- CCMU : 2 → faveur Forfait + supplément SU2 si acte CCAM ; 3,4,5 → faveur supplément SU3 ou UHCD
|
||||||
|
```
|
||||||
|
|
||||||
|
**Gain attendu** : récupère 25003284 (3h37 + sortie domicile), discrimine 25056615 (GEMSA 5).
|
||||||
|
|
||||||
|
#### QW3 — Sortie élargie : type forfait précis
|
||||||
|
|
||||||
|
**Remplacer le bloc JSON sortie** :
|
||||||
|
```json
|
||||||
|
{
|
||||||
|
"duree_passage_heures": <nombre>,
|
||||||
|
"decision": "FORFAIT_URGENCE" | "REQUALIFICATION_HOSPITALISATION",
|
||||||
|
"decision_court": "UHCD" | "Forfait Urgences",
|
||||||
|
"type_forfait": "Standard" | "SU2" | "SU3" | "PE1" | "PE2" | null, // null si UHCD
|
||||||
|
"supplements_compatibles": ["SU2", "PE2"], // liste des cumuls valides selon arrêté 31 mars 2023
|
||||||
|
"ccmu_inferre": "1" | "2" | "3" | "4" | "5",
|
||||||
|
"gemsa_inferre": "2" | "3" | "4" | "5",
|
||||||
|
...reste inchangé
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
**Gain attendu** : exploitable côté UI (Léa annonce « Forfait PE2 + SU2 cumulés ») = visible directement par DAF/DIM. C'est là où le ROI se voit.
|
||||||
|
|
||||||
|
#### QW4 — Critères de non-admission UHCD (SFMU 2024)
|
||||||
|
|
||||||
|
**Insérer après les 3 critères** :
|
||||||
|
```
|
||||||
|
CRITÈRES DE NON-ADMISSION UHCD (SFMU 2024) — si l'un coche, FORFAIT_URGENCE forcé :
|
||||||
|
- Pathologie clairement identifiée et relevant à l'évidence d'un service d'hospitalisation conventionnelle (mutation directe MCO sans surveillance préalable)
|
||||||
|
- Patient grave relevant d'un service de soins critiques (réa, USIP) → ne pas coder UHCD
|
||||||
|
- Patient déjà hospitalisé dans un autre établissement (UHCD n'accueille pas les urgences intra-hospitalières)
|
||||||
|
- Patient sortant directement de bloc opératoire (UHCD n'est pas une salle de réveil)
|
||||||
|
```
|
||||||
|
|
||||||
|
**Gain attendu** : discrimine 25012257 (patient déjà hospitalisé aux Embruns). Met le DSI à l'aise sur la rigueur réglementaire.
|
||||||
|
|
||||||
|
#### QW5 — Demande explicite de score de confiance par critère
|
||||||
|
|
||||||
|
**Remplacer la section preuve_critereN** :
|
||||||
|
```
|
||||||
|
"preuve_critere1": {
|
||||||
|
"valide": true | false,
|
||||||
|
"citation": "<citation littérale entre « » du DPI>",
|
||||||
|
"analyse": "<1-2 phrases d'analyse PMSI>",
|
||||||
|
"confiance_critere": "elevee" | "moyenne" | "faible"
|
||||||
|
},
|
||||||
|
```
|
||||||
|
|
||||||
|
**Gain attendu** : permet à l'UI d'afficher des "warning lights" par critère (si un critère est en confiance faible → Léa déclenche `paused_need_help`). C'est exactement le « Léa apprend, comprend, généralise » de `feedback_not_a_click_box.md`.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### E.5 Roadmap métier post-démo (sujets pour Amina)
|
||||||
|
|
||||||
|
1. **Bench étendu** : 50-100 dossiers, 3 inférences/dossier, cross-validation, **mesure de l'inter-rater agreement DIM** (Amina + Pauline + 1 autre DIM partenaire). Objectif : passer de 73 % à >90 % d'accuracy validée.
|
||||||
|
|
||||||
|
2. **Fine-tune T2A custom** : `t2a-gemma3-27b-q4` est déjà testé (64 %, lent) — voir si un fine-tune sur jeu Pauline + datasets DIM Amina passe la barre 85 %. Cible matérielle : DGX Spark.
|
||||||
|
|
||||||
|
3. **Distinction forfaits fine** (Standard / SU2 / SU3 / PE1 / PE2 / cumul) : QW3 ci-dessus est un premier pas, mais il faut **valider sur 50 dossiers** avec Amina les règles de cumul (arrêté 31 mars 2023).
|
||||||
|
|
||||||
|
4. **Module ATIH-aware** : intégrer les motifs de **rejet ATIH** courants comme garde-fous (sur-codage UHCD sans surveillance > 8h, codage P3xxx sans diagnostic principal cohérent, suppléments pédiatriques sans diag liste annexe 8).
|
||||||
|
|
||||||
|
5. **Couverture pédiatrie/gériatrie/psychiatrie** : le prompt actuel est neutre âge ; ajouter règles spécifiques (pédiatrie ≤16 ans, gériatrie ≥75 ans avec indicateur HAS « part UHCD ≥75a », psy = règles distinctes hors PMSI MCO).
|
||||||
|
|
||||||
|
6. **Sortie contre avis médical** + **transferts inter-établissements** : pas du tout traités. À ajouter post-démo, Amina sait les règles.
|
||||||
|
|
||||||
|
7. **Connecter le Critic V0** (cf. `MEMORY.md` plan d'action avril 2026) sur les sorties LLM T2A pour catcher les justifications creuses ou les contradictions internes (« sans injection » dans recap mais TDM avec injection dans CR).
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Synthèse pour Dom (TL;DR)
|
||||||
|
|
||||||
|
Tu as 3 actions prioritaires avant le 8 mai 8h :
|
||||||
|
|
||||||
|
1. **Variable d'env `T2A_MODEL=gemma3:27b-cloud`** dans `.env.local` (le code dit `qwen2.5:7b` par défaut → 9 pts d'accuracy laissés sur la table).
|
||||||
|
2. **Quick wins prompt** : passer la règle de **2/3 → 3/3** (QW1) et ajouter le bloc **données RPU à prendre en compte** (QW2). 5 minutes de modification, gain estimé +1 à +2 dossiers sur les 11.
|
||||||
|
3. **Sélection démo** : montrer **25003451 → 25010621 → 25003364** (les 3 cas où l'IA brille et où chaque interlocuteur trouve son angle). **Ne pas montrer 25056615, 25151530, 25048485, 25003475**.
|
||||||
|
|
||||||
|
Tu peux dormir tranquille. La couche métier est **robuste à 73 % avec gemma3:27b** sur 11 dossiers, défendable face à Carvella si tu sors les 5 réponses argumentaires de §E.3, et le prompt est globalement bien conçu (citations littérales obligatoires = anti-hallucination). Les 3 quick wins du prompt te font gagner ~15 % sans rien casser. Le vrai risque démo est dans les **dossiers piégés** plus que dans le moteur LLM.
|
||||||
|
|
||||||
|
Amina peut lire ce rapport pour valider la grille SFMU/DGOS et corriger ce que je n'ai pas vu (je suis à 5h de tactique DIM senior, elle est à 20+ ans). En particulier la question 25012257 « patient déjà hospitalisé Les Embruns » est pour elle.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Sources
|
||||||
|
|
||||||
|
- [Guide de bonnes pratiques UHCD 2024, SFMU](https://www.sfmu.org/upload/referentielsSFMU/UHCDguide2024.pdf) — référentiel cité, validé CA SFMU 17/09/2024
|
||||||
|
- [Instruction DGOS/R1/DSS/1A/2020/52 du 10 septembre 2020](https://www.apmnews.com/documents/202009221616060.2020_52-Instruction-10-sept2020.pdf) — bases du financement urgences
|
||||||
|
- [Arrêté du 27 décembre 2021 — Légifrance](https://www.legifrance.gouv.fr/jorf/id/JORFTEXT000044592184) — modalités de financement structures urgences (FU0/FU1, suppléments)
|
||||||
|
- [Arrêté du 29 février 2024 modifiant arrêté 19 février 2015 — Légifrance](https://www.legifrance.gouv.fr/jorf/id/JORFTEXT000049219412) — forfaits prestations 2024
|
||||||
|
- [Notice technique ATIH-150-4-2022 du 26 avril 2022](https://www.atih.sante.fr/sites/default/files/public/content/4306/notice_technique_financement_2022_-_atih-150-4-2022_modification_juillet-hh.pdf)
|
||||||
|
- [Notice technique ATIH-270-04-2023 du 31 mai 2023](https://www.atih.sante.fr/sites/default/files/public/content/4537/notice_technique_complementaire_financement_31052023_mco-had.pdf)
|
||||||
|
- [Forfait FU0 + suppléments PE1/PE2 (lespmsi.com)](https://www.lespmsi.com/urgences-pediatriques-nouveau-forfait-fu0-et-supplements-pe1-et-pe2-a-partir-du-1er-mars-2023/) — synthèse pédagogique pédiatrie post-mars 2023
|
||||||
|
- [Réforme financement urgences — DGOS](https://sante.gouv.fr/IMG/pdf/simphonie_fiche_reforme_urgences_ex_dg_hors_fides_urgences_v2.4.pdf)
|
||||||
|
- [Règles de facturation ATU — sante.gouv.fr](https://sante.gouv.fr/IMG/pdf/forfait_ATU-4.pdf)
|
||||||
|
- [Actualités SFMU sur la réforme — APM/SFMU](https://www.sfmu.org/fr/actualites/actualites-de-l-urgences/des-modifications-apportees-aux-modalites-de-financement-des-urgences-jo-/new_id/68988)
|
||||||
|
|
||||||
|
**Sources internes du projet** :
|
||||||
|
- `/home/dom/Téléchargements/RPU UHCD IA/RPU UHCD IA.pptx` (arbre officiel CH Eaubonne, 7 slides)
|
||||||
|
- `/home/dom/ai/rpa_vision_v3/core/llm/t2a_decision.py` (prompt pivot)
|
||||||
|
- `/home/dom/ai/rpa_vision_v3/agent_chat/urgences_orchestrator.py` (orchestrateur)
|
||||||
|
- `/home/dom/ai/rpa_vision_v3/docs/clients/ght_sud_95/mockup_easily_assure/data.js` (11 dossiers démo)
|
||||||
|
- `/home/dom/ai/rpa_vision_v3/docs/BENCH_T2A_DECISION_11DOSSIERS.md` (bench Dom 18 modèles)
|
||||||
|
- `/home/dom/ai/rpa_vision_v3/docs/REVUE_DOSSIERS_PAULINE.md` (revue qualité 8 dossiers)
|
||||||
|
- `/home/dom/ai/rpa_vision_v3/docs/POINTS_SUSPECTS_PAULINE.md` (10 points critiques data.js)
|
||||||
643
docs/AUDIT_MEMOIRE_CLAUDE_2026-05-08.md
Normal file
643
docs/AUDIT_MEMOIRE_CLAUDE_2026-05-08.md
Normal file
@@ -0,0 +1,643 @@
|
|||||||
|
# Audit mémoire Claude Code — RPA Vision V3
|
||||||
|
**Date** : 2026-05-08
|
||||||
|
**Curateur** : Claude (Opus 4.7) — mode archiviste
|
||||||
|
**Périmètre** : `/home/dom/.claude/projects/-home-dom-ai-rpa-vision-v3/memory/` — 101 fichiers `.md`, 21 KB d'index
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## TL;DR
|
||||||
|
|
||||||
|
La mémoire est **pleine de matière utile mais désordonnée**. 101 fichiers pour un index `MEMORY.md` de 273 lignes (limite chargement = 200 → ~70 lignes silencieusement perdues à chaque démarrage). Plusieurs feedback critiques (`feedback_orphans_are_projections`, `feedback_verifier_avant_apres_clic`, `architecture_lea_v1_find_text_client`, `feedback_anonymisation_stricte`) **n'apparaissent pas dans le top index**. Une référence cassée (`feedback_pull_not_push.md`). Beaucoup d'éphémère qui pollue (sessions de mars, plans périmés, doublon de handoff 6 mai).
|
||||||
|
|
||||||
|
**Action recommandée** :
|
||||||
|
1. Ramener `MEMORY.md` à ~150 lignes en compactant en sections thématiques denses
|
||||||
|
2. Faire remonter les 7 feedback "violations observées" en top critical
|
||||||
|
3. Archiver 60+ fichiers (sessions anciennes, plans périmés) sans les supprimer
|
||||||
|
4. Adopter 6 règles de gestion pour éviter la dérive future
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 1. Distribution réelle (corrigée)
|
||||||
|
|
||||||
|
| Type | Compte | Notes |
|
||||||
|
|---|---|---|
|
||||||
|
| `feedback_*.md` | **33** | Le périmètre dit 33 — mais MEMORY ligne 257 référence un `feedback_pull_not_push.md` **inexistant** = lien cassé |
|
||||||
|
| `project_*.md` | 34 | Mix vie / état projet (10 obsolètes, 8 stratégiques, 16 actifs) |
|
||||||
|
| `session_*.md` | 17 | Couvrant 12 mars → 6 mai 2026, deux handoffs pour le 6 mai (v1 + v2) |
|
||||||
|
| `reference_*.md` | 5 | Tous utiles, contenu durable |
|
||||||
|
| `plan_*.md` | 2 | Tous deux périmés (plan_attaque 26/03, plan_remontee 26/04) |
|
||||||
|
| `architecture*.md` | 3 | `architecture.md` (mars), `architecture_v3_v4_decoupled.md` (10 avril), `architecture_lea_v1_find_text_client.md` (7 mai) |
|
||||||
|
| Divers | 7 | `MEMORY.md`, `bugs-fixed.md`, `cartography_execution_flow.md`, `benchmark_grounding_avril2026.md`, `pending_uncommitted_files.md`, `user_role.md`, `visual_replay.md` |
|
||||||
|
| **TOTAL** | **101** | |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 2. État de l'index `MEMORY.md`
|
||||||
|
|
||||||
|
### 2.1 Volume vs limite
|
||||||
|
|
||||||
|
- **Total réel** : 273 lignes (énoncé = 272, cohérent à 1 ligne près)
|
||||||
|
- **Limite chargement automatique Claude Code** : 200 lignes
|
||||||
|
- **Lignes invisibles à chaque démarrage** : ~73 lignes (du milieu de la zone "Critique" jusqu'à la fin)
|
||||||
|
- **Zone perdue concrètement** : tout ce qui suit l'entrée `project_app_knowledge` (ligne 203). Le warning Claude lui-même indique « Only part of it was loaded ».
|
||||||
|
|
||||||
|
### 2.2 Ce qui est invisible aujourd'hui (perdu après ligne 200)
|
||||||
|
|
||||||
|
Ces entrées sont **silencieusement absentes** du chargement automatique :
|
||||||
|
- Session 13 avril (premier replay E2E)
|
||||||
|
- Session 12 avril handoff
|
||||||
|
- Win11 local account
|
||||||
|
- POC Anouste (premier client signé !)
|
||||||
|
- Code signing Anoust
|
||||||
|
- Auth multi-utilisateurs
|
||||||
|
- Kickoff POC Anouste 14 avril
|
||||||
|
- Sessions 17-18 avril (E2E validés, VWB 19 blocs, BPMN)
|
||||||
|
- Codage CIM-10 = MÉTIER (non négociable !)
|
||||||
|
- Pending uncommitted files
|
||||||
|
- NoMachine/AnyDesk parasite
|
||||||
|
- Stratégie produit VWB+Léa
|
||||||
|
- Bridge VWB Léa Shadow gap
|
||||||
|
- Multi-OS (Linux durci 2-4 ans)
|
||||||
|
- Démo urgences avril
|
||||||
|
- Pricing model
|
||||||
|
- Méthode pull commercial (lien d'ailleurs cassé)
|
||||||
|
- R&D pépites
|
||||||
|
- Skill tree
|
||||||
|
- Veille concurrentielle
|
||||||
|
- Fine-tuning VLM
|
||||||
|
- Déploiement semaine 21 avril
|
||||||
|
|
||||||
|
→ **C'est énorme, et pas trié par priorité**. Le bridge VWB-Léa et le rappel "CIM-10 = MÉTIER" sont des règles structurantes qui devraient être chargées d'office.
|
||||||
|
|
||||||
|
### 2.3 Ratio entrées vs fichiers
|
||||||
|
|
||||||
|
- Entrées formelles dans `MEMORY.md` : ~50 entrées indexées
|
||||||
|
- Fichiers réels : 101
|
||||||
|
- Ratio : ~50% (soit 51 fichiers existent mais ne sont pas indexés du tout)
|
||||||
|
|
||||||
|
Fichiers présents sur disque mais **jamais référencés** dans MEMORY.md :
|
||||||
|
- `architecture_lea_v1_find_text_client.md` (créé 7 mai 2026, dernière session)
|
||||||
|
- `feedback_orphans_are_projections.md` (créé 7 mai 2026, dernière session)
|
||||||
|
- `feedback_verifier_avant_apres_clic.md` (créé 7 mai 2026, dernière session)
|
||||||
|
- `feedback_no_permission_for_tests.md`
|
||||||
|
- `feedback_search_before_code.md`
|
||||||
|
- `feedback_standalone_exe.md`
|
||||||
|
- `project_actor_implementation.md`
|
||||||
|
- `project_app_knowledge.md` (référencé en zone perdue)
|
||||||
|
- `project_auth_logiciels_metier.md`
|
||||||
|
- `project_finetuning_vlm_plan.md`
|
||||||
|
- `project_gpu_executor_todo.md`
|
||||||
|
- `project_objectif_6avril.md`
|
||||||
|
- `project_actor_plan.md`
|
||||||
|
- `plan_attaque_20260326.md`
|
||||||
|
- `plan_remontee_8sur10.md`
|
||||||
|
- `session_20260326.md`
|
||||||
|
- `session_20260330.md` (référencé en zone perdue)
|
||||||
|
- `session_20260331.md` (référencé en zone perdue)
|
||||||
|
- `session_20260405_evening.md`
|
||||||
|
- `session_20260421_handoff.md`
|
||||||
|
- `reference_vlm_models.md`
|
||||||
|
- `pending_uncommitted_files.md`
|
||||||
|
- `feedback_focus_projet.md`
|
||||||
|
- `feedback_stop_asking.md`
|
||||||
|
- `bugs-fixed.md` (référencé en zone perdue)
|
||||||
|
|
||||||
|
### 2.4 Ordre actuel
|
||||||
|
|
||||||
|
L'ordre top → bas :
|
||||||
|
1. Devise + visions ⭐⭐⭐ (lignes 1-19) — OK
|
||||||
|
2. Project status court (20-31) — OK
|
||||||
|
3. User preferences (32-37) — OK mais `feedback_agent_safety` méritait une mention plus haute
|
||||||
|
4. **Architecture facts** (39-43) — référence générique, ok
|
||||||
|
5. Streaming arch (45-53) — OK
|
||||||
|
6. Tests (55-70) — pertinent
|
||||||
|
7. Port map (72-83) — OK
|
||||||
|
8. Windows + Credentials (85-89) — OK
|
||||||
|
9. MCP servers (91-92) — OK
|
||||||
|
10. Mockup démo + sprint actuel (94-101) — OK
|
||||||
|
11. Vieilles sessions mars (115-125) — **devraient être archivées**, ne servent plus
|
||||||
|
12. Plan acteur 5 avril (127-129) — OK pour mémoire
|
||||||
|
13. Internet exposure (131-135) — OK
|
||||||
|
14. Auth + Federation modules (137-144) — OK
|
||||||
|
15. **Feedbacks critiques** (146-164) — bloc important MAIS quelques feedbacks majeurs absents
|
||||||
|
16. Plans projets (166-200) — pertinents mais coupés en plein milieu
|
||||||
|
17. **(zone perdue)** — voir 2.2
|
||||||
|
|
||||||
|
→ L'ordre privilégie le récent par-dessus le critique. Les "vieilles sessions" (115-125) prennent la place de feedback comme `feedback_orphans_are_projections.md` qui est plus précieux pour éviter des bourdes futures.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 3. Doublons / Contradictions / Obsolètes / Mort
|
||||||
|
|
||||||
|
### 3.1 Doublons & quasi-doublons
|
||||||
|
|
||||||
|
| Fichier A | Fichier B | Constat |
|
||||||
|
|---|---|---|
|
||||||
|
| `session_20260506_handoff.md` | `session_20260506_handoff_v2.md` | v1 = "tout est prêt à smoke-tester" / v2 = "bilan auto-critique post-test, vrai bug = OCR direct". **v2 remplace v1 dans la pratique** mais les deux cohabitent. v2 est crucial (protocole anti-bourde). |
|
||||||
|
| `feedback_architecture_first.md` | `feedback_step_back.md` | Tous deux disent "ne pas debugger en boucle, prendre du recul". L'un dit "avant de coder", l'autre "quand le user demande". 90% de chevauchement de fond. |
|
||||||
|
| `feedback_reread_before_code.md` | `feedback_search_before_code.md` | Premier = "relire les feedback_*". Deuxième = "chercher sur internet AVANT de coder". Différents techniquement, mais enseignent la même méta-leçon. Pourraient cohabiter ou être fusionnés. |
|
||||||
|
| `feedback_stop_asking.md` | `feedback_no_permission_for_tests.md` | Tous deux disent "ne pas demander permission tout le temps". Le 2ème est plus précis (tests/benchs). Le 1er est ancien et plus généraliste. |
|
||||||
|
| `project_actor_plan.md` | `project_actor_implementation.md` | Plan + implémentation, écrits à 1 jour d'écart (5 avril). Tous deux datés avant le pipeline FAST→SMART→THINK qui les remplace. |
|
||||||
|
| `project_demo_urgences_avril2026.md` | `project_ght_sud_95.md` | Le premier reconnaît lui-même qu'il est obsolète et redirige vers le second. Garder uniquement les éléments réutilisables (chiffrage 150k€, scaling 24/24). |
|
||||||
|
| `project_objectif_6avril.md` | `project_action_plan_avril2026.md` + `project_actor_plan.md` | Trois fichiers de "plan d'attaque" pour début avril, totalement périmés vu les sprints suivants. |
|
||||||
|
| `architecture.md` | `core/models/__init__` mentionné dans `bugs-fixed.md` | Architecture mars répète des facts maintenant intégrés ailleurs. |
|
||||||
|
|
||||||
|
### 3.2 Contradictions ou tensions
|
||||||
|
|
||||||
|
| Source A | Source B | Tension |
|
||||||
|
|---|---|---|
|
||||||
|
| `feedback_agent_frozen.md` (Léa V1 = gelée, tout passe par serveur) | `architecture_lea_v1_find_text_client.md` (7 mai) | Le second nuance le premier : Léa V1 a son propre OCR/FIND-TEXT côté client qui peut court-circuiter le serveur. Le feedback_agent_frozen sous-estime ce que le client fait localement. **Aujourd'hui : tension non résolue, à clarifier dans MEMORY.md**. |
|
||||||
|
| `feedback_100pct_visual.md` (raccourcis lus visuellement OK) | `feedback_lea_reflexes_catalog.md` (catalogue gestures pré-câblé) | Pas vraiment contradictoires : le catalogue est l'implémentation pratique du "raccourci connu". Mais le risque = un Claude futur fait un Win+R "parce que feedback_100pct dit oui" alors que la règle est "passer par catalog.get_by_id('sys_run')". **À fusionner pour éviter ambiguïté**. |
|
||||||
|
| `feedback_no_rustine.md` (jamais de cache module-level) | `feedback_orphans_are_projections.md` (modules présents mais non branchés OK) | Pas contradictoires (l'un parle de cache pour combler un trou, l'autre de modules pré-câblés). Mais un Claude rapide pourrait confondre "code dormant" et "rustine architecturale". À cross-référencer. |
|
||||||
|
| `feedback_focus_projet.md` (objectif = un apprenti, pas des métriques) | Toute la quantité de "tests passés" dans MEMORY | Le focus produit (TIM hospitalier) est noyé par des compteurs techniques. Pas une contradiction stricte mais un signal de dérive. |
|
||||||
|
|
||||||
|
### 3.3 Obsolètes
|
||||||
|
|
||||||
|
Fichiers dont le contenu est **effectivement périmé** par la réalité actuelle du projet :
|
||||||
|
- `bugs-fixed.md` (mars) — bugs corrigés depuis 2 mois, beaucoup ne se retrouveront plus jamais. Conserver comme archive.
|
||||||
|
- `architecture.md` (mars) — partiellement intégré dans le code, modèles évolués depuis (TargetMemoryStore, FAISSManager.search alias, etc.).
|
||||||
|
- `plan_attaque_20260326.md` — plan exécuté/dépassé.
|
||||||
|
- `plan_remontee_8sur10.md` (26 avril) — sprint QW Suite Mai a remplacé ce plan.
|
||||||
|
- `session_20260319.md` — pipeline & qualité workflows : globalement intégré au code.
|
||||||
|
- `session_20260326.md` — worker séparé, popup hybride : intégré.
|
||||||
|
- `session_20260330.md` — MVP replay popup : intégré.
|
||||||
|
- `session_20260331.md` — SomEngine + Qwen2.5-VL : SomEngine dort aujourd'hui (cf. cartography), Qwen2.5-VL via Ollama abandonné (cf. feedback_ollama_vs_transformers).
|
||||||
|
- `session_20260405.md` + `session_20260405_evening.md` — VM Win11 SSH, gemma4 acteur : remplacés par sessions ultérieures.
|
||||||
|
- `session_20260412.md` + `session_20260412_handoff.md` — focus Bloc-notes, time.sleep dans executor : remplacés.
|
||||||
|
- `session_20260413_handoff.md` — premier replay autonome : célébré, mais aujourd'hui le pipeline est tout autre (FAST→SMART→THINK).
|
||||||
|
- `session_20260414_kickoff.md` — kickoff POC Anouste : décision actée, contenu durable mais marginal aujourd'hui.
|
||||||
|
- `session_20260417_handoff.md` + `session_20260418_handoff.md` — VWB 19 blocs : intégré, certains chantiers avancés depuis.
|
||||||
|
- `session_20260421_handoff.md` — perf 6.6x : valeur historique uniquement.
|
||||||
|
- `session_20260423_grounding.md` — 176 tests grounding : leçon retenue dans `feedback_ollama_vs_transformers.md` qui suffit.
|
||||||
|
- `project_objectif_6avril.md` — date passée, objectifs largement redéfinis.
|
||||||
|
- `project_action_plan_avril2026.md` — Critic/Observer/Recovery toujours non branchés (cf. cartography), plan toujours valide en concept mais "avril 2026" comme nom est trompeur.
|
||||||
|
- `project_actor_plan.md` + `project_actor_implementation.md` — remplacés par `project_pipeline_fast_smart_think.md`.
|
||||||
|
- `project_tasks_20260319.md` — TODO du 19 mars, exécuté.
|
||||||
|
- `project_demo_urgences_avril2026.md` — démo passée, garder uniquement les passages réutilisables (chiffrage Amina, scaling 24/24).
|
||||||
|
- `project_dashboard_config.md` (5 avril) — non implémenté à ce jour, à reconfirmer si toujours pertinent.
|
||||||
|
- `project_data_extraction.md` (mars) — concept toujours valide, pas implémenté, peut rester en référence.
|
||||||
|
- `project_uitars_integration.md` (12 avril) — UI-TARS intégré, branché dans cartography. Doublon partiel avec `reference_vlm_models.md`.
|
||||||
|
- `project_finetuning_vlm_plan.md` — chantier post-POC, encore valide mais pas urgent.
|
||||||
|
- `project_deploy_semaine21avril.md` — date passée, contenu intégré aux références TIM.
|
||||||
|
- `pending_uncommitted_files.md` (14 avril) — liste périmée, le working tree a évolué (cf. handoff 6 mai v2).
|
||||||
|
- `project_gpu_executor_todo.md` — bug toujours réel, pertinent.
|
||||||
|
- `project_actor_implementation.md` — WorkflowRunner V3 jamais branché, toujours périmé en pratique.
|
||||||
|
|
||||||
|
### 3.4 "Mort" (peuvent disparaître sans regret)
|
||||||
|
|
||||||
|
À mon sens, ces fichiers n'apportent plus rien :
|
||||||
|
- `session_20260319.md` — repris ailleurs.
|
||||||
|
- `session_20260326.md` — repris ailleurs.
|
||||||
|
- `session_20260330.md` — repris ailleurs.
|
||||||
|
- `session_20260331.md` — repris ailleurs.
|
||||||
|
- `session_20260405.md` — repris ailleurs.
|
||||||
|
- `session_20260405_evening.md` — repris ailleurs.
|
||||||
|
- `session_20260412.md` (note 2 lignes) — déjà couvert par `session_20260412_handoff.md`.
|
||||||
|
- `session_20260412_handoff.md` — bug time.sleep résolu depuis longtemps.
|
||||||
|
- `session_20260413_handoff.md` — premier replay autonome, valeur émotionnelle mais zéro valeur opérationnelle aujourd'hui.
|
||||||
|
- `session_20260417_handoff.md` — repris dans pipelines plus récents.
|
||||||
|
- `session_20260418_handoff.md` — idem.
|
||||||
|
- `session_20260421_handoff.md` — perf historique.
|
||||||
|
- `session_20260423_grounding.md` — leçon distillée dans le feedback dédié.
|
||||||
|
- `plan_attaque_20260326.md` — plan exécuté.
|
||||||
|
- `plan_remontee_8sur10.md` — plan dépassé par QW Suite Mai.
|
||||||
|
- `project_actor_implementation.md` — sujet abandonné dans cette forme.
|
||||||
|
- `project_actor_plan.md` — sujet remplacé par FAST→SMART→THINK.
|
||||||
|
- `project_tasks_20260319.md` — TODO exécuté.
|
||||||
|
- `project_objectif_6avril.md` — date passée.
|
||||||
|
- `project_demo_urgences_avril2026.md` — démo passée (mais récupérer chiffres Amina avant suppression).
|
||||||
|
|
||||||
|
→ **Recommandation** : ne pas supprimer mais déplacer en `_archive/sessions_resolved/`, `_archive/plans_done/`. Dom décide.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 4. Top 7 feedback les plus PRÉCIEUX (= règles les plus violées)
|
||||||
|
|
||||||
|
D'après la lecture croisée, en particulier de `session_20260506_handoff_v2.md` qui documente précisément les bourdes de la dernière session, voici les feedback à hisser au sommet de l'index :
|
||||||
|
|
||||||
|
### 🥇 1. `feedback_prendre_le_temps.md` ⭐⭐⭐
|
||||||
|
**DEVISE de Dom.** Violée massivement le 6 mai (Win+D hardcodé sous pression démo, fix de symptôme au lieu de cause racine). À LIRE EN PREMIER. Déjà priorité dans MEMORY ligne 3.
|
||||||
|
|
||||||
|
### 🥈 2. `feedback_orphans_are_projections.md`
|
||||||
|
Créé le 7 mai 2026, **pas dans MEMORY.md**. Critique : un Claude futur va proposer de "nettoyer" `core/grounding/pipeline.py`, `observe_reason_act.py`, etc. Le rapport project-quality-guardian liste les "branchements orphelins" et invite implicitement à les supprimer. Ce feedback dit explicitement : NE PAS PROPOSER DE LES ENLEVER, ce sont des projections de bétonnage à brancher progressivement.
|
||||||
|
|
||||||
|
### 🥉 3. `feedback_verifier_avant_apres_clic.md`
|
||||||
|
Créé le 7 mai 2026, **pas dans MEMORY.md**. Cause racine architecturale des "Léa clique au pif" identifiée par Dom : 3 garde-fous manquent (resolved=False mais coords renvoyées quand même, pas de pré-OCR, pas de post-OCR sémantique). Si on saute ce feedback, la prochaine session va proposer "re-capturer les ancres" — exactement ce que Dom dit de ne PAS faire.
|
||||||
|
|
||||||
|
### 🏅 4. `feedback_ollama_vs_transformers.md`
|
||||||
|
Pas dans le top index (ligne 187, déjà tronqué à 200). Cause racine : 15 modèles testés via Ollama → tous échouent en grounding parce qu'Ollama ne passe pas resized_width/height au modèle. Une session sans ce feedback va re-tester les mêmes modèles en boucle.
|
||||||
|
|
||||||
|
### 🏅 5. `architecture_lea_v1_find_text_client.md`
|
||||||
|
Créé le 7 mai 2026, **pas dans MEMORY.md**. Limite architecturale critique : Léa V1 (gelée) fait son propre grounding client-side via [FIND-TEXT]. Le serveur peut résoudre la cible, le client peut décider d'aller chercher ailleurs. Toute proposition d'amélioration de la résolution doit composer avec cette double couche. Sans ce feedback, on promet des fix serveur qui ne règlent rien côté client.
|
||||||
|
|
||||||
|
### 🏅 6. `feedback_no_rustine.md`
|
||||||
|
Présent dans MEMORY ligne 156, mais perd en visibilité parmi 30+ entrées. À chaque trou architectural rencontré, le réflexe Claude est de combler par un cache module-level. Dom a explicitement nommé cette dérive. Devrait remonter en top critical.
|
||||||
|
|
||||||
|
### 🏅 7. `feedback_anonymisation_stricte.md`
|
||||||
|
Présent dans MEMORY ligne 164. Risque démo médicale : la 1ère version `data.js` a contenu des hallucinations cliniques à sens inversé (anhydrose↔ankylose, avec/sans injection). Pour Amina/médecins clients, ces erreurs = perte instantanée de crédibilité. Devrait rester très visible.
|
||||||
|
|
||||||
|
### Mention honorable
|
||||||
|
|
||||||
|
- `feedback_no_permission_for_tests.md` (6 mai) : pas dans MEMORY. "Ne me demande pas tout le temps si tu peux faire un test." À ajouter.
|
||||||
|
- `feedback_failure_is_learning.md` (ligne 158) : à conserver, central au récit Léa.
|
||||||
|
- `feedback_architecture_first.md` (ligne 152) : à conserver, central.
|
||||||
|
- `feedback_reread_before_code.md` (ligne 159) : à conserver, méta-règle.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 5. Cartographie thématique (10 thèmes)
|
||||||
|
|
||||||
|
| Thème | Fichiers (count) | Structurants à garder | Redondants/éphémères |
|
||||||
|
|---|---|---|---|
|
||||||
|
| **Identité Dom + Amina** | 3 | `user_role.md`, `project_amina_partner.md`, `feedback_remote_control_tools.md` | — |
|
||||||
|
| **Méthode de travail Claude (méta)** | ~15 feedback | `feedback_prendre_le_temps`, `architecture_first`, `no_rustine`, `reread_before_code`, `step_back`, `not_a_click_box`, `failure_is_learning`, `orphans_are_projections`, `verifier_avant_apres_clic`, `no_permission_for_tests` | `stop_asking` (couvert par no_permission), `no_patch_word` (très court), `no_git_tags` (court mais utile), `search_before_code` (couvert par prendre_le_temps), `focus_projet` (couvert par feedback_not_a_click_box partiellement) |
|
||||||
|
| **Vision produit / Léa stagiaire** | 4 | `project_vision`, `project_platform_vision`, `project_lea_apprentissage_plan`, `feedback_not_a_click_box` | `project_data_extraction` (concept en attente) |
|
||||||
|
| **Architecture technique en cours** | ~5 | `architecture_v3_v4_decoupled`, `architecture_lea_v1_find_text_client`, `cartography_execution_flow`, `feedback_ollama_vs_transformers`, `project_pipeline_fast_smart_think` | `architecture.md` (mars), `bugs-fixed.md`, `visual_replay.md` (mars, intégré), `project_actor_plan` + `project_actor_implementation` (remplacés) |
|
||||||
|
| **Démo GHT Sud 95 (en cours)** | 6 | `project_ght_sud_95`, `reference_demo_ght_mockup`, `project_amina_partner`, `feedback_anonymisation_stricte`, `feedback_auth_dialogs_runtime`, `session_20260506_handoff_v2` | `project_demo_urgences_avril2026` (passée, sauf chiffrage Amina) |
|
||||||
|
| **Sprint courant (QW Suite Mai)** | 3 | `session_20260506_handoff_v2` (priorité absolue, contient le bilan), `session_20260429_30_handoff` (bus feedback) | `session_20260506_handoff.md` v1 (remplacé par v2) |
|
||||||
|
| **Pipeline commercial / business** | 6 | `project_commercial_pipeline`, `project_ght_sud_95`, `project_poc_anoust`, `project_pricing_model`, `project_competitive_landscape`, "feedback_pull_not_push" (FICHIER MANQUANT) | `project_demo_urgences_avril2026` (archive éléments réutilisables) |
|
||||||
|
| **Déploiement & infra** | ~10 | `reference_credentials`, `reference_windows_pc`, `reference_mcp_servers`, `feedback_multi_user_deployment`, `feedback_capture_purge_policy`, `feedback_standalone_exe`, `feedback_auth_dialogs_runtime`, `project_code_signing`, `project_multi_users_auth`, `project_auth_logiciels_metier` | `project_deploy_semaine21avril` (passé), `project_gpu_executor_todo` (TODO encore valide), `project_deployment_notes` |
|
||||||
|
| **Modèles VLM / grounding** | 4 | `reference_vlm_models`, `feedback_ollama_vs_transformers`, `benchmark_grounding_avril2026`, `project_finetuning_vlm_plan` | — |
|
||||||
|
| **R&D / pépites futures** | 4 | `project_rd_pepites_avril2026`, `project_competitive_landscape`, `project_skill_tree_concept`, `project_app_knowledge` | `project_uitars_integration` (intégré, peut devenir un paragraphe dans VLM models) |
|
||||||
|
| **Sessions chronologiques** | 17 | `session_20260506_handoff_v2.md`, `session_20260429_30_handoff.md` | Les 15 autres sessions = à archiver |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 6. Proposition de réorganisation par zone
|
||||||
|
|
||||||
|
**Aucune action immédiate** — c'est une PROPOSITION uniquement.
|
||||||
|
|
||||||
|
### 🔥 ZONE TOP CRITICAL (à charger en tête de MEMORY.md, ~10-12 entrées)
|
||||||
|
|
||||||
|
À LIRE AVANT TOUT à chaque session. Toutes ces entrées sont des règles dont la violation a coûté du temps, de la crédibilité ou un risque démo.
|
||||||
|
|
||||||
|
| Fichier | Pourquoi top |
|
||||||
|
|---|---|
|
||||||
|
| `feedback_prendre_le_temps.md` | DEVISE — violée le 6 mai |
|
||||||
|
| `feedback_orphans_are_projections.md` | NEW (7 mai) — évite proposition "nettoyer" code dormant |
|
||||||
|
| `feedback_verifier_avant_apres_clic.md` | NEW (7 mai) — cause racine "clic au pif" |
|
||||||
|
| `architecture_lea_v1_find_text_client.md` | NEW (7 mai) — limite Léa V1 client-side |
|
||||||
|
| `feedback_ollama_vs_transformers.md` | Évite re-tester 15 modèles via Ollama |
|
||||||
|
| `feedback_no_rustine.md` | Réflexe Claude à contrer |
|
||||||
|
| `feedback_anonymisation_stricte.md` | Risque démo médicale |
|
||||||
|
| `feedback_not_a_click_box.md` | Récit Léa |
|
||||||
|
| `feedback_failure_is_learning.md` | Cardinal pour la philosophie produit |
|
||||||
|
| `user_role.md` | Profil Dom 8 casquettes |
|
||||||
|
| `project_amina_partner.md` | Partenaire métier |
|
||||||
|
| `session_20260506_handoff_v2.md` | État courant (vrai bug = OCR direct) |
|
||||||
|
|
||||||
|
### 📌 ZONE ACTIVE (chargée par référence, ~25 entrées)
|
||||||
|
|
||||||
|
Architecture courante, feedback usuels, projets en cours :
|
||||||
|
- Feedback : `agent_frozen`, `agent_safety`, `architecture_first`, `auth_dialogs_runtime`, `capture_purge_policy`, `citrix_primary`, `100pct_visual`, `lea_reflexes_catalog`, `local_only`, `multi_user_deployment`, `multi_app_workflow`, `no_git_tags`, `no_patch_word`, `no_permission_for_tests`, `phash_vs_dialog_in_vm`, `popup_vlm`, `reread_before_code`, `remote_control_tools`, `step_back`
|
||||||
|
- Architecture : `architecture_v3_v4_decoupled`, `cartography_execution_flow`
|
||||||
|
- Projets actuels : `project_ght_sud_95`, `project_platform_vision`, `project_pipeline_fast_smart_think`, `project_lea_apprentissage_plan`, `project_commercial_pipeline`, `project_vision`, `project_vwb_lea_strategy`, `project_bridge_vwb_lea_known_gap`, `project_medgemma_bench`, `project_app_knowledge`, `project_skill_tree_concept`
|
||||||
|
- Sessions actives : `session_20260429_30_handoff` (bus + actions intelligentes)
|
||||||
|
|
||||||
|
### 📚 ZONE REFERENCE (lookup à la demande, ~12 entrées)
|
||||||
|
|
||||||
|
Données stables consultables ponctuellement :
|
||||||
|
- `reference_credentials.md`
|
||||||
|
- `reference_windows_pc.md`
|
||||||
|
- `reference_mcp_servers.md`
|
||||||
|
- `reference_vlm_models.md`
|
||||||
|
- `reference_demo_ght_mockup.md`
|
||||||
|
- `feedback_win11_local_account.md`
|
||||||
|
- `feedback_standalone_exe.md`
|
||||||
|
- `feedback_search_before_code.md`
|
||||||
|
- `feedback_focus_projet.md`
|
||||||
|
- `feedback_stop_asking.md`
|
||||||
|
- `project_competitive_landscape.md`
|
||||||
|
- `project_pricing_model.md`
|
||||||
|
- `project_rd_pepites_avril2026.md`
|
||||||
|
|
||||||
|
### 🗄️ ZONE ARCHIVE (déplacer en `_archive/` mais conserver, ~50+ entrées)
|
||||||
|
|
||||||
|
#### Sessions résolues
|
||||||
|
- `session_20260319.md`
|
||||||
|
- `session_20260326.md`
|
||||||
|
- `session_20260330.md`
|
||||||
|
- `session_20260331.md`
|
||||||
|
- `session_20260405.md`
|
||||||
|
- `session_20260405_evening.md`
|
||||||
|
- `session_20260412.md`
|
||||||
|
- `session_20260412_handoff.md`
|
||||||
|
- `session_20260413_handoff.md`
|
||||||
|
- `session_20260414_kickoff.md` (kickoff Anouste — historique)
|
||||||
|
- `session_20260417_handoff.md`
|
||||||
|
- `session_20260418_handoff.md`
|
||||||
|
- `session_20260421_handoff.md`
|
||||||
|
- `session_20260423_grounding.md`
|
||||||
|
- `session_20260506_handoff.md` (v1 — remplacée par v2)
|
||||||
|
|
||||||
|
#### Plans périmés
|
||||||
|
- `plan_attaque_20260326.md`
|
||||||
|
- `plan_remontee_8sur10.md`
|
||||||
|
|
||||||
|
#### Projets actés/passés
|
||||||
|
- `project_actor_plan.md`
|
||||||
|
- `project_actor_implementation.md`
|
||||||
|
- `project_action_plan_avril2026.md`
|
||||||
|
- `project_objectif_6avril.md`
|
||||||
|
- `project_tasks_20260319.md`
|
||||||
|
- `project_demo_urgences_avril2026.md` (extraire chiffrage Amina avant)
|
||||||
|
- `project_uitars_integration.md` (intégré)
|
||||||
|
- `project_dashboard_config.md` (concept ouvert mais non priorisé)
|
||||||
|
- `project_data_extraction.md` (en attente)
|
||||||
|
- `project_deploy_semaine21avril.md`
|
||||||
|
- `project_deployment_notes.md`
|
||||||
|
- `project_finetuning_vlm_plan.md` (post-POC)
|
||||||
|
- `project_gpu_executor_todo.md`
|
||||||
|
- `project_multi_users_auth.md` (à reprendre plus tard)
|
||||||
|
- `project_auth_logiciels_metier.md` (chantier futur)
|
||||||
|
- `project_code_signing.md` (décidé)
|
||||||
|
- `project_os_multi_support.md` (anticipation 2-4 ans)
|
||||||
|
- `project_poc_anoust.md` (en attente DGX)
|
||||||
|
- `project_roadmap_vision.md` (long terme)
|
||||||
|
- `pending_uncommitted_files.md` (14 avril, dépassé)
|
||||||
|
|
||||||
|
#### Architecture / bugs résolus
|
||||||
|
- `architecture.md` (mars)
|
||||||
|
- `bugs-fixed.md` (mars)
|
||||||
|
- `visual_replay.md` (mars, intégré)
|
||||||
|
- `benchmark_grounding_avril2026.md` (leçon distillée dans feedback)
|
||||||
|
|
||||||
|
→ **Total archive proposée : ~45-50 fichiers** (presque la moitié).
|
||||||
|
|
||||||
|
### Cas INCERTAIN — voir Dom
|
||||||
|
|
||||||
|
- `feedback_pull_not_push.md` : référencé MEMORY ligne 257 mais le fichier n'existe pas. **Soit le créer (la règle "Dom ne vend pas, les clients viennent acheter" semble réelle vu le contenu), soit retirer la référence.**
|
||||||
|
- `project_dashboard_config.md` : décidé le 5 avril, jamais implémenté. Toujours pertinent ou abandonné ? À demander.
|
||||||
|
- `project_data_extraction.md` : concept de mars 2026, jamais implémenté. Vivant ou mort ?
|
||||||
|
- `project_objectif_6avril.md` : date passée mais point P0/P1/P2/P3/P4 (Critic/Observer/Policy/Recovery/Apprentissage) toujours d'actualité. Refaire un fichier "Plan d'action mai 2026" et archiver l'avril ? À demander.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 7. Recommandations de compactage MEMORY.md
|
||||||
|
|
||||||
|
### 7.1 Objectif
|
||||||
|
|
||||||
|
Passer de 273 lignes à **~150 lignes** (marge sécurité 50 lignes pour ajouts futurs avant retrigger limite 200).
|
||||||
|
|
||||||
|
### 7.2 Méthode
|
||||||
|
|
||||||
|
#### Compactage par fusion thématique
|
||||||
|
Au lieu d'avoir 19 entrées feedback en bullet list lignes 146-164, créer **un bloc dense** :
|
||||||
|
|
||||||
|
```markdown
|
||||||
|
## ⭐ Feedback critiques (lecture obligatoire)
|
||||||
|
|
||||||
|
**À LIRE en priorité (violations observées en session)** :
|
||||||
|
- `feedback_prendre_le_temps.md` — DEVISE, violée 6 mai
|
||||||
|
- `feedback_orphans_are_projections.md` — modules dormants ≠ code mort
|
||||||
|
- `feedback_verifier_avant_apres_clic.md` — cause racine clic au pif
|
||||||
|
- `architecture_lea_v1_find_text_client.md` — Léa V1 OCR client-side
|
||||||
|
- `feedback_ollama_vs_transformers.md` — Ollama ≠ vision spatiale
|
||||||
|
- `feedback_no_rustine.md` — pas de cache pour combler trou
|
||||||
|
- `feedback_anonymisation_stricte.md` — risque démo médicale
|
||||||
|
|
||||||
|
**Standards de méthode** :
|
||||||
|
- `architecture_first` `reread_before_code` `step_back` `not_a_click_box` `failure_is_learning` `100pct_visual` `lea_reflexes_catalog` `citrix_primary` `multi_app_workflow` `auth_dialogs_runtime` `phash_vs_dialog_in_vm`
|
||||||
|
|
||||||
|
**Conventions courtes** :
|
||||||
|
- `no_patch_word` `no_git_tags` `no_permission_for_tests` `local_only` `agent_frozen` `agent_safety` `capture_purge_policy` `multi_user_deployment` `popup_vlm` `remote_control_tools` `standalone_exe` `win11_local_account`
|
||||||
|
```
|
||||||
|
|
||||||
|
→ Gain : **~30 lignes** (de ~50 à ~20).
|
||||||
|
|
||||||
|
#### Suppression des entrées sessions anciennes
|
||||||
|
Lignes 115-125 (sessions 19-31 mars), 205-209 (sessions 12-13 avril), 226-230 (sessions 17-18 avril), 251 (démo urgences avril) : à retirer ou regrouper en **une seule ligne** :
|
||||||
|
|
||||||
|
```markdown
|
||||||
|
## Sessions anciennes archivées
|
||||||
|
Voir `_archive/sessions/` pour le détail mars-avril 2026. Active actuelle : `session_20260506_handoff_v2.md` + `session_20260429_30_handoff.md`.
|
||||||
|
```
|
||||||
|
|
||||||
|
→ Gain : **~25 lignes**.
|
||||||
|
|
||||||
|
#### Compactage des modules architecture
|
||||||
|
Lignes 137-144 (Auth Module + Federation Module + Internet Exposure) peuvent devenir 4 lignes denses au lieu de 12.
|
||||||
|
|
||||||
|
→ Gain : **~8 lignes**.
|
||||||
|
|
||||||
|
#### Suppression doublons
|
||||||
|
Lignes 184-185 (LEÇON CARDINALE qui re-référence `feedback_prendre_le_temps.md` déjà cité ligne 4) : doublon.
|
||||||
|
|
||||||
|
→ Gain : **~3 lignes**.
|
||||||
|
|
||||||
|
#### Total estimé
|
||||||
|
273 → ~150 lignes. **Reste 50 lignes de marge avant retrigger limite 200.**
|
||||||
|
|
||||||
|
### 7.3 Fichiers à fusionner
|
||||||
|
|
||||||
|
| Fusion proposée | Bénéfice |
|
||||||
|
|---|---|
|
||||||
|
| `session_20260319/26/30/31.md` + sessions avril → 1 seul `_archive/sessions/CHRONOLOGIE.md` | Garde trace, libère index |
|
||||||
|
| `feedback_step_back.md` ⊃ `feedback_architecture_first.md` (très chevauchants) | -1 entrée |
|
||||||
|
| `feedback_search_before_code.md` ⊃ `feedback_prendre_le_temps.md` (même esprit) | -1 entrée |
|
||||||
|
| `feedback_stop_asking.md` ⊃ `feedback_no_permission_for_tests.md` (même règle, le 2nd est plus précis) | -1 entrée |
|
||||||
|
| `project_actor_plan.md` + `project_actor_implementation.md` → archive (remplacés par `project_pipeline_fast_smart_think.md`) | -2 dans active |
|
||||||
|
| `project_demo_urgences_avril2026.md` → extraire 2 paragraphes (chiffrage + scaling) dans `project_ght_sud_95.md`, archiver le reste | -1 dans active |
|
||||||
|
| `architecture.md` → archive (intégré au code, partiellement périmé) | -1 dans active |
|
||||||
|
|
||||||
|
### 7.4 Fichiers à supprimer sans regret
|
||||||
|
|
||||||
|
Aucun. **Tout doit aller en archive**, pas en suppression — Dom décide. Cohérent avec la règle "ne pas perdre l'historique".
|
||||||
|
|
||||||
|
### 7.5 Fichiers à archiver mais conserver
|
||||||
|
|
||||||
|
Voir section 6 "ZONE ARCHIVE" (~50 fichiers).
|
||||||
|
|
||||||
|
### 7.6 Référence cassée à régler
|
||||||
|
|
||||||
|
`feedback_pull_not_push.md` (ligne 257 MEMORY) : soit créer, soit retirer la référence. **Décision Dom.**
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 8. Politique de gestion future — 7 règles
|
||||||
|
|
||||||
|
Pour qu'une fois propre, la mémoire reste propre :
|
||||||
|
|
||||||
|
### Règle 1 — 1 feedback = 1 violation observée minimum
|
||||||
|
Avant de créer un nouveau `feedback_*.md`, on doit pouvoir citer un cas précis de violation. Pas de feedback "préventif" tant qu'aucun Claude ne s'est planté dessus.
|
||||||
|
|
||||||
|
### Règle 2 — Rotation des sessions
|
||||||
|
Toute session > 21 jours sans modification est candidate à `_archive/`. Au prochain audit, déplacer automatiquement.
|
||||||
|
|
||||||
|
### Règle 3 — Pas plus de 2 sessions actives dans le top index
|
||||||
|
Le top index ne référence que :
|
||||||
|
- La dernière session de handoff (état courant)
|
||||||
|
- Éventuellement la session précédente si elle a un sprint en cours différent
|
||||||
|
|
||||||
|
Toutes les autres sessions vont en archive.
|
||||||
|
|
||||||
|
### Règle 4 — MEMORY.md ≤ 180 lignes (marge 20 lignes avant la limite 200)
|
||||||
|
Si une nouvelle entrée fait dépasser : compacter d'abord (fusion ou archive), ajouter ensuite.
|
||||||
|
|
||||||
|
### Règle 5 — Cross-référencer toute tension entre feedbacks
|
||||||
|
Si un feedback A semble en tension avec un feedback B, ajouter explicitement dans A la phrase "**Compose avec** : voir `feedback_B.md` qui dit Z." Évite les contradictions silencieuses.
|
||||||
|
|
||||||
|
### Règle 6 — Renommer les "project_*_dateMMDD" périmés
|
||||||
|
Tout `project_*_avrilMMDD.md` ou similaire dont la date est passée doit être :
|
||||||
|
- Soit renommé en `project_*_active.md` si le contenu est encore valide
|
||||||
|
- Soit déplacé en archive si la date marquait une échéance dépassée
|
||||||
|
|
||||||
|
### Règle 7 — Vérifier les références cassées au début de chaque session
|
||||||
|
Première chose qu'un Claude qui modifie MEMORY.md fait : vérifier que tous les `[link.md](link.md)` pointent vers un fichier existant. Le cas `feedback_pull_not_push.md` montre comment une référence cassée traîne pendant des sessions.
|
||||||
|
|
||||||
|
### Bonus — Ajouter un en-tête `MEMORY.md` mentionnant la limite
|
||||||
|
Au sommet du fichier :
|
||||||
|
> **⚠️ Limite chargement automatique = 200 lignes.** Tout ce qui suit la ligne 200 est tronqué. Maintenir < 180 lignes (marge 20 lignes pour ajouts en cours de session).
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 9. Synthèse opérationnelle
|
||||||
|
|
||||||
|
### Chiffres clés
|
||||||
|
- 101 fichiers `.md`, dont ~50% non indexés dans MEMORY.md
|
||||||
|
- MEMORY.md = 273 lignes, ~73 lignes invisibles à chaque session
|
||||||
|
- 7 feedback critiques absents du top index
|
||||||
|
- 1 référence cassée (`feedback_pull_not_push.md`)
|
||||||
|
- ~45-50 fichiers candidats à l'archivage
|
||||||
|
|
||||||
|
### Risques actuels
|
||||||
|
- **Démo GHT jeudi 8 mai** : si Claude oublie `feedback_verifier_avant_apres_clic.md` ou `architecture_lea_v1_find_text_client.md`, il va proposer "re-capturer les ancres" alors que Dom dit explicitement de ne pas le faire. Risque démo direct.
|
||||||
|
- **Hallucination cliniques** : si `feedback_anonymisation_stricte.md` glisse hors du top index, prochaine anonymisation = perte crédibilité Amina.
|
||||||
|
- **Modules orphelins** : un Claude qui voit l'audit project-quality-guardian va proposer `git rm core/grounding/pipeline.py`. Hors top index = bourde garantie.
|
||||||
|
|
||||||
|
### Win immédiat possible
|
||||||
|
Une simple **réorganisation de MEMORY.md** (sans toucher aux fichiers) à ~150 lignes avec les 7 feedback critiques en tête résout 80% du problème. ~30 minutes de travail Dom + Claude.
|
||||||
|
|
||||||
|
### Décisions à demander à Dom
|
||||||
|
1. **Créer ou retirer** `feedback_pull_not_push.md` (référence cassée).
|
||||||
|
2. **Valider l'archivage** des ~45 fichiers proposés en zone ARCHIVE.
|
||||||
|
3. **Trancher** sur 4 fichiers INCERTAIN (`project_dashboard_config`, `project_data_extraction`, `project_objectif_6avril`, `project_actor_*`).
|
||||||
|
4. **Approuver** les 7 règles de gestion future.
|
||||||
|
|
||||||
|
### Décisions Claude peut prendre seul (sujets tertiaires)
|
||||||
|
- Réorganisation de l'ordre des entrées dans MEMORY.md (Top critical → Active → Reference → Archive pointers).
|
||||||
|
- Compactage des sections sessions et architecture en bullets denses.
|
||||||
|
- Création du fichier `_archive/sessions/CHRONOLOGIE.md` de synthèse si Dom valide l'archivage.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 10. Annexe — Inventaire complet des 101 fichiers
|
||||||
|
|
||||||
|
### Feedback (33)
|
||||||
|
1. `feedback_100pct_visual.md` — 100% vision, raccourcis lus OK ✅ ACTIVE
|
||||||
|
2. `feedback_agent_frozen.md` — Léa V1 gelée, fix serveur ✅ ACTIVE
|
||||||
|
3. `feedback_agent_safety.md` — pas de keyboard/mouse en bg ✅ ACTIVE
|
||||||
|
4. `feedback_anonymisation_stricte.md` — anonymisation chirurgicale 🔥 TOP
|
||||||
|
5. `feedback_architecture_first.md` — raisonner avant coder ✅ ACTIVE
|
||||||
|
6. `feedback_auth_dialogs_runtime.md` — dialogues auth système ✅ ACTIVE
|
||||||
|
7. `feedback_capture_purge_policy.md` — purge captures client ✅ ACTIVE
|
||||||
|
8. `feedback_citrix_primary.md` — Citrix = vision pure ✅ ACTIVE
|
||||||
|
9. `feedback_failure_is_learning.md` — échec = apprentissage 🔥 TOP
|
||||||
|
10. `feedback_focus_projet.md` — but produit, pas métriques 📚 REFERENCE
|
||||||
|
11. `feedback_follow_spec.md` — VISION_RPA_INTELLIGENT 📚 REFERENCE (couvert par d'autres)
|
||||||
|
12. `feedback_lea_reflexes_catalog.md` — gesture_catalog ✅ ACTIVE
|
||||||
|
13. `feedback_local_only.md` — Ollama only ✅ ACTIVE
|
||||||
|
14. `feedback_multi_app_workflow.md` — TIM passent entre apps ✅ ACTIVE
|
||||||
|
15. `feedback_multi_user_deployment.md` — tokens, machine_id ✅ ACTIVE
|
||||||
|
16. `feedback_no_git_tags.md` — pas de tags ✅ ACTIVE
|
||||||
|
17. `feedback_no_patch_word.md` — pas dire "patch" ✅ ACTIVE
|
||||||
|
18. `feedback_no_permission_for_tests.md` — exécuter direct ✅ ACTIVE (à promouvoir)
|
||||||
|
19. `feedback_no_rustine.md` — pas de rustines 🔥 TOP
|
||||||
|
20. `feedback_not_a_click_box.md` — Léa apprend, pas record-replay 🔥 TOP
|
||||||
|
21. `feedback_ollama_vs_transformers.md` — Ollama ≠ grounding 🔥 TOP
|
||||||
|
22. `feedback_orphans_are_projections.md` — modules dormants 🔥 TOP (NEW)
|
||||||
|
23. `feedback_phash_vs_dialog_in_vm.md` — DialogHandler en VM ✅ ACTIVE
|
||||||
|
24. `feedback_popup_vlm.md` — popup via VLM, pas ctypes ✅ ACTIVE
|
||||||
|
25. `feedback_prendre_le_temps.md` — DEVISE 🔥🔥🔥 TOP
|
||||||
|
26. `feedback_remote_control_tools.md` — NoMachine/AnyDesk parasites ✅ ACTIVE
|
||||||
|
27. `feedback_reread_before_code.md` — relire avant coder 🔥 TOP
|
||||||
|
28. `feedback_search_before_code.md` — internet avant coder 📚 REFERENCE
|
||||||
|
29. `feedback_standalone_exe.md` — agent Win = .exe 📚 REFERENCE
|
||||||
|
30. `feedback_step_back.md` — recul si demandé ✅ ACTIVE
|
||||||
|
31. `feedback_stop_asking.md` — pas demander d'arrêter 📚 REFERENCE (couvert par no_permission)
|
||||||
|
32. `feedback_verifier_avant_apres_clic.md` — pré/post-check 🔥 TOP (NEW)
|
||||||
|
33. `feedback_win11_local_account.md` — bypass Win11 OOBE 📚 REFERENCE
|
||||||
|
|
||||||
|
### Project (34)
|
||||||
|
1. `project_action_plan_avril2026.md` — P0-P4 plan 🗄️ ARCHIVE (concept toujours valide, nom date périmé)
|
||||||
|
2. `project_actor_implementation.md` — WorkflowRunner V3 🗄️ ARCHIVE
|
||||||
|
3. `project_actor_plan.md` — Phase 1/2/3 acteur 🗄️ ARCHIVE
|
||||||
|
4. `project_amina_partner.md` — partenaire métier 🔥 TOP
|
||||||
|
5. `project_app_knowledge.md` — fiche par application ✅ ACTIVE
|
||||||
|
6. `project_auth_logiciels_metier.md` — auth DPI 🗄️ ARCHIVE (chantier futur)
|
||||||
|
7. `project_bridge_vwb_lea_known_gap.md` — bridge import dégradé ✅ ACTIVE
|
||||||
|
8. `project_code_signing.md` — stratégie code signing 🗄️ ARCHIVE (décidé)
|
||||||
|
9. `project_commercial_pipeline.md` — pipeline multi-verticales ✅ ACTIVE
|
||||||
|
10. `project_competitive_landscape.md` — veille concurrents 📚 REFERENCE
|
||||||
|
11. `project_dashboard_config.md` — config modèles dashboard ❓ INCERTAIN
|
||||||
|
12. `project_data_extraction.md` — visual scraping ❓ INCERTAIN
|
||||||
|
13. `project_demo_urgences_avril2026.md` — démo passée 🗄️ ARCHIVE (extraire chiffrage Amina)
|
||||||
|
14. `project_deployment_notes.md` — points production 🗄️ ARCHIVE
|
||||||
|
15. `project_deploy_semaine21avril.md` — déploiement 21/04 🗄️ ARCHIVE
|
||||||
|
16. `project_finetuning_vlm_plan.md` — fine-tuning post-POC 🗄️ ARCHIVE
|
||||||
|
17. `project_ght_sud_95.md` — démo en cours 🔥 TOP
|
||||||
|
18. `project_gpu_executor_todo.md` — TODO GPU executor 📚 REFERENCE
|
||||||
|
19. `project_lea_apprentissage_plan.md` — phases 1/2/3 ✅ ACTIVE
|
||||||
|
20. `project_medgemma_bench.md` — bench medgemma 4b ✅ ACTIVE
|
||||||
|
21. `project_multi_users_auth.md` — multi-users auth 🗄️ ARCHIVE
|
||||||
|
22. `project_objectif_6avril.md` — date passée 🗄️ ARCHIVE
|
||||||
|
23. `project_os_multi_support.md` — Linux durci 2-4 ans 🗄️ ARCHIVE (long terme)
|
||||||
|
24. `project_pipeline_fast_smart_think.md` — pipeline FAST→SMART→THINK ✅ ACTIVE
|
||||||
|
25. `project_platform_vision.md` — pivot interop 🔥 TOP
|
||||||
|
26. `project_poc_anoust.md` — premier client signé ✅ ACTIVE
|
||||||
|
27. `project_pricing_model.md` — modèle pricing 📚 REFERENCE
|
||||||
|
28. `project_rd_pepites_avril2026.md` — pépites R&D 📚 REFERENCE
|
||||||
|
29. `project_roadmap_vision.md` — long terme 🗄️ ARCHIVE
|
||||||
|
30. `project_skill_tree_concept.md` — skills réutilisables ✅ ACTIVE
|
||||||
|
31. `project_tasks_20260319.md` — TODO 20/03 🗄️ ARCHIVE
|
||||||
|
32. `project_uitars_integration.md` — UI-TARS intégré 🗄️ ARCHIVE (intégré, fusionner avec reference_vlm_models)
|
||||||
|
33. `project_vision.md` — Shadow→Copilot→Autonomous ✅ ACTIVE
|
||||||
|
34. `project_vwb_lea_strategy.md` — stratégie produit ✅ ACTIVE
|
||||||
|
|
||||||
|
### Session (17)
|
||||||
|
1. `session_20260319.md` — pipeline qualité 🗄️ ARCHIVE
|
||||||
|
2. `session_20260326.md` — worker séparé 🗄️ ARCHIVE
|
||||||
|
3. `session_20260330.md` — MVP replay popup 🗄️ ARCHIVE
|
||||||
|
4. `session_20260331.md` — SomEngine 🗄️ ARCHIVE
|
||||||
|
5. `session_20260405.md` — Phase 1 acteur VM 🗄️ ARCHIVE
|
||||||
|
6. `session_20260405_evening.md` — gemma4 acteur 🗄️ ARCHIVE
|
||||||
|
7. `session_20260412.md` — popups Léa volent focus 🗄️ ARCHIVE
|
||||||
|
8. `session_20260412_handoff.md` — état 12/04 🗄️ ARCHIVE
|
||||||
|
9. `session_20260413_handoff.md` — premier replay autonome 🗄️ ARCHIVE
|
||||||
|
10. `session_20260414_kickoff.md` — kickoff Anouste 🗄️ ARCHIVE
|
||||||
|
11. `session_20260417_handoff.md` — E2E validés 🗄️ ARCHIVE
|
||||||
|
12. `session_20260418_handoff.md` — VWB 19 blocs 🗄️ ARCHIVE
|
||||||
|
13. `session_20260421_handoff.md` — perf 6.6x 🗄️ ARCHIVE
|
||||||
|
14. `session_20260423_grounding.md` — bench grounding 🗄️ ARCHIVE
|
||||||
|
15. `session_20260429_30_handoff.md` — bus feedback ✅ ACTIVE
|
||||||
|
16. `session_20260506_handoff.md` — sprint QW (v1, remplacé) 🗄️ ARCHIVE
|
||||||
|
17. `session_20260506_handoff_v2.md` — bilan auto-critique 🔥 TOP
|
||||||
|
|
||||||
|
### Reference (5)
|
||||||
|
1. `reference_credentials.md` — credentials LAN 📚 REFERENCE
|
||||||
|
2. `reference_demo_ght_mockup.md` — maquette démo 📚 REFERENCE
|
||||||
|
3. `reference_mcp_servers.md` — 13 MCP 📚 REFERENCE
|
||||||
|
4. `reference_vlm_models.md` — modèles VLM 📚 REFERENCE
|
||||||
|
5. `reference_windows_pc.md` — PC Windows test 📚 REFERENCE
|
||||||
|
|
||||||
|
### Plan (2)
|
||||||
|
1. `plan_attaque_20260326.md` — plan 26/03 🗄️ ARCHIVE
|
||||||
|
2. `plan_remontee_8sur10.md` — plan 26/04 🗄️ ARCHIVE
|
||||||
|
|
||||||
|
### Architecture (3)
|
||||||
|
1. `architecture.md` — quick reference (mars) 🗄️ ARCHIVE
|
||||||
|
2. `architecture_v3_v4_decoupled.md` — V3/V4 découplés ✅ ACTIVE
|
||||||
|
3. `architecture_lea_v1_find_text_client.md` — Léa V1 OCR client 🔥 TOP (NEW)
|
||||||
|
|
||||||
|
### Divers (7)
|
||||||
|
1. `MEMORY.md` — index 🔥 TOP (à compacter)
|
||||||
|
2. `bugs-fixed.md` — bugs mars 🗄️ ARCHIVE
|
||||||
|
3. `cartography_execution_flow.md` — cartographie 12 systèmes 🔥 TOP
|
||||||
|
4. `benchmark_grounding_avril2026.md` — bench détaillé 🗄️ ARCHIVE (leçon dans feedback)
|
||||||
|
5. `pending_uncommitted_files.md` — uncommitted 14/04 🗄️ ARCHIVE
|
||||||
|
6. `user_role.md` — profil Dom 🔥 TOP
|
||||||
|
7. `visual_replay.md` — replay system mars 🗄️ ARCHIVE
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
**Fin du rapport. Aucun fichier de mémoire n'a été modifié pendant cet audit. Aucun fichier déplacé. Décisions de réorganisation laissées à Dom.**
|
||||||
460
docs/E2E_TEST_RUN_2026-05-08.md
Normal file
460
docs/E2E_TEST_RUN_2026-05-08.md
Normal file
@@ -0,0 +1,460 @@
|
|||||||
|
# Run E2E `Urgence_aiva_demo` — 8 mai 2026
|
||||||
|
|
||||||
|
> Audit ingénieur test/automation senior réalisé en J0 démo GHT Sud 95.
|
||||||
|
>
|
||||||
|
> Objectif : exécuter `tools/test_replay_e2e.py` sur des fixtures
|
||||||
|
> pertinentes (vrais screens de la maquette Easily Assure contenant
|
||||||
|
> les textes cibles), comparer les résolutions step-par-step à la
|
||||||
|
> baseline attendue, identifier les régressions concrètes introduites
|
||||||
|
> par les patches serveur du 7 mai soir (cure b584bbabc + pré-check
|
||||||
|
> OCR + exemption hybrid_text), et proposer des correctifs précis.
|
||||||
|
>
|
||||||
|
> AUCUN code serveur n'a été modifié. Lecture + harness + rapport
|
||||||
|
> uniquement.
|
||||||
|
|
||||||
|
## TL;DR (synthèse pour décision avant démo)
|
||||||
|
|
||||||
|
- **Cascade fonctionnelle sur 5/6 cibles testables** (`hybrid_text_direct`
|
||||||
|
résout `25003284`, `Imagerie`, `Notes médicales`, `Codage`,
|
||||||
|
`Coller dossier patient` lorsque la fixture représente le bon écran).
|
||||||
|
- **Régression confirmée** : pour `Examens cliniques` et `Synthèse
|
||||||
|
Urgences` (deux tabs en haut d'écran), le pre-check OCR à
|
||||||
|
`radius_px=200` voit un crop **trop étroit** pour capter le mot
|
||||||
|
cible → REJET → exception non rattrapée dans le log → réponse
|
||||||
|
fallback `analysis_error`. Touche au minimum **2 steps sur 6 démo**.
|
||||||
|
- **2 correctifs chirurgicaux** proposés (radius proportionnel à la
|
||||||
|
résolution écran, garde NoneType sur le format string). Effort
|
||||||
|
~10 lignes, risque très faible. Détails §5.
|
||||||
|
- Pour la démo dans la journée : **2 chemins** sont défendables —
|
||||||
|
(A) appliquer les correctifs (10 minutes, faible risque, valider en
|
||||||
|
retesting harness), ou (B) ne rien toucher et compter sur la
|
||||||
|
policy serveur qui transformera l'`analysis_error` en pause
|
||||||
|
supervisée + Plan B (fallback recorded coords). Recommandation :
|
||||||
|
**(A) si possible**, sinon (B) avec briefing préalable.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 1. Inventaire fixtures
|
||||||
|
|
||||||
|
### 1.1 Diagnostic des heartbeats sur disque
|
||||||
|
|
||||||
|
Premier réflexe : utiliser les `heartbeat_*.png` du PC Windows.
|
||||||
|
Échec total — toutes les fixtures inspectées (300+ heartbeats des
|
||||||
|
bg_DESKTOP-58D5CAC_windows depuis mars 2026, sessions sess_* du 5
|
||||||
|
mai) montrent l'**explorateur Windows ou Chrome lambda**, pas la
|
||||||
|
maquette Easily Assure. Le workflow `Urgence_aiva_demo` a été
|
||||||
|
construit le 7 mai 2026 — il n'existe pas de heartbeat capturé
|
||||||
|
durant un usage réel de cette maquette.
|
||||||
|
|
||||||
|
Inventaire OCR (EasyOCR fr+en) sur 30 heartbeats stratifiés :
|
||||||
|
**0 fixture** ne contient un texte cible. Voir
|
||||||
|
`tests/e2e/fixtures/urgence_aiva_demo/_ocr_inventory.json` et
|
||||||
|
`_ocr_inventory_may5.json`.
|
||||||
|
|
||||||
|
### 1.2 Solution adoptée — fixtures live
|
||||||
|
|
||||||
|
Capture headless Chrome en 1920×1080 et 2560×1600 directement contre
|
||||||
|
la maquette en ligne (`https://urgence.labs.laurinebazin.design`,
|
||||||
|
auth basic `lea:Medecin2026!`), une fixture par écran d'intérêt :
|
||||||
|
|
||||||
|
| Step | by_text | Fixture (1920×1080) | OCR cible présent ? |
|
||||||
|
|------|---------|---------------------|---------------------|
|
||||||
|
| 3 | `25003284` | `live/landing.png` | OK |
|
||||||
|
| 8 | `Examens cliniques` | `live/dossier_motif.png` | OK |
|
||||||
|
| 10 | `Imagerie` | `live/dossier_examens-cliniques.png`| OK |
|
||||||
|
| 12 | `Notes médicales` | `live/dossier_imagerie.png` | OK |
|
||||||
|
| 14 | `Synthèse Urgences` | `live/dossier_notes-medicales.png` | OK |
|
||||||
|
| 17 | `Codage` | `live/dossier_synthese-urgences.png`| OK |
|
||||||
|
| 18 | `Coller ou saisir le dossier patient` | `live/dossier_codage.png` (proxy) | NON (page aiva-vision absente) |
|
||||||
|
| 20 | `Justification de la décision` | `live/dossier_codage.png` (proxy) | NON |
|
||||||
|
|
||||||
|
Limitations connues : la maquette ne route pas correctement les hash
|
||||||
|
URL (`#examens-cliniques`, `#imagerie`, ...) — tous les onglets
|
||||||
|
renvoient le même HTML. L'OCR confirme néanmoins que les 6 onglets
|
||||||
|
sont visibles dans le bandeau, ce qui suffit pour valider la
|
||||||
|
résolution `by_text` sur ces tabs. Les steps 18 et 20 ciblent la
|
||||||
|
page `aiva-vision` (en aval du clic sur "Codage >"), non capturée
|
||||||
|
ici — voir §6.
|
||||||
|
|
||||||
|
### 1.3 Anchor images comme fixtures alternatives
|
||||||
|
|
||||||
|
J'ai aussi téléchargé les 8 images d'ancres depuis VWB
|
||||||
|
(`/api/v3/anchor/<id>/image`) sous
|
||||||
|
`tests/e2e/fixtures/urgence_aiva_demo/step*.png` (2560×1600).
|
||||||
|
**Elles contiennent toutes leur `by_text`** mais sont des crops
|
||||||
|
zoomés (la position est non-représentative). Elles servent à valider
|
||||||
|
qu'`hybrid_text_direct` fonctionne (étape 0.5) mais leur drift par
|
||||||
|
rapport aux coords enregistrées est artefactuel — voir un précédent
|
||||||
|
run dans `_run_resolve_results.json`.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 2. Run du harness
|
||||||
|
|
||||||
|
### 2.1 Méthode
|
||||||
|
|
||||||
|
Plutôt que `tools/test_replay_e2e.py` qui force le replay du
|
||||||
|
workflow complet (et bouclerait à cause des extract_text serveur,
|
||||||
|
pause_for_human, etc.), j'ai utilisé un appel direct ciblé à
|
||||||
|
`/api/v1/traces/stream/replay/resolve_target` avec, pour chaque
|
||||||
|
step click_anchor :
|
||||||
|
|
||||||
|
- `screenshot_b64` = la fixture du step
|
||||||
|
- `target_spec` = exactement ce que VWB compose
|
||||||
|
(`by_text`, `by_text_source: "ocr"`, `anchor_image_base64`,
|
||||||
|
`anchor_id`, `bounding_box`, `screen_resolution`)
|
||||||
|
- `fallback_x_pct` / `_y_pct` = centre normalisé de la bbox de
|
||||||
|
l'ancre (= les coords enregistrées)
|
||||||
|
- `strict_mode = True` (replay sessions)
|
||||||
|
|
||||||
|
Script : `/tmp/run_resolve_per_step.py` (non versionné).
|
||||||
|
|
||||||
|
> ATTENTION REPRO : la clé est `anchor_image_base64`, pas
|
||||||
|
> `anchor_image_b64`. Sans cette clé, le serveur tombe en mode
|
||||||
|
> non-strict (`has_anchor=False`), saute l'étape 0.5
|
||||||
|
> `hybrid_text_direct` et tape direct VLM puis ScreenAnalyzer
|
||||||
|
> (qui retourne `screen_analyzer_unavailable`). Premier run
|
||||||
|
> totalement faux à cause de cette typo — corrigé.
|
||||||
|
|
||||||
|
### 2.2 Résultats sur fixtures live (1920×1080)
|
||||||
|
|
||||||
|
| # | by_text | resolved | méthode | score | pos résolue | recorded | reason | ms |
|
||||||
|
|---|------------------------------------------|----------|-------------------------------|-------|-------------------|------------------|--------------------------------|-------|
|
||||||
|
| 1 | `25003284` | True | `hybrid_text_direct` | 1.000 | (0.0303, 0.1988) | (0.4928, 0.4512) | _drift IGNORÉ (exemption)_ | 1543 |
|
||||||
|
| 2 | `Examens cliniques` | **False**| `fallback` | 0.000 | (0.4980, 0.4928) | (0.498, 0.4928) | **`analysis_error`** | 1420 |
|
||||||
|
| 3 | `Imagerie` | True | `hybrid_text_direct` | 0.800 | (0.2256, 0.1267) | (0.498, 0.4928) | _drift IGNORÉ_ | 1372 |
|
||||||
|
| 4 | `Notes médicales` | True | `hybrid_text_direct` | 0.800 | (0.2227, 0.1259) | (0.202, 0.28) | drift OK | 976 |
|
||||||
|
| 5 | `Synthèse Urgences` | **False**| `fallback` | 0.000 | (0.2705, 0.2794) | (0.2705, 0.2794) | **`analysis_error`** | 1341 |
|
||||||
|
| 6 | `Codage` | True | `hybrid_text_direct` | 0.800 | (0.1392, 0.0538) | (0.3189, 0.2281) | _drift IGNORÉ_ | 1253 |
|
||||||
|
| 7 | `Coller ou saisir le dossier patient` | False | `strict_vlm_template_failed` | 0.000 | (0.0748, 0.4412) | - | `vlm_and_template_all_failed` (fixture invalide — page absente) | 4233 |
|
||||||
|
| 8 | `Justification de la décision` | False | `strict_vlm_template_failed` | 0.000 | (0.6482, 0.6228) | - | idem | 3586 |
|
||||||
|
|
||||||
|
> Score final côté cascade : **5 OK / 2 FAIL régression / 1 FAIL
|
||||||
|
> attendu (fixture mauvaise page) sur 8** quand on n'évalue que les
|
||||||
|
> steps avec fixture représentative. Régression brute = 2/6 = **33 %
|
||||||
|
> d'échecs sur les onglets démo**.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 3. Divergences vs baseline
|
||||||
|
|
||||||
|
### 3.1 Bug #1 — Pre-check OCR rejette à tort sur `Examens cliniques` et `Synthèse Urgences` (radius trop petit)
|
||||||
|
|
||||||
|
Logs serveur (steps 8 et 14) :
|
||||||
|
|
||||||
|
```
|
||||||
|
Pre-check OCR REJET : 'Examens cliniques' attendu @ (0.2256, 0.1267) via hybrid_text_direct
|
||||||
|
mais OCR voit 'Maquette POC ler en cours Codage Statistiques Catherine Néle)le 14/03/1947 77 an' (80ms)
|
||||||
|
```
|
||||||
|
|
||||||
|
Reproduction isolée via `_validate_text_at_position` (script de
|
||||||
|
test inline) — sensibilité au radius :
|
||||||
|
|
||||||
|
| Cible | r=100 | r=150 | **r=200 (actuel)** | r=250 | r=300 | r=400 |
|
||||||
|
|--------------------|--------|--------|--------------------|--------|--------|--------|
|
||||||
|
| Examens cliniques | 0/2 | 0/2 | **1/2 (50 %)** | 2/2 OK | 2/2 OK | 2/2 OK |
|
||||||
|
| Synthèse Urgences | 0/2 | 0/2 | **0/2 (0 %)** | 1/2 | 2/2 OK | 2/2 OK |
|
||||||
|
| Notes médicales | 1/2 | 2/2 OK | 2/2 OK | OK | OK | OK |
|
||||||
|
| Imagerie | 1/1 OK | 1/1 OK | 1/1 OK | OK | OK | OK |
|
||||||
|
|
||||||
|
Sur 2560×1600 (resolution Windows réelle de Dom), même phénomène
|
||||||
|
mais déplacé : `Examens cliniques` reste FAIL jusqu'à r=400 (le tab
|
||||||
|
"Examens cliniques" est physiquement plus large en pixels qu'à
|
||||||
|
1920×1080).
|
||||||
|
|
||||||
|
**Cause profonde** : `radius_px=200` est **fixé en pixels absolus**
|
||||||
|
(resolve_engine.py:2246), or les éléments UI (largeur d'un tab)
|
||||||
|
varient avec la résolution. Pour des cibles courtes (1 token,
|
||||||
|
type "Imagerie") c'est OK ; pour des cibles à 2 tokens (`Examens
|
||||||
|
cliniques`, `Synthèse Urgences`) sur des bandeaux d'onglets à mi-écran
|
||||||
|
en haut, le crop tronque.
|
||||||
|
|
||||||
|
Aggravant : le seuil fuzzy à `0.60` exige 100 % des tokens pour les
|
||||||
|
cibles à 2 tokens (60 % de 2 = 1.2 → arrondi sup → 2/2). Si OCR
|
||||||
|
rate un token sur deux, REJET sec.
|
||||||
|
|
||||||
|
### 3.2 Bug #2 — Crash log RESOLVE_EXIT sur résultat None
|
||||||
|
|
||||||
|
Quand le pre-check rejette, `result` est remplacé par
|
||||||
|
(api_stream.py:4534-4542) :
|
||||||
|
|
||||||
|
```python
|
||||||
|
result = {
|
||||||
|
"resolved": False,
|
||||||
|
"method": "rejected_text_mismatch",
|
||||||
|
"reason": ...,
|
||||||
|
"x_pct": None,
|
||||||
|
"y_pct": None,
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
Puis le log (api_stream.py:4549) :
|
||||||
|
|
||||||
|
```python
|
||||||
|
f"coords=({result.get('x_pct', 0):.4f}, {result.get('y_pct', 0):.4f}) "
|
||||||
|
```
|
||||||
|
|
||||||
|
→ `result.get('x_pct', 0)` retourne **`None`** (la clé EXISTE et vaut
|
||||||
|
None — la valeur par défaut `0` n'est utilisée que si la clé est
|
||||||
|
absente). `None:.4f` lève `TypeError: unsupported format string
|
||||||
|
passed to NoneType.__format__`.
|
||||||
|
|
||||||
|
Conséquence : exception remontée → `_fallback_response("analysis_error",
|
||||||
|
str(e))` retourné côté client → la cascade côté `replay_engine.py`
|
||||||
|
voit `resolved=False, reason="analysis_error"` au lieu de
|
||||||
|
`reason="rejected_text_mismatch"`. La couche supérieure ne peut donc
|
||||||
|
plus traiter le rejet sémantique pour ce qu'il est — elle voit une
|
||||||
|
erreur d'analyse système.
|
||||||
|
|
||||||
|
Cumul des deux bugs : **le pre-check OCR fait perdre le clic en
|
||||||
|
cascade**, là où il aurait dû seulement rejeter ce candidat et
|
||||||
|
laisser la cascade continuer (VLM, SoM, template).
|
||||||
|
|
||||||
|
### 3.3 Drift exemption — fonctionne correctement
|
||||||
|
|
||||||
|
L'exemption hybrid_text_direct ≥ 0.80 fonctionne nominalement : 4
|
||||||
|
résolutions sur 5 ont un drift > 0.20 mais sont acceptées. Logs :
|
||||||
|
|
||||||
|
```
|
||||||
|
Drift (0.463, 0.252) > 0.20 IGNORÉ : score=1.000 sur hybrid_text_direct — résultat visuel fiable, on l'utilise
|
||||||
|
```
|
||||||
|
|
||||||
|
Aucun cas observé où l'exemption ait **fait passer un faux positif
|
||||||
|
visible**. Sur les fixtures testées, l'OCR direct trouve toujours
|
||||||
|
le bon texte exact (score 1.0) ou le bon avec OCR un peu bruité
|
||||||
|
(0.8). À surveiller en démo réelle si plusieurs occurrences du même
|
||||||
|
texte coexistent sur l'écran (ex : tableau patients avec plusieurs
|
||||||
|
IPP commençant par "2500..." — risque que `25003284` soit confondu
|
||||||
|
avec un voisin lexical).
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 4. Reproduction en isolation
|
||||||
|
|
||||||
|
```bash
|
||||||
|
cd /home/dom/ai/rpa_vision_v3 && source .venv/bin/activate
|
||||||
|
|
||||||
|
# Fixtures live (à recapturer à chaque démo si la maquette change)
|
||||||
|
mkdir -p tests/e2e/fixtures/urgence_aiva_demo/live
|
||||||
|
google-chrome --headless --disable-gpu --no-sandbox --window-size=1920,1080 \
|
||||||
|
--user-data-dir=/tmp/chrome_e2e \
|
||||||
|
--screenshot=tests/e2e/fixtures/urgence_aiva_demo/live/dossier_motif.png \
|
||||||
|
'https://lea:Medecin2026!@urgence.labs.laurinebazin.design/dossier.html?id=25003284'
|
||||||
|
|
||||||
|
# Test ciblé d'un step (exemple : step 8 Examens cliniques)
|
||||||
|
python3 - <<'PY'
|
||||||
|
import sys; sys.path.insert(0, '.')
|
||||||
|
from agent_v0.server_v1.resolve_engine import _validate_text_at_position
|
||||||
|
from PIL import Image
|
||||||
|
fp = 'tests/e2e/fixtures/urgence_aiva_demo/live/dossier_motif.png'
|
||||||
|
sw, sh = Image.open(fp).size
|
||||||
|
for r in (200, 250, 300, 350):
|
||||||
|
ok, obs, ms = _validate_text_at_position(fp, 0.2256, 0.1267, 'Examens cliniques', sw, sh, radius_px=r)
|
||||||
|
print(f'r={r} → valid={ok} ({ms:.0f}ms) obs={obs[:80]!r}')
|
||||||
|
PY
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 5. Correctifs proposés (NON appliqués)
|
||||||
|
|
||||||
|
### Correctif #1 — Radius proportionnel à la résolution + fuzzy 0.50
|
||||||
|
|
||||||
|
**Fichier** : `agent_v0/server_v1/resolve_engine.py`
|
||||||
|
|
||||||
|
**Avant (ligne 2246)** :
|
||||||
|
|
||||||
|
```python
|
||||||
|
def _validate_text_at_position(
|
||||||
|
screenshot_path: str,
|
||||||
|
x_pct: float,
|
||||||
|
y_pct: float,
|
||||||
|
expected_text: str,
|
||||||
|
screen_width: int,
|
||||||
|
screen_height: int,
|
||||||
|
radius_px: int = 200,
|
||||||
|
) -> tuple:
|
||||||
|
```
|
||||||
|
|
||||||
|
**Après** :
|
||||||
|
|
||||||
|
```python
|
||||||
|
def _validate_text_at_position(
|
||||||
|
screenshot_path: str,
|
||||||
|
x_pct: float,
|
||||||
|
y_pct: float,
|
||||||
|
expected_text: str,
|
||||||
|
screen_width: int,
|
||||||
|
screen_height: int,
|
||||||
|
radius_px: Optional[int] = None,
|
||||||
|
) -> tuple:
|
||||||
|
# Radius proportionnel à la dimension écran la plus petite (≈ 17 % d'écran).
|
||||||
|
# Sur 1920×1080 → 184 px ; sur 2560×1600 → 272 px ; sur 3840×2160 → 367 px.
|
||||||
|
# Couvre les bandeaux d'onglets type Easily Assure tout en restant
|
||||||
|
# localement sémantique (pas la moitié d'écran).
|
||||||
|
if radius_px is None:
|
||||||
|
radius_px = int(0.17 * min(screen_width, screen_height))
|
||||||
|
```
|
||||||
|
|
||||||
|
Effet attendu sur la run : `Examens cliniques` à r=204 (au lieu de
|
||||||
|
200) reste tronqué côté droit ; à r=272 sur 2560×1600 c'est OK.
|
||||||
|
Combiné avec le correctif fuzzy ↓ ça passe.
|
||||||
|
|
||||||
|
**Avant (ligne 2285)** :
|
||||||
|
|
||||||
|
```python
|
||||||
|
is_valid = _text_match_fuzzy(expected_text, observed, min_token_ratio=0.60)
|
||||||
|
```
|
||||||
|
|
||||||
|
**Après** :
|
||||||
|
|
||||||
|
```python
|
||||||
|
is_valid = _text_match_fuzzy(expected_text, observed, min_token_ratio=0.50)
|
||||||
|
```
|
||||||
|
|
||||||
|
Justification : pour cibles à 2 tokens (`Examens cliniques`, `Synthèse
|
||||||
|
Urgences`, `Notes médicales`), 0.60 force 2/2 (= exact). 0.50 autorise
|
||||||
|
1/2 — suffisant pour valider que le bon zone OCR est probable, sans
|
||||||
|
sacrifier la spécificité (un token rare comme "synthèse" ou "examens"
|
||||||
|
suffit). Pour cibles à 4+ tokens (`Coller ou saisir le dossier
|
||||||
|
patient`), 0.50 demande 2/4 — cohérent avec le commentaire historique
|
||||||
|
de la fonction.
|
||||||
|
|
||||||
|
**Risque** : faux positif rare où un mot d'une cible apparaît dans une
|
||||||
|
zone sans rapport. Mitigé par le fait que :
|
||||||
|
- Le pre-check est appelé sur la zone où la cascade a déjà résolu
|
||||||
|
(donc visuellement fortement filtrée).
|
||||||
|
- Le seuil de score amont (`hybrid_text_direct ≥ 0.80`) garantit déjà
|
||||||
|
que le **mot exact** a été identifié.
|
||||||
|
|
||||||
|
**Steps impactés** : 8 (Examens cliniques), 14 (Synthèse Urgences) →
|
||||||
|
résolution OK au lieu d'échec.
|
||||||
|
|
||||||
|
### Correctif #2 — Garde NoneType sur le format string
|
||||||
|
|
||||||
|
**Fichier** : `agent_v0/server_v1/api_stream.py`
|
||||||
|
|
||||||
|
**Avant (ligne 4549)** :
|
||||||
|
|
||||||
|
```python
|
||||||
|
f"coords=({result.get('x_pct', 0):.4f}, {result.get('y_pct', 0):.4f}) "
|
||||||
|
```
|
||||||
|
|
||||||
|
**Après** :
|
||||||
|
|
||||||
|
```python
|
||||||
|
f"coords=({(result.get('x_pct') or 0):.4f}, {(result.get('y_pct') or 0):.4f}) "
|
||||||
|
```
|
||||||
|
|
||||||
|
Ou plus explicite et défensif pour les autres champs :
|
||||||
|
|
||||||
|
```python
|
||||||
|
_x = result.get('x_pct') if result else None
|
||||||
|
_y = result.get('y_pct') if result else None
|
||||||
|
logger.info(
|
||||||
|
f"[REPLAY] RESOLVE_EXIT session={request.session_id} "
|
||||||
|
f"resolved={(result or {}).get('resolved', False)} "
|
||||||
|
f"method='{(result or {}).get('method', 'none')}' "
|
||||||
|
f"coords=({(_x if _x is not None else 0):.4f}, {(_y if _y is not None else 0):.4f}) "
|
||||||
|
f"score={(result or {}).get('score', 0)} "
|
||||||
|
f"from_memory={bool((result or {}).get('from_memory', False))} "
|
||||||
|
f"reason='{(result or {}).get('reason', '')}'"
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
Effet attendu : pas d'exception. Le client reçoit le **vrai**
|
||||||
|
`{resolved: False, method: 'rejected_text_mismatch', reason: ...}`
|
||||||
|
au lieu d'un masque `analysis_error`. La couche supérieure peut
|
||||||
|
décider de retenter avec une autre méthode plutôt que de partir en
|
||||||
|
pause supervisée.
|
||||||
|
|
||||||
|
**Risque** : nul. Pure défensive contre None. Effort < 5 lignes.
|
||||||
|
|
||||||
|
### Correctif #3 (optionnel, à n'appliquer qu'après #1+#2) — Fallback de résolution post-rejet
|
||||||
|
|
||||||
|
Quand le pre-check rejette, ne pas tomber direct en `resolved: False`.
|
||||||
|
Continuer la cascade (VLM Quick Find, SoM) qui peut lever l'ambiguïté.
|
||||||
|
|
||||||
|
**Idée** : dans `api_stream.py` après le bloc pre-check (ligne ~4543),
|
||||||
|
si `result.method == "rejected_text_mismatch"`, ré-appeler
|
||||||
|
`_resolve_target_sync` avec `target_spec["__skip_ocr_direct"] = True`
|
||||||
|
pour forcer VLM/SoM. Trop intrusif pour le jour-J — à reporter.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 6. Limitations & angles morts
|
||||||
|
|
||||||
|
- **Steps 18 et 20** non couverts : la fixture utilisée
|
||||||
|
(`dossier_codage.png`) ne contient pas la page aiva-vision
|
||||||
|
(textarea + bouton Justification). Pour les tester, il faudrait :
|
||||||
|
- soit cliquer "Codage >" et capturer la page aval (scriptable
|
||||||
|
avec puppeteer/playwright, ~1h),
|
||||||
|
- soit simuler un replay réel sur la maquette en démo et
|
||||||
|
enregistrer les heartbeats au passage. À planifier post-démo.
|
||||||
|
|
||||||
|
- **Fixtures statiques** : la maquette peut évoluer (Laurine peut
|
||||||
|
modifier le CSS/HTML à tout moment). Re-capturer
|
||||||
|
`tests/e2e/fixtures/urgence_aiva_demo/live/*.png` avant chaque
|
||||||
|
démo majeure.
|
||||||
|
|
||||||
|
- **Pas de test de la cascade VLM/SoM** : tous les steps testés ici
|
||||||
|
ont passé sur `hybrid_text_direct` (étape 0.5). La cascade VLM,
|
||||||
|
SoM, template_matching et ScreenAnalyzer n'a pas été stressée. Le
|
||||||
|
serveur a montré qu'elle est invocable (steps 7-8 sont allés
|
||||||
|
jusqu'au bout du `strict_vlm_template_failed`). Mais le timing
|
||||||
|
exact, les seuils, la cohérence des coords sur ces chemins
|
||||||
|
alternatifs — non couverts ici. Idéal : ajouter une fixture
|
||||||
|
délibérément sans le texte cible (juste l'icône) pour forcer
|
||||||
|
template_matching, et mesurer le score.
|
||||||
|
|
||||||
|
- **Drift exemption pas testée en mode adversarial** : aucun cas où
|
||||||
|
l'exemption a fait passer un mauvais clic. Sur la maquette
|
||||||
|
d'Easily Assure, les textes cibles sont uniques. Sur un DPI réel
|
||||||
|
(ex : 8 patients avec des IPP qui commencent par "2500..."), il
|
||||||
|
faut vérifier que `hybrid_text_direct` retourne le **bon** match
|
||||||
|
et pas le premier rencontré. À tester en démo.
|
||||||
|
|
||||||
|
- **Ce rapport est INCOMPLET** sur le point demandé "appel direct à
|
||||||
|
`_resolve_by_ocr_text` puis `_validate_text_at_position` avec
|
||||||
|
paramètres variés" : fait pour la validation seulement. Le vrai
|
||||||
|
test paramétrique de `_resolve_by_ocr_text` (variations de seuil
|
||||||
|
fuzzy interne, normalisation, langue OCR) reste à faire — peu
|
||||||
|
prioritaire car les scores actuels (0.8–1.0) sont sains.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 7. YAML attendu mis à jour
|
||||||
|
|
||||||
|
Voir `tests/e2e/urgence_aiva_demo_expected.yaml` (re-écrit ce jour)
|
||||||
|
— format basé sur tolérances (range x_pct, y_pct, score_min) plutôt
|
||||||
|
que coordonnées rigides, pour ne pas casser à chaque ré-OCR.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 8. Prochaines actions recommandées
|
||||||
|
|
||||||
|
1. **Maintenant** (avant démo si fenêtre disponible) : appliquer les
|
||||||
|
correctifs #1 et #2. Re-tester le harness. Risque très faible.
|
||||||
|
2. **Pendant démo** : si Synthèse Urgences ou Examens cliniques
|
||||||
|
échouent, c'est l'`analysis_error` — Plan B (recorded coords ou
|
||||||
|
pause supervisée) prend le relais. Briefing à Amina sur ce point.
|
||||||
|
3. **Post-démo** : capturer un replay réel complet, sauvegarder les
|
||||||
|
heartbeats, alimenter `tests/e2e/fixtures/urgence_aiva_demo/`
|
||||||
|
pour avoir des fixtures dossier+aiva-vision authentiques.
|
||||||
|
Valider `_run_resolve_results.json` comme baseline non-régressive.
|
||||||
|
4. **Plus tard** : intégrer le harness dans `pytest` avec marqueur
|
||||||
|
`@pytest.mark.e2e` (fixture par YAML, comparaison avec
|
||||||
|
tolérances). 1h d'effort.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
*Auteur : Claude (agent test/automation senior). Aucune modification
|
||||||
|
de code ; rapport seul. Reproductions : voir §4. Fichiers livrés :*
|
||||||
|
|
||||||
|
- `docs/E2E_TEST_RUN_2026-05-08.md` (ce rapport)
|
||||||
|
- `tests/e2e/urgence_aiva_demo_expected.yaml` (YAML attendus
|
||||||
|
mis à jour)
|
||||||
|
- `tests/e2e/fixtures/urgence_aiva_demo/live/*.png` (fixtures
|
||||||
|
recapturées de la maquette en ligne)
|
||||||
|
- `tests/e2e/fixtures/urgence_aiva_demo/_run_resolve_results.json`
|
||||||
|
(dernier run brut)
|
||||||
@@ -27,6 +27,7 @@ markers =
|
|||||||
fiche9: Tests Fiche #9 (postconditions retry backoff)
|
fiche9: Tests Fiche #9 (postconditions retry backoff)
|
||||||
fiche10: Tests Fiche #10 (precision metrics engine)
|
fiche10: Tests Fiche #10 (precision metrics engine)
|
||||||
visual: Tests visuels sur captures réelles (nécessite serveur GPU)
|
visual: Tests visuels sur captures réelles (nécessite serveur GPU)
|
||||||
|
e2e: Tests E2E contre serveurs (streaming + VWB) actifs — lents, à lancer manuellement
|
||||||
|
|
||||||
# Note: Chemins Python gérés par tests/conftest.py
|
# Note: Chemins Python gérés par tests/conftest.py
|
||||||
|
|
||||||
|
|||||||
0
tests/e2e/__init__.py
Normal file
0
tests/e2e/__init__.py
Normal file
152
tests/e2e/fixtures/urgence_aiva_demo/_ocr_inventory.json
Normal file
152
tests/e2e/fixtures/urgence_aiva_demo/_ocr_inventory.json
Normal file
@@ -0,0 +1,152 @@
|
|||||||
|
{
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773792436.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 415142,
|
||||||
|
"ocr_dt": 5.3
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773792383.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 412395,
|
||||||
|
"ocr_dt": 5.2
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773792331.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 407364,
|
||||||
|
"ocr_dt": 5.2
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773792278.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 409614,
|
||||||
|
"ocr_dt": 5.4
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773792225.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 410632,
|
||||||
|
"ocr_dt": 5.3
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773792172.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 601747,
|
||||||
|
"ocr_dt": 6.1
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773792119.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 524070,
|
||||||
|
"ocr_dt": 5.6
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773792066.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 495872,
|
||||||
|
"ocr_dt": 5.2
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773791846.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 349923,
|
||||||
|
"ocr_dt": 4.7
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773791581.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 351106,
|
||||||
|
"ocr_dt": 5.0
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773791381.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 469478,
|
||||||
|
"ocr_dt": 5.7
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773791283.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 419376,
|
||||||
|
"ocr_dt": 5.9
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773791053.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 451460,
|
||||||
|
"ocr_dt": 7.4
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773790629.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 402427,
|
||||||
|
"ocr_dt": 4.4
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773790480.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 403940,
|
||||||
|
"ocr_dt": 5.3
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773789256.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 366536,
|
||||||
|
"ocr_dt": 5.3
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773788105.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 414903,
|
||||||
|
"ocr_dt": 5.3
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773787561.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 378032,
|
||||||
|
"ocr_dt": 5.2
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773786527.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 1622254,
|
||||||
|
"ocr_dt": 5.4
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773785450.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 353892,
|
||||||
|
"ocr_dt": 5.2
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773785264.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 407159,
|
||||||
|
"ocr_dt": 5.5
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773785115.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 375099,
|
||||||
|
"ocr_dt": 5.4
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773784779.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 1029130,
|
||||||
|
"ocr_dt": 7.4
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773784695.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 1729091,
|
||||||
|
"ocr_dt": 5.5
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773784592.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 357796,
|
||||||
|
"ocr_dt": 4.7
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773784539.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 420256,
|
||||||
|
"ocr_dt": 4.4
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773783685.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 558014,
|
||||||
|
"ocr_dt": 6.3
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773783627.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 582681,
|
||||||
|
"ocr_dt": 5.2
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773783543.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 1208817,
|
||||||
|
"ocr_dt": 5.3
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773783484.png": {
|
||||||
|
"found": [],
|
||||||
|
"size": 451052,
|
||||||
|
"ocr_dt": 4.8
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,34 @@
|
|||||||
|
{
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/DESKTOP-58D5CAC_windows/sess_20260505T093148_6bf7eb/shots/shot_0001_full.png": {
|
||||||
|
"found": [],
|
||||||
|
"preview": "0 | Mode veille | Dites | Sortie de veille de l'accès vocal | ou appuyez | le bouton micro pour activer l'accès vocal. | 883 | 0 | 0 | [ € | M | @ | *l * | * | Q | 2<1616 * *l | Claude (MCP) | 0 @ + | 0 X | gitlabs laurinebazin design/?repo-search-query =1 | ABP | X | 8 | = | Claude (MCP) | Claude"
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/DESKTOP-58D5CAC_windows/sess_20260505T093148_6bf7eb/shots/shot_0002_full.png": {
|
||||||
|
"found": [],
|
||||||
|
"preview": "0 | Mode veille | Dites | Sortie de veille de l'accès vocal | ou appuyez | le bouton micro pour activer l'accès vocal. | {83 | Q | [ Q | 78777 | @ | X * * | Q | 2 0 0 * * * | Claude (MCP) | 6 @ + | gitlabs laurinebazin design/?repo-search-query =1 | ABP | X | 8 | = | Claude (MCP) | Claude | 88 | Al "
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/DESKTOP-58D5CAC_windows/sess_20260505T093148_6bf7eb/shots/shot_0003_full.png": {
|
||||||
|
"found": [],
|
||||||
|
"preview": "0 | Mode veille | Dites < Sortie de veille de l'accès vocal > ou appuyez sur le bouton micro pour activer l'accès vocal. | {83 | Enregistrement automatique | 8 9 ~ @ | Document3 | Rechercher | DB | X | Claude (MCP) | 6 @ + | Fichier | Accueil | Insertion | Dessin | Conception | Mise en page | Référe"
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/DESKTOP-58D5CAC_windows/sess_20260505T093148_6bf7eb/shots/shot_0004_full.png": {
|
||||||
|
"found": [],
|
||||||
|
"preview": "0 | Mode veille | Dites | Sortie de veille de l'accès vocal | ou appuyez sur le bouton micro pour activer l'accès vocal. | {83 | Enregistrement automatique | 8 2 ~ @ | Document3 | Rechercher | DB | X | Claude (MCP) | 6 @ + | Fichier | Accueil | Insertion | Dessin | Conception | Mise en page | Référe"
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/DESKTOP-58D5CAC_windows/sess_20260505T093148_6bf7eb/shots/shot_0005_full.png": {
|
||||||
|
"found": [],
|
||||||
|
"preview": "0 | Mode veille | Dites | Sortie de veille de l'accès vocal | ou appuyez sur le bouton micro pour activer l'accès vocal. | {83 | Enregistrement automatique | 8 2 ~ @ | Document3 | Rechercher | DB | X | Claude (MCP) | 6 @ + | Fichier | Accueil | Insertion | Dessin | Conception | Mise en page | Référe"
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/DESKTOP-58D5CAC_windows/sess_20260505T093148_6bf7eb/shots/heartbeat_1777966309.png": {
|
||||||
|
"found": [],
|
||||||
|
"preview": "0 | Mode veille | Dites | Sortie de veille de l'accès vocal | ou appuyez | le bouton micro pour activer l'accès vocal. | 883 | 0 | 0 | [ € | M | @ | *l * | * | Q | 2<1616 * *l | Claude (MCP) | 0 @ + | 0 X | gitlabs laurinebazin design/?repo-search-query =1 | ABP | X | 8 | = | Claude (MCP) | Claude"
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/DESKTOP-58D5CAC_windows/sess_20260505T093148_6bf7eb/shots/heartbeat_1777966315.png": {
|
||||||
|
"found": [],
|
||||||
|
"preview": "0 | Mode veille | Dites | Sortie de veille de l'accès vocal | ou appuyez | le bouton micro pour activer l'accès vocal. | {83 | Q | [ Q | 78777 | @ | X * * | Q | 2 0 0 * * * | Claude (MCP) | 6 @ + | gitlabs laurinebazin design/?repo-search-query =1 | ABP | X | 8 | = | Claude (MCP) | Claude | 88 | Al "
|
||||||
|
},
|
||||||
|
"/home/dom/ai/rpa_vision_v3/data/training/live_sessions/DESKTOP-58D5CAC_windows/sess_20260505T093148_6bf7eb/shots/heartbeat_1777966322.png": {
|
||||||
|
"found": [],
|
||||||
|
"preview": "0 | Mode veille | Dites | Sortie de veille de l'accès vocal | ou appuyez sur le bouton micro pour activer l'accès vocal. | {83 | Q | [ Q | 78777 | @ | X * * | Q | 2 0 0 * *l | Claude (MCP) | 6 @ + | gitlabs laurinebazin design/?repo-search-query =1 | ABP | X | 8 | = | Claude (MCP) | Claude | 88 | Al"
|
||||||
|
}
|
||||||
|
}
|
||||||
168
tests/e2e/fixtures/urgence_aiva_demo/_run_resolve_results.json
Normal file
168
tests/e2e/fixtures/urgence_aiva_demo/_run_resolve_results.json
Normal file
@@ -0,0 +1,168 @@
|
|||||||
|
[
|
||||||
|
{
|
||||||
|
"by_text": "25003284",
|
||||||
|
"fixture": "live/landing.png",
|
||||||
|
"result": {
|
||||||
|
"resolved": true,
|
||||||
|
"method": "hybrid_text_direct",
|
||||||
|
"x_pct": 0.0302734375,
|
||||||
|
"y_pct": 0.1987847222222222,
|
||||||
|
"score": 1.0,
|
||||||
|
"matched_text": "25003284",
|
||||||
|
"_dt_ms": 1542.8798198699951,
|
||||||
|
"_recorded": [
|
||||||
|
0.4928,
|
||||||
|
0.4512
|
||||||
|
],
|
||||||
|
"_screen_size": [
|
||||||
|
1920,
|
||||||
|
1080
|
||||||
|
]
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"by_text": "Examens cliniques",
|
||||||
|
"fixture": "live/dossier_motif.png",
|
||||||
|
"result": {
|
||||||
|
"resolved": false,
|
||||||
|
"method": "fallback",
|
||||||
|
"reason": "analysis_error",
|
||||||
|
"detail": "unsupported format string passed to NoneType.__format__",
|
||||||
|
"x_pct": 0.498046875,
|
||||||
|
"y_pct": 0.4928125,
|
||||||
|
"_dt_ms": 1420.240879058838,
|
||||||
|
"_recorded": [
|
||||||
|
0.498,
|
||||||
|
0.4928
|
||||||
|
],
|
||||||
|
"_screen_size": [
|
||||||
|
1920,
|
||||||
|
1080
|
||||||
|
]
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"by_text": "Imagerie",
|
||||||
|
"fixture": "live/dossier_examens-cliniques.png",
|
||||||
|
"result": {
|
||||||
|
"resolved": true,
|
||||||
|
"method": "hybrid_text_direct",
|
||||||
|
"x_pct": 0.2255859375,
|
||||||
|
"y_pct": 0.1267361111111111,
|
||||||
|
"score": 0.8,
|
||||||
|
"matched_text": "Motif d'admission Examens cliniques Imagerie Notes médicales Synthèse Urgences Codage >",
|
||||||
|
"_dt_ms": 1372.1542358398438,
|
||||||
|
"_recorded": [
|
||||||
|
0.498,
|
||||||
|
0.4928
|
||||||
|
],
|
||||||
|
"_screen_size": [
|
||||||
|
1920,
|
||||||
|
1080
|
||||||
|
]
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"by_text": "Notes médicales",
|
||||||
|
"fixture": "live/dossier_imagerie.png",
|
||||||
|
"result": {
|
||||||
|
"resolved": true,
|
||||||
|
"method": "hybrid_text_direct",
|
||||||
|
"x_pct": 0.22265625,
|
||||||
|
"y_pct": 0.12586805555555555,
|
||||||
|
"score": 0.8,
|
||||||
|
"matched_text": "Motif d'admission Examens cliniques Imagerie Notes médicales Synthèse Urgences Codage >>",
|
||||||
|
"_dt_ms": 975.5856990814209,
|
||||||
|
"_recorded": [
|
||||||
|
0.202,
|
||||||
|
0.28
|
||||||
|
],
|
||||||
|
"_screen_size": [
|
||||||
|
1920,
|
||||||
|
1080
|
||||||
|
]
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"by_text": "Synthèse Urgences",
|
||||||
|
"fixture": "live/dossier_notes-medicales.png",
|
||||||
|
"result": {
|
||||||
|
"resolved": false,
|
||||||
|
"method": "fallback",
|
||||||
|
"reason": "analysis_error",
|
||||||
|
"detail": "unsupported format string passed to NoneType.__format__",
|
||||||
|
"x_pct": 0.2705078125,
|
||||||
|
"y_pct": 0.279375,
|
||||||
|
"_dt_ms": 1341.4692878723145,
|
||||||
|
"_recorded": [
|
||||||
|
0.2705,
|
||||||
|
0.2794
|
||||||
|
],
|
||||||
|
"_screen_size": [
|
||||||
|
1920,
|
||||||
|
1080
|
||||||
|
]
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"by_text": "Codage",
|
||||||
|
"fixture": "live/dossier_synthese-urgences.png",
|
||||||
|
"result": {
|
||||||
|
"resolved": true,
|
||||||
|
"method": "hybrid_text_direct",
|
||||||
|
"x_pct": 0.13916015625,
|
||||||
|
"y_pct": 0.05381944444444445,
|
||||||
|
"score": 0.8,
|
||||||
|
"matched_text": "Patients Planning Dossier en cours Codage Statistiques",
|
||||||
|
"_dt_ms": 1252.6636123657227,
|
||||||
|
"_recorded": [
|
||||||
|
0.3189,
|
||||||
|
0.2281
|
||||||
|
],
|
||||||
|
"_screen_size": [
|
||||||
|
1920,
|
||||||
|
1080
|
||||||
|
]
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"by_text": "Coller ou saisir le dossier patient",
|
||||||
|
"fixture": "live/dossier_codage.png",
|
||||||
|
"result": {
|
||||||
|
"resolved": false,
|
||||||
|
"method": "strict_vlm_template_failed",
|
||||||
|
"reason": "vlm_and_template_all_failed",
|
||||||
|
"x_pct": 0.0748046875,
|
||||||
|
"y_pct": 0.44125,
|
||||||
|
"_dt_ms": 4233.16764831543,
|
||||||
|
"_recorded": [
|
||||||
|
0.0748,
|
||||||
|
0.4412
|
||||||
|
],
|
||||||
|
"_screen_size": [
|
||||||
|
1920,
|
||||||
|
1080
|
||||||
|
]
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"by_text": "Justification de la décision",
|
||||||
|
"fixture": "live/dossier_codage.png",
|
||||||
|
"result": {
|
||||||
|
"resolved": false,
|
||||||
|
"method": "strict_vlm_template_failed",
|
||||||
|
"reason": "vlm_and_template_all_failed",
|
||||||
|
"x_pct": 0.6482421875,
|
||||||
|
"y_pct": 0.6228125,
|
||||||
|
"_dt_ms": 3586.3852500915527,
|
||||||
|
"_recorded": [
|
||||||
|
0.6482,
|
||||||
|
0.6228
|
||||||
|
],
|
||||||
|
"_screen_size": [
|
||||||
|
1920,
|
||||||
|
1080
|
||||||
|
]
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
BIN
tests/e2e/fixtures/urgence_aiva_demo/live/dossier_codage.png
Normal file
BIN
tests/e2e/fixtures/urgence_aiva_demo/live/dossier_codage.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 140 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 140 KiB |
BIN
tests/e2e/fixtures/urgence_aiva_demo/live/dossier_imagerie.png
Normal file
BIN
tests/e2e/fixtures/urgence_aiva_demo/live/dossier_imagerie.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 66 KiB |
BIN
tests/e2e/fixtures/urgence_aiva_demo/live/dossier_motif.png
Normal file
BIN
tests/e2e/fixtures/urgence_aiva_demo/live/dossier_motif.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 140 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 140 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 140 KiB |
BIN
tests/e2e/fixtures/urgence_aiva_demo/live/landing.png
Normal file
BIN
tests/e2e/fixtures/urgence_aiva_demo/live/landing.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 149 KiB |
118
tests/e2e/test_urgence_aiva_demo.py
Normal file
118
tests/e2e/test_urgence_aiva_demo.py
Normal file
@@ -0,0 +1,118 @@
|
|||||||
|
"""Tests E2E du workflow Urgence_aiva_demo via le harness mock client.
|
||||||
|
|
||||||
|
Marqueurs : @pytest.mark.e2e @pytest.mark.slow
|
||||||
|
Pré-requis : streaming server (5005) + VWB (5002) actifs.
|
||||||
|
|
||||||
|
Lancement :
|
||||||
|
pytest tests/e2e -v -m e2e
|
||||||
|
|
||||||
|
Le test est un smoke check : il vérifie qu'on arrive à lancer un replay,
|
||||||
|
poller les actions et que le harness termine sans crash. Il n'exige PAS
|
||||||
|
que tous les steps réussissent (le screenshot fixture peut être obsolète).
|
||||||
|
"""
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
import pytest
|
||||||
|
import requests
|
||||||
|
|
||||||
|
from tools.test_replay_e2e import (
|
||||||
|
ReplayMockClient,
|
||||||
|
_find_latest_heartbeat,
|
||||||
|
_load_token,
|
||||||
|
DEFAULT_BASE_URL,
|
||||||
|
DEFAULT_VWB_URL,
|
||||||
|
)
|
||||||
|
|
||||||
|
WORKFLOW_ID = "wf_a38aeebea5e6_1778162737" # Urgence_aiva_demo
|
||||||
|
|
||||||
|
|
||||||
|
def _server_alive(url: str, timeout: float = 2.0) -> bool:
|
||||||
|
try:
|
||||||
|
resp = requests.get(f"{url}/health", timeout=timeout)
|
||||||
|
return resp.status_code == 200
|
||||||
|
except Exception:
|
||||||
|
return False
|
||||||
|
|
||||||
|
|
||||||
|
def _vwb_alive(url: str, timeout: float = 2.0) -> bool:
|
||||||
|
try:
|
||||||
|
# VWB n'a pas /health, on tape /api/v3/session/state
|
||||||
|
resp = requests.get(f"{url}/api/v3/session/state", timeout=timeout)
|
||||||
|
return resp.status_code in (200, 404)
|
||||||
|
except Exception:
|
||||||
|
return False
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.fixture(scope="module")
|
||||||
|
def streaming_url() -> str:
|
||||||
|
if not _server_alive(DEFAULT_BASE_URL):
|
||||||
|
pytest.skip(f"Streaming server inactif sur {DEFAULT_BASE_URL}")
|
||||||
|
return DEFAULT_BASE_URL
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.fixture(scope="module")
|
||||||
|
def vwb_url() -> str:
|
||||||
|
if not _vwb_alive(DEFAULT_VWB_URL):
|
||||||
|
pytest.skip(f"VWB backend inactif sur {DEFAULT_VWB_URL}")
|
||||||
|
return DEFAULT_VWB_URL
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.fixture(scope="module")
|
||||||
|
def heartbeat() -> str:
|
||||||
|
path = _find_latest_heartbeat()
|
||||||
|
if not path or not Path(path).exists():
|
||||||
|
pytest.skip("Aucun heartbeat fixture disponible sur disque")
|
||||||
|
return path
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.e2e
|
||||||
|
@pytest.mark.slow
|
||||||
|
def test_urgence_aiva_demo_smoke(streaming_url, vwb_url, heartbeat):
|
||||||
|
"""Smoke : lance et déroule le workflow Urgence_aiva_demo via le harness.
|
||||||
|
|
||||||
|
Vérifie que :
|
||||||
|
- le harness peut compiler et lancer le replay (pas d'exception réseau)
|
||||||
|
- au moins quelques steps sont reportés (la chaîne tourne)
|
||||||
|
- aucune exception non gérée n'est levée
|
||||||
|
"""
|
||||||
|
import time as _time
|
||||||
|
import uuid as _uuid
|
||||||
|
|
||||||
|
ts = _time.strftime("%Y%m%dT%H%M%S")
|
||||||
|
client = ReplayMockClient(
|
||||||
|
base_url=streaming_url,
|
||||||
|
vwb_url=vwb_url,
|
||||||
|
token=_load_token(),
|
||||||
|
session_id=f"test_e2e_pytest_{ts}_{_uuid.uuid4().hex[:6]}",
|
||||||
|
machine_id=f"test_e2e_pytest_machine_{ts}",
|
||||||
|
screenshot_path=heartbeat,
|
||||||
|
verbose=False,
|
||||||
|
auto_resume=True,
|
||||||
|
execution_mode="autonomous",
|
||||||
|
timeout_poll=10.0,
|
||||||
|
single_step=None,
|
||||||
|
max_iter=80,
|
||||||
|
)
|
||||||
|
|
||||||
|
try:
|
||||||
|
client.cancel_stale_replays()
|
||||||
|
client.register_session()
|
||||||
|
info = client.start_replay(WORKFLOW_ID)
|
||||||
|
assert info.get("replay_id"), f"replay_id absent : {info}"
|
||||||
|
assert info.get("total_actions", 0) > 0
|
||||||
|
client.run()
|
||||||
|
finally:
|
||||||
|
try:
|
||||||
|
client.cancel_replay()
|
||||||
|
except Exception:
|
||||||
|
pass
|
||||||
|
|
||||||
|
# Le harness doit avoir produit au moins quelques rapports
|
||||||
|
assert len(client.reports) > 0, "Aucune action reportée — harness cassé ?"
|
||||||
|
|
||||||
|
# Le 1er step est un wait synthétique injecté par VWB → doit être OK
|
||||||
|
first = client.reports[0]
|
||||||
|
assert first.action_type == "wait", f"1er step inattendu : {first}"
|
||||||
|
assert first.status == "OK"
|
||||||
138
tests/e2e/urgence_aiva_demo_expected.yaml
Normal file
138
tests/e2e/urgence_aiva_demo_expected.yaml
Normal file
@@ -0,0 +1,138 @@
|
|||||||
|
# Attendus E2E pour wf_a38aeebea5e6_1778162737 (Urgence_aiva_demo).
|
||||||
|
#
|
||||||
|
# Mis à jour 2026-05-08 sur fixtures Easily Assure capturées en live
|
||||||
|
# (`tests/e2e/fixtures/urgence_aiva_demo/live/*.png`, headless Chrome
|
||||||
|
# 1920x1080) — donc representatives du screen tel que vu par Léa.
|
||||||
|
#
|
||||||
|
# Tolérance : la résolution de coordonnées varie de quelques pixels d'un
|
||||||
|
# run à l'autre (anti-aliasing OCR, EasyOCR non déterministe). On se
|
||||||
|
# limite donc à valider :
|
||||||
|
# - status (OK / FAIL)
|
||||||
|
# - method (préfixe)
|
||||||
|
# - score ≥ seuil
|
||||||
|
# - position dans une bbox attendue (en pourcentages, large)
|
||||||
|
#
|
||||||
|
# Steps NON couverts ici :
|
||||||
|
# - 1, 4-7, 9, 11, 13, 15-16, 19, 21 (extract_text, keyboard_shortcut,
|
||||||
|
# type_text, t2a_decision, pause_for_human → exécutés serveur ou
|
||||||
|
# simulés client, pas de dépendance à la cascade visuelle).
|
||||||
|
#
|
||||||
|
# Couverts (click_anchor) :
|
||||||
|
# 3, 8, 10, 12, 14, 17, 18, 20.
|
||||||
|
#
|
||||||
|
# Steps 18 (Coller textarea DPI) et 20 (Justification) attendus en
|
||||||
|
# pause_supervisée si l'écran courant est la maquette urgences (et non
|
||||||
|
# aiva-vision) — cf. §"Limitations fixtures" du rapport.
|
||||||
|
|
||||||
|
workflow_id: wf_a38aeebea5e6_1778162737
|
||||||
|
fixtures_dir: tests/e2e/fixtures/urgence_aiva_demo/live
|
||||||
|
generated_at: '2026-05-08'
|
||||||
|
screen_size_default: [1920, 1080]
|
||||||
|
|
||||||
|
steps:
|
||||||
|
- order: 3
|
||||||
|
action_type: click_anchor
|
||||||
|
by_text: '25003284'
|
||||||
|
fixture: live/landing.png
|
||||||
|
expected:
|
||||||
|
resolved: true
|
||||||
|
method_prefix: hybrid_text_direct
|
||||||
|
score_min: 0.80
|
||||||
|
x_pct_range: [0.01, 0.10] # IPP en début de ligne, colonne gauche
|
||||||
|
y_pct_range: [0.18, 0.30] # 1ère ligne tableau patients
|
||||||
|
max_elapsed_ms: 5000
|
||||||
|
|
||||||
|
- order: 8
|
||||||
|
action_type: click_anchor
|
||||||
|
by_text: 'Examens cliniques'
|
||||||
|
fixture: live/dossier_motif.png
|
||||||
|
expected:
|
||||||
|
resolved: true
|
||||||
|
method_prefix: hybrid_text_direct
|
||||||
|
score_min: 0.80
|
||||||
|
x_pct_range: [0.18, 0.30] # tab gauche-centre
|
||||||
|
y_pct_range: [0.10, 0.16] # bandeau onglets
|
||||||
|
max_elapsed_ms: 5000
|
||||||
|
notes: |
|
||||||
|
Régression confirmée 2026-05-08 sur cette cible : pre-check OCR
|
||||||
|
(radius 200) ne capte pas le mot "Examens" (tronqué) et fait crash
|
||||||
|
le log RESOLVE_EXIT (NoneType format). Voir rapport
|
||||||
|
docs/E2E_TEST_RUN_2026-05-08.md, correctif #1 et #2.
|
||||||
|
|
||||||
|
- order: 10
|
||||||
|
action_type: click_anchor
|
||||||
|
by_text: 'Imagerie'
|
||||||
|
fixture: live/dossier_examens-cliniques.png
|
||||||
|
expected:
|
||||||
|
resolved: true
|
||||||
|
method_prefix: hybrid_text_direct
|
||||||
|
score_min: 0.80
|
||||||
|
x_pct_range: [0.20, 0.32]
|
||||||
|
y_pct_range: [0.10, 0.16]
|
||||||
|
max_elapsed_ms: 5000
|
||||||
|
|
||||||
|
- order: 12
|
||||||
|
action_type: click_anchor
|
||||||
|
by_text: 'Notes médicales'
|
||||||
|
fixture: live/dossier_imagerie.png
|
||||||
|
expected:
|
||||||
|
resolved: true
|
||||||
|
method_prefix: hybrid_text_direct
|
||||||
|
score_min: 0.80
|
||||||
|
x_pct_range: [0.20, 0.32]
|
||||||
|
y_pct_range: [0.10, 0.16]
|
||||||
|
max_elapsed_ms: 5000
|
||||||
|
|
||||||
|
- order: 14
|
||||||
|
action_type: click_anchor
|
||||||
|
by_text: 'Synthèse Urgences'
|
||||||
|
fixture: live/dossier_notes-medicales.png
|
||||||
|
expected:
|
||||||
|
resolved: true
|
||||||
|
method_prefix: hybrid_text_direct
|
||||||
|
score_min: 0.80
|
||||||
|
x_pct_range: [0.22, 0.36]
|
||||||
|
y_pct_range: [0.10, 0.16]
|
||||||
|
max_elapsed_ms: 5000
|
||||||
|
notes: |
|
||||||
|
Régression confirmée — même cause que step 8 : pre-check radius 200
|
||||||
|
voit 0/2 tokens. Correctif #1 résout.
|
||||||
|
|
||||||
|
- order: 17
|
||||||
|
action_type: click_anchor
|
||||||
|
by_text: 'Codage'
|
||||||
|
fixture: live/dossier_synthese-urgences.png
|
||||||
|
expected:
|
||||||
|
resolved: true
|
||||||
|
method_prefix: hybrid_text_direct
|
||||||
|
score_min: 0.80
|
||||||
|
x_pct_range: [0.10, 0.20]
|
||||||
|
y_pct_range: [0.04, 0.08] # bouton barre de menu (top)
|
||||||
|
max_elapsed_ms: 5000
|
||||||
|
|
||||||
|
- order: 18
|
||||||
|
action_type: click_anchor
|
||||||
|
by_text: 'Coller ou saisir le dossier patient'
|
||||||
|
# Cette cible est sur la page aiva-vision (https://aiva-vision.test/...)
|
||||||
|
# PAS sur la maquette urgences. À documenter avec une fixture dédiée
|
||||||
|
# ou exécuter en démo réelle.
|
||||||
|
fixture: live/dossier_codage.png # placeholder — devrait être aiva-vision
|
||||||
|
expected:
|
||||||
|
resolved: false # avec le placeholder
|
||||||
|
reason: vlm_and_template_all_failed
|
||||||
|
method_prefix: strict_vlm_template_failed
|
||||||
|
notes: |
|
||||||
|
Fixture non représentative — l'agent doit naviguer vers
|
||||||
|
aiva-vision (étape 17 ouvre Codage onglet, qui redirige vers
|
||||||
|
la page aiva). À recapturer sur le replay réel.
|
||||||
|
|
||||||
|
- order: 20
|
||||||
|
action_type: click_anchor
|
||||||
|
by_text: 'Justification de la décision'
|
||||||
|
fixture: live/dossier_codage.png # idem step 18
|
||||||
|
expected:
|
||||||
|
resolved: false
|
||||||
|
reason: vlm_and_template_all_failed
|
||||||
|
method_prefix: strict_vlm_template_failed
|
||||||
|
notes: |
|
||||||
|
Idem step 18 — page aiva-vision non capturée dans cette suite.
|
||||||
812
tools/test_replay_e2e.py
Normal file
812
tools/test_replay_e2e.py
Normal file
@@ -0,0 +1,812 @@
|
|||||||
|
#!/usr/bin/env python3
|
||||||
|
"""Harness E2E pour tester un replay sans Léa V1 / Windows.
|
||||||
|
|
||||||
|
Mocque le client Léa V1 contre le serveur de streaming réel (port 5005).
|
||||||
|
Le harness compile le workflow via VWB (port 5002, /api/v3/execute-windows)
|
||||||
|
exactement comme le frontend, puis prend la place de l'agent Windows :
|
||||||
|
- boucle GET /replay/next (poll)
|
||||||
|
- résout les actions click_anchor via POST /replay/resolve_target avec un
|
||||||
|
screenshot fixture (heartbeat sur disque)
|
||||||
|
- POST /replay/result avec succès/échec
|
||||||
|
- gère pause_for_human (auto-resume ou stop selon mode)
|
||||||
|
- imprime un tableau Markdown des résolutions et compare à un YAML d'attendus
|
||||||
|
|
||||||
|
Permet d'itérer en quelques secondes (vs 1-2 min de replay Windows réel) sur :
|
||||||
|
- modifications serveur (resolve_engine, replay_engine, validation OCR…)
|
||||||
|
- robustesse de la cascade visuelle sur un screenshot donné
|
||||||
|
- cas d'erreur (target_not_found, pause supervisée, retry).
|
||||||
|
|
||||||
|
Usage standard (workflow Urgence_aiva_demo, screenshot le plus récent) :
|
||||||
|
|
||||||
|
cd /home/dom/ai/rpa_vision_v3 && source .venv/bin/activate
|
||||||
|
python tools/test_replay_e2e.py \\
|
||||||
|
--workflow-id wf_a38aeebea5e6_1778162737 \\
|
||||||
|
--shot data/training/live_sessions/bg_DESKTOP-58D5CAC_windows/shots/heartbeat_1773792436.png
|
||||||
|
|
||||||
|
Options :
|
||||||
|
--workflow-id ID workflow à rejouer (default Urgence_aiva_demo)
|
||||||
|
--shot PATH screenshot fixture (default: dernier heartbeat trouvé)
|
||||||
|
--expected YAML fichier attendus (compare step par step)
|
||||||
|
--export-expected PATH exporter le run en YAML/JSON d'attendus
|
||||||
|
--auto-resume auto-acquitter pause_for_human
|
||||||
|
--execution-mode autonomous|supervised (par défaut: autonomous)
|
||||||
|
--single-step N (debug) ne lancer que les N premières actions
|
||||||
|
--verbose logs détaillés HTTP
|
||||||
|
--timeout-poll SECONDS timeout par poll (default 8s)
|
||||||
|
--max-iter N garde-fou (default 200)
|
||||||
|
--vwb-url URL URL VWB (default http://localhost:5002)
|
||||||
|
|
||||||
|
Sortie :
|
||||||
|
- tableau Markdown récapitulatif
|
||||||
|
- exit code 0 si tous les steps OK / 1 sinon
|
||||||
|
|
||||||
|
Ne dépend PAS de Windows, ne modifie aucun fichier serveur.
|
||||||
|
Pré-requis : streaming server (5005) + VWB backend (5002) actifs.
|
||||||
|
"""
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
import argparse
|
||||||
|
import base64
|
||||||
|
import glob
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
import sys
|
||||||
|
import time
|
||||||
|
import uuid
|
||||||
|
from dataclasses import dataclass, asdict
|
||||||
|
from pathlib import Path
|
||||||
|
from typing import Any, Dict, List, Optional, Tuple
|
||||||
|
|
||||||
|
import requests
|
||||||
|
|
||||||
|
# YAML est optionnel : si absent, on génère du JSON pour l'export d'attendus
|
||||||
|
try:
|
||||||
|
import yaml as _yaml
|
||||||
|
except ImportError:
|
||||||
|
_yaml = None
|
||||||
|
|
||||||
|
|
||||||
|
# ==========================================================================
|
||||||
|
# Configuration par défaut
|
||||||
|
# ==========================================================================
|
||||||
|
ROOT = Path(__file__).resolve().parent.parent
|
||||||
|
ENV_FILE = ROOT / ".env.local"
|
||||||
|
DEFAULT_BASE_URL = "http://localhost:5005"
|
||||||
|
DEFAULT_VWB_URL = "http://localhost:5002"
|
||||||
|
DEFAULT_HEARTBEAT_GLOB = str(
|
||||||
|
ROOT / "data" / "training" / "live_sessions" / "*" / "shots" / "heartbeat_*.png"
|
||||||
|
)
|
||||||
|
DEFAULT_HEARTBEAT_GLOB_BG = str(
|
||||||
|
ROOT / "data" / "training" / "live_sessions" / "bg_*" / "shots" / "heartbeat_*.png"
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def _load_token() -> str:
|
||||||
|
"""Lit RPA_API_TOKEN depuis l'env ou .env.local."""
|
||||||
|
if "RPA_API_TOKEN" in os.environ and os.environ["RPA_API_TOKEN"]:
|
||||||
|
return os.environ["RPA_API_TOKEN"]
|
||||||
|
if ENV_FILE.exists():
|
||||||
|
for line in ENV_FILE.read_text().splitlines():
|
||||||
|
line = line.strip()
|
||||||
|
if line.startswith("RPA_API_TOKEN="):
|
||||||
|
return line.split("=", 1)[1].strip().strip('"').strip("'")
|
||||||
|
return ""
|
||||||
|
|
||||||
|
|
||||||
|
def _find_latest_heartbeat() -> Optional[str]:
|
||||||
|
"""Cherche le dernier heartbeat sur disque utilisable comme fixture.
|
||||||
|
|
||||||
|
Préfère les heartbeats `bg_*` (capturés en arrière-plan, pleine résolution)
|
||||||
|
aux heartbeats sess_* qui peuvent être tronqués (bug mss.monitors[1]
|
||||||
|
capturant la barre des tâches, cf. resolve_engine.py).
|
||||||
|
Filtre aussi sur la taille minimale (1200x800) pour ignorer les crops.
|
||||||
|
"""
|
||||||
|
from PIL import Image
|
||||||
|
|
||||||
|
def _is_full_size(path: str) -> bool:
|
||||||
|
try:
|
||||||
|
with Image.open(path) as im:
|
||||||
|
return im.width >= 1200 and im.height >= 800
|
||||||
|
except Exception:
|
||||||
|
return False
|
||||||
|
|
||||||
|
# 1. Chercher d'abord dans bg_*
|
||||||
|
bg_candidates = [
|
||||||
|
f for f in glob.glob(DEFAULT_HEARTBEAT_GLOB_BG)
|
||||||
|
if "_blurred" not in f and os.path.isfile(f)
|
||||||
|
]
|
||||||
|
bg_candidates = [f for f in bg_candidates if _is_full_size(f)]
|
||||||
|
if bg_candidates:
|
||||||
|
bg_candidates.sort(key=lambda f: os.path.getmtime(f), reverse=True)
|
||||||
|
return bg_candidates[0]
|
||||||
|
|
||||||
|
# 2. Fallback sur sess_*, mais en filtrant les tronqués
|
||||||
|
other = [
|
||||||
|
f for f in glob.glob(DEFAULT_HEARTBEAT_GLOB)
|
||||||
|
if "_blurred" not in f and os.path.isfile(f)
|
||||||
|
]
|
||||||
|
other = [f for f in other if _is_full_size(f)]
|
||||||
|
if other:
|
||||||
|
other.sort(key=lambda f: os.path.getmtime(f), reverse=True)
|
||||||
|
return other[0]
|
||||||
|
return None
|
||||||
|
|
||||||
|
|
||||||
|
# ==========================================================================
|
||||||
|
# Modèles légers (pas d'import Pydantic pour rester rapide à charger)
|
||||||
|
# ==========================================================================
|
||||||
|
@dataclass
|
||||||
|
class StepReport:
|
||||||
|
order: int
|
||||||
|
action_id: str
|
||||||
|
action_type: str
|
||||||
|
by_text: str
|
||||||
|
method: str = ""
|
||||||
|
score: float = 0.0
|
||||||
|
x_pct: Optional[float] = None
|
||||||
|
y_pct: Optional[float] = None
|
||||||
|
status: str = "?" # OK / FAIL / SKIP / PAUSED
|
||||||
|
diag: str = ""
|
||||||
|
elapsed_ms: float = 0.0
|
||||||
|
|
||||||
|
|
||||||
|
# ==========================================================================
|
||||||
|
# Client mock
|
||||||
|
# ==========================================================================
|
||||||
|
class ReplayMockClient:
|
||||||
|
"""Simule l'Agent V1 contre le serveur de streaming."""
|
||||||
|
|
||||||
|
def __init__(
|
||||||
|
self,
|
||||||
|
base_url: str,
|
||||||
|
vwb_url: str,
|
||||||
|
token: str,
|
||||||
|
session_id: str,
|
||||||
|
machine_id: str,
|
||||||
|
screenshot_path: str,
|
||||||
|
verbose: bool = False,
|
||||||
|
auto_resume: bool = True,
|
||||||
|
execution_mode: str = "autonomous",
|
||||||
|
timeout_poll: float = 8.0,
|
||||||
|
single_step: Optional[int] = None,
|
||||||
|
max_iter: int = 200,
|
||||||
|
) -> None:
|
||||||
|
self.base_url = base_url.rstrip("/")
|
||||||
|
self.vwb_url = vwb_url.rstrip("/")
|
||||||
|
self.token = token
|
||||||
|
self.session_id = session_id
|
||||||
|
self.machine_id = machine_id
|
||||||
|
self.screenshot_path = screenshot_path
|
||||||
|
self.verbose = verbose
|
||||||
|
self.auto_resume = auto_resume
|
||||||
|
self.execution_mode = execution_mode
|
||||||
|
self.timeout_poll = timeout_poll
|
||||||
|
self.single_step = single_step
|
||||||
|
self.max_iter = max_iter
|
||||||
|
|
||||||
|
self._session = requests.Session()
|
||||||
|
if token:
|
||||||
|
self._session.headers.update({"Authorization": f"Bearer {token}"})
|
||||||
|
|
||||||
|
# cache du screenshot encodé (gros)
|
||||||
|
self._screenshot_b64: Optional[str] = None
|
||||||
|
self._screen_w: int = 1920
|
||||||
|
self._screen_h: int = 1080
|
||||||
|
self._load_screenshot()
|
||||||
|
|
||||||
|
self.replay_id: Optional[str] = None
|
||||||
|
self.reports: List[StepReport] = []
|
||||||
|
self._action_counter = 0
|
||||||
|
self._resumes_done = 0
|
||||||
|
|
||||||
|
# ---- helpers ------------------------------------------------------
|
||||||
|
def _load_screenshot(self) -> None:
|
||||||
|
from PIL import Image # imported lazily
|
||||||
|
|
||||||
|
with open(self.screenshot_path, "rb") as f:
|
||||||
|
data = f.read()
|
||||||
|
self._screenshot_b64 = base64.b64encode(data).decode("ascii")
|
||||||
|
with Image.open(self.screenshot_path) as img:
|
||||||
|
self._screen_w, self._screen_h = img.size
|
||||||
|
|
||||||
|
def _log(self, msg: str) -> None:
|
||||||
|
if self.verbose:
|
||||||
|
ts = time.strftime("%H:%M:%S")
|
||||||
|
print(f"[{ts}] {msg}", flush=True)
|
||||||
|
|
||||||
|
def _post(self, path: str, json_body: Dict[str, Any]) -> Dict[str, Any]:
|
||||||
|
url = f"{self.base_url}{path}"
|
||||||
|
if self.verbose:
|
||||||
|
self._log(f"POST {path} body={json.dumps(json_body)[:200]}")
|
||||||
|
resp = self._session.post(url, json=json_body, timeout=60)
|
||||||
|
if self.verbose:
|
||||||
|
self._log(f" → {resp.status_code} {resp.text[:300]}")
|
||||||
|
resp.raise_for_status()
|
||||||
|
return resp.json() if resp.text else {}
|
||||||
|
|
||||||
|
def _get(self, path: str, params: Optional[Dict[str, Any]] = None) -> Dict[str, Any]:
|
||||||
|
url = f"{self.base_url}{path}"
|
||||||
|
resp = self._session.get(url, params=params, timeout=self.timeout_poll)
|
||||||
|
resp.raise_for_status()
|
||||||
|
return resp.json() if resp.text else {}
|
||||||
|
|
||||||
|
# ---- lifecycle ----------------------------------------------------
|
||||||
|
def cancel_stale_replays(self) -> None:
|
||||||
|
"""Annule les replays running/paused pour cette machine, pour éviter les collisions."""
|
||||||
|
try:
|
||||||
|
data = self._get("/api/v1/traces/stream/replays")
|
||||||
|
except Exception as e:
|
||||||
|
self._log(f"cancel_stale: get replays échoué : {e}")
|
||||||
|
return
|
||||||
|
for r in data.get("replays", []):
|
||||||
|
if r.get("machine_id") == self.machine_id and r.get("status") in (
|
||||||
|
"running", "paused_need_help",
|
||||||
|
):
|
||||||
|
rid = r.get("replay_id")
|
||||||
|
self._log(f"cancel stale replay {rid} (status={r.get('status')})")
|
||||||
|
try:
|
||||||
|
self._post(f"/api/v1/traces/stream/replay/{rid}/cancel", {})
|
||||||
|
except Exception as e:
|
||||||
|
self._log(f"cancel {rid} échoué : {e}")
|
||||||
|
|
||||||
|
def register_session(self) -> None:
|
||||||
|
"""Enregistre la session de test côté serveur."""
|
||||||
|
# POST /register avec session_id en query (pas JSON body)
|
||||||
|
url = f"{self.base_url}/api/v1/traces/stream/register"
|
||||||
|
resp = self._session.post(
|
||||||
|
url,
|
||||||
|
params={"session_id": self.session_id, "machine_id": self.machine_id},
|
||||||
|
timeout=10,
|
||||||
|
)
|
||||||
|
resp.raise_for_status()
|
||||||
|
self._log(f"session registered : {self.session_id} (machine={self.machine_id})")
|
||||||
|
|
||||||
|
def start_replay(self, workflow_id: str) -> Dict[str, Any]:
|
||||||
|
"""Lance un replay via la chaîne réelle VWB → /replay/raw.
|
||||||
|
|
||||||
|
On reproduit ce que fait le frontend (ExecutionControls.tsx) :
|
||||||
|
1. GET /api/v3/workflow/{id} pour récupérer les steps
|
||||||
|
2. POST /api/v3/execute-windows avec actions[] + session_id/machine_id
|
||||||
|
(VWB charge les ancres, mappe les types, et POST sur /replay/raw)
|
||||||
|
"""
|
||||||
|
# 1. Récupérer le workflow et ses steps depuis VWB
|
||||||
|
wf_url = f"{self.vwb_url}/api/v3/workflow/{workflow_id}"
|
||||||
|
resp = self._session.get(wf_url, timeout=15)
|
||||||
|
resp.raise_for_status()
|
||||||
|
wf_data = resp.json()
|
||||||
|
steps = (
|
||||||
|
wf_data.get("steps")
|
||||||
|
or wf_data.get("workflow", {}).get("steps")
|
||||||
|
or []
|
||||||
|
)
|
||||||
|
if not steps:
|
||||||
|
raise RuntimeError(
|
||||||
|
f"Workflow {workflow_id} : aucune étape récupérée depuis VWB "
|
||||||
|
f"({wf_url})"
|
||||||
|
)
|
||||||
|
self._log(f"workflow {workflow_id} : {len(steps)} steps récupérées")
|
||||||
|
|
||||||
|
# 2. Construire le payload comme le frontend
|
||||||
|
actions = []
|
||||||
|
for i, step in enumerate(steps):
|
||||||
|
anchor = step.get("anchor") or {}
|
||||||
|
actions.append({
|
||||||
|
"action_id": step.get("id") or f"action_{i}",
|
||||||
|
"type": step.get("action_type"),
|
||||||
|
"parameters": step.get("parameters") or {},
|
||||||
|
"anchor_id": anchor.get("id") if anchor else step.get("anchor_id"),
|
||||||
|
"order": i,
|
||||||
|
})
|
||||||
|
|
||||||
|
# 3. POST /api/v3/execute-windows (VWB compile + forward au streaming)
|
||||||
|
execute_url = f"{self.vwb_url}/api/v3/execute-windows"
|
||||||
|
body = {
|
||||||
|
"workflow_id": workflow_id,
|
||||||
|
"session_id": self.session_id,
|
||||||
|
"machine_id": self.machine_id,
|
||||||
|
"actions": actions,
|
||||||
|
"params": {"execution_mode": self.execution_mode},
|
||||||
|
}
|
||||||
|
if self.verbose:
|
||||||
|
self._log(f"POST {execute_url} actions={len(actions)}")
|
||||||
|
resp = self._session.post(execute_url, json=body, timeout=60)
|
||||||
|
if resp.status_code != 200:
|
||||||
|
raise RuntimeError(
|
||||||
|
f"VWB execute-windows {resp.status_code} : {resp.text[:300]}"
|
||||||
|
)
|
||||||
|
data = resp.json()
|
||||||
|
self.replay_id = data.get("replay_id")
|
||||||
|
return data
|
||||||
|
|
||||||
|
def get_replay_status(self) -> Dict[str, Any]:
|
||||||
|
if not self.replay_id:
|
||||||
|
return {}
|
||||||
|
try:
|
||||||
|
return self._get(f"/api/v1/traces/stream/replay/{self.replay_id}")
|
||||||
|
except Exception:
|
||||||
|
return {}
|
||||||
|
|
||||||
|
def cancel_replay(self) -> None:
|
||||||
|
if not self.replay_id:
|
||||||
|
return
|
||||||
|
try:
|
||||||
|
self._post(f"/api/v1/traces/stream/replay/{self.replay_id}/cancel", {})
|
||||||
|
except Exception as e:
|
||||||
|
self._log(f"cancel replay échoué : {e}")
|
||||||
|
|
||||||
|
def resume_replay(self) -> None:
|
||||||
|
"""Auto-resume une pause (mode autonomous bypass mais supervised peut bloquer)."""
|
||||||
|
if not self.replay_id:
|
||||||
|
return
|
||||||
|
# Récupérer les checks à acquitter
|
||||||
|
ack: List[str] = []
|
||||||
|
try:
|
||||||
|
state = self.get_replay_status()
|
||||||
|
for c in state.get("safety_checks") or []:
|
||||||
|
if c.get("required"):
|
||||||
|
ack.append(c.get("id"))
|
||||||
|
except Exception:
|
||||||
|
pass
|
||||||
|
body: Dict[str, Any] = {"acknowledged_check_ids": ack}
|
||||||
|
try:
|
||||||
|
self._post(f"/api/v1/traces/stream/replay/{self.replay_id}/resume", body)
|
||||||
|
self._resumes_done += 1
|
||||||
|
self._log(f"resume OK (checks ack={ack})")
|
||||||
|
except Exception as e:
|
||||||
|
self._log(f"resume échoué : {e}")
|
||||||
|
|
||||||
|
# ---- dispatch d'actions ------------------------------------------
|
||||||
|
def resolve_target(self, target_spec: Dict[str, Any], strict: bool) -> Dict[str, Any]:
|
||||||
|
"""Appelle /replay/resolve_target côté serveur avec le screenshot fixture."""
|
||||||
|
body = {
|
||||||
|
"session_id": self.session_id,
|
||||||
|
"screenshot_b64": self._screenshot_b64 or "",
|
||||||
|
"target_spec": target_spec or {},
|
||||||
|
"fallback_x_pct": 0.5,
|
||||||
|
"fallback_y_pct": 0.5,
|
||||||
|
"screen_width": self._screen_w,
|
||||||
|
"screen_height": self._screen_h,
|
||||||
|
"strict_mode": strict,
|
||||||
|
}
|
||||||
|
return self._post("/api/v1/traces/stream/replay/resolve_target", body)
|
||||||
|
|
||||||
|
def dispatch(self, action: Dict[str, Any]) -> StepReport:
|
||||||
|
"""Simule l'exécution d'une action côté client et POST le résultat."""
|
||||||
|
self._action_counter += 1
|
||||||
|
action_id = action.get("action_id", f"unk_{self._action_counter}")
|
||||||
|
action_type = action.get("type", "?")
|
||||||
|
target_spec = action.get("target_spec") or {}
|
||||||
|
by_text = (target_spec.get("by_text") or "")[:40]
|
||||||
|
report = StepReport(
|
||||||
|
order=self._action_counter,
|
||||||
|
action_id=action_id,
|
||||||
|
action_type=action_type,
|
||||||
|
by_text=by_text,
|
||||||
|
)
|
||||||
|
t0 = time.time()
|
||||||
|
|
||||||
|
# ── Action visuelle : resolve_target puis renvoyer success ──
|
||||||
|
if action_type in ("click", "click_anchor", "double_click"):
|
||||||
|
try:
|
||||||
|
res = self.resolve_target(target_spec, strict=bool(action.get("success_strict")))
|
||||||
|
report.method = res.get("method", "?")
|
||||||
|
report.score = float(res.get("score") or 0.0)
|
||||||
|
report.x_pct = res.get("x_pct")
|
||||||
|
report.y_pct = res.get("y_pct")
|
||||||
|
resolved = bool(res.get("resolved"))
|
||||||
|
if not resolved:
|
||||||
|
report.status = "FAIL"
|
||||||
|
report.diag = res.get("reason", res.get("method", ""))[:80]
|
||||||
|
self._post_result(
|
||||||
|
action_id,
|
||||||
|
success=False,
|
||||||
|
error=f"resolve_failed:{report.method}",
|
||||||
|
actual_position=None,
|
||||||
|
resolution_method=report.method,
|
||||||
|
resolution_score=report.score,
|
||||||
|
resolution_elapsed_ms=res.get("elapsed_ms"),
|
||||||
|
target_spec=target_spec,
|
||||||
|
target_description=by_text,
|
||||||
|
)
|
||||||
|
else:
|
||||||
|
report.status = "OK"
|
||||||
|
self._post_result(
|
||||||
|
action_id,
|
||||||
|
success=True,
|
||||||
|
actual_position={"x_pct": report.x_pct, "y_pct": report.y_pct},
|
||||||
|
resolution_method=report.method,
|
||||||
|
resolution_score=report.score,
|
||||||
|
resolution_elapsed_ms=res.get("elapsed_ms"),
|
||||||
|
)
|
||||||
|
except Exception as e:
|
||||||
|
report.status = "FAIL"
|
||||||
|
report.diag = f"client_error:{e}"[:80]
|
||||||
|
self._post_result(action_id, success=False, error=str(e)[:200])
|
||||||
|
# ── Type texte / shortcut clavier / wait : on simule succès ──
|
||||||
|
elif action_type in ("type_text", "type", "keyboard_shortcut", "key_combo", "wait"):
|
||||||
|
report.status = "OK"
|
||||||
|
report.method = "simulated"
|
||||||
|
report.diag = f"{action_type} simulé"
|
||||||
|
self._post_result(action_id, success=True)
|
||||||
|
# ── Actions serveur (extract_text/table, t2a_decision) :
|
||||||
|
# ne devraient PAS arriver côté client (le serveur les exécute en
|
||||||
|
# interne dans /replay/next). On marque SKIP pour traçabilité.
|
||||||
|
elif action_type in ("extract_text", "extract_table", "t2a_decision"):
|
||||||
|
report.status = "SKIP"
|
||||||
|
report.method = "server_side"
|
||||||
|
report.diag = "(action serveur, exécutée en interne)"
|
||||||
|
else:
|
||||||
|
report.status = "OK"
|
||||||
|
report.method = "noop"
|
||||||
|
report.diag = f"action {action_type} non gérée → success simulé"
|
||||||
|
self._post_result(action_id, success=True)
|
||||||
|
|
||||||
|
report.elapsed_ms = (time.time() - t0) * 1000
|
||||||
|
self.reports.append(report)
|
||||||
|
return report
|
||||||
|
|
||||||
|
def _post_result(
|
||||||
|
self,
|
||||||
|
action_id: str,
|
||||||
|
success: bool,
|
||||||
|
error: Optional[str] = None,
|
||||||
|
warning: Optional[str] = None,
|
||||||
|
actual_position: Optional[Dict[str, float]] = None,
|
||||||
|
resolution_method: Optional[str] = None,
|
||||||
|
resolution_score: Optional[float] = None,
|
||||||
|
resolution_elapsed_ms: Optional[float] = None,
|
||||||
|
target_spec: Optional[Dict[str, Any]] = None,
|
||||||
|
target_description: Optional[str] = None,
|
||||||
|
) -> None:
|
||||||
|
body: Dict[str, Any] = {
|
||||||
|
"session_id": self.session_id,
|
||||||
|
"action_id": action_id,
|
||||||
|
"success": success,
|
||||||
|
}
|
||||||
|
if error:
|
||||||
|
body["error"] = error
|
||||||
|
if warning:
|
||||||
|
body["warning"] = warning
|
||||||
|
if actual_position:
|
||||||
|
body["actual_position"] = actual_position
|
||||||
|
if resolution_method:
|
||||||
|
body["resolution_method"] = resolution_method
|
||||||
|
if resolution_score is not None:
|
||||||
|
body["resolution_score"] = float(resolution_score)
|
||||||
|
if resolution_elapsed_ms is not None:
|
||||||
|
body["resolution_elapsed_ms"] = float(resolution_elapsed_ms)
|
||||||
|
# Pour ne pas que le verifier ouvre un Critic VLM (lent), on n'envoie
|
||||||
|
# PAS de screenshot_before/after (l'action sera marquée comme non
|
||||||
|
# vérifiée mais avancera quand même).
|
||||||
|
if target_spec:
|
||||||
|
body["target_spec"] = target_spec
|
||||||
|
if target_description:
|
||||||
|
body["target_description"] = target_description
|
||||||
|
try:
|
||||||
|
self._post("/api/v1/traces/stream/replay/result", body)
|
||||||
|
except Exception as e:
|
||||||
|
self._log(f"POST result échoué (action {action_id}) : {e}")
|
||||||
|
|
||||||
|
# ---- main loop ----------------------------------------------------
|
||||||
|
def run(self) -> None:
|
||||||
|
iter_count = 0
|
||||||
|
last_paused_logged = ""
|
||||||
|
empty_polls = 0
|
||||||
|
while iter_count < self.max_iter:
|
||||||
|
iter_count += 1
|
||||||
|
try:
|
||||||
|
resp = self._get(
|
||||||
|
"/api/v1/traces/stream/replay/next",
|
||||||
|
params={
|
||||||
|
"session_id": self.session_id,
|
||||||
|
"machine_id": self.machine_id,
|
||||||
|
},
|
||||||
|
)
|
||||||
|
except requests.exceptions.RequestException as e:
|
||||||
|
self._log(f"poll {iter_count} : erreur réseau {e}, retry dans 1s")
|
||||||
|
time.sleep(1)
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Pause supervisée (paused_need_help) ?
|
||||||
|
if resp.get("replay_paused"):
|
||||||
|
msg = (resp.get("pause_message") or "")[:120]
|
||||||
|
|
||||||
|
# Distinguer pause volontaire (user_request, safety_checks) vs
|
||||||
|
# pause d'échec (target_not_found, wrong_window, system_dialog).
|
||||||
|
# Pour les pauses d'échec, l'auto-resume relance la même action
|
||||||
|
# qui échouera encore — on ne resume qu'une fois max pour ne
|
||||||
|
# pas boucler infiniment.
|
||||||
|
state = self.get_replay_status()
|
||||||
|
failed = state.get("failed_action") or {}
|
||||||
|
pause_reason = failed.get("reason") or ""
|
||||||
|
is_failure_pause = pause_reason in (
|
||||||
|
"target_not_found", "wrong_window", "system_dialog",
|
||||||
|
)
|
||||||
|
|
||||||
|
if msg != last_paused_logged:
|
||||||
|
self._log(f"PAUSE ({pause_reason or 'user'}) : {msg}")
|
||||||
|
last_paused_logged = msg
|
||||||
|
|
||||||
|
# Marquer le report comme PAUSED (une seule fois)
|
||||||
|
if not self.reports or self.reports[-1].status != "PAUSED":
|
||||||
|
self._action_counter += 1
|
||||||
|
self.reports.append(
|
||||||
|
StepReport(
|
||||||
|
order=self._action_counter,
|
||||||
|
action_id=resp.get("replay_id", "?"),
|
||||||
|
action_type=f"pause:{pause_reason or 'user'}",
|
||||||
|
by_text=(failed.get("target_description") or "")[:32],
|
||||||
|
status="PAUSED",
|
||||||
|
diag=msg[:80],
|
||||||
|
)
|
||||||
|
)
|
||||||
|
|
||||||
|
if not self.auto_resume:
|
||||||
|
self._log("--auto-resume désactivé : on stoppe.")
|
||||||
|
break
|
||||||
|
|
||||||
|
if is_failure_pause and self._resumes_done > 5:
|
||||||
|
self._log(
|
||||||
|
f"Trop de resumes ({self._resumes_done}) sur des "
|
||||||
|
f"pauses d'échec — stop pour éviter la boucle."
|
||||||
|
)
|
||||||
|
break
|
||||||
|
|
||||||
|
time.sleep(0.5)
|
||||||
|
self.resume_replay()
|
||||||
|
last_paused_logged = ""
|
||||||
|
continue
|
||||||
|
|
||||||
|
action = resp.get("action")
|
||||||
|
if action is None:
|
||||||
|
# Pas d'action en attente : peut-être terminé, peut-être server_busy
|
||||||
|
if resp.get("server_busy"):
|
||||||
|
time.sleep(0.5)
|
||||||
|
continue
|
||||||
|
state = self.get_replay_status()
|
||||||
|
status = state.get("status", "?")
|
||||||
|
if status in ("completed", "cancelled", "error", "failed"):
|
||||||
|
self._log(f"replay terminé status={status}")
|
||||||
|
break
|
||||||
|
empty_polls += 1
|
||||||
|
if empty_polls > 30: # 30 polls vides = ~30s : on lève le doute
|
||||||
|
self._log("Trop de polls vides, on stoppe.")
|
||||||
|
break
|
||||||
|
time.sleep(0.5)
|
||||||
|
continue
|
||||||
|
empty_polls = 0
|
||||||
|
self.dispatch(action)
|
||||||
|
|
||||||
|
if self.single_step is not None and self._action_counter >= self.single_step:
|
||||||
|
self._log(f"--single-step {self.single_step} atteint, stop.")
|
||||||
|
break
|
||||||
|
|
||||||
|
if iter_count >= self.max_iter:
|
||||||
|
self._log(f"WARN : max_iter ({self.max_iter}) atteint.")
|
||||||
|
|
||||||
|
# Réconciliation : récupérer les actions exécutées côté serveur
|
||||||
|
# (extract_text, extract_table, t2a_decision) qui ne sont jamais
|
||||||
|
# passées par /replay/next côté client.
|
||||||
|
try:
|
||||||
|
state = self.get_replay_status()
|
||||||
|
seen_ids = {r.action_id for r in self.reports}
|
||||||
|
for res in state.get("results") or []:
|
||||||
|
aid = res.get("action_id")
|
||||||
|
if aid in seen_ids:
|
||||||
|
continue
|
||||||
|
# Heuristique : ce sont des actions serveur non vues
|
||||||
|
ok = bool(res.get("success"))
|
||||||
|
self._action_counter += 1
|
||||||
|
self.reports.append(StepReport(
|
||||||
|
order=self._action_counter,
|
||||||
|
action_id=aid or "?",
|
||||||
|
action_type="(server)",
|
||||||
|
by_text="",
|
||||||
|
method="server_side",
|
||||||
|
status="OK" if ok else "FAIL",
|
||||||
|
diag=(res.get("error") or "")[:60],
|
||||||
|
))
|
||||||
|
except Exception as e:
|
||||||
|
self._log(f"reconciliation skipped : {e}")
|
||||||
|
|
||||||
|
# ---- rapport ------------------------------------------------------
|
||||||
|
def render_report(self) -> str:
|
||||||
|
out: List[str] = []
|
||||||
|
out.append("")
|
||||||
|
out.append("| # | Type | by_text | Méthode | Score | Pos résolue | Status | Diag |")
|
||||||
|
out.append("|----|------------------|----------------------------------|----------------------|-------|----------------------|---------|------|")
|
||||||
|
for r in self.reports:
|
||||||
|
pos = (
|
||||||
|
f"({r.x_pct:.4f}, {r.y_pct:.4f})"
|
||||||
|
if r.x_pct is not None and r.y_pct is not None
|
||||||
|
else "-"
|
||||||
|
)
|
||||||
|
score = f"{r.score:.2f}" if r.method else "-"
|
||||||
|
out.append(
|
||||||
|
f"| {r.order:<2} | {r.action_type:<16} | {r.by_text[:32]:<32} | "
|
||||||
|
f"{r.method[:20]:<20} | {score:<5} | {pos:<20} | {r.status:<7} | {r.diag[:60]} |"
|
||||||
|
)
|
||||||
|
out.append("")
|
||||||
|
return "\n".join(out)
|
||||||
|
|
||||||
|
def export_expected(self, path: Path) -> None:
|
||||||
|
"""Sérialise les résolutions actuelles comme attendus de référence."""
|
||||||
|
data = {
|
||||||
|
"workflow_session_id": self.session_id,
|
||||||
|
"screenshot": str(self.screenshot_path),
|
||||||
|
"steps": [asdict(r) for r in self.reports],
|
||||||
|
}
|
||||||
|
if path.suffix in (".yaml", ".yml") and _yaml is not None:
|
||||||
|
path.write_text(_yaml.safe_dump(data, sort_keys=False, allow_unicode=True))
|
||||||
|
else:
|
||||||
|
# fallback JSON
|
||||||
|
path.write_text(json.dumps(data, indent=2, ensure_ascii=False))
|
||||||
|
self._log(f"Attendus exportés vers {path}")
|
||||||
|
|
||||||
|
def compare_to_expected(self, expected_path: Path) -> Tuple[int, int]:
|
||||||
|
"""Compare reports vs attendus. Retourne (matching, total)."""
|
||||||
|
if not expected_path.exists():
|
||||||
|
print(f"[expected] fichier introuvable : {expected_path}")
|
||||||
|
return (0, len(self.reports))
|
||||||
|
if expected_path.suffix in (".yaml", ".yml") and _yaml is not None:
|
||||||
|
expected = _yaml.safe_load(expected_path.read_text())
|
||||||
|
else:
|
||||||
|
expected = json.loads(expected_path.read_text())
|
||||||
|
steps = expected.get("steps") or []
|
||||||
|
ok = 0
|
||||||
|
for actual, exp in zip(self.reports, steps):
|
||||||
|
same_method = (actual.method == exp.get("method", "")) or (
|
||||||
|
actual.method.startswith("hybrid_") and exp.get("method", "").startswith("hybrid_")
|
||||||
|
)
|
||||||
|
same_status = actual.status == exp.get("status", "")
|
||||||
|
if same_method and same_status:
|
||||||
|
ok += 1
|
||||||
|
return (ok, len(steps) if steps else len(self.reports))
|
||||||
|
|
||||||
|
|
||||||
|
# ==========================================================================
|
||||||
|
# CLI
|
||||||
|
# ==========================================================================
|
||||||
|
def main(argv: Optional[List[str]] = None) -> int:
|
||||||
|
parser = argparse.ArgumentParser(
|
||||||
|
description="Harness E2E pour rejouer un workflow contre le serveur sans Léa V1."
|
||||||
|
)
|
||||||
|
parser.add_argument("--workflow-id", default="wf_a38aeebea5e6_1778162737",
|
||||||
|
help="ID du workflow (default: Urgence_aiva_demo)")
|
||||||
|
parser.add_argument("--shot", default=None,
|
||||||
|
help="Path screenshot fixture (default: dernier heartbeat)")
|
||||||
|
parser.add_argument("--base-url", default=DEFAULT_BASE_URL,
|
||||||
|
help="URL streaming server (default 5005)")
|
||||||
|
parser.add_argument("--vwb-url", default=DEFAULT_VWB_URL,
|
||||||
|
help="URL VWB backend (default 5002)")
|
||||||
|
parser.add_argument("--token", default=None,
|
||||||
|
help="RPA_API_TOKEN (default: lit .env.local)")
|
||||||
|
parser.add_argument("--session-id", default=None,
|
||||||
|
help="(default: test_e2e_<ts>)")
|
||||||
|
parser.add_argument("--machine-id", default=None,
|
||||||
|
help="(default: test_e2e_machine_<ts>)")
|
||||||
|
parser.add_argument("--auto-resume", action="store_true",
|
||||||
|
help="auto-acquitter pause_for_human")
|
||||||
|
parser.add_argument("--no-auto-resume", action="store_true",
|
||||||
|
help="stop dès qu'une pause est rencontrée")
|
||||||
|
parser.add_argument("--execution-mode", choices=("autonomous", "supervised"),
|
||||||
|
default="autonomous")
|
||||||
|
parser.add_argument("--single-step", type=int, default=None)
|
||||||
|
parser.add_argument("--verbose", action="store_true")
|
||||||
|
parser.add_argument("--timeout-poll", type=float, default=8.0)
|
||||||
|
parser.add_argument("--max-iter", type=int, default=200)
|
||||||
|
parser.add_argument("--export-expected", type=Path, default=None,
|
||||||
|
help="Exporter le run en YAML/JSON d'attendus")
|
||||||
|
parser.add_argument("--expected", type=Path, default=None,
|
||||||
|
help="Comparer le run à ce YAML/JSON d'attendus")
|
||||||
|
args = parser.parse_args(argv)
|
||||||
|
|
||||||
|
token = args.token or _load_token()
|
||||||
|
if not token:
|
||||||
|
print("WARN : pas de RPA_API_TOKEN trouvé.", file=sys.stderr)
|
||||||
|
|
||||||
|
shot = args.shot or _find_latest_heartbeat()
|
||||||
|
if not shot or not os.path.isfile(shot):
|
||||||
|
print(f"ERREUR : screenshot introuvable ({shot})", file=sys.stderr)
|
||||||
|
return 2
|
||||||
|
|
||||||
|
ts = time.strftime("%Y%m%dT%H%M%S")
|
||||||
|
session_id = args.session_id or f"test_e2e_sess_{ts}_{uuid.uuid4().hex[:6]}"
|
||||||
|
machine_id = args.machine_id or f"test_e2e_machine_{ts}"
|
||||||
|
|
||||||
|
auto_resume = True
|
||||||
|
if args.no_auto_resume:
|
||||||
|
auto_resume = False
|
||||||
|
if args.auto_resume:
|
||||||
|
auto_resume = True
|
||||||
|
|
||||||
|
print(f"[e2e] base_url={args.base_url}")
|
||||||
|
print(f"[e2e] workflow_id={args.workflow_id}")
|
||||||
|
print(f"[e2e] shot={shot}")
|
||||||
|
print(f"[e2e] session_id={session_id}")
|
||||||
|
print(f"[e2e] machine_id={machine_id}")
|
||||||
|
print(f"[e2e] mode={args.execution_mode} auto_resume={auto_resume}")
|
||||||
|
|
||||||
|
client = ReplayMockClient(
|
||||||
|
base_url=args.base_url,
|
||||||
|
vwb_url=args.vwb_url,
|
||||||
|
token=token,
|
||||||
|
session_id=session_id,
|
||||||
|
machine_id=machine_id,
|
||||||
|
screenshot_path=shot,
|
||||||
|
verbose=args.verbose,
|
||||||
|
auto_resume=auto_resume,
|
||||||
|
execution_mode=args.execution_mode,
|
||||||
|
timeout_poll=args.timeout_poll,
|
||||||
|
single_step=args.single_step,
|
||||||
|
max_iter=args.max_iter,
|
||||||
|
)
|
||||||
|
|
||||||
|
# Healthcheck
|
||||||
|
try:
|
||||||
|
h = requests.get(f"{args.base_url}/health", timeout=3).json()
|
||||||
|
if h.get("status") != "healthy":
|
||||||
|
print(f"WARN : serveur health={h}")
|
||||||
|
except Exception as e:
|
||||||
|
print(f"ERREUR : serveur injoignable sur {args.base_url} ({e})", file=sys.stderr)
|
||||||
|
return 3
|
||||||
|
|
||||||
|
client.cancel_stale_replays()
|
||||||
|
client.register_session()
|
||||||
|
|
||||||
|
t_start = time.time()
|
||||||
|
final_state: Dict[str, Any] = {}
|
||||||
|
try:
|
||||||
|
info = client.start_replay(args.workflow_id)
|
||||||
|
print(f"[e2e] replay_id={info.get('replay_id')} total_actions={info.get('total_actions')}")
|
||||||
|
client.run()
|
||||||
|
# Snapshot l'état AVANT cancel (sinon on voit toujours "cancelled")
|
||||||
|
try:
|
||||||
|
final_state = client.get_replay_status()
|
||||||
|
except Exception:
|
||||||
|
final_state = {}
|
||||||
|
finally:
|
||||||
|
# toujours annuler en sortie pour ne pas laisser un replay actif
|
||||||
|
try:
|
||||||
|
client.cancel_replay()
|
||||||
|
except Exception:
|
||||||
|
pass
|
||||||
|
|
||||||
|
elapsed = time.time() - t_start
|
||||||
|
print(client.render_report())
|
||||||
|
n_total = len(client.reports)
|
||||||
|
n_ok = sum(1 for r in client.reports if r.status == "OK")
|
||||||
|
n_skip = sum(1 for r in client.reports if r.status == "SKIP")
|
||||||
|
n_paused = sum(1 for r in client.reports if r.status == "PAUSED")
|
||||||
|
n_fail = sum(1 for r in client.reports if r.status == "FAIL")
|
||||||
|
print(
|
||||||
|
f"[e2e] {n_total} steps en {elapsed:.1f}s : "
|
||||||
|
f"OK={n_ok} SKIP={n_skip} PAUSED={n_paused} FAIL={n_fail} "
|
||||||
|
f"(resumes auto={client._resumes_done})"
|
||||||
|
)
|
||||||
|
if final_state:
|
||||||
|
print(
|
||||||
|
f"[e2e] final replay status={final_state.get('status')} "
|
||||||
|
f"completed={final_state.get('completed_actions')}/"
|
||||||
|
f"{final_state.get('total_actions')} "
|
||||||
|
f"failed={final_state.get('failed_actions')} "
|
||||||
|
f"retried={final_state.get('retried_actions')}"
|
||||||
|
)
|
||||||
|
for err in (final_state.get("error_log") or [])[-3:]:
|
||||||
|
print(f" ERR action_id={err.get('action_id')} "
|
||||||
|
f"error='{err.get('error')}' retry={err.get('retry_count')}")
|
||||||
|
|
||||||
|
if args.export_expected:
|
||||||
|
client.export_expected(args.export_expected)
|
||||||
|
|
||||||
|
if args.expected:
|
||||||
|
ok, total = client.compare_to_expected(args.expected)
|
||||||
|
print(f"[e2e] comparaison attendus : {ok}/{total} steps matchent")
|
||||||
|
if ok < total:
|
||||||
|
return 1
|
||||||
|
|
||||||
|
return 1 if n_fail else 0
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
sys.exit(main())
|
||||||
Reference in New Issue
Block a user