# Handoff fin de journée — 11 mai 2026

## 1. Contexte de la journée

- **Objectif initial** : démo Urgence_aiva_demo (rpa_vision_v3) prévue 16h pour l'équipe AIVANOV interne (DG, DSI, médecins, DIM, TIM).
- **Décision en cours d'après-midi** : démo reportée, vidéo commentée à enregistrer ultérieurement.
- **Workflow utilisé** : `Demo_urgence_2` (`wf_d04d2dc7c118_1778493082`), 18 steps, créé/recordé le matin.
- **Sessions** :
  - Claude Chat (cette session, audit méthode)
  - Claude Code (cette session, exécution / diagnostics / patches)
  - Autre session Claude Chat pour S2 arbre de décision (séparée).

---

## 2. État actuel de la stack (snapshot 2026-05-11 17:59 CEST)

| Service | Port | PID | État |
|---|---|---|---|
| Frontend VWB Vite | 3002 | 935784 (node) | ✅ LISTEN |
| Backend Flask VWB | 5002 | 4095891 | ✅ LISTEN |
| Agent chat / bus SocketIO | 5004 | 3568779 | ✅ LISTEN, bus ESTAB avec Léa (192.168.1.11:1031) |
| Streaming server | 5005 | 3830788 | ✅ LISTEN, 61 TIME-WAIT (polling Léa actif) |
| Ollama | 11434 | 3169222 + 423007 | ✅ LISTEN |
| Léa Windows | — | — | ✅ Polling actif depuis 17:51:23 (dernier démarrage observé). Bus connecté. SSH ESTAB. |

Dernier événement backend VWB : `17:59:28 GET /api/v3/replay/state/replay_free_b63cf1aa 200`.

---

## 3. Modifications de code appliquées aujourd'hui (toutes machines)

| # | Fichier | Lignes / nature | Statut | Backup | Validation runtime |
|---|---|---|---|---|---|
| 3.1 | `agent_v0/agent_v1/ui/chat_window.py` | Ajout `self.hide()` dans `_on_paused_resume` après émission resume (L1011) | **ROLLBACKÉ** en fin de journée pour test diagnostique (hypothèse focus système). Hypothèse **infirmée** mais rollback maintenu. | `docs/handoffs/2026-05-11_chat_window_avant_fix.py` | OUI (minimisation observée à 15:13/15:48). Mais cause indirecte suspectée puis disculpée. |
| 3.2 | `agent_v0/agent_v1/core/executor.py` | Ajout `time.sleep(0.5)` avant capture screenshot post-click (correction asymétrie click vs type/wait/scroll, L1289) | **ACTIF** côté Windows (déployé via SCP) | `docs/handoffs/2026-05-11_executor_avant_sleep_stabilisation.py` | PARTIELLE (a permis de débloquer le step 3 sans retry forcé en partie). |
| 3.3 | `agent_v0/server_v1/api_stream.py` | Extension `skip_verify` à `click` / `click_anchor` (L3409) | **ROLLBACKÉ** après découverte que la vérif pixel masquait un autre bug (clic à mauvaise position validé comme succès). | `docs/handoffs/2026-05-11_api_stream_avant_skipverify_click.py` | INVALIDÉ (a fait apparaître le bug "clic n'importe où"). |
| 3.4 | `visual_workflow_builder/backend/api_v3/dag_execute.py` | Ajout helper `_expand_extract_text_scroll_in_workflow` (+97 lignes) appelé dans `execute_dag()` (L554) | **INERTE** : endpoint `execute-dag` jamais appelé par le bouton "Exécuter" du frontend. | `docs/handoffs/2026-05-11_dag_execute_avant_expand.py` | NON (jamais exécuté). |
| 3.5 | `visual_workflow_builder/backend/api_v3/dag_execute.py` (suite) | Ajout helper `_expand_extract_text_scroll_in_actions` (+103 lignes) et appel en tête de `execute_windows()` (L1029) | **ACTIF**. C'est ce patch qui expanse réellement les `extract_text_scroll` en 6 sous-actions atomiques. | `docs/handoffs/2026-05-11_dag_execute_avant_patch_execute_windows.py` | PARTIELLE (jamais exécuté complètement à cause d'autres bloqueurs en amont — window-detection cassée). |
| 3.6 | BDD `workflows.db` | Renumérotation `Step.order` de Demo_urgence_2 : 18 steps passés de `order=0` (tous) à `order=0..17` distincts | **ACTIF** | `docs/handoffs/2026-05-11_pre_renum_demo_urgence_2.db` | OUI (badges UI 1..18 corrects, ordre respecté à l'exécution). |
| 3.7 | BDD `workflows.db` | Injection `by_text` sur 8 click_anchor de Demo_urgence_2 (orders 2, 4, 6, 8, 10, 13, 14, 16) | **ACTIF** | `docs/handoffs/2026-05-11_pre_inject_bytext_demo_urgence_2.db` | PARTIELLE (présent dans payload, mais pas suffisant pour rattraper la window-detection cassée). |

---

## 4. Diagnostics confirmés ou écartés aujourd'hui

### Confirmés

- Le frontend VWB appelle `/execute-windows`, **pas** `/execute-dag` ni `/execute/start`. Les deux derniers endpoints sont **dormants** (legacy/test).
- `execute_workflow_thread` itère les steps par `Step.order` SQL croissant (linéaire), les arêtes du canvas ne sont pas persistées en BDD et ne sont pas consultées par le runtime.
- `extract_text_scroll` n'était pas implémenté côté agent Léa Windows. Patch d'expansion serveur appliqué (cf 3.5).
- Léa fait du template_matching dans une **fenêtre cible** retournée par `get_active_window_rect()` (Win32 `GetForegroundWindow()`). Critère unique = foreground window à l'instant t. Aucun filtre sémantique (titre, ratio, taille minimale autre que `w>50, h>50`).
- À **5 occurrences sur 6** dans l'après-midi (15:48, 16:23, 17:02, 17:34, 17:53), `get_active_window_rect()` a retourné une bounding box absurde (typiquement `2560×108 (0, 1492)`). Conséquence : grounding `score=1.00` dans cette bande aberrante → clic à `(80, 1530)` au lieu de `(80, 563)`.
- L'absence de `expected_after` sur les click_anchor permet à Léa de continuer le workflow même quand un clic a atteint la mauvaise zone (l'écran "change" pixel-wise sans avoir atteint la page cible).

### Infirmés

- L'hypothèse "le fix `self.hide()` causait le déplacement de focus système et donc la mauvaise fenêtre détectée" n'est **pas** validée. Rollback de `chat_window.py` n'a pas restauré la bonne détection de fenêtre (bug `2560×108` réapparu à 17:53:32 après rollback).

### Non identifié

- Quel processus Windows exactement est retourné par `GetForegroundWindow()` lors des occurrences foireuses. Le code grounding ne loggue ni `title` ni `app_name` (trou d'observabilité documenté en S3.2.4).

---

## 5. Dette technique S3 — bugs structurels rpa_vision_v3

À traiter en priorité post-démo. Liste exhaustive de tout ce qu'on a identifié aujourd'hui.

### S3.1 — Architecture replay (PRIORITÉ HAUTE)

- **S3.1.1** Le `Step.order` BDD n'est pas synchronisé avec l'ordre visuel du canvas VWB. Les modifications d'ordre via drag-and-drop sur le canvas ne mettent pas à jour `step_order` côté BDD. L'agent exécute selon `Step.order` SQL ; le canvas est cosmétique pour l'exécution.
- **S3.1.2** Les nouveaux steps créés via le VWB ont systématiquement `step_order = 0`. Le code de création de step n'attribue jamais d'order incrémental. Bug structurel découvert en runtime aujourd'hui.
- **S3.1.3** Trois endpoints `/execute-windows`, `/execute-dag`, `/execute/start` coexistent ; un seul est utilisé. Architecture confuse. À simplifier (supprimer les morts ou unifier).
- **S3.1.4** Le helper `_expand_extract_text_scroll_in_workflow` patché aujourd'hui sur `execute-dag` est inerte. Si `execute-dag` est réactivé un jour, il faudra synchroniser avec `_expand_extract_text_scroll_in_actions` de `execute-windows`.
- **S3.1.5** Le contrat entre `execute_windows` et le streaming server n'est pas clair : certaines actions lisent les paramètres au top-level, d'autres dans `parameters`. Une "rustine défensive" duplique les valeurs aux deux endroits (cf `_expand_extract_text_scroll_in_actions`). À nettoyer.
- **S3.1.6** L'action `_concat_text_vars` est marquée serveur-only dans `_SERVER_SIDE_ACTION_TYPES` mais peut être envoyée à Léa par le chemin DAG. Asymétrie à corriger.

### S3.2 — Window-detection et grounding (PRIORITÉ TRÈS HAUTE)

- **S3.2.1** `get_active_window_rect()` dans `window_info_crossplatform.py` se base uniquement sur `GetForegroundWindow()` Win32. Aucun filtre sémantique : titre, process, ratio d'aspect, taille minimale réaliste, comparaison à la fenêtre attendue. Conséquence : bug récurrent `2560×108 (0, 1492)` qui a bloqué la démo aujourd'hui.
- **S3.2.2** Le mode "apprentissage par observation" de Léa (existant et fonctionnel) a une logique sophistiquée de détection de fenêtre (focus, titre, contexte, réflexes). Le mode "replay via VWB" hérite d'une logique window-detection minimaliste qui n'a jamais été unifiée. Chantier d'unification observation ↔ replay = priorité de fond.
- **S3.2.3** Le seul filtre actuel dans `grounding.py:144` est `w > 50 and h > 50`. Pas de docstring, ressemble à un check défensif minimal. À renforcer (h > 400, ratio < 5:1, comparaison au titre attendu).
- **S3.2.4** Aucun logging du `title` / `app_name` retourné par `_get_window_rect_windows()`. Trou d'observabilité majeur qui a empêché le diagnostic précis aujourd'hui. **Quick win pour demain** : ajouter 1 ligne de log.
- **S3.2.5** Le code path `click_anchor` peut emprunter un chemin "coordonnées passthrough" qui applique des `x_pct`/`y_pct` sur la fenêtre détectée sans vérification croisée par template_matching réel ni OCR du `by_text`. Le `score=1.00` retourné dans ce cas n'est pas un vrai score de match. Le contrat "valider visuellement avant cliquer" est de fait court-circuité quand la fenêtre détectée est correcte ; il est catastrophique quand elle est aberrante. **À investiguer** : identifier précisément la condition qui déclenche ce chemin passthrough vs le chemin "vrai grounding".

### S3.3 — Contrat de validation post-action (PRIORITÉ HAUTE)

- **S3.3.1** Un `click_anchor` est validé "réussi" dès que l'écran change pixel-wise. Aucune vérification que la page d'après contient bien le contenu attendu. Léa peut cliquer dans la barre des tâches Windows et déclarer "succès" parce que quelque chose a changé.
- **S3.3.2** Le mécanisme `expected_after` (texte attendu sur la page post-clic, vérifié par OCR) existe dans le code mais n'est exposé ni dans le VWB ni utilisé sur les workflows actuels. À activer et à imposer pour les click_anchor critiques.
- **S3.3.3** La vérification pixel post-click (`verify_action`) compare AVANT et APRÈS et déclenche un retry si le diff est "ambigu". En cas de navigation entre pages, cette logique génère des retries inutiles. Repensé via `skip_verify` aujourd'hui puis rollbacké. À revisiter.

### S3.4 — Recording VWB (PRIORITÉ MOYENNE)

- **S3.4.1** Le recording VWB doit générer automatiquement le `by_text` quand un élément textuel est cliqué (LLM caption ou OCR du voisinage de l'ancre). Sans ça, workflows fragiles (vérifié aujourd'hui : workflow recordé sans `by_text` → comportements aberrants).
- **S3.4.2** L'UI Propriétés VWB n'expose pas le champ `by_text` pour édition manuelle. À ajouter.
- **S3.4.3** Le champ `variable_name` du VWB accepte des templates `{{...}}` qui sont stockés littéralement (ex : `"{{t_motif_admission}}"`). Devrait soit refuser, soit stripper, soit clarifier le sens du champ.
- **S3.4.4** Le VWB n'a pas de validation de cohérence entre l'ordre du canvas et l'ordre BDD à la sauvegarde. Devrait soit refuser la sauvegarde si incohérent, soit recalculer.
- **S3.4.5** `extract_text_scroll` peut être créé dans le VWB sans `anchor_id`. Le runtime peut l'expanser via le patch d'aujourd'hui, mais comportement à valider.
- **S3.4.6** Hallucination VLM systématique sur les chiffres longs : "25003284" lu comme "250003284" (8 vs 9 chiffres). Probablement lié à `qwen2.5vl:3b` (modèle léger). Affecte la description d'ancre, pas le `target_text` OCR ni le `by_text`. Cosmétique mais visible.

### S3.5 — Synchronisation UI VWB ↔ Léa (PRIORITÉ BASSE)

- **S3.5.1** Le PauseDialog du VWB et la bulle Léa s'affichent **en parallèle** sur `pause_for_human`. Aucun n'a la priorité, le premier à répondre gagne. Confusion UX. Quatre options de fix identifiées (A/B/C/D), aucune implémentée aujourd'hui.
- **S3.5.2** La bulle Léa cache parfois ses boutons Continuer/Annuler sous le scroll. UX à fixer (boutons en sticky).
- **S3.5.3** Le bus SocketIO côté Léa est conditionné par la variable d'environnement `LEA_FEEDBACK_BUS=1`. Si non défini, le bus n'est pas instancié → `pause_for_human` ne peut pas reprendre via Léa. Comportement non documenté.
- **S3.5.4** Le service `agent_chat` (port 5004) n'est pas systématiquement démarré. Si absent, le bus reste déconnecté même avec `LEA_FEEDBACK_BUS=1`. À automatiser.

### S3.6 — Observabilité et traçabilité (PRIORITÉ MOYENNE)

- **S3.6.1** Le backend Flask VWB ne loggue pas les payloads des requêtes (uniquement werkzeug INFO). Impossible de reconstituer une session passée. Ajouter `@app.before_request` qui loggue body + URL en debug.
- **S3.6.2** Le champ `workflows.updated_at` n'est pas rafraîchi lors des modifications de steps. Trompeur. À corriger.
- **S3.6.3** `ReplayVerifier` est instancié globalement sans paramètres dans `api_stream.py:52`. Les seuils sont hardcodés dans `replay_verifier.py`, les env vars sont ignorées. Bug architectural à corriger.
- **S3.6.4** Le canvas VWB affiche le badge `step.order + 1` (`StepNode.tsx:104`). Bug cosmétique qui crée une divergence entre les badges visibles et l'order BDD. Convention à uniformiser (0-based ou 1-based partout).

---

## 6. Plan de reprise demain matin

### Priorité 1 — Observabilité minimale (15 min)

Ajouter dans `grounding.py:152` un log qui affiche `win_info["title"]` et `win_info["app_name"]`. Redéployer Léa. Au prochain run, on saura précisément quelle fenêtre Windows est ramassée à tort.

### Priorité 2 — Sanity check window-detection (30 min)

Dans `_get_window_rect_windows()` ou dans le caller : rejeter les fenêtres dont le ratio `width/height > 5` ou hauteur `< 400 px`. Fallback : écran entier. Permet de débloquer le runtime sans refonte profonde.

### Priorité 3 — Unification observation ↔ replay (chantier de fond, plusieurs jours)

Identifier dans le code de l'apprentissage par observation les fonctions de détection de fenêtre par titre/process. Les exposer en API interne. Refactor du replay pour les consommer. **C'est le vrai chantier.**

---

## 7. Choses qui marchent bien (à préserver)

- Le diagnostic SQL sur la BDD `workflows.db` (commandes `sqlite3` directes ont permis de comprendre rapidement l'état du workflow).
- La méthode "investigation lecture seule puis décision" appliquée plusieurs fois aujourd'hui.
- Le système de backups binaires de la BDD avant chaque modif structurelle.
- La séparation Linux (VWB / streaming / Ollama) et Windows (Léa) qui a permis d'isoler les fixes.
- Le watch SQL en monitoring pendant le recording (à utiliser systématiquement à l'avenir).

---

## 8. Choses à NE PAS faire demain

- Reprendre les diagnostics où on en est ce soir. **Repartir frais.**
- Tenter un fix sans avoir d'abord rétabli l'observabilité (S3.6).
- Modifier le code Léa Windows et le code Linux dans le même incrément sans tester chaque étape.
- Repousser les nettoyages S3 "encore un peu" → ils sont la cause des problèmes d'aujourd'hui.