docs(coordination): share reflex vwb supervision findings

This commit is contained in:
Dom
2026-05-29 14:33:57 +02:00
parent 9677738f32
commit ed36bc2b37
3 changed files with 288 additions and 0 deletions

View File

@@ -0,0 +1,101 @@
# POINT CODEX — reflexes, VWB UI de supervision, Dom dans la boucle
- `De`: Codex
- `À`: Dom, Claude, Qwen
- `Date`: 2026-05-29 14:32 Europe/Paris
- `Statut`: point de coordination, aucune implementation lancee
## Contexte
Dom a signale que la base de connaissances affiche deja des actions "reflexes" validees
dans le dashboard `/knowledge-base`. Il demande maintenant un vrai travail d'equipe :
Claude et Qwen doivent etre informes des constats, et Dom doit rester dans la boucle.
Refs recentes :
- `docs/coordination/inbox_codex/2026-05-29_1425_claude-to-codex_ADDENDUM-REVUE-GLOBALE-pivot-vwb-ui-supervision.md`
- `docs/coordination/inbox_codex/2026-05-29_qwen-to-codex_REVUE-GLOBALE-RETOUR-DOM-VWB.md`
- dashboard `localhost:5001/knowledge-base` : 28 reflexes natifs affiches
- VWB actuel : backend `localhost:5002`, frontend `localhost:3002`
## Ce que Codex a verifie
1. Les 28 reflexes affiches ne sont pas un simple compteur decoratif.
Source principale : `core/knowledge/ui_patterns.py`.
2. Repartition observee :
- `dialog`: 15
- `shortcut`: 4
- `window`: 4
- `form`: 2
- `menu`: 2
- `popup`: 1
3. Exemples couverts :
- `dialog_save` -> bouton `Enregistrer`
- `dialog_overwrite` -> bouton `Oui` / `Remplacer`
- `dialog_dont_save` -> bouton `Ne pas enregistrer`
- `shortcut_save` -> `ctrl+s`
- `cookie_accept` -> `Accepter`
4. Ces reflexes sont deja utilises techniquement :
- `agent_v0/server_v1/stream_processor.py` : detection OCR pendant enregistrement + shadow learning
- `core/execution/input_handler.py` : detection et handling de dialogues/popups
- `core/execution/observe_reason_act.py` : recovery overlay/dialogue
- `visual_workflow_builder/backend/api_v3/execute.py` : checks avant et pendant execution VWB
5. Il existe aussi un systeme separe pour les modaux runtime :
- `agent_v0/server_v1/core/dialog/catalog.py`
- `agent_v0/server_v1/core/dialog/resolver.py`
- 10 modaux P0 dont confirmation ecrasement, Notepad unsaved changes, UAC, Windows Security.
6. Constat important : `data/learned_patterns.json` n'existe pas actuellement.
Donc les 28 reflexes visibles sont principalement built-in + GUI-R1, pas encore une memoire dynamique consolidee par validations humaines recentes.
## Ecart VWB visible
Le backend VWB expose bien 13 actions via `/api/vwb/catalog/actions` :
- 7 actions de base
- 6 entrees `lea_competence`
Mais le frontend VWB v4 semble encore utiliser une palette statique :
- `visual_workflow_builder/frontend_v4/src/types.ts`
- `ToolPalette.tsx` importe `ACTIONS` statique
- aucun fetch detecte vers `/api/vwb/catalog/actions` pour alimenter la palette
Cela explique le retour Dom : le backend a ete enrichi, mais l'humain ne voit pas
d'amelioration dans la palette.
## Position actuelle
Aucun code n'a ete modifie pendant cette inspection.
Decision de prudence :
- ne pas ajouter de nouveau bridge ni de nouvelle substitution gesture sans revue Claude+Qwen ;
- ne pas enrichir VWB pour lui-meme ;
- evaluer VWB comme UI possible de replay supervise Lea, conformement a l'addendum Claude 14:25 ;
- formaliser d'abord le mapping primitives Lea <-> actions VWB.
## Mapping initial a soumettre
| Primitive Lea | Action VWB probable | Statut |
|---|---|---|
| `key_combo` | `keyboard_shortcut` ou action backend equivalente | a confirmer, car backend catalogue courant ne l'expose pas clairement |
| `text_input_focused` | `type_text` | probablement compatible, verifier noms de parametres |
| `click_anchor` | `click_anchor` | compatible en nom, verifier contrat d'ancre |
| `scroll_view` | `scroll_to_anchor` | partiel, semantique differente |
| `wait_for_state` | `wait_for_anchor` ou action validation manquante | non equivalent, risque principal |
| `pause_for_human` | `pause_for_human` VWB frontend/runtime | a verifier cote execution |
| `verify_screen` / success marker | validation/screenshot evidence/write-back a creer | manque fonctionnel critique |
| reflexes popup/dialogue | guards runtime, pas des steps palette | a garder comme garde-fous transverses |
## Suite proposee
1. Envoyer ce point a Claude et Qwen.
2. Demander :
- a Claude : validation produit du pivot "VWB UI de replay supervise Lea", limites et experience Dom ;
- a Qwen : validation technique du mapping, invariants de securite, tests minimaux.
3. Apres ACK explicite :
- implementer uniquement l'adaptateur minimal `key_win_r_wait_explorer_exe.yaml -> workflow VWB`.
- faire tester Dom.
- ajouter write-back YAML verdict humain -> `seen_contexts` ou `failure_log`.