feat(vwb): Ajouter SeeClick, Self-Healing interactif et Dashboard confiance

## Nouvelles fonctionnalités

### 1. SeeClick Adapter (visual grounding fallback)
- Nouvel adapter pour le modèle SeeClick (HuggingFace)
- Intégré dans la chaîne de fallback: CLIP → Template → SeeClick → Static
- Localise les éléments GUI à partir de descriptions textuelles

### 2. Self-Healing Interactif
- Dialogue qui propose des alternatives quand l'ancre n'est pas trouvée
- L'utilisateur peut choisir: candidat alternatif, coords statiques, ou sauter
- Nouveaux endpoints: /healing/status, /healing/choose, /healing/candidates
- État "waiting_for_choice" pour mettre l'exécution en pause

### 3. Dashboard Confiance (temps réel)
- Affiche les scores de confiance pendant l'exécution
- Montre: méthode utilisée, distance, taux de succès
- Interface pliable en bas à droite
- Visible uniquement en mode intelligent/debug

## Fichiers ajoutés
- core/detection/seeclick_adapter.py
- frontend_v4/src/components/SelfHealingDialog.tsx
- frontend_v4/src/components/ConfidenceDashboard.tsx

## Fichiers modifiés
- core/detection/__init__.py
- backend/services/intelligent_executor.py
- backend/api_v3/execute.py
- frontend_v4/src/App.tsx
- frontend_v4/src/services/api.ts
- docs/VISION_RPA_INTELLIGENT.md

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
This commit is contained in:
Dom
2026-01-24 02:34:01 +01:00
parent f04f156144
commit 21bfa3b337
9 changed files with 1656 additions and 13 deletions

View File

@@ -229,14 +229,23 @@ VWB génère des données pour entraîner le moteur principal :
## Prochaines Étapes
### Fait ✅
1. [x] Frontend VWB v4 avec React Flow
2. [ ] Toggle Mode Basique/Intelligent/Debug
3. [ ] Intégration UI-DETR-1 pour détection
4. [ ] Intégration SeeClick en fallback
5. [ ] Overlay Debug (affichage bboxes)
6. [ ] Export données d'apprentissage
7. [ ] Connexion au moteur principal
2. [x] Toggle Mode Basique/Intelligent/Debug
3. [x] Intégration UI-DETR-1 pour détection
4. [x] Overlay Debug (affichage bboxes en temps réel)
5. [x] Exécution intelligente (template matching)
6. [x] Sélection de zone de détection sur capture fixe
7. [x] Intégration SeeClick en fallback (grounding) - 24 janvier 2026
8. [x] Self-healing interactif (proposer alternatives quand échec) - 24 janvier 2026
9. [x] Dashboard confiance (scores en temps réel) - 24 janvier 2026
### À faire
10. [ ] Export données d'apprentissage (format JSON)
11. [ ] Apprentissage des corrections (feedback loop)
12. [ ] Connexion au moteur principal (agents autonomes)
---
*Document créé le 23 janvier 2026*
*Mis à jour le 24 janvier 2026*