feat(vwb): Ajouter SeeClick, Self-Healing interactif et Dashboard confiance
## Nouvelles fonctionnalités ### 1. SeeClick Adapter (visual grounding fallback) - Nouvel adapter pour le modèle SeeClick (HuggingFace) - Intégré dans la chaîne de fallback: CLIP → Template → SeeClick → Static - Localise les éléments GUI à partir de descriptions textuelles ### 2. Self-Healing Interactif - Dialogue qui propose des alternatives quand l'ancre n'est pas trouvée - L'utilisateur peut choisir: candidat alternatif, coords statiques, ou sauter - Nouveaux endpoints: /healing/status, /healing/choose, /healing/candidates - État "waiting_for_choice" pour mettre l'exécution en pause ### 3. Dashboard Confiance (temps réel) - Affiche les scores de confiance pendant l'exécution - Montre: méthode utilisée, distance, taux de succès - Interface pliable en bas à droite - Visible uniquement en mode intelligent/debug ## Fichiers ajoutés - core/detection/seeclick_adapter.py - frontend_v4/src/components/SelfHealingDialog.tsx - frontend_v4/src/components/ConfidenceDashboard.tsx ## Fichiers modifiés - core/detection/__init__.py - backend/services/intelligent_executor.py - backend/api_v3/execute.py - frontend_v4/src/App.tsx - frontend_v4/src/services/api.ts - docs/VISION_RPA_INTELLIGENT.md Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
This commit is contained in:
@@ -229,14 +229,23 @@ VWB génère des données pour entraîner le moteur principal :
|
||||
|
||||
## Prochaines Étapes
|
||||
|
||||
### Fait ✅
|
||||
1. [x] Frontend VWB v4 avec React Flow
|
||||
2. [ ] Toggle Mode Basique/Intelligent/Debug
|
||||
3. [ ] Intégration UI-DETR-1 pour détection
|
||||
4. [ ] Intégration SeeClick en fallback
|
||||
5. [ ] Overlay Debug (affichage bboxes)
|
||||
6. [ ] Export données d'apprentissage
|
||||
7. [ ] Connexion au moteur principal
|
||||
2. [x] Toggle Mode Basique/Intelligent/Debug
|
||||
3. [x] Intégration UI-DETR-1 pour détection
|
||||
4. [x] Overlay Debug (affichage bboxes en temps réel)
|
||||
5. [x] Exécution intelligente (template matching)
|
||||
6. [x] Sélection de zone de détection sur capture fixe
|
||||
7. [x] Intégration SeeClick en fallback (grounding) - 24 janvier 2026
|
||||
8. [x] Self-healing interactif (proposer alternatives quand échec) - 24 janvier 2026
|
||||
9. [x] Dashboard confiance (scores en temps réel) - 24 janvier 2026
|
||||
|
||||
### À faire
|
||||
10. [ ] Export données d'apprentissage (format JSON)
|
||||
11. [ ] Apprentissage des corrections (feedback loop)
|
||||
12. [ ] Connexion au moteur principal (agents autonomes)
|
||||
|
||||
---
|
||||
|
||||
*Document créé le 23 janvier 2026*
|
||||
*Mis à jour le 24 janvier 2026*
|
||||
|
||||
Reference in New Issue
Block a user