v1.0 - Version stable: multi-PC, détection UI-DETR-1, 3 modes exécution

- Frontend v4 accessible sur réseau local (192.168.1.40)
- Ports ouverts: 3002 (frontend), 5001 (backend), 5004 (dashboard)
- Ollama GPU fonctionnel
- Self-healing interactif
- Dashboard confiance

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
This commit is contained in:
Dom
2026-01-29 11:23:51 +01:00
parent 21bfa3b337
commit a27b74cf22
1595 changed files with 412691 additions and 400 deletions

View File

@@ -0,0 +1,81 @@
# Résumé Debug VWB - 22 Janvier 2026
## Problème principal
Les clics ne se font pas aux bons endroits. Les coordonnées enregistrées lors de la capture visuelle sont **incorrectes**.
## Exemple concret
- **Action souhaitée** : Cliquer sur le logo Ubuntu en bas à gauche de l'écran
- **Coordonnées attendues** : x≈30, y≈1050 (sur écran 1920x1080)
- **Coordonnées enregistrées** : x=572, y=72 (haut-milieu de l'écran!)
- **Résultat** : Le clic se fait au mauvais endroit
## Nouveau problème découvert
La miniature de l'ancre visuelle n'est pas conservée dans les paramètres de l'outil après sauvegarde.
## Modifications effectuées pendant cette session
### 1. Backend - catalog_routes.py
- **Ligne ~223** : Ajout logique pour utiliser Visual Search même si position éloignée quand confiance >= 85%
- **Ligne ~1116** : Visual Search **temporairement désactivé** pour tester les coordonnées statiques
```python
use_visual_search = False # TEMPORAIRE - à réactiver après fix
```
### 2. Frontend - VisualSelector/index.tsx
- **Ligne ~470** : Ajout de logs de diagnostic pour débugger le calcul des coordonnées
```javascript
console.log(`📐 [VisualSelector] DIAGNOSTIC COORDONNÉES:`);
console.log(` Canvas dimensions: ${canvas.width}x${canvas.height} (interne)`);
console.log(` Canvas CSS rect: ${rect.width.toFixed(0)}x${rect.height.toFixed(0)} (affiché)`);
// etc.
```
## Hypothèses sur la cause du bug de coordonnées
1. **Problème de scale CSS** : Le canvas a `maxWidth: '100%'` qui peut réduire sa taille affichée, créant un ratio scaleX/scaleY incorrect
2. **Problème dans handleMouseDown/handleMouseUp** : La conversion coordonnées souris → coordonnées canvas → coordonnées image originale pourrait être incorrecte
3. **Problème de positionnement du canvas** : Les coordonnées pourraient être calculées par rapport à un mauvais point de référence
## Fichiers clés à examiner
1. `/visual_workflow_builder/frontend/src/components/VisualSelector/index.tsx`
- `handleMouseDown` (ligne ~364) : Début de sélection
- `handleMouseUp` (ligne ~442) : Fin de sélection et calcul des coordonnées
- Variables : `imageScale`, `scaleX`, `scaleY`, `canvasSize`
2. `/visual_workflow_builder/backend/catalog_routes.py`
- Exécution des clics (ligne ~1070+)
- Visual Search (ligne ~80+)
3. `/visual_workflow_builder/backend/services/anchor_image_service.py`
- Sauvegarde des images d'ancres
## Prochaines étapes suggérées
1. **Faire une capture avec les logs de diagnostic** visibles dans la console pour voir les valeurs de scale
2. **Vérifier pourquoi la miniature n'est pas conservée** dans les paramètres après sauvegarde
3. **Corriger le calcul des coordonnées** dans VisualSelector une fois le problème identifié
4. **Réactiver Visual Search** une fois les coordonnées statiques corrigées
## Pour relancer les services
```bash
# Backend VWB
cd /home/dom/ai/rpa_vision_v3/visual_workflow_builder/backend
source ../venv/bin/activate
python app.py
# Frontend VWB
cd /home/dom/ai/rpa_vision_v3/visual_workflow_builder/frontend
npm start
```
## Logs utiles
- Backend : `/tmp/backend_vwb_new.log`
- Revue de code : `/visual_workflow_builder/REVUE_CODE_VWB_21JAN2026.md`