v1.0 - Version stable: multi-PC, détection UI-DETR-1, 3 modes exécution
- Frontend v4 accessible sur réseau local (192.168.1.40) - Ports ouverts: 3002 (frontend), 5001 (backend), 5004 (dashboard) - Ollama GPU fonctionnel - Self-healing interactif - Dashboard confiance Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
This commit is contained in:
81
visual_workflow_builder/RESUME_DEBUG_22JAN2026.md
Normal file
81
visual_workflow_builder/RESUME_DEBUG_22JAN2026.md
Normal file
@@ -0,0 +1,81 @@
|
||||
# Résumé Debug VWB - 22 Janvier 2026
|
||||
|
||||
## Problème principal
|
||||
Les clics ne se font pas aux bons endroits. Les coordonnées enregistrées lors de la capture visuelle sont **incorrectes**.
|
||||
|
||||
## Exemple concret
|
||||
- **Action souhaitée** : Cliquer sur le logo Ubuntu en bas à gauche de l'écran
|
||||
- **Coordonnées attendues** : x≈30, y≈1050 (sur écran 1920x1080)
|
||||
- **Coordonnées enregistrées** : x=572, y=72 (haut-milieu de l'écran!)
|
||||
- **Résultat** : Le clic se fait au mauvais endroit
|
||||
|
||||
## Nouveau problème découvert
|
||||
La miniature de l'ancre visuelle n'est pas conservée dans les paramètres de l'outil après sauvegarde.
|
||||
|
||||
## Modifications effectuées pendant cette session
|
||||
|
||||
### 1. Backend - catalog_routes.py
|
||||
- **Ligne ~223** : Ajout logique pour utiliser Visual Search même si position éloignée quand confiance >= 85%
|
||||
- **Ligne ~1116** : Visual Search **temporairement désactivé** pour tester les coordonnées statiques
|
||||
```python
|
||||
use_visual_search = False # TEMPORAIRE - à réactiver après fix
|
||||
```
|
||||
|
||||
### 2. Frontend - VisualSelector/index.tsx
|
||||
- **Ligne ~470** : Ajout de logs de diagnostic pour débugger le calcul des coordonnées
|
||||
```javascript
|
||||
console.log(`📐 [VisualSelector] DIAGNOSTIC COORDONNÉES:`);
|
||||
console.log(` Canvas dimensions: ${canvas.width}x${canvas.height} (interne)`);
|
||||
console.log(` Canvas CSS rect: ${rect.width.toFixed(0)}x${rect.height.toFixed(0)} (affiché)`);
|
||||
// etc.
|
||||
```
|
||||
|
||||
## Hypothèses sur la cause du bug de coordonnées
|
||||
|
||||
1. **Problème de scale CSS** : Le canvas a `maxWidth: '100%'` qui peut réduire sa taille affichée, créant un ratio scaleX/scaleY incorrect
|
||||
|
||||
2. **Problème dans handleMouseDown/handleMouseUp** : La conversion coordonnées souris → coordonnées canvas → coordonnées image originale pourrait être incorrecte
|
||||
|
||||
3. **Problème de positionnement du canvas** : Les coordonnées pourraient être calculées par rapport à un mauvais point de référence
|
||||
|
||||
## Fichiers clés à examiner
|
||||
|
||||
1. `/visual_workflow_builder/frontend/src/components/VisualSelector/index.tsx`
|
||||
- `handleMouseDown` (ligne ~364) : Début de sélection
|
||||
- `handleMouseUp` (ligne ~442) : Fin de sélection et calcul des coordonnées
|
||||
- Variables : `imageScale`, `scaleX`, `scaleY`, `canvasSize`
|
||||
|
||||
2. `/visual_workflow_builder/backend/catalog_routes.py`
|
||||
- Exécution des clics (ligne ~1070+)
|
||||
- Visual Search (ligne ~80+)
|
||||
|
||||
3. `/visual_workflow_builder/backend/services/anchor_image_service.py`
|
||||
- Sauvegarde des images d'ancres
|
||||
|
||||
## Prochaines étapes suggérées
|
||||
|
||||
1. **Faire une capture avec les logs de diagnostic** visibles dans la console pour voir les valeurs de scale
|
||||
|
||||
2. **Vérifier pourquoi la miniature n'est pas conservée** dans les paramètres après sauvegarde
|
||||
|
||||
3. **Corriger le calcul des coordonnées** dans VisualSelector une fois le problème identifié
|
||||
|
||||
4. **Réactiver Visual Search** une fois les coordonnées statiques corrigées
|
||||
|
||||
## Pour relancer les services
|
||||
|
||||
```bash
|
||||
# Backend VWB
|
||||
cd /home/dom/ai/rpa_vision_v3/visual_workflow_builder/backend
|
||||
source ../venv/bin/activate
|
||||
python app.py
|
||||
|
||||
# Frontend VWB
|
||||
cd /home/dom/ai/rpa_vision_v3/visual_workflow_builder/frontend
|
||||
npm start
|
||||
```
|
||||
|
||||
## Logs utiles
|
||||
|
||||
- Backend : `/tmp/backend_vwb_new.log`
|
||||
- Revue de code : `/visual_workflow_builder/REVUE_CODE_VWB_21JAN2026.md`
|
||||
Reference in New Issue
Block a user