rpa_vision_v3/visual_workflow_builder/RESUME_DEBUG_22JAN2026.md

Résumé Debug VWB - 22 Janvier 2026

Problème principal

Les clics ne se font pas aux bons endroits. Les coordonnées enregistrées lors de la capture visuelle sont incorrectes.

Exemple concret

• Action souhaitée : Cliquer sur le logo Ubuntu en bas à gauche de l'écran
• Coordonnées attendues : x≈30, y≈1050 (sur écran 1920x1080)
• Coordonnées enregistrées : x=572, y=72 (haut-milieu de l'écran!)
• Résultat : Le clic se fait au mauvais endroit

Nouveau problème découvert

La miniature de l'ancre visuelle n'est pas conservée dans les paramètres de l'outil après sauvegarde.

Modifications effectuées pendant cette session

1. Backend - catalog_routes.py

• Ligne ~223 : Ajout logique pour utiliser Visual Search même si position éloignée quand confiance >= 85%
• Ligne ~1116 : Visual Search temporairement désactivé pour tester les coordonnées statiques

  use_visual_search = False  # TEMPORAIRE - à réactiver après fix
  

2. Frontend - VisualSelector/index.tsx

• Ligne ~470 : Ajout de logs de diagnostic pour débugger le calcul des coordonnées

  console.log(`📐 [VisualSelector] DIAGNOSTIC COORDONNÉES:`);
  console.log(`   Canvas dimensions: ${canvas.width}x${canvas.height} (interne)`);
  console.log(`   Canvas CSS rect: ${rect.width.toFixed(0)}x${rect.height.toFixed(0)} (affiché)`);
  // etc.
  

Hypothèses sur la cause du bug de coordonnées

1. Problème de scale CSS : Le canvas a maxWidth: '100%' qui peut réduire sa taille affichée, créant un ratio scaleX/scaleY incorrect

2. Problème dans handleMouseDown/handleMouseUp : La conversion coordonnées souris → coordonnées canvas → coordonnées image originale pourrait être incorrecte

3. Problème de positionnement du canvas : Les coordonnées pourraient être calculées par rapport à un mauvais point de référence

Fichiers clés à examiner

1. /visual_workflow_builder/frontend/src/components/VisualSelector/index.tsx

   • handleMouseDown (ligne ~364) : Début de sélection
   • handleMouseUp (ligne ~442) : Fin de sélection et calcul des coordonnées
   • Variables : imageScale, scaleX, scaleY, canvasSize

2. /visual_workflow_builder/backend/catalog_routes.py

   • Exécution des clics (ligne ~1070+)
   • Visual Search (ligne ~80+)

3. /visual_workflow_builder/backend/services/anchor_image_service.py

   • Sauvegarde des images d'ancres

Prochaines étapes suggérées

1. Faire une capture avec les logs de diagnostic visibles dans la console pour voir les valeurs de scale

2. Vérifier pourquoi la miniature n'est pas conservée dans les paramètres après sauvegarde

3. Corriger le calcul des coordonnées dans VisualSelector une fois le problème identifié

4. Réactiver Visual Search une fois les coordonnées statiques corrigées

Pour relancer les services

# Backend VWB
cd /home/dom/ai/rpa_vision_v3/visual_workflow_builder/backend
source ../venv/bin/activate
python app.py

# Frontend VWB
cd /home/dom/ai/rpa_vision_v3/visual_workflow_builder/frontend
npm start

Logs utiles

• Backend : /tmp/backend_vwb_new.log
• Revue de code : /visual_workflow_builder/REVUE_CODE_VWB_21JAN2026.md