rpa_vision_v3/docs/guides/GUIDE_TEST_COMPLET_RPA_VISION.md

🎯 Guide de Test Complet - RPA Vision V3

✅ État du Système - PRÊT POUR TESTS RÉELS

Services Production Actifs

• ✅ API Server (port 8000) - Fonctionnel
• ✅ Dashboard (port 5001) - Fonctionnel
• ✅ Worker - Traitement externe actif
• ✅ Agent V0 - Prêt pour capture
• ✅ GPU - NVIDIA GeForce RTX 5070 disponible
• ✅ Ollama - qwen3-vl:8b model disponible

Token d'Accès Dashboard

http://localhost:5001/?token=1ad8316da655cb465750619b516f68a9d90728e2cdf80becb5

🚀 Plan de Test Complet

Phase 1: Test de Capture Agent V0

1.1 Lancement de l'Agent

./run.sh --agent

Résultat attendu:

• Icône apparaît dans la zone de notification (system tray)
• Icône grise = inactif
• Clic droit → menu avec "Start session"

1.2 Test de Capture Simple

1. Clic gauche sur l'icône → Start session
2. Icône devient verte = enregistrement actif
3. Effectuer quelques actions:
   • Ouvrir une application (navigateur, éditeur de texte)
   • Cliquer sur quelques éléments
   • Taper du texte
   • Utiliser des raccourcis (Ctrl+C, Ctrl+V)
4. Clic gauche sur l'icône → Stop session
5. Vérifier upload automatique dans les logs

1.3 Vérification des Données

# Vérifier sessions locales
ls -la agent_v0/sessions/

# Vérifier logs agent
tail -f agent_v0/logs/agent_v0.log

Phase 2: Vérification Pipeline de Traitement

2.1 Monitoring Dashboard

1. Ouvrir: http://localhost:5001/?token=1ad8316da655cb465750619b516f68a9d90728e2cdf80becb5
2. Vérifier: Sessions uploadées apparaissent
3. Observer: Progression du traitement (OBSERVATION → COACHING)

2.2 API Status

# Vérifier queue de traitement
curl http://localhost:8000/api/traces/queue

# Vérifier sessions
curl http://localhost:8000/api/traces/sessions

# Vérifier status
curl http://localhost:8000/api/traces/status

Phase 3: Test d'Apprentissage Progressif

3.1 Workflow Répétitif (5+ fois)

Scénario suggéré: Workflow de connexion/navigation

1. Ouvrir navigateur
2. Aller sur un site (ex: github.com)
3. Cliquer sur "Sign in"
4. Remplir champs (sans vraies données sensibles)
5. Naviguer dans l'interface

Répéter 5-10 fois pour déclencher l'apprentissage automatique.

3.2 Monitoring de l'Apprentissage

• Dashboard: Observer progression OBSERVATION → COACHING
• Logs Worker: sudo journalctl -u rpa-vision-v3-worker -f
• Embeddings: Vérifier création dans data/embeddings/
• FAISS Index: Vérifier construction dans data/faiss_index/

Phase 4: Test des Composants Avancés

4.1 Visual Workflow Builder

# Lancer en parallèle
./run.sh --workflow

• URL: http://localhost:3000
• Test: Création de workflow visuel
• Intégration: Import des sessions capturées

4.2 Self-Healing

# Test du système d'auto-guérison
python3 demo_self_healing.py

4.3 Analytics

# Test du système d'analytics
python3 demo_analytics.py

🔍 Points de Contrôle Critiques

Capture Agent V0

• Agent démarre sans erreur
• Icône tray fonctionnelle
• Capture screenshots (mode crop)
• Capture clics souris
• Capture combos clavier
• Upload automatique vers API
• Gestion des erreurs réseau

Pipeline de Traitement

• Réception sessions par API
• Traitement par Worker externe
• Création ScreenState (Layer 1)
• Détection UIElement (Layer 2)
• Génération embeddings (Layer 3)
• Construction workflow graph (Layer 4)

Apprentissage Automatique

• Progression OBSERVATION (5+ sessions)
• Transition vers COACHING (10+ sessions)
• Amélioration précision matching
• Construction index FAISS
• Persistance des apprentissages

Intégration Système

• Communication Agent ↔ API
• Communication API ↔ Worker
• Communication Worker ↔ Dashboard
• Persistance données
• Monitoring temps réel

🐛 Dépannage

Agent V0 ne démarre pas

# Vérifier dépendances
source venv_v3/bin/activate
pip install pystray mss pynput cryptography

# Vérifier logs
tail -f agent_v0/logs/agent_v0.log

Upload échoue

# Vérifier API
curl http://localhost:8000/healthz

# Vérifier services
sudo systemctl status 'rpa-vision-v3-*'

Traitement bloqué

# Vérifier worker
sudo journalctl -u rpa-vision-v3-worker -f

# Vérifier queue
curl http://localhost:8000/api/traces/queue

📊 Métriques de Succès

Performance Attendue

• Capture: 30+ FPS screenshots
• Upload: < 5 secondes par session
• Traitement: < 30 secondes par session
• Précision BBOX: ~95% (amélioré de ~60%)
• Matching: >90% après 10+ sessions

Progression d'Apprentissage

1. Sessions 1-5: OBSERVATION - Collecte de données
2. Sessions 6-10: COACHING - Patterns émergents
3. Sessions 11-20: AUTO_CANDIDATE - Automatisation partielle
4. Sessions 20+: AUTO_CONFIRMED - Automatisation complète

🎯 Scénarios de Test Recommandés

Scénario 1: Workflow Bureautique

• Ouvrir LibreOffice/Word
• Créer nouveau document
• Taper texte, formater
• Sauvegarder
• Répéter 10 fois

Scénario 2: Navigation Web

• Ouvrir navigateur
• Recherche Google
• Cliquer sur résultats
• Navigation dans site
• Répéter 10 fois

Scénario 3: Gestion Fichiers

• Ouvrir gestionnaire fichiers
• Créer dossier
• Copier/coller fichiers
• Renommer éléments
• Répéter 10 fois

🚀 Commandes Rapides

# Lancement complet
./run.sh --full

# Agent seul
./run.sh --agent

# Monitoring
./run.sh --dashboard

# Status système
./run.sh --status

# Tests rapides
./test_quick.sh

# Logs temps réel
sudo journalctl -u rpa-vision-v3-worker -f
tail -f agent_v0/logs/agent_v0.log

📈 Résultats Attendus

Après 10+ sessions d'un même workflow, vous devriez observer:

1. Dashboard: Progression visible OBSERVATION → COACHING
2. Précision: Amélioration du matching des éléments UI
3. Vitesse: Réduction du temps de traitement
4. Robustesse: Adaptation aux variations d'interface
5. Workflows: Génération automatique de graphes exécutables

---

🎉 Votre système RPA Vision V3 est prêt pour des tests réels d'apprentissage automatique!

Commencez par ./run.sh --agent et suivez ce guide étape par étape.