# 🎯 Guide de Test Complet - RPA Vision V3 ## ✅ État du SystĂšme - PRÊT POUR TESTS RÉELS ### Services Production Actifs - **✅ API Server** (port 8000) - Fonctionnel - **✅ Dashboard** (port 5001) - Fonctionnel - **✅ Worker** - Traitement externe actif - **✅ Agent V0** - PrĂȘt pour capture - **✅ GPU** - NVIDIA GeForce RTX 5070 disponible - **✅ Ollama** - qwen3-vl:8b model disponible ### Token d'AccĂšs Dashboard ``` http://localhost:5001/?token=1ad8316da655cb465750619b516f68a9d90728e2cdf80becb5 ``` ## 🚀 Plan de Test Complet ### Phase 1: Test de Capture Agent V0 #### 1.1 Lancement de l'Agent ```bash ./run.sh --agent ``` **RĂ©sultat attendu:** - IcĂŽne apparaĂźt dans la zone de notification (system tray) - IcĂŽne grise = inactif - Clic droit → menu avec "Start session" #### 1.2 Test de Capture Simple 1. **Clic gauche** sur l'icĂŽne → Start session 2. **IcĂŽne devient verte** = enregistrement actif 3. **Effectuer quelques actions:** - Ouvrir une application (navigateur, Ă©diteur de texte) - Cliquer sur quelques Ă©lĂ©ments - Taper du texte - Utiliser des raccourcis (Ctrl+C, Ctrl+V) 4. **Clic gauche** sur l'icĂŽne → Stop session 5. **VĂ©rifier upload automatique** dans les logs #### 1.3 VĂ©rification des DonnĂ©es ```bash # VĂ©rifier sessions locales ls -la agent_v0/sessions/ # VĂ©rifier logs agent tail -f agent_v0/logs/agent_v0.log ``` ### Phase 2: VĂ©rification Pipeline de Traitement #### 2.1 Monitoring Dashboard 1. **Ouvrir:** http://localhost:5001/?token=1ad8316da655cb465750619b516f68a9d90728e2cdf80becb5 2. **VĂ©rifier:** Sessions uploadĂ©es apparaissent 3. **Observer:** Progression du traitement (OBSERVATION → COACHING) #### 2.2 API Status ```bash # VĂ©rifier queue de traitement curl http://localhost:8000/api/traces/queue # VĂ©rifier sessions curl http://localhost:8000/api/traces/sessions # VĂ©rifier status curl http://localhost:8000/api/traces/status ``` ### Phase 3: Test d'Apprentissage Progressif #### 3.1 Workflow RĂ©pĂ©titif (5+ fois) **ScĂ©nario suggĂ©rĂ©:** Workflow de connexion/navigation 1. Ouvrir navigateur 2. Aller sur un site (ex: github.com) 3. Cliquer sur "Sign in" 4. Remplir champs (sans vraies donnĂ©es sensibles) 5. Naviguer dans l'interface **RĂ©pĂ©ter 5-10 fois** pour dĂ©clencher l'apprentissage automatique. #### 3.2 Monitoring de l'Apprentissage - **Dashboard:** Observer progression OBSERVATION → COACHING - **Logs Worker:** `sudo journalctl -u rpa-vision-v3-worker -f` - **Embeddings:** VĂ©rifier crĂ©ation dans `data/embeddings/` - **FAISS Index:** VĂ©rifier construction dans `data/faiss_index/` ### Phase 4: Test des Composants AvancĂ©s #### 4.1 Visual Workflow Builder ```bash # Lancer en parallĂšle ./run.sh --workflow ``` - **URL:** http://localhost:3000 - **Test:** CrĂ©ation de workflow visuel - **IntĂ©gration:** Import des sessions capturĂ©es #### 4.2 Self-Healing ```bash # Test du systĂšme d'auto-guĂ©rison python3 demo_self_healing.py ``` #### 4.3 Analytics ```bash # Test du systĂšme d'analytics python3 demo_analytics.py ``` ## 🔍 Points de ContrĂŽle Critiques ### Capture Agent V0 - [ ] Agent dĂ©marre sans erreur - [ ] IcĂŽne tray fonctionnelle - [ ] Capture screenshots (mode crop) - [ ] Capture clics souris - [ ] Capture combos clavier - [ ] Upload automatique vers API - [ ] Gestion des erreurs rĂ©seau ### Pipeline de Traitement - [ ] RĂ©ception sessions par API - [ ] Traitement par Worker externe - [ ] CrĂ©ation ScreenState (Layer 1) - [ ] DĂ©tection UIElement (Layer 2) - [ ] GĂ©nĂ©ration embeddings (Layer 3) - [ ] Construction workflow graph (Layer 4) ### Apprentissage Automatique - [ ] Progression OBSERVATION (5+ sessions) - [ ] Transition vers COACHING (10+ sessions) - [ ] AmĂ©lioration prĂ©cision matching - [ ] Construction index FAISS - [ ] Persistance des apprentissages ### IntĂ©gration SystĂšme - [ ] Communication Agent ↔ API - [ ] Communication API ↔ Worker - [ ] Communication Worker ↔ Dashboard - [ ] Persistance donnĂ©es - [ ] Monitoring temps rĂ©el ## 🐛 DĂ©pannage ### Agent V0 ne dĂ©marre pas ```bash # VĂ©rifier dĂ©pendances source venv_v3/bin/activate pip install pystray mss pynput cryptography # VĂ©rifier logs tail -f agent_v0/logs/agent_v0.log ``` ### Upload Ă©choue ```bash # VĂ©rifier API curl http://localhost:8000/healthz # VĂ©rifier services sudo systemctl status 'rpa-vision-v3-*' ``` ### Traitement bloquĂ© ```bash # VĂ©rifier worker sudo journalctl -u rpa-vision-v3-worker -f # VĂ©rifier queue curl http://localhost:8000/api/traces/queue ``` ## 📊 MĂ©triques de SuccĂšs ### Performance Attendue - **Capture:** 30+ FPS screenshots - **Upload:** < 5 secondes par session - **Traitement:** < 30 secondes par session - **PrĂ©cision BBOX:** ~95% (amĂ©liorĂ© de ~60%) - **Matching:** >90% aprĂšs 10+ sessions ### Progression d'Apprentissage 1. **Sessions 1-5:** OBSERVATION - Collecte de donnĂ©es 2. **Sessions 6-10:** COACHING - Patterns Ă©mergents 3. **Sessions 11-20:** AUTO_CANDIDATE - Automatisation partielle 4. **Sessions 20+:** AUTO_CONFIRMED - Automatisation complĂšte ## 🎯 ScĂ©narios de Test RecommandĂ©s ### ScĂ©nario 1: Workflow Bureautique - Ouvrir LibreOffice/Word - CrĂ©er nouveau document - Taper texte, formater - Sauvegarder - **RĂ©pĂ©ter 10 fois** ### ScĂ©nario 2: Navigation Web - Ouvrir navigateur - Recherche Google - Cliquer sur rĂ©sultats - Navigation dans site - **RĂ©pĂ©ter 10 fois** ### ScĂ©nario 3: Gestion Fichiers - Ouvrir gestionnaire fichiers - CrĂ©er dossier - Copier/coller fichiers - Renommer Ă©lĂ©ments - **RĂ©pĂ©ter 10 fois** ## 🚀 Commandes Rapides ```bash # Lancement complet ./run.sh --full # Agent seul ./run.sh --agent # Monitoring ./run.sh --dashboard # Status systĂšme ./run.sh --status # Tests rapides ./test_quick.sh # Logs temps rĂ©el sudo journalctl -u rpa-vision-v3-worker -f tail -f agent_v0/logs/agent_v0.log ``` ## 📈 RĂ©sultats Attendus AprĂšs 10+ sessions d'un mĂȘme workflow, vous devriez observer: 1. **Dashboard:** Progression visible OBSERVATION → COACHING 2. **PrĂ©cision:** AmĂ©lioration du matching des Ă©lĂ©ments UI 3. **Vitesse:** RĂ©duction du temps de traitement 4. **Robustesse:** Adaptation aux variations d'interface 5. **Workflows:** GĂ©nĂ©ration automatique de graphes exĂ©cutables --- **🎉 Votre systĂšme RPA Vision V3 est prĂȘt pour des tests rĂ©els d'apprentissage automatique!** Commencez par `./run.sh --agent` et suivez ce guide Ă©tape par Ă©tape.