v1.0 - Version stable: multi-PC, détection UI-DETR-1, 3 modes exécution
- Frontend v4 accessible sur réseau local (192.168.1.40) - Ports ouverts: 3002 (frontend), 5001 (backend), 5004 (dashboard) - Ollama GPU fonctionnel - Self-healing interactif - Dashboard confiance Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
This commit is contained in:
Dom
250
docs/guides/GUIDE_TEST_COMPLET_RPA_VISION.md
Normal file
250
docs/guides/GUIDE_TEST_COMPLET_RPA_VISION.md
Normal file
@@ -0,0 +1,250 @@
|
||||
# 🎯 Guide de Test Complet - RPA Vision V3
|
||||
|
||||
## ✅ État du Système - PRÊT POUR TESTS RÉELS
|
||||
|
||||
### Services Production Actifs
|
||||
- **✅ API Server** (port 8000) - Fonctionnel
|
||||
- **✅ Dashboard** (port 5001) - Fonctionnel
|
||||
- **✅ Worker** - Traitement externe actif
|
||||
- **✅ Agent V0** - Prêt pour capture
|
||||
- **✅ GPU** - NVIDIA GeForce RTX 5070 disponible
|
||||
- **✅ Ollama** - qwen3-vl:8b model disponible
|
||||
|
||||
### Token d'Accès Dashboard
|
||||
```
|
||||
http://localhost:5001/?token=1ad8316da655cb465750619b516f68a9d90728e2cdf80becb5
|
||||
```
|
||||
|
||||
## 🚀 Plan de Test Complet
|
||||
|
||||
### Phase 1: Test de Capture Agent V0
|
||||
|
||||
#### 1.1 Lancement de l'Agent
|
||||
```bash
|
||||
./run.sh --agent
|
||||
```
|
||||
|
||||
**Résultat attendu:**
|
||||
- Icône apparaît dans la zone de notification (system tray)
|
||||
- Icône grise = inactif
|
||||
- Clic droit → menu avec "Start session"
|
||||
|
||||
#### 1.2 Test de Capture Simple
|
||||
1. **Clic gauche** sur l'icône → Start session
|
||||
2. **Icône devient verte** = enregistrement actif
|
||||
3. **Effectuer quelques actions:**
|
||||
- Ouvrir une application (navigateur, éditeur de texte)
|
||||
- Cliquer sur quelques éléments
|
||||
- Taper du texte
|
||||
- Utiliser des raccourcis (Ctrl+C, Ctrl+V)
|
||||
4. **Clic gauche** sur l'icône → Stop session
|
||||
5. **Vérifier upload automatique** dans les logs
|
||||
|
||||
#### 1.3 Vérification des Données
|
||||
```bash
|
||||
# Vérifier sessions locales
|
||||
ls -la agent_v0/sessions/
|
||||
|
||||
# Vérifier logs agent
|
||||
tail -f agent_v0/logs/agent_v0.log
|
||||
```
|
||||
|
||||
### Phase 2: Vérification Pipeline de Traitement
|
||||
|
||||
#### 2.1 Monitoring Dashboard
|
||||
1. **Ouvrir:** http://localhost:5001/?token=1ad8316da655cb465750619b516f68a9d90728e2cdf80becb5
|
||||
2. **Vérifier:** Sessions uploadées apparaissent
|
||||
3. **Observer:** Progression du traitement (OBSERVATION → COACHING)
|
||||
|
||||
#### 2.2 API Status
|
||||
```bash
|
||||
# Vérifier queue de traitement
|
||||
curl http://localhost:8000/api/traces/queue
|
||||
|
||||
# Vérifier sessions
|
||||
curl http://localhost:8000/api/traces/sessions
|
||||
|
||||
# Vérifier status
|
||||
curl http://localhost:8000/api/traces/status
|
||||
```
|
||||
|
||||
### Phase 3: Test d'Apprentissage Progressif
|
||||
|
||||
#### 3.1 Workflow Répétitif (5+ fois)
|
||||
**Scénario suggéré:** Workflow de connexion/navigation
|
||||
1. Ouvrir navigateur
|
||||
2. Aller sur un site (ex: github.com)
|
||||
3. Cliquer sur "Sign in"
|
||||
4. Remplir champs (sans vraies données sensibles)
|
||||
5. Naviguer dans l'interface
|
||||
|
||||
**Répéter 5-10 fois** pour déclencher l'apprentissage automatique.
|
||||
|
||||
#### 3.2 Monitoring de l'Apprentissage
|
||||
- **Dashboard:** Observer progression OBSERVATION → COACHING
|
||||
- **Logs Worker:** `sudo journalctl -u rpa-vision-v3-worker -f`
|
||||
- **Embeddings:** Vérifier création dans `data/embeddings/`
|
||||
- **FAISS Index:** Vérifier construction dans `data/faiss_index/`
|
||||
|
||||
### Phase 4: Test des Composants Avancés
|
||||
|
||||
#### 4.1 Visual Workflow Builder
|
||||
```bash
|
||||
# Lancer en parallèle
|
||||
./run.sh --workflow
|
||||
```
|
||||
- **URL:** http://localhost:3000
|
||||
- **Test:** Création de workflow visuel
|
||||
- **Intégration:** Import des sessions capturées
|
||||
|
||||
#### 4.2 Self-Healing
|
||||
```bash
|
||||
# Test du système d'auto-guérison
|
||||
python3 demo_self_healing.py
|
||||
```
|
||||
|
||||
#### 4.3 Analytics
|
||||
```bash
|
||||
# Test du système d'analytics
|
||||
python3 demo_analytics.py
|
||||
```
|
||||
|
||||
## 🔍 Points de Contrôle Critiques
|
||||
|
||||
### Capture Agent V0
|
||||
- [ ] Agent démarre sans erreur
|
||||
- [ ] Icône tray fonctionnelle
|
||||
- [ ] Capture screenshots (mode crop)
|
||||
- [ ] Capture clics souris
|
||||
- [ ] Capture combos clavier
|
||||
- [ ] Upload automatique vers API
|
||||
- [ ] Gestion des erreurs réseau
|
||||
|
||||
### Pipeline de Traitement
|
||||
- [ ] Réception sessions par API
|
||||
- [ ] Traitement par Worker externe
|
||||
- [ ] Création ScreenState (Layer 1)
|
||||
- [ ] Détection UIElement (Layer 2)
|
||||
- [ ] Génération embeddings (Layer 3)
|
||||
- [ ] Construction workflow graph (Layer 4)
|
||||
|
||||
### Apprentissage Automatique
|
||||
- [ ] Progression OBSERVATION (5+ sessions)
|
||||
- [ ] Transition vers COACHING (10+ sessions)
|
||||
- [ ] Amélioration précision matching
|
||||
- [ ] Construction index FAISS
|
||||
- [ ] Persistance des apprentissages
|
||||
|
||||
### Intégration Système
|
||||
- [ ] Communication Agent ↔ API
|
||||
- [ ] Communication API ↔ Worker
|
||||
- [ ] Communication Worker ↔ Dashboard
|
||||
- [ ] Persistance données
|
||||
- [ ] Monitoring temps réel
|
||||
|
||||
## 🐛 Dépannage
|
||||
|
||||
### Agent V0 ne démarre pas
|
||||
```bash
|
||||
# Vérifier dépendances
|
||||
source venv_v3/bin/activate
|
||||
pip install pystray mss pynput cryptography
|
||||
|
||||
# Vérifier logs
|
||||
tail -f agent_v0/logs/agent_v0.log
|
||||
```
|
||||
|
||||
### Upload échoue
|
||||
```bash
|
||||
# Vérifier API
|
||||
curl http://localhost:8000/healthz
|
||||
|
||||
# Vérifier services
|
||||
sudo systemctl status 'rpa-vision-v3-*'
|
||||
```
|
||||
|
||||
### Traitement bloqué
|
||||
```bash
|
||||
# Vérifier worker
|
||||
sudo journalctl -u rpa-vision-v3-worker -f
|
||||
|
||||
# Vérifier queue
|
||||
curl http://localhost:8000/api/traces/queue
|
||||
```
|
||||
|
||||
## 📊 Métriques de Succès
|
||||
|
||||
### Performance Attendue
|
||||
- **Capture:** 30+ FPS screenshots
|
||||
- **Upload:** < 5 secondes par session
|
||||
- **Traitement:** < 30 secondes par session
|
||||
- **Précision BBOX:** ~95% (amélioré de ~60%)
|
||||
- **Matching:** >90% après 10+ sessions
|
||||
|
||||
### Progression d'Apprentissage
|
||||
1. **Sessions 1-5:** OBSERVATION - Collecte de données
|
||||
2. **Sessions 6-10:** COACHING - Patterns émergents
|
||||
3. **Sessions 11-20:** AUTO_CANDIDATE - Automatisation partielle
|
||||
4. **Sessions 20+:** AUTO_CONFIRMED - Automatisation complète
|
||||
|
||||
## 🎯 Scénarios de Test Recommandés
|
||||
|
||||
### Scénario 1: Workflow Bureautique
|
||||
- Ouvrir LibreOffice/Word
|
||||
- Créer nouveau document
|
||||
- Taper texte, formater
|
||||
- Sauvegarder
|
||||
- **Répéter 10 fois**
|
||||
|
||||
### Scénario 2: Navigation Web
|
||||
- Ouvrir navigateur
|
||||
- Recherche Google
|
||||
- Cliquer sur résultats
|
||||
- Navigation dans site
|
||||
- **Répéter 10 fois**
|
||||
|
||||
### Scénario 3: Gestion Fichiers
|
||||
- Ouvrir gestionnaire fichiers
|
||||
- Créer dossier
|
||||
- Copier/coller fichiers
|
||||
- Renommer éléments
|
||||
- **Répéter 10 fois**
|
||||
|
||||
## 🚀 Commandes Rapides
|
||||
|
||||
```bash
|
||||
# Lancement complet
|
||||
./run.sh --full
|
||||
|
||||
# Agent seul
|
||||
./run.sh --agent
|
||||
|
||||
# Monitoring
|
||||
./run.sh --dashboard
|
||||
|
||||
# Status système
|
||||
./run.sh --status
|
||||
|
||||
# Tests rapides
|
||||
./test_quick.sh
|
||||
|
||||
# Logs temps réel
|
||||
sudo journalctl -u rpa-vision-v3-worker -f
|
||||
tail -f agent_v0/logs/agent_v0.log
|
||||
```
|
||||
|
||||
## 📈 Résultats Attendus
|
||||
|
||||
Après 10+ sessions d'un même workflow, vous devriez observer:
|
||||
|
||||
1. **Dashboard:** Progression visible OBSERVATION → COACHING
|
||||
2. **Précision:** Amélioration du matching des éléments UI
|
||||
3. **Vitesse:** Réduction du temps de traitement
|
||||
4. **Robustesse:** Adaptation aux variations d'interface
|
||||
5. **Workflows:** Génération automatique de graphes exécutables
|
||||
|
||||
---
|
||||
|
||||
**🎉 Votre système RPA Vision V3 est prêt pour des tests réels d'apprentissage automatique!**
|
||||
|
||||
Commencez par `./run.sh --agent` et suivez ce guide étape par étape.
|
||||
Reference in New Issue
Block a user