- Frontend v4 accessible sur réseau local (192.168.1.40) - Ports ouverts: 3002 (frontend), 5001 (backend), 5004 (dashboard) - Ollama GPU fonctionnel - Self-healing interactif - Dashboard confiance Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
5.7 KiB
5.7 KiB
🚀 Démarrage Rapide - RPA Vision V3
✅ Corrections Appliquées (24 Nov 2025)
- Bug de capture corrigé :
'numpy.ndarray' object has no attribute 'read' - Dashboard documenté : Lancement avec
--dashboard - Tests du dashboard corrigés : pytest installé, imports corrigés
📋 Prérequis
- Python 3.8+
- Linux (Ubuntu/Debian recommandé)
- 8GB RAM minimum
- GPU optionnel (pour accélération)
🎯 Lancement Rapide
Option 1 : Interface GUI Seule
cd rpa_vision_v3
./run.sh
Ce qui se passe :
- ✅ Vérification de l'environnement
- ✅ Création du venv si nécessaire
- ✅ Installation des dépendances
- ✅ Lancement de l'interface GUI
- ❌ Dashboard NON lancé
Interface :
- Bouton Start : Démarre la capture d'écran (toutes les 2s)
- Bouton Pause : Met en pause
- Bouton Stop : Arrête le système
- Logs : Affiche les événements en temps réel
Option 2 : GUI + Dashboard Web
cd rpa_vision_v3
./run.sh --dashboard
Ce qui se passe :
- ✅ Tout comme Option 1
- ✅ Dashboard web lancé en arrière-plan
- ✅ Accessible à : http://localhost:5001
Dashboard :
- Vue d'ensemble du système
- Statistiques en temps réel
- Workflows détectés
- Graphiques de performance
Option 3 : Dashboard Seul (Sans GUI)
cd rpa_vision_v3/web_dashboard
python3 app.py
Utilisation :
- Pour monitorer le système à distance
- Pour développement/débogage
- Accessible à : http://localhost:5001
🔍 Vérification
Vérifier que Tout Fonctionne
cd rpa_vision_v3
# Test 1 : Capture d'écran
python3 examples/test_screen_capturer.py
# Test 2 : Détection UI
python3 examples/example_ui_detection.py
# Test 3 : Dashboard
curl http://localhost:5001 2>/dev/null && echo "✓ Dashboard OK" || echo "✗ Dashboard non lancé"
🐛 Résolution de Problèmes
Problème : Erreur 'numpy.ndarray' object has no attribute 'read'
Solution : ✅ CORRIGÉ dans gui/orchestrator.py
Vérifier que la correction est appliquée :
grep -q "tempfile.NamedTemporaryFile" rpa_vision_v3/gui/orchestrator.py && echo "✓ Corrigé" || echo "✗ Pas corrigé"
Problème : Dashboard Non Accessible
Cause : Dashboard non lancé
Solutions :
-
Relancer avec
--dashboard:./run.sh --dashboard -
Vérifier le processus :
ps aux | grep "app.py" | grep -v grep -
Vérifier le PID :
cat .dashboard.pid -
Vérifier les logs :
cat logs/dashboard.log -
Lancer manuellement :
cd web_dashboard python3 app.py
Problème : Erreur d'Import
Symptôme :
ModuleNotFoundError: No module named 'flask'
Solution :
source venv_v3/bin/activate
pip install flask
Problème : Ollama Non Disponible
Symptôme :
⚠ Ollama not available, VLM classification disabled
Solution :
# Installer Ollama
curl -fsSL https://ollama.com/install.sh | sh
# Télécharger le modèle
ollama pull qwen3-vl:8b
# Vérifier
ollama list | grep qwen3-vl
📊 Utilisation
1. Démarrer le Système
./run.sh --dashboard
2. Cliquer sur "Start" dans la GUI
Le système commence à :
- 📸 Capturer l'écran toutes les 2 secondes
- 🔍 Détecter les éléments UI
- 📊 Analyser les patterns
- 💾 Sauvegarder les données
3. Ouvrir le Dashboard
Naviguer vers : http://localhost:5001
4. Observer les Logs
Dans la GUI, les logs affichent :
[11:02:42] 📸 Captured 10 screens, 15 elements detected
[11:02:44] 📸 Captured 20 screens, 18 elements detected
[11:02:46] 📸 Captured 30 screens, 12 elements detected
5. Arrêter le Système
- Cliquer sur Stop dans la GUI
- Ou :
Ctrl+Cdans le terminal
Le dashboard s'arrête automatiquement.
📁 Structure des Données
rpa_vision_v3/
├── data/ # Données collectées
│ ├── sessions/ # Sessions d'entraînement
│ ├── workflows/ # Workflows détectés
│ └── embeddings/ # Embeddings CLIP
├── logs/ # Logs système
│ └── dashboard.log # Logs du dashboard
├── .dashboard.pid # PID du dashboard
└── venv_v3/ # Environnement virtuel
🎓 Prochaines Étapes
-
Entraîner le système :
- Effectuer des actions répétitives
- Le système détecte les patterns
- Les workflows sont sauvegardés
-
Utiliser les workflows :
- Le système suggère des actions
- Accepter/rejeter les suggestions
- Le système s'améliore
-
Monitorer avec le dashboard :
- Voir les statistiques
- Analyser les performances
- Exporter les données
📚 Documentation Complète
- Architecture :
docs/specs/design.md - API :
docs/specs/requirements.md - Tests :
TESTING_GUIDE.md - Corrections :
CORRECTION_BUGS.md
🆘 Support
En cas de problème :
- Vérifier
CORRECTION_BUGS.md - Consulter les logs :
logs/dashboard.log - Tester les exemples :
examples/ - Vérifier l'environnement :
./run.sh(étapes 1-6)
✅ Checklist de Démarrage
- Python 3.8+ installé
- Ollama installé (optionnel)
- Modèle qwen3-vl:8b téléchargé (optionnel)
- Lancé
./run.sh --dashboard - GUI ouverte et "Start" cliqué
- Dashboard accessible à http://localhost:5001
- Logs affichent les captures d'écran
- Aucune erreur dans les logs
Version : V3.0
Date : 24 novembre 2025
Statut : ✅ Production Ready