- Frontend v4 accessible sur réseau local (192.168.1.40) - Ports ouverts: 3002 (frontend), 5001 (backend), 5004 (dashboard) - Ollama GPU fonctionnel - Self-healing interactif - Dashboard confiance Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
289 lines
5.7 KiB
Markdown
289 lines
5.7 KiB
Markdown
# 🚀 Démarrage Rapide - RPA Vision V3
|
|
|
|
## ✅ Corrections Appliquées (24 Nov 2025)
|
|
|
|
1. **Bug de capture corrigé** : `'numpy.ndarray' object has no attribute 'read'`
|
|
2. **Dashboard documenté** : Lancement avec `--dashboard`
|
|
3. **Tests du dashboard corrigés** : pytest installé, imports corrigés
|
|
|
|
---
|
|
|
|
## 📋 Prérequis
|
|
|
|
- Python 3.8+
|
|
- Linux (Ubuntu/Debian recommandé)
|
|
- 8GB RAM minimum
|
|
- GPU optionnel (pour accélération)
|
|
|
|
---
|
|
|
|
## 🎯 Lancement Rapide
|
|
|
|
### Option 1 : Interface GUI Seule
|
|
|
|
```bash
|
|
cd rpa_vision_v3
|
|
./run.sh
|
|
```
|
|
|
|
**Ce qui se passe** :
|
|
- ✅ Vérification de l'environnement
|
|
- ✅ Création du venv si nécessaire
|
|
- ✅ Installation des dépendances
|
|
- ✅ Lancement de l'interface GUI
|
|
- ❌ Dashboard **NON** lancé
|
|
|
|
**Interface** :
|
|
- Bouton **Start** : Démarre la capture d'écran (toutes les 2s)
|
|
- Bouton **Pause** : Met en pause
|
|
- Bouton **Stop** : Arrête le système
|
|
- **Logs** : Affiche les événements en temps réel
|
|
|
|
---
|
|
|
|
### Option 2 : GUI + Dashboard Web
|
|
|
|
```bash
|
|
cd rpa_vision_v3
|
|
./run.sh --dashboard
|
|
```
|
|
|
|
**Ce qui se passe** :
|
|
- ✅ Tout comme Option 1
|
|
- ✅ **Dashboard web lancé en arrière-plan**
|
|
- ✅ Accessible à : **http://localhost:5001**
|
|
|
|
**Dashboard** :
|
|
- Vue d'ensemble du système
|
|
- Statistiques en temps réel
|
|
- Workflows détectés
|
|
- Graphiques de performance
|
|
|
|
---
|
|
|
|
### Option 3 : Dashboard Seul (Sans GUI)
|
|
|
|
```bash
|
|
cd rpa_vision_v3/web_dashboard
|
|
python3 app.py
|
|
```
|
|
|
|
**Utilisation** :
|
|
- Pour monitorer le système à distance
|
|
- Pour développement/débogage
|
|
- Accessible à : **http://localhost:5001**
|
|
|
|
---
|
|
|
|
## 🔍 Vérification
|
|
|
|
### Vérifier que Tout Fonctionne
|
|
|
|
```bash
|
|
cd rpa_vision_v3
|
|
|
|
# Test 1 : Capture d'écran
|
|
python3 examples/test_screen_capturer.py
|
|
|
|
# Test 2 : Détection UI
|
|
python3 examples/example_ui_detection.py
|
|
|
|
# Test 3 : Dashboard
|
|
curl http://localhost:5001 2>/dev/null && echo "✓ Dashboard OK" || echo "✗ Dashboard non lancé"
|
|
```
|
|
|
|
---
|
|
|
|
## 🐛 Résolution de Problèmes
|
|
|
|
### Problème : Erreur `'numpy.ndarray' object has no attribute 'read'`
|
|
|
|
**Solution** : ✅ **CORRIGÉ** dans `gui/orchestrator.py`
|
|
|
|
Vérifier que la correction est appliquée :
|
|
```bash
|
|
grep -q "tempfile.NamedTemporaryFile" rpa_vision_v3/gui/orchestrator.py && echo "✓ Corrigé" || echo "✗ Pas corrigé"
|
|
```
|
|
|
|
---
|
|
|
|
### Problème : Dashboard Non Accessible
|
|
|
|
**Cause** : Dashboard non lancé
|
|
|
|
**Solutions** :
|
|
|
|
1. **Relancer avec `--dashboard`** :
|
|
```bash
|
|
./run.sh --dashboard
|
|
```
|
|
|
|
2. **Vérifier le processus** :
|
|
```bash
|
|
ps aux | grep "app.py" | grep -v grep
|
|
```
|
|
|
|
3. **Vérifier le PID** :
|
|
```bash
|
|
cat .dashboard.pid
|
|
```
|
|
|
|
4. **Vérifier les logs** :
|
|
```bash
|
|
cat logs/dashboard.log
|
|
```
|
|
|
|
5. **Lancer manuellement** :
|
|
```bash
|
|
cd web_dashboard
|
|
python3 app.py
|
|
```
|
|
|
|
---
|
|
|
|
### Problème : Erreur d'Import
|
|
|
|
**Symptôme** :
|
|
```
|
|
ModuleNotFoundError: No module named 'flask'
|
|
```
|
|
|
|
**Solution** :
|
|
```bash
|
|
source venv_v3/bin/activate
|
|
pip install flask
|
|
```
|
|
|
|
---
|
|
|
|
### Problème : Ollama Non Disponible
|
|
|
|
**Symptôme** :
|
|
```
|
|
⚠ Ollama not available, VLM classification disabled
|
|
```
|
|
|
|
**Solution** :
|
|
```bash
|
|
# Installer Ollama
|
|
curl -fsSL https://ollama.com/install.sh | sh
|
|
|
|
# Télécharger le modèle
|
|
ollama pull qwen3-vl:8b
|
|
|
|
# Vérifier
|
|
ollama list | grep qwen3-vl
|
|
```
|
|
|
|
---
|
|
|
|
## 📊 Utilisation
|
|
|
|
### 1. Démarrer le Système
|
|
|
|
```bash
|
|
./run.sh --dashboard
|
|
```
|
|
|
|
### 2. Cliquer sur "Start" dans la GUI
|
|
|
|
Le système commence à :
|
|
- 📸 Capturer l'écran toutes les 2 secondes
|
|
- 🔍 Détecter les éléments UI
|
|
- 📊 Analyser les patterns
|
|
- 💾 Sauvegarder les données
|
|
|
|
### 3. Ouvrir le Dashboard
|
|
|
|
Naviguer vers : **http://localhost:5001**
|
|
|
|
### 4. Observer les Logs
|
|
|
|
Dans la GUI, les logs affichent :
|
|
```
|
|
[11:02:42] 📸 Captured 10 screens, 15 elements detected
|
|
[11:02:44] 📸 Captured 20 screens, 18 elements detected
|
|
[11:02:46] 📸 Captured 30 screens, 12 elements detected
|
|
```
|
|
|
|
### 5. Arrêter le Système
|
|
|
|
- Cliquer sur **Stop** dans la GUI
|
|
- Ou : `Ctrl+C` dans le terminal
|
|
|
|
Le dashboard s'arrête automatiquement.
|
|
|
|
---
|
|
|
|
## 📁 Structure des Données
|
|
|
|
```
|
|
rpa_vision_v3/
|
|
├── data/ # Données collectées
|
|
│ ├── sessions/ # Sessions d'entraînement
|
|
│ ├── workflows/ # Workflows détectés
|
|
│ └── embeddings/ # Embeddings CLIP
|
|
├── logs/ # Logs système
|
|
│ └── dashboard.log # Logs du dashboard
|
|
├── .dashboard.pid # PID du dashboard
|
|
└── venv_v3/ # Environnement virtuel
|
|
```
|
|
|
|
---
|
|
|
|
## 🎓 Prochaines Étapes
|
|
|
|
1. **Entraîner le système** :
|
|
- Effectuer des actions répétitives
|
|
- Le système détecte les patterns
|
|
- Les workflows sont sauvegardés
|
|
|
|
2. **Utiliser les workflows** :
|
|
- Le système suggère des actions
|
|
- Accepter/rejeter les suggestions
|
|
- Le système s'améliore
|
|
|
|
3. **Monitorer avec le dashboard** :
|
|
- Voir les statistiques
|
|
- Analyser les performances
|
|
- Exporter les données
|
|
|
|
---
|
|
|
|
## 📚 Documentation Complète
|
|
|
|
- **Architecture** : `docs/specs/design.md`
|
|
- **API** : `docs/specs/requirements.md`
|
|
- **Tests** : `TESTING_GUIDE.md`
|
|
- **Corrections** : `CORRECTION_BUGS.md`
|
|
|
|
---
|
|
|
|
## 🆘 Support
|
|
|
|
En cas de problème :
|
|
|
|
1. Vérifier `CORRECTION_BUGS.md`
|
|
2. Consulter les logs : `logs/dashboard.log`
|
|
3. Tester les exemples : `examples/`
|
|
4. Vérifier l'environnement : `./run.sh` (étapes 1-6)
|
|
|
|
---
|
|
|
|
## ✅ Checklist de Démarrage
|
|
|
|
- [ ] Python 3.8+ installé
|
|
- [ ] Ollama installé (optionnel)
|
|
- [ ] Modèle qwen3-vl:8b téléchargé (optionnel)
|
|
- [ ] Lancé `./run.sh --dashboard`
|
|
- [ ] GUI ouverte et "Start" cliqué
|
|
- [ ] Dashboard accessible à http://localhost:5001
|
|
- [ ] Logs affichent les captures d'écran
|
|
- [ ] Aucune erreur dans les logs
|
|
|
|
---
|
|
|
|
**Version** : V3.0
|
|
**Date** : 24 novembre 2025
|
|
**Statut** : ✅ Production Ready
|