Files
rpa_vision_v3/docs/guides/DEMARRAGE_RAPIDE.md
Dom a27b74cf22 v1.0 - Version stable: multi-PC, détection UI-DETR-1, 3 modes exécution
- Frontend v4 accessible sur réseau local (192.168.1.40)
- Ports ouverts: 3002 (frontend), 5001 (backend), 5004 (dashboard)
- Ollama GPU fonctionnel
- Self-healing interactif
- Dashboard confiance

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
2026-01-29 11:23:51 +01:00

5.7 KiB

🚀 Démarrage Rapide - RPA Vision V3

Corrections Appliquées (24 Nov 2025)

  1. Bug de capture corrigé : 'numpy.ndarray' object has no attribute 'read'
  2. Dashboard documenté : Lancement avec --dashboard
  3. Tests du dashboard corrigés : pytest installé, imports corrigés

📋 Prérequis

  • Python 3.8+
  • Linux (Ubuntu/Debian recommandé)
  • 8GB RAM minimum
  • GPU optionnel (pour accélération)

🎯 Lancement Rapide

Option 1 : Interface GUI Seule

cd rpa_vision_v3
./run.sh

Ce qui se passe :

  • Vérification de l'environnement
  • Création du venv si nécessaire
  • Installation des dépendances
  • Lancement de l'interface GUI
  • Dashboard NON lancé

Interface :

  • Bouton Start : Démarre la capture d'écran (toutes les 2s)
  • Bouton Pause : Met en pause
  • Bouton Stop : Arrête le système
  • Logs : Affiche les événements en temps réel

Option 2 : GUI + Dashboard Web

cd rpa_vision_v3
./run.sh --dashboard

Ce qui se passe :

  • Tout comme Option 1
  • Dashboard web lancé en arrière-plan
  • Accessible à : http://localhost:5001

Dashboard :

  • Vue d'ensemble du système
  • Statistiques en temps réel
  • Workflows détectés
  • Graphiques de performance

Option 3 : Dashboard Seul (Sans GUI)

cd rpa_vision_v3/web_dashboard
python3 app.py

Utilisation :

  • Pour monitorer le système à distance
  • Pour développement/débogage
  • Accessible à : http://localhost:5001

🔍 Vérification

Vérifier que Tout Fonctionne

cd rpa_vision_v3

# Test 1 : Capture d'écran
python3 examples/test_screen_capturer.py

# Test 2 : Détection UI
python3 examples/example_ui_detection.py

# Test 3 : Dashboard
curl http://localhost:5001 2>/dev/null && echo "✓ Dashboard OK" || echo "✗ Dashboard non lancé"

🐛 Résolution de Problèmes

Problème : Erreur 'numpy.ndarray' object has no attribute 'read'

Solution : CORRIGÉ dans gui/orchestrator.py

Vérifier que la correction est appliquée :

grep -q "tempfile.NamedTemporaryFile" rpa_vision_v3/gui/orchestrator.py && echo "✓ Corrigé" || echo "✗ Pas corrigé"

Problème : Dashboard Non Accessible

Cause : Dashboard non lancé

Solutions :

  1. Relancer avec --dashboard :

    ./run.sh --dashboard
    
  2. Vérifier le processus :

    ps aux | grep "app.py" | grep -v grep
    
  3. Vérifier le PID :

    cat .dashboard.pid
    
  4. Vérifier les logs :

    cat logs/dashboard.log
    
  5. Lancer manuellement :

    cd web_dashboard
    python3 app.py
    

Problème : Erreur d'Import

Symptôme :

ModuleNotFoundError: No module named 'flask'

Solution :

source venv_v3/bin/activate
pip install flask

Problème : Ollama Non Disponible

Symptôme :

⚠ Ollama not available, VLM classification disabled

Solution :

# Installer Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Télécharger le modèle
ollama pull qwen3-vl:8b

# Vérifier
ollama list | grep qwen3-vl

📊 Utilisation

1. Démarrer le Système

./run.sh --dashboard

2. Cliquer sur "Start" dans la GUI

Le système commence à :

  • 📸 Capturer l'écran toutes les 2 secondes
  • 🔍 Détecter les éléments UI
  • 📊 Analyser les patterns
  • 💾 Sauvegarder les données

3. Ouvrir le Dashboard

Naviguer vers : http://localhost:5001

4. Observer les Logs

Dans la GUI, les logs affichent :

[11:02:42] 📸 Captured 10 screens, 15 elements detected
[11:02:44] 📸 Captured 20 screens, 18 elements detected
[11:02:46] 📸 Captured 30 screens, 12 elements detected

5. Arrêter le Système

  • Cliquer sur Stop dans la GUI
  • Ou : Ctrl+C dans le terminal

Le dashboard s'arrête automatiquement.


📁 Structure des Données

rpa_vision_v3/
├── data/                    # Données collectées
│   ├── sessions/           # Sessions d'entraînement
│   ├── workflows/          # Workflows détectés
│   └── embeddings/         # Embeddings CLIP
├── logs/                    # Logs système
│   └── dashboard.log       # Logs du dashboard
├── .dashboard.pid          # PID du dashboard
└── venv_v3/                # Environnement virtuel

🎓 Prochaines Étapes

  1. Entraîner le système :

    • Effectuer des actions répétitives
    • Le système détecte les patterns
    • Les workflows sont sauvegardés
  2. Utiliser les workflows :

    • Le système suggère des actions
    • Accepter/rejeter les suggestions
    • Le système s'améliore
  3. Monitorer avec le dashboard :

    • Voir les statistiques
    • Analyser les performances
    • Exporter les données

📚 Documentation Complète

  • Architecture : docs/specs/design.md
  • API : docs/specs/requirements.md
  • Tests : TESTING_GUIDE.md
  • Corrections : CORRECTION_BUGS.md

🆘 Support

En cas de problème :

  1. Vérifier CORRECTION_BUGS.md
  2. Consulter les logs : logs/dashboard.log
  3. Tester les exemples : examples/
  4. Vérifier l'environnement : ./run.sh (étapes 1-6)

Checklist de Démarrage

  • Python 3.8+ installé
  • Ollama installé (optionnel)
  • Modèle qwen3-vl:8b téléchargé (optionnel)
  • Lancé ./run.sh --dashboard
  • GUI ouverte et "Start" cliqué
  • Dashboard accessible à http://localhost:5001
  • Logs affichent les captures d'écran
  • Aucune erreur dans les logs

Version : V3.0
Date : 24 novembre 2025
Statut : Production Ready