rpa_vision_v3/docs/guides/QUICK_START_GUI.md

Quick Start - RPA Vision V3 GUI

🚀 Lancement Rapide

cd rpa_vision_v3
./run.sh

Le script run.sh va automatiquement :

1. ✓ Vérifier votre système (OS, Python, CPU, GPU, RAM)
2. ✓ Créer l'environnement virtuel Python
3. ✓ Installer toutes les dépendances
4. ✓ Lancer l'interface graphique

📋 Prérequis

Obligatoires

• Python 3.8+
• 8GB+ RAM (recommandé)
• Linux/macOS/Windows

Optionnels

• GPU NVIDIA (pour accélération)
• Ollama (pour détection VLM)

  # Installer Ollama
  curl -fsSL https://ollama.ai/install.sh | sh
  
  # Télécharger le modèle
  ollama pull qwen2.5-vl:latest
  

🎮 Utilisation du GUI

Interface Principale

L'interface a 3 onglets :

1. 🔴 Live - Monitoring Temps Réel

• Logs en direct
• Actions en cours
• État du système

2. 📊 Workflows - Gestion des Workflows

• Liste des workflows détectés
• État d'apprentissage (OBSERVATION → COACHING → AUTO)
• Statistiques de succès
• Bouton "Refresh" pour actualiser

3. 🎓 Training - Collecte et Entraînement

• Progression de la collecte de données
• Statistiques des sessions
• Export Data : Exporter les données collectées
• Train Model : Entraîner un modèle personnalisé

Contrôles

• ▶ Start : Démarrer le système en mode OBSERVATION
• ⏸ Pause : Mettre en pause
• ⏹ Stop : Arrêter le système

États d'Apprentissage

Le système progresse automatiquement :

🟢 OBSERVATION (5+ observations, confiance >90%)
    ↓
🟡 COACHING (10+ exécutions, succès >90%)
    ↓
🟠 AUTO_CANDIDATE (20+ exécutions, succès >95%)
    ↓
🔴 AUTO_CONFIRMED (exécution automatique validée)

📊 Workflow Typique

1. Phase de Collecte (1-2 semaines)

# Lancer le GUI
./run.sh

# Dans le GUI:
1. Cliquer sur "Start"
2. Utiliser votre ordinateur normalement
3. Le système observe et enregistre
4. Laisser tourner pendant vos tâches quotidiennes

2. Export des Données

# Dans l'onglet "Training":
1. Vérifier la progression (objectif: 50-100 sessions)
2. Cliquer sur "Export Data"
3. Les données sont sauvegardées dans training_data/

3. Entraînement du Modèle

# Dans l'onglet "Training":
1. Cliquer sur "Train Model"
2. Attendre la fin de l'entraînement
3. Le modèle est sauvegardé dans trained_model/

4. Validation et Production

# Le système passe automatiquement en mode AUTO
# après avoir validé les performances

🔧 Options Avancées

Réinstaller les Dépendances

rm .deps_installed
./run.sh

Lancer sans GUI (Mode CLI)

source venv_v3/bin/activate
python3 -c "from core.learning.learning_manager import LearningManager; print('OK')"

Vérifier l'Installation

source venv_v3/bin/activate
python3 -c "
import torch
import open_clip
import faiss
print('✓ All core libraries installed')
"

📝 Logs et Données

Structure des Fichiers

rpa_vision_v3/
├── training_data/          # Données collectées
│   ├── session_*.json
│   └── training_set.json
├── trained_model/          # Modèle entraîné
│   ├── prototypes.npz
│   └── thresholds.json
└── logs/                   # Logs système

Consulter les Logs

Les logs s'affichent dans l'onglet "Live" du GUI.

❓ Troubleshooting

Erreur: "Python 3.8+ required"

# Installer Python 3.8+
sudo apt install python3.10  # Ubuntu/Debian
brew install python@3.10     # macOS

Erreur: "No module named 'PyQt5'"

rm .deps_installed
./run.sh

GUI ne se lance pas

# Vérifier DISPLAY (Linux)
echo $DISPLAY

# Si vide:
export DISPLAY=:0
./run.sh

Performance lente

• Vérifier que Ollama est installé
• Utiliser un GPU si disponible
• Réduire la résolution des captures

🆘 Support

Pour plus d'informations :

• TRAINING_GUIDE.md - Guide complet du Training System
• README.md - Documentation générale
• docs/ - Documentation technique

🎯 Prochaines Étapes

Après le lancement :

1. Familiarisez-vous avec l'interface
2. Lancez une session de collecte
3. Observez les workflows détectés
4. Entraînez votre premier modèle

Bon RPA ! 🚀