v1.0 - Version stable: multi-PC, détection UI-DETR-1, 3 modes exécution
- Frontend v4 accessible sur réseau local (192.168.1.40) - Ports ouverts: 3002 (frontend), 5001 (backend), 5004 (dashboard) - Ollama GPU fonctionnel - Self-healing interactif - Dashboard confiance Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
This commit is contained in:
Dom
209
docs/guides/QUICK_START_GUI.md
Normal file
209
docs/guides/QUICK_START_GUI.md
Normal file
@@ -0,0 +1,209 @@
|
||||
# Quick Start - RPA Vision V3 GUI
|
||||
|
||||
## 🚀 Lancement Rapide
|
||||
|
||||
```bash
|
||||
cd rpa_vision_v3
|
||||
./run.sh
|
||||
```
|
||||
|
||||
Le script `run.sh` va automatiquement :
|
||||
1. ✓ Vérifier votre système (OS, Python, CPU, GPU, RAM)
|
||||
2. ✓ Créer l'environnement virtuel Python
|
||||
3. ✓ Installer toutes les dépendances
|
||||
4. ✓ Lancer l'interface graphique
|
||||
|
||||
## 📋 Prérequis
|
||||
|
||||
### Obligatoires
|
||||
- **Python 3.8+**
|
||||
- **8GB+ RAM** (recommandé)
|
||||
- **Linux/macOS/Windows**
|
||||
|
||||
### Optionnels
|
||||
- **GPU NVIDIA** (pour accélération)
|
||||
- **Ollama** (pour détection VLM)
|
||||
```bash
|
||||
# Installer Ollama
|
||||
curl -fsSL https://ollama.ai/install.sh | sh
|
||||
|
||||
# Télécharger le modèle
|
||||
ollama pull qwen2.5-vl:latest
|
||||
```
|
||||
|
||||
## 🎮 Utilisation du GUI
|
||||
|
||||
### Interface Principale
|
||||
|
||||
L'interface a 3 onglets :
|
||||
|
||||
#### 1. 🔴 Live - Monitoring Temps Réel
|
||||
- Logs en direct
|
||||
- Actions en cours
|
||||
- État du système
|
||||
|
||||
#### 2. 📊 Workflows - Gestion des Workflows
|
||||
- Liste des workflows détectés
|
||||
- État d'apprentissage (OBSERVATION → COACHING → AUTO)
|
||||
- Statistiques de succès
|
||||
- Bouton "Refresh" pour actualiser
|
||||
|
||||
#### 3. 🎓 Training - Collecte et Entraînement
|
||||
- Progression de la collecte de données
|
||||
- Statistiques des sessions
|
||||
- **Export Data** : Exporter les données collectées
|
||||
- **Train Model** : Entraîner un modèle personnalisé
|
||||
|
||||
### Contrôles
|
||||
|
||||
- **▶ Start** : Démarrer le système en mode OBSERVATION
|
||||
- **⏸ Pause** : Mettre en pause
|
||||
- **⏹ Stop** : Arrêter le système
|
||||
|
||||
### États d'Apprentissage
|
||||
|
||||
Le système progresse automatiquement :
|
||||
|
||||
```
|
||||
🟢 OBSERVATION (5+ observations, confiance >90%)
|
||||
↓
|
||||
🟡 COACHING (10+ exécutions, succès >90%)
|
||||
↓
|
||||
🟠 AUTO_CANDIDATE (20+ exécutions, succès >95%)
|
||||
↓
|
||||
🔴 AUTO_CONFIRMED (exécution automatique validée)
|
||||
```
|
||||
|
||||
## 📊 Workflow Typique
|
||||
|
||||
### 1. Phase de Collecte (1-2 semaines)
|
||||
|
||||
```bash
|
||||
# Lancer le GUI
|
||||
./run.sh
|
||||
|
||||
# Dans le GUI:
|
||||
1. Cliquer sur "Start"
|
||||
2. Utiliser votre ordinateur normalement
|
||||
3. Le système observe et enregistre
|
||||
4. Laisser tourner pendant vos tâches quotidiennes
|
||||
```
|
||||
|
||||
### 2. Export des Données
|
||||
|
||||
```bash
|
||||
# Dans l'onglet "Training":
|
||||
1. Vérifier la progression (objectif: 50-100 sessions)
|
||||
2. Cliquer sur "Export Data"
|
||||
3. Les données sont sauvegardées dans training_data/
|
||||
```
|
||||
|
||||
### 3. Entraînement du Modèle
|
||||
|
||||
```bash
|
||||
# Dans l'onglet "Training":
|
||||
1. Cliquer sur "Train Model"
|
||||
2. Attendre la fin de l'entraînement
|
||||
3. Le modèle est sauvegardé dans trained_model/
|
||||
```
|
||||
|
||||
### 4. Validation et Production
|
||||
|
||||
```bash
|
||||
# Le système passe automatiquement en mode AUTO
|
||||
# après avoir validé les performances
|
||||
```
|
||||
|
||||
## 🔧 Options Avancées
|
||||
|
||||
### Réinstaller les Dépendances
|
||||
|
||||
```bash
|
||||
rm .deps_installed
|
||||
./run.sh
|
||||
```
|
||||
|
||||
### Lancer sans GUI (Mode CLI)
|
||||
|
||||
```bash
|
||||
source venv_v3/bin/activate
|
||||
python3 -c "from core.learning.learning_manager import LearningManager; print('OK')"
|
||||
```
|
||||
|
||||
### Vérifier l'Installation
|
||||
|
||||
```bash
|
||||
source venv_v3/bin/activate
|
||||
python3 -c "
|
||||
import torch
|
||||
import open_clip
|
||||
import faiss
|
||||
print('✓ All core libraries installed')
|
||||
"
|
||||
```
|
||||
|
||||
## 📝 Logs et Données
|
||||
|
||||
### Structure des Fichiers
|
||||
|
||||
```
|
||||
rpa_vision_v3/
|
||||
├── training_data/ # Données collectées
|
||||
│ ├── session_*.json
|
||||
│ └── training_set.json
|
||||
├── trained_model/ # Modèle entraîné
|
||||
│ ├── prototypes.npz
|
||||
│ └── thresholds.json
|
||||
└── logs/ # Logs système
|
||||
```
|
||||
|
||||
### Consulter les Logs
|
||||
|
||||
Les logs s'affichent dans l'onglet "Live" du GUI.
|
||||
|
||||
## ❓ Troubleshooting
|
||||
|
||||
### Erreur: "Python 3.8+ required"
|
||||
```bash
|
||||
# Installer Python 3.8+
|
||||
sudo apt install python3.10 # Ubuntu/Debian
|
||||
brew install python@3.10 # macOS
|
||||
```
|
||||
|
||||
### Erreur: "No module named 'PyQt5'"
|
||||
```bash
|
||||
rm .deps_installed
|
||||
./run.sh
|
||||
```
|
||||
|
||||
### GUI ne se lance pas
|
||||
```bash
|
||||
# Vérifier DISPLAY (Linux)
|
||||
echo $DISPLAY
|
||||
|
||||
# Si vide:
|
||||
export DISPLAY=:0
|
||||
./run.sh
|
||||
```
|
||||
|
||||
### Performance lente
|
||||
- Vérifier que Ollama est installé
|
||||
- Utiliser un GPU si disponible
|
||||
- Réduire la résolution des captures
|
||||
|
||||
## 🆘 Support
|
||||
|
||||
Pour plus d'informations :
|
||||
- `TRAINING_GUIDE.md` - Guide complet du Training System
|
||||
- `README.md` - Documentation générale
|
||||
- `docs/` - Documentation technique
|
||||
|
||||
## 🎯 Prochaines Étapes
|
||||
|
||||
Après le lancement :
|
||||
1. Familiarisez-vous avec l'interface
|
||||
2. Lancez une session de collecte
|
||||
3. Observez les workflows détectés
|
||||
4. Entraînez votre premier modèle
|
||||
|
||||
Bon RPA ! 🚀
|
||||
Reference in New Issue
Block a user