a27b74cf22
- Frontend v4 accessible sur réseau local (192.168.1.40) - Ports ouverts: 3002 (frontend), 5001 (backend), 5004 (dashboard) - Ollama GPU fonctionnel - Self-healing interactif - Dashboard confiance Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
210 lines
4.2 KiB
Markdown
210 lines
4.2 KiB
Markdown
# Quick Start - RPA Vision V3 GUI
|
|
|
|
## 🚀 Lancement Rapide
|
|
|
|
```bash
|
|
cd rpa_vision_v3
|
|
./run.sh
|
|
```
|
|
|
|
Le script `run.sh` va automatiquement :
|
|
1. ✓ Vérifier votre système (OS, Python, CPU, GPU, RAM)
|
|
2. ✓ Créer l'environnement virtuel Python
|
|
3. ✓ Installer toutes les dépendances
|
|
4. ✓ Lancer l'interface graphique
|
|
|
|
## 📋 Prérequis
|
|
|
|
### Obligatoires
|
|
- **Python 3.8+**
|
|
- **8GB+ RAM** (recommandé)
|
|
- **Linux/macOS/Windows**
|
|
|
|
### Optionnels
|
|
- **GPU NVIDIA** (pour accélération)
|
|
- **Ollama** (pour détection VLM)
|
|
```bash
|
|
# Installer Ollama
|
|
curl -fsSL https://ollama.ai/install.sh | sh
|
|
|
|
# Télécharger le modèle
|
|
ollama pull qwen2.5-vl:latest
|
|
```
|
|
|
|
## 🎮 Utilisation du GUI
|
|
|
|
### Interface Principale
|
|
|
|
L'interface a 3 onglets :
|
|
|
|
#### 1. 🔴 Live - Monitoring Temps Réel
|
|
- Logs en direct
|
|
- Actions en cours
|
|
- État du système
|
|
|
|
#### 2. 📊 Workflows - Gestion des Workflows
|
|
- Liste des workflows détectés
|
|
- État d'apprentissage (OBSERVATION → COACHING → AUTO)
|
|
- Statistiques de succès
|
|
- Bouton "Refresh" pour actualiser
|
|
|
|
#### 3. 🎓 Training - Collecte et Entraînement
|
|
- Progression de la collecte de données
|
|
- Statistiques des sessions
|
|
- **Export Data** : Exporter les données collectées
|
|
- **Train Model** : Entraîner un modèle personnalisé
|
|
|
|
### Contrôles
|
|
|
|
- **▶ Start** : Démarrer le système en mode OBSERVATION
|
|
- **⏸ Pause** : Mettre en pause
|
|
- **⏹ Stop** : Arrêter le système
|
|
|
|
### États d'Apprentissage
|
|
|
|
Le système progresse automatiquement :
|
|
|
|
```
|
|
🟢 OBSERVATION (5+ observations, confiance >90%)
|
|
↓
|
|
🟡 COACHING (10+ exécutions, succès >90%)
|
|
↓
|
|
🟠 AUTO_CANDIDATE (20+ exécutions, succès >95%)
|
|
↓
|
|
🔴 AUTO_CONFIRMED (exécution automatique validée)
|
|
```
|
|
|
|
## 📊 Workflow Typique
|
|
|
|
### 1. Phase de Collecte (1-2 semaines)
|
|
|
|
```bash
|
|
# Lancer le GUI
|
|
./run.sh
|
|
|
|
# Dans le GUI:
|
|
1. Cliquer sur "Start"
|
|
2. Utiliser votre ordinateur normalement
|
|
3. Le système observe et enregistre
|
|
4. Laisser tourner pendant vos tâches quotidiennes
|
|
```
|
|
|
|
### 2. Export des Données
|
|
|
|
```bash
|
|
# Dans l'onglet "Training":
|
|
1. Vérifier la progression (objectif: 50-100 sessions)
|
|
2. Cliquer sur "Export Data"
|
|
3. Les données sont sauvegardées dans training_data/
|
|
```
|
|
|
|
### 3. Entraînement du Modèle
|
|
|
|
```bash
|
|
# Dans l'onglet "Training":
|
|
1. Cliquer sur "Train Model"
|
|
2. Attendre la fin de l'entraînement
|
|
3. Le modèle est sauvegardé dans trained_model/
|
|
```
|
|
|
|
### 4. Validation et Production
|
|
|
|
```bash
|
|
# Le système passe automatiquement en mode AUTO
|
|
# après avoir validé les performances
|
|
```
|
|
|
|
## 🔧 Options Avancées
|
|
|
|
### Réinstaller les Dépendances
|
|
|
|
```bash
|
|
rm .deps_installed
|
|
./run.sh
|
|
```
|
|
|
|
### Lancer sans GUI (Mode CLI)
|
|
|
|
```bash
|
|
source venv_v3/bin/activate
|
|
python3 -c "from core.learning.learning_manager import LearningManager; print('OK')"
|
|
```
|
|
|
|
### Vérifier l'Installation
|
|
|
|
```bash
|
|
source venv_v3/bin/activate
|
|
python3 -c "
|
|
import torch
|
|
import open_clip
|
|
import faiss
|
|
print('✓ All core libraries installed')
|
|
"
|
|
```
|
|
|
|
## 📝 Logs et Données
|
|
|
|
### Structure des Fichiers
|
|
|
|
```
|
|
rpa_vision_v3/
|
|
├── training_data/ # Données collectées
|
|
│ ├── session_*.json
|
|
│ └── training_set.json
|
|
├── trained_model/ # Modèle entraîné
|
|
│ ├── prototypes.npz
|
|
│ └── thresholds.json
|
|
└── logs/ # Logs système
|
|
```
|
|
|
|
### Consulter les Logs
|
|
|
|
Les logs s'affichent dans l'onglet "Live" du GUI.
|
|
|
|
## ❓ Troubleshooting
|
|
|
|
### Erreur: "Python 3.8+ required"
|
|
```bash
|
|
# Installer Python 3.8+
|
|
sudo apt install python3.10 # Ubuntu/Debian
|
|
brew install python@3.10 # macOS
|
|
```
|
|
|
|
### Erreur: "No module named 'PyQt5'"
|
|
```bash
|
|
rm .deps_installed
|
|
./run.sh
|
|
```
|
|
|
|
### GUI ne se lance pas
|
|
```bash
|
|
# Vérifier DISPLAY (Linux)
|
|
echo $DISPLAY
|
|
|
|
# Si vide:
|
|
export DISPLAY=:0
|
|
./run.sh
|
|
```
|
|
|
|
### Performance lente
|
|
- Vérifier que Ollama est installé
|
|
- Utiliser un GPU si disponible
|
|
- Réduire la résolution des captures
|
|
|
|
## 🆘 Support
|
|
|
|
Pour plus d'informations :
|
|
- `TRAINING_GUIDE.md` - Guide complet du Training System
|
|
- `README.md` - Documentation générale
|
|
- `docs/` - Documentation technique
|
|
|
|
## 🎯 Prochaines Étapes
|
|
|
|
Après le lancement :
|
|
1. Familiarisez-vous avec l'interface
|
|
2. Lancez une session de collecte
|
|
3. Observez les workflows détectés
|
|
4. Entraînez votre premier modèle
|
|
|
|
Bon RPA ! 🚀
|