4dc7d840d6
Migre les call-sites VLM serveur vers la configuration centrale pour fonctionner sur DGX (tunnel Ollama 11434), où gemma4:* est absent et le port Docker 11435 est mort. - task_planner, replay_verifier, domain_context, ir_builder, resolve_engine (popup): modele -> vlm_config.get_vlm_model(), defaut 11435 -> 11434 (override GEMMA4_PORT legacy conserve) - resolve_engine (grounding bbox x2): nouvel helper vlm_config.get_bbox_grounding_model() (var dediee RPA_BBOX_GROUNDING_MODEL, fallback RPA_GROUNDING_MODEL puis qwen2.5vl:7b-rpa) -> desambiguise le conflit D5-v3b, bbox_2d + num_ctx 4096 preserves - safety_checks_provider: defaut -> get_vlm_model(), override RPA_SAFETY_CHECKS_LLM_MODEL preserve - ui_detector: default_factory + resolution lazy (corrige aussi un gel a l'import), pas d'appel reseau a l'import - field_extractor: property lazy via vlm_config TDD strict (RED->GREEN), 305 tests verts, tests mockes HTTP (zero dependance DGX reel), aucun alias Ollama. Hors perimetre (arbitrage Dom): client Lea agent_v1/executor.py (gele), chemin V4 observe_reason_act (RPA_REASONING_MODEL), core/config.py defaults. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
Documentation RPA Vision V3
📚 Organisation
reference/ - Documents de Référence Architecture
Documents techniques décrivant l'architecture complète du système :
ARCHITECTURE_VISION_COMPLETE.md- Architecture complète en 5 couches (ESSENTIEL)ARCHITECTURE_ENRICHISSEMENTS.md- 8 enrichissements production-readyARCHITECTURE_INDEX.md- Index de navigationENRICHISSEMENTS_RESUME.md- Résumé des enrichissementsSTART_HERE.md- Point de départ pour comprendre l'architectureQUICK_SUMMARY.txt- Résumé rapideSESSION_COMPLETE_22_NOV.md- Session de travail complèteRESUME_CREATION_DOCS.md- Historique de créationCHANGELOG_MVP.md- Changelog du MVP
specs/ - Spécification d'Implémentation
Spécification complète pour l'implémentation :
requirements.md- 15 requirements avec 89 critères d'acceptationdesign.md- Design détaillé avec 20 correctness propertiestasks.md- Plan d'implémentation en 13 phases avec 60+ tâches
Autres Documents
ROADMAP_RPA_100_VISION.md- Vision et roadmap du projet
🎯 Par Où Commencer ?
Pour Comprendre l'Architecture
- Lire :
reference/START_HERE.md - Approfondir :
reference/ARCHITECTURE_VISION_COMPLETE.md - Enrichissements :
reference/ARCHITECTURE_ENRICHISSEMENTS.md
Pour Implémenter
- Requirements :
specs/requirements.md - Design :
specs/design.md - Tasks :
specs/tasks.md
Pour la Vision Globale
- Roadmap :
ROADMAP_RPA_100_VISION.md
🏗️ Architecture en 5 Couches
Couche 0: RawSession
↓
Couche 1: ScreenState (4 niveaux)
↓
Couche 2: UIElement Detection
↓
Couche 3: State Embedding
↓
Couche 4: Workflow Graph
📖 Concepts Clés
RPA 100% Vision
- Pas de coordonnées (x, y) fixes
- Rôles sémantiques (primary_action, form_input, etc.)
- Matching par similarité visuelle et textuelle
- Robuste aux changements d'UI
Workflow Graph
- WorkflowNode : Template d'état d'écran
- WorkflowEdge : Transition (action) entre nodes
- Learning States : OBSERVATION → COACHING → AUTO_CANDIDATE → AUTO_CONFIRMÉ
State Embedding
Fusion multi-modale :
- 50% Image (screenshot complet)
- 30% Texte (texte détecté)
- 10% Titre (fenêtre)
- 10% UI (éléments détectés)
🔗 Liens Utiles
- Code source :
../core/ - Tests :
../tests/ - Données :
../data/ - README principal :
../README.md