feat(agent): add learn action flow and grounding guards

This commit is contained in:
Dom
2026-06-02 16:24:10 +02:00
parent 86b3c8f7e7
commit d38f0b0f2f
39 changed files with 5901 additions and 212 deletions

View File

@@ -83,9 +83,24 @@ app.config['MAX_CONTENT_LENGTH'] = 50 * 1024 * 1024 # 50 MB max upload (sécuri
_ALLOWED_ORIGINS = [
"http://localhost:3002",
"http://localhost:5002",
"http://localhost:5004",
"https://vwb.labs.laurinebazin.design",
"https://lea.labs.laurinebazin.design",
# LAN local : serveur Linux (192.168.1.40) + Léa Windows (192.168.1.11).
# Sans ces origines, engineio rejette la ChatWindow tkinter Windows et
# même les requêtes self-loopback (cf. journal 2026-05-24 11:00:47).
"http://192.168.1.40:5004",
"http://192.168.1.40:5005",
"http://192.168.1.11:5004",
"http://192.168.1.11:5005",
]
# Override possible via LEA_CORS_ALLOWED_ORIGINS=comma,separated,list pour
# environnements non-LAN. Vide ou absent → garde la liste par défaut ci-dessus.
_extra_origins = os.environ.get("LEA_CORS_ALLOWED_ORIGINS", "").strip()
if _extra_origins:
_ALLOWED_ORIGINS.extend(
o.strip() for o in _extra_origins.split(",") if o.strip()
)
socketio = SocketIO(app, cors_allowed_origins=_ALLOWED_ORIGINS)
@@ -199,6 +214,9 @@ _pending_imports: Dict[str, Dict[str, Any]] = {}
# Copilot state — suivi du mode pas-à-pas
_copilot_sessions: Dict[str, Dict[str, Any]] = {}
# LearnActionOrchestrator — P1-LEA SHADOW (apprentissage Léa-first)
learn_action_orchestrator = None # injecté par init_system()
_COPILOT_KEYWORDS = [
"copilot", "co-pilot",
"pas à pas", "pas-à-pas", "pas a pas",
@@ -278,8 +296,24 @@ def init_system():
if EXECUTION_AVAILABLE:
try:
# Pipeline de workflow (matching + actions)
workflow_pipeline = WorkflowPipeline()
logger.info("✓ WorkflowPipeline initialisé")
# Depuis C1c 2026-05-25 : désactiver UI detection (OWL/VLM côté
# UIDetector via DetectionConfig) par défaut pour économiser
# ~900 MiB VRAM au boot du chat service. Le chemin SocketIO 5004
# / narration ChatWindow / ExecutionLoop n'utilise pas
# workflow_pipeline.ui_detector (grep confirmé). Activation
# explicite : AGENT_CHAT_ENABLE_UI_DETECTION=1.
_ui_detection_enabled = os.environ.get(
"AGENT_CHAT_ENABLE_UI_DETECTION", "0"
).strip() in ("1", "true", "yes")
workflow_pipeline = WorkflowPipeline(
enable_ui_detection=_ui_detection_enabled,
enable_vlm=_ui_detection_enabled,
)
logger.info(
f"✓ WorkflowPipeline initialisé "
f"(ui_detection={_ui_detection_enabled}, "
f"économie ~900 MiB VRAM si False)"
)
# Capture d'écran
screen_capturer = ScreenCapturer()
@@ -356,6 +390,26 @@ def init_system():
else:
logger.info(" Import Excel non disponible (openpyxl manquant ?)")
# 8. LearnActionOrchestrator (P1-LEA SHADOW) — apprentissage Léa-first
global learn_action_orchestrator
try:
from .handlers.learn_action import get_learn_action_orchestrator
def _learn_emit(event: str, payload: Dict[str, Any]) -> None:
try:
socketio.emit(event, payload)
except Exception:
logger.debug("learn emit silenced", exc_info=True)
learn_action_orchestrator = get_learn_action_orchestrator(emit=_learn_emit)
resumed = learn_action_orchestrator.resume_sessions()
logger.info(
f"✓ LearnActionOrchestrator initialisé (sessions reprises: {len(resumed)})"
)
except Exception as e:
logger.warning(f"⚠ LearnActionOrchestrator: {e}")
learn_action_orchestrator = None
# =============================================================================
# Routes Web
@@ -768,6 +822,24 @@ def api_chat():
if not message:
return jsonify({"error": "Message vide"}), 400
# 0. Routage P1-LEA : si une session d'apprentissage est active pour ce
# session_id, l'orchestrateur traite le message ; sinon on tombe sur le
# flux normal (intent_parser / matcher / confirmation).
if learn_action_orchestrator is not None and session_id:
try:
learn_reply = learn_action_orchestrator.handle_chat_message(
session_id, message
)
except Exception:
logger.exception("learn_action_orchestrator error")
learn_reply = None
if learn_reply is not None:
return jsonify({
"session_id": session_id,
"response": learn_reply,
"handler": "learn_action",
})
# 1. Obtenir ou créer la session
session = conversation_manager.get_or_create_session(session_id=session_id)
@@ -1834,7 +1906,13 @@ def _poll_replay_progress(replay_id: str, workflow_name: str, total_actions: int
"completed": completed,
"total": total_actions,
"failed_action": data.get("failed_action"),
"reason": data.get("error") or "Action incertaine",
"reason": (
data.get("pause_message")
or data.get("message")
or data.get("error")
or "Action incertaine"
),
"safety_checks": data.get("safety_checks") or [],
})
was_paused = True
elapsed = 0
@@ -2713,6 +2791,72 @@ def urgences_list():
return jsonify({"orchestrations": list_orchestrations()})
# =============================================================================
# P1-LEA SHADOW — déclenchement d'apprentissage depuis l'extérieur
# =============================================================================
@app.route('/api/learn/start', methods=['POST'])
def api_learn_start():
"""Déclenche une session d'apprentissage Léa-first.
Endpoint utilisé par le bouton Windows (ChatWindow tkinter) ou tout autre
client externe pour démarrer le cycle Shadow → Persist côté agent-chat.
Payload JSON :
- machine_id (str, obligatoire) : identifiant de la machine où
l'apprentissage est en cours (sera repris pour le persist).
- session_name (str | None, optionnel) : nom d'affichage de la
session (ignoré pour l'instant — réservé futur).
- user_id (str | None, optionnel) : défaut "default".
- trigger_source (str, optionnel) : défaut "windows_button".
Utilisé pour distinguer du "magic_phrase" ou "proactive".
Retours :
- 200 : {"session_id": str, "state": str, "message": str}
- 400 : machine_id absent ou vide
- 503 : orchestrateur non initialisé (init_system pas appelé)
- 500 : exception interne (shadow_start, état illégal, etc.)
Auth/CORS : suit le pattern des autres routes API du module (pas d'auth
Flask explicite — l'API est en LAN derrière le reverse proxy /
SocketIO cors_allowed_origins).
"""
if learn_action_orchestrator is None:
return jsonify({
"error": "LearnActionOrchestrator non initialisé",
}), 503
data = request.get_json(silent=True) or {}
machine_id = (data.get("machine_id") or "").strip()
if not machine_id:
return jsonify({
"error": "machine_id requis (str non vide)",
}), 400
user_id = (data.get("user_id") or "default").strip() or "default"
trigger_source = (data.get("trigger_source") or "windows_button").strip() or "windows_button"
# session_name reçu mais non utilisé pour l'instant (réservé futur)
_session_name = data.get("session_name")
try:
st, reply = learn_action_orchestrator.start_session(
user_id=user_id,
trigger_source=trigger_source,
machine_id=machine_id,
)
except Exception as exc:
logger.exception("api_learn_start failed")
return jsonify({
"error": f"démarrage apprentissage impossible: {exc}",
}), 500
return jsonify({
"session_id": st.session_id,
"state": st.state.value if hasattr(st.state, "value") else str(st.state),
"message": reply,
})
# =============================================================================
# Main
# =============================================================================

View File

@@ -137,11 +137,31 @@ class AutonomousPlanner:
logger.info(f"AutonomousPlanner initialized (LLM: {self.llm_model}, available: {self.llm_available}, visual: {self._owl_detector is not None}, vlm: {self._vlm_client is not None})")
def _init_visual_detection(self):
"""Initialise le détecteur visuel OWL-v2."""
"""Initialise le détecteur visuel OWL-v2.
Désactivé par défaut depuis 2026-05-25 (C1b) : OWL-v2 chargeait sur
CUDA au boot et retenait ~600 MiB VRAM même en cas d'OOM silencieux,
fausssant les benchs perf et contribuant à l'offload Ollama VLM.
Comme `autonomous_planner` est largement non-wired au runtime actif
(cf. mémoire projet : HTTP 410 dépréciés), le défaut est skip.
Activation : `AGENT_CHAT_ENABLE_OWL=1` (env var).
Device : `AGENT_CHAT_OWL_DEVICE=cuda|cpu` (override l'auto-détect).
"""
if os.environ.get("AGENT_CHAT_ENABLE_OWL", "0").strip() not in ("1", "true", "yes"):
logger.info(
"OWL-v2 visual detector skipped at boot "
"(AGENT_CHAT_ENABLE_OWL!=1, économie ~600 MiB VRAM)"
)
return
if VISUAL_DETECTION_AVAILABLE and OwlDetector:
try:
self._owl_detector = OwlDetector(confidence_threshold=0.1)
logger.info("OWL-v2 visual detector initialized")
device = os.environ.get("AGENT_CHAT_OWL_DEVICE", "").strip() or None
self._owl_detector = OwlDetector(
confidence_threshold=0.1,
device=device,
)
logger.info(f"OWL-v2 visual detector initialized (device={device or 'auto'})")
except Exception as e:
logger.warning(f"Could not initialize OWL detector: {e}")
self._owl_detector = None

View File

@@ -0,0 +1,29 @@
"""Agent-chat handlers package.
Contient les orchestrateurs spécialisés (apprentissage Léa, etc.) appelés
par `agent_chat.app` quand le routage normal d'intent ne suffit pas.
"""
from .learn_action import (
LearnActionOrchestrator,
LearnState,
LearnIntent,
LearnIntentParser,
OptionCFormatter,
StreamingClient,
StateStore,
PersistPayloadBuilder,
get_learn_action_orchestrator,
)
__all__ = [
"LearnActionOrchestrator",
"LearnState",
"LearnIntent",
"LearnIntentParser",
"OptionCFormatter",
"StreamingClient",
"StateStore",
"PersistPayloadBuilder",
"get_learn_action_orchestrator",
]

File diff suppressed because it is too large Load Diff