feat: découpage PDFs multi-dossiers (Trackare multi-épisodes, CRH concaténés)

Ajoute une étape de splitting entre extraction texte et parsing. Chaque chunk est traité indépendamment par le pipeline existant, avec suffixe _partN en sortie. Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-12 09:08:37 +01:00
parent 86d7ec5ea4
commit a00e5f1147
3 changed files with 397 additions and 35 deletions
--- a/tests/test_splitter.py
+++ b/tests/test_splitter.py
@@ -0,0 +1,218 @@
+"""Tests pour le module de découpage multi-dossiers."""
+
+from unittest.mock import patch, MagicMock
+
+import pytest
+
+from src.extraction.document_splitter import split_documents, _split_trackare, _split_crh
+
+
+# --- Données de test ---
+
+TRACKARE_PATIENT_BLOCK = """CENTRE HOSPITALIER COTE BASQUE
+Dossier Patient
+Détails des patients
+Nom de naissance: DUPONT IPP: 01234567
+Nom et Prénom: DUPONT JEAN Date de naissance: 15/03/1960
+Sexe: Masculin Lieu de naissance: BAYONNE
+Adresse: 12 RUE DU PORT Ville de résidence: BAYONNE
+Code Postal: 64100"""
+
+TRACKARE_EPISODE_1 = """Détails épisode
+Episode No: 23001111
+Date d'admission: 10/01/2023 Heure d'admission: 14:30
+Date de sortie: 10/01/2023 Heure de sortie: 18:00
+Localisation: URG-ADULTE Médecin courant: DR MARTIN
+Observations médicales
+Note d'évolution DR MARTIN 10/01/2023 15:00
+Douleur abdominale. Bilan normal.
+Diagnostic aux urgences
+Principal actif R10.4 Douleurs abdominales 10/01/2023 15:30"""
+
+TRACKARE_EPISODE_2 = """Détails épisode
+Episode No: 23002222
+Date d'admission: 15/03/2023 Heure d'admission: 09:15
+Date de sortie: 15/03/2023 Heure de sortie: 13:00
+Localisation: URG-ADULTE Médecin courant: DR DURAND
+Observations médicales
+Note d'évolution DR DURAND 15/03/2023 10:00
+Chute mécanique. Radio cheville gauche normale.
+Diagnostic aux urgences
+Principal actif S93.4 Entorse de la cheville 15/03/2023 10:30"""
+
+TRACKARE_SINGLE = TRACKARE_PATIENT_BLOCK + "\n" + TRACKARE_EPISODE_1
+TRACKARE_MULTI = TRACKARE_PATIENT_BLOCK + "\n" + TRACKARE_EPISODE_1 + "\n" + TRACKARE_EPISODE_2
+
+
+CRH_SINGLE = """MME MARTIN SOPHIE
+12 RUE DES FLEURS
+64100 BAYONNE
+
+Mon cher confrère,
+Votre patiente MARTIN Sophie née le 05/06/1975 a été hospitalisée
+du 20/01/2023 au 25/01/2023 pour le motif suivant:
+Cholécystite aiguë lithiasique.
+
+Cordialement,
+Dr DURAND"""
+
+CRH_DOC_1 = """MME MARTIN SOPHIE
+12 RUE DES FLEURS
+64100 BAYONNE
+
+Mon cher confrère,
+Votre patiente MARTIN Sophie née le 05/06/1975 a été hospitalisée
+du 20/01/2023 au 25/01/2023 pour le motif suivant:
+Cholécystite aiguë lithiasique.
+
+Cordialement,
+Dr DURAND
+"""
+
+CRH_DOC_2 = """M. BERNARD PIERRE
+5 AVENUE DU MARÉCHAL
+64200 BIARRITZ
+
+Mon cher confrère,
+Votre patient BERNARD Pierre né le 12/11/1950 a été hospitalisé
+du 02/02/2023 au 08/02/2023 pour le motif suivant:
+Décompensation cardiaque.
+
+Cordialement,
+Dr PUJOS
+"""
+
+CRH_MULTI = CRH_DOC_1 + CRH_DOC_2
+
+
+# --- Tests Trackare ---
+
+class TestSplitTrackare:
+    def test_single_episode_returns_unchanged(self):
+        result = _split_trackare(TRACKARE_SINGLE)
+        assert len(result) == 1
+        assert result[0] == TRACKARE_SINGLE
+
+    def test_multi_episode_returns_two_chunks(self):
+        result = _split_trackare(TRACKARE_MULTI)
+        assert len(result) == 2
+
+    def test_each_chunk_has_patient_block(self):
+        result = _split_trackare(TRACKARE_MULTI)
+        for chunk in result:
+            assert "DUPONT JEAN" in chunk
+            assert "IPP: 01234567" in chunk
+
+    def test_each_chunk_has_own_episode(self):
+        result = _split_trackare(TRACKARE_MULTI)
+        assert "Episode No: 23001111" in result[0]
+        assert "Episode No: 23002222" in result[1]
+
+    def test_episodes_are_separated(self):
+        result = _split_trackare(TRACKARE_MULTI)
+        # Le premier chunk ne doit PAS contenir l'épisode 2
+        assert "Episode No: 23002222" not in result[0]
+        # Le second chunk ne doit PAS contenir l'épisode 1
+        assert "Episode No: 23001111" not in result[1]
+
+    def test_no_episode_returns_unchanged(self):
+        text = "Un texte sans épisode du tout."
+        result = _split_trackare(text)
+        assert len(result) == 1
+        assert result[0] == text
+
+    def test_fallback_without_details_episode(self):
+        """Si pas de 'Détails épisode', coupe sur 'Episode No:'."""
+        text = (
+            "Nom de naissance: DUPONT IPP: 01234567\n"
+            "Episode No: 111\nContenu épisode 1\n"
+            "Episode No: 222\nContenu épisode 2"
+        )
+        result = _split_trackare(text)
+        assert len(result) == 2
+        assert "Episode No: 111" in result[0]
+        assert "Episode No: 222" in result[1]
+
+
+# --- Tests CRH ---
+
+class TestSplitCRH:
+    def test_single_crh_returns_unchanged(self):
+        result = _split_crh(CRH_SINGLE)
+        assert len(result) == 1
+        assert result[0] == CRH_SINGLE
+
+    def test_multi_crh_returns_two_chunks(self):
+        result = _split_crh(CRH_MULTI)
+        assert len(result) == 2
+
+    def test_each_chunk_is_independent(self):
+        result = _split_crh(CRH_MULTI)
+        assert "MARTIN SOPHIE" in result[0]
+        assert "BERNARD PIERRE" in result[1]
+
+    def test_chunks_contain_medical_content(self):
+        result = _split_crh(CRH_MULTI)
+        assert "Cholécystite" in result[0]
+        assert "Décompensation cardiaque" in result[1]
+
+    def test_no_header_returns_unchanged(self):
+        text = "Un texte médical sans header patient."
+        result = _split_crh(text)
+        assert len(result) == 1
+
+    def test_header_without_crh_markers_no_split(self):
+        """Un header patient sans patterns CRH ne déclenche pas de split."""
+        text = "MME DUPONT MARIE\nTexte quelconque\nMME MARTIN SOPHIE\nAutre texte"
+        result = _split_crh(text)
+        assert len(result) == 1
+
+
+# --- Tests dispatch ---
+
+class TestSplitDocuments:
+    def test_dispatch_trackare(self):
+        result = split_documents(TRACKARE_MULTI, "trackare")
+        assert len(result) == 2
+
+    def test_dispatch_crh(self):
+        result = split_documents(CRH_MULTI, "crh")
+        assert len(result) == 2
+
+    def test_dispatch_unknown_type(self):
+        result = split_documents("some text", "unknown")
+        assert len(result) == 1
+        assert result[0] == "some text"
+
+    def test_single_doc_no_split(self):
+        result = split_documents(TRACKARE_SINGLE, "trackare")
+        assert len(result) == 1
+
+
+# --- Test intégration process_pdf ---
+
+class TestProcessPdfMulti:
+    @patch("src.main.extract_text")
+    @patch("src.main.extract_medical_info")
+    @patch("src.main._run_edsnlp", return_value=None)
+    @patch("src.main._use_edsnlp", False)
+    def test_multi_episode_returns_multiple_results(
+        self, mock_edsnlp, mock_medical, mock_extract
+    ):
+        from pathlib import Path
+        from src.main import process_pdf
+        from src.config import DossierMedical, Diagnostic
+
+        # Mock extract_text retournant un texte multi-épisodes Trackare
+        mock_extract.return_value = TRACKARE_MULTI
+
+        # Mock extract_medical_info retournant un DossierMedical minimal
+        mock_medical.return_value = DossierMedical(
+            diagnostic_principal=Diagnostic(texte="test"),
+        )
+
+        results = process_pdf(Path("fake.pdf"))
+        assert len(results) == 2
+        # Chaque résultat est un tuple (text, dossier, report)
+        for anon_text, dossier, report in results:
+            assert isinstance(dossier, DossierMedical)