Initial commit
This commit is contained in:
Dom
427
rpa_vision_v3/GRAPH_BUILDER_COMPLETE.md
Normal file
427
rpa_vision_v3/GRAPH_BUILDER_COMPLETE.md
Normal file
@@ -0,0 +1,427 @@
|
||||
ase 5.
|
||||
léter la Phpour compedges uction d'onstrla cImplémenter ** tape:ochaine é**Prlète
|
||||
|
||||
e 5 comphaspour Pe
|
||||
- ✅ Prêt cture solidite Archlidés
|
||||
- ✅ts va
|
||||
- ✅ Tes complèteation ✅ Documentenable
|
||||
-aint et monnelprofessiCode ec :
|
||||
|
||||
- ✅ ready** avroduction-t **ptenanest mainbuilder` ph_dule `gra
|
||||
Le moon
|
||||
Conclusi📝
|
||||
---
|
||||
|
||||
## exible
|
||||
n flnfiguratio - Coble
|
||||
xtensi eectureit
|
||||
- Archésrement marqulai - TODO cté**
|
||||
**Évolutiviter
|
||||
|
||||
5.tes- Facile à ires
|
||||
lités claonsabi
|
||||
- Respn séparéesprivées bieéthodes - M**
|
||||
arité
|
||||
4. **Modulormales
|
||||
ations an situ pour WARNING -tails
|
||||
EBUG pour dé - D
|
||||
ncipales étapes pri INFO pour
|
||||
-ratégique**g Stggin3. **Lo
|
||||
|
||||
ptionalion des Oest - Gntrées
|
||||
ion des ealidat Vout
|
||||
-rtts pape hin
|
||||
- Tye Safety** **Typlet
|
||||
|
||||
2.README comprings
|
||||
- sts les docxemples dan - Entation
|
||||
nt implémecstrings ava
|
||||
- Don First**tio**Documenta
|
||||
|
||||
1. pliquéesratiques Ap Bonnes P##s
|
||||
|
||||
#Apprise🎓 Leçons
|
||||
|
||||
##
|
||||
---
|
||||
documentéecture x] Archite
|
||||
- [lisationes d'utiExempl [x]
|
||||
-ME completAD] REstic
|
||||
- [xun diagnoucts
|
||||
- [x] Ats passanesrs
|
||||
- [x] Treustion d'er[x] Geif
|
||||
- ing informat
|
||||
- [x] Loggs complets hintype] T [xstive
|
||||
-tion exhauocumenta- [x] De
|
||||
et lisibl Code propreité
|
||||
|
||||
- [x]st Qualeckli
|
||||
## ✅ Ch``
|
||||
|
||||
---
|
||||
logging
|
||||
`e avec proprionentatplém # Im""
|
||||
" ...
|
||||
|
||||
tionndexaISS pour i Manager FAnager: faiss_ma gs
|
||||
dinate Embed pour Stilder: Bung_builder embeddi Args:
|
||||
|
||||
r.
|
||||
hBuildeapr le Grise Initial"""
|
||||
):
|
||||
= 2,
|
||||
amples: intn_sring_mi cluste.15,
|
||||
0 =at: floustering_eps
|
||||
clt = 3,ions: inepetitttern_rmin_pa
|
||||
] = None,FAISSManager: Optional[ger faiss_manane,
|
||||
ilder] = NoingBueEmbedd[Stattionaluilder: Opembedding_b self,
|
||||
nit__(
|
||||
def __i"
|
||||
|
||||
"" ion)
|
||||
session(sessild_from_er.bulow = build >>> workfs=3)
|
||||
ionern_repetit(min_pattphBuilderuilder = Gra >>> bmple:
|
||||
|
||||
Exa...
|
||||
nnel)
|
||||
on (optioxatide pour inanager FAISSanager: M_miss fags
|
||||
ate Embeddinr les Stpour calculeuilder r: Bng_buildembeddi e
|
||||
ibutes:
|
||||
Attr tés.
|
||||
épés rles patterntectant ges en dé et eddeses nolow avec sun Workf
|
||||
iquementmatire autopour construawSession une R analysette classe Cetes.
|
||||
|
||||
sessions brus flows depuie works de graphestructeur d
|
||||
Con"
|
||||
""er: GraphBuildenté
|
||||
classcumbien dosionnel, de profeshon
|
||||
# Coès
|
||||
|
||||
```pyt
|
||||
|
||||
### Apr``ss
|
||||
` pa basique
|
||||
de Co #):
|
||||
ession ses(self,n_statreate_scree_cf de
|
||||
|
||||
r = ...deuilg_binf.embedd self, ...):
|
||||
t__(sel def __inihBuilder:
|
||||
|
||||
class Grapocumentéal, peu de minimython
|
||||
# Cod
|
||||
|
||||
```p
|
||||
### Avant Impact
|
||||
-
|
||||
|
||||
## 📈sters
|
||||
|
||||
--es clu qualité ds detrique - Méterns
|
||||
pat sans on états - Gesti00 états)
|
||||
longues (>10ons très sisesstion - Geustesse**
|
||||
**Robng
|
||||
|
||||
5. clusteriion duParallélisat
|
||||
- sr prototypeache LRU pou C
|
||||
- embeddingsssing pourceproh - Batcions**
|
||||
**Optimisatyenne
|
||||
|
||||
4. orité Mos
|
||||
|
||||
### PriRepetitioninimum ion MectDetn Pattery 16:ropert - P
|
||||
e Counttotype Samplmbedding Proy 14: Eropert P
|
||||
-Based**s Property-est. **T ```
|
||||
|
||||
3nts
|
||||
ui_elemeequired_ # - rerns
|
||||
_patt_text- required # (regex)
|
||||
tterntitle_paindow_ w # -ntes
|
||||
lligetes inteontrain: Extraire c # TODOype):
|
||||
es, protot, statlate(selfemp_screen_tdef _createn
|
||||
tho*
|
||||
```pylate()`*en_tempcrecreate_sir `_ **Enrich``
|
||||
|
||||
2.ns
|
||||
`ditiopre/post-con. Définir # 4 s
|
||||
rôlec c aveargetSpeCréer T # 3. ts
|
||||
vénemens é depui actionsaire 2. Extrj)
|
||||
#e_i → state_ (statr séquencesieif# 1. Identns
|
||||
itiotecter transO: Dé TOD #sion):
|
||||
esstates, sn_nodes, screelf, dges(seef _build_e dpython
|
||||
`**
|
||||
```d_edges()er `_buillément
|
||||
1. **Impté Haute
|
||||
ri Prio##pes
|
||||
|
||||
# Étainesrocha
|
||||
|
||||
## 🚀 P
|
||||
---s")
|
||||
```
|
||||
tal} vectorex.ntomanager.ind: {faiss_ISS indext(f"FArinISS
|
||||
p dans FAment indexésquetomati sont aumbeddings)
|
||||
|
||||
# Les esionssion(ses_from_seild.bubuilderow = workfl
|
||||
re workflow
|
||||
# Construi.12
|
||||
)
|
||||
s=0ring_ep cluste,
|
||||
petitions=5rn_repatte min_ager,
|
||||
er=faiss_mannagfaiss_mar(
|
||||
uildeer = GraphBild
|
||||
buavec FAISSder # Créer buil512)
|
||||
|
||||
ensions=(dimSSManagerr = FAImanagefaiss_ager
|
||||
r FAISS maner
|
||||
|
||||
# CréeAISSManag import F_managering.faissre.embedd
|
||||
from coBuildert Graphlder imporraph_buire.graph.gon
|
||||
from coyth``pAISS
|
||||
|
||||
`vec Fs Avancé a## Ca
|
||||
```
|
||||
|
||||
#")odes)} nodesrkflow.now: {len(wont(f"Workfl
|
||||
)
|
||||
|
||||
priorkflow"Login Wow_name="orkfl wssion,
|
||||
_se session=raw sion(
|
||||
d_from_seslder.buil buiflow =orkrkflow
|
||||
wre woui
|
||||
# Constr)
|
||||
g_eps=0.15
|
||||
erin clust3,
|
||||
tions=_repeti min_patternuilder(
|
||||
er = GraphBlder
|
||||
buildle buier Cré
|
||||
|
||||
#Sessionport Rawsession ims.raw_dele.mo cor
|
||||
fromuilderphBraport Ger imph_builde.graph.gra
|
||||
from corthon``py
|
||||
`imple
|
||||
Cas Son
|
||||
|
||||
### satimple d'Utili## 🔄 Exe
|
||||
|
||||
es
|
||||
|
||||
---étapchaines lète
|
||||
- Pro compon
|
||||
- APIratie
|
||||
- Configuodmples de cation
|
||||
- ExeilisGuide d'utodule
|
||||
- e du mchitecturec :
|
||||
- ArDME.md` avph/REAcore/gra `
|
||||
Crééomplet
|
||||
ADME C
|
||||
### RE```
|
||||
|
||||
""des")
|
||||
"} no.nodes)en(workflow {lthorkflow wiint(f"W >>> prssion)
|
||||
sion(raw_se_from_sesld builder.builow => workf=3)
|
||||
>>itionsetttern_repin_pa(mhBuilderGrapder = > buil >>
|
||||
Example:er
|
||||
|
||||
ustcle chaqune) pour yenrototype (mocule un p
|
||||
- Calnsépétitioins de N rmosters avec clultre les - Fibeddings
|
||||
entre emsinus coimilarité sue:iq Métr -
|
||||
ustering)ial Clpated Sassity-B(Denise DBSCAN - Utiltterns:
|
||||
tion de Pade Détecorithme lgs
|
||||
|
||||
Aionittransges depuis rkflowEdon de Wo. Constructi 5s
|
||||
usterpuis clowNodes dede Workflon tistruc Con
|
||||
4.ANtering DBSCrns via clusteatection de p3. Détts
|
||||
ous les étangs pour tbedditate Emul de S 2. Calc
|
||||
ssions RawSees depuiScreenStat de ation Cré
|
||||
1.ecture:Archités.
|
||||
|
||||
erns répétant les pattet en détectegistrées ssions enrant les seen analysworkflows
|
||||
e raphes de ge dutomatiqutruction ala consplémente dule im
|
||||
|
||||
Ce moGraphskflow ue de Wortiqmauction Autoder - Constr"
|
||||
GraphBuil""on
|
||||
pyth``ng
|
||||
|
||||
`ule Docstri
|
||||
### Mod
|
||||
tationDocumen--
|
||||
|
||||
## 📖
|
||||
```
|
||||
|
||||
-ound ✅gnostics fNo dia
|
||||
# py'])uilder.h/graph_bv3/core/grap_vision_cs(['rpaagnostish
|
||||
$ getDi``baics
|
||||
|
||||
`iagnost
|
||||
|
||||
### D``r
|
||||
`reuune er)
|
||||
# ✓ Aucetitions=3_pattern_repder(minraphBuilbuilder = Guilder
|
||||
|
||||
t GraphBilder imporaph_bugrraph..gm coreython
|
||||
fro``pst
|
||||
|
||||
`ort Te`
|
||||
|
||||
### Imp PASSENT
|
||||
``TESTSLES
|
||||
|
||||
✓ TOUS sponibleder diCLIP embedration OK - ..
|
||||
✓ Intégation.est Intégr
|
||||
|
||||
[5/5] T5 started- Phase OK cher ✓ NodeMat
|
||||
cher...t NodeMates[4/5] Trted
|
||||
|
||||
staK - Phase 5 r OlderaphBuider...
|
||||
✓ GphBuilrat G5] Tesated
|
||||
|
||||
[3/ 11 valid - Propertyanager OK.
|
||||
✓ FAISSMger..st FAISSMana Te5]dated
|
||||
|
||||
[2/17 vality K - ProperEngine O✓ Fusionngine...
|
||||
onEt Fusi
|
||||
|
||||
[1/5] Tese_a_b.pyhasst_python te
|
||||
$ p```bash
|
||||
|
||||
assants### Tests Plidation
|
||||
|
||||
ts et Va## 🧪 Tes
|
||||
|
||||
---
|
||||
|
||||
""
|
||||
```
|
||||
"alide vide ou invession estSi la sueError: Valises:
|
||||
Ra
|
||||
|
||||
des et edgesruit avec nokflow const Worurns:
|
||||
Ret
|
||||
)
|
||||
si Nonenéré flow (gérk: Nom du wolow_name workfr
|
||||
te à analyseSession bruion: sess Args:
|
||||
|
||||
tions
|
||||
sis tranpuis destruire edgeCon
|
||||
5. s clusterspuies de nodireConstru 4. ring
|
||||
via clusteatterns Détecter p 3. at
|
||||
e étr chaqudings pour embedCalcule 2. enshots
|
||||
creis sates depur ScreenStée 1. Cr
|
||||
s:rocessu
|
||||
P
|
||||
RawSession.depuis une low complet kfuire un Wortr
|
||||
Cons""" ow:
|
||||
-> Workfl) ne,
|
||||
Nonal[str] =e: Optioflow_nam
|
||||
work RawSession,ssion:seself,
|
||||
|
||||
rom_session(d_fuil
|
||||
def b
|
||||
|
||||
```pythonstringemple de Doc## ExNG)
|
||||
|
||||
#WARNI DEBUG, priés (INFO, approeaux* : Nivg*inLogg
|
||||
- ✅ **stringsFormat doce** : Styl✅ **Google - s
|
||||
: Type hintP 484** **PE
|
||||
- ✅ ringsocst 257** : D- ✅ **PEPn standard
|
||||
Style PythoP 8** :✅ **PEectés
|
||||
|
||||
- spndards Re
|
||||
|
||||
### Sta
|
||||
``` ✅ Passent ts: 0
|
||||
Tescs: gnosti
|
||||
Dia 100%: hints 100%
|
||||
Types:
|
||||
Docstring 8 ons:
|
||||
Foncti 450: de code
|
||||
Lignes
|
||||
|
||||
```ques
|
||||
### Métridu Code
|
||||
📊 Qualité --
|
||||
|
||||
## nce
|
||||
|
||||
- à l'avaspécifier Kde soin s be- Paiques)
|
||||
unit (étatse bruifie l- Identsters
|
||||
clunombre de uement le tomatiqtecte aus:**
|
||||
- Dévantage
|
||||
**Aus
|
||||
arité cosinile'` : Simic='cosin
|
||||
- `metrusterpar clons min lltianÉchmples=2` : in_sa
|
||||
- `mintsentre poax stance m : Di5`- `eps=0.1**
|
||||
ètres:N
|
||||
|
||||
**ParamSCAorithme DB
|
||||
### Algflow
|
||||
```
|
||||
|
||||
Work ↓ODO]
|
||||
[Tld_edges() ↓
|
||||
5. _buiodes
|
||||
kflowN ↓
|
||||
Wor()
|
||||
_build_nodes↓
|
||||
4. ndices]}
|
||||
[i_id:er{clust↓
|
||||
Clusters
|
||||
) [DBSCAN]s(rn_pattetect3. _de
|
||||
↓
|
||||
2D vectors)gs (51
|
||||
Embeddin
|
||||
↓()ingse_embedd2. _comput ↓
|
||||
enStates
|
||||
|
||||
Screes()
|
||||
↓_statreate_screen ↓
|
||||
1. _c ion
|
||||
RawSesson
|
||||
|
||||
```
|
||||
tructide Conssus
|
||||
### Proceser
|
||||
GraphBuildchitecture
|
||||
|
||||
## 🏗️ Ar
|
||||
|
||||
---Références - de
|
||||
cos deExemplen
|
||||
- ioisatide d'util - Guodule
|
||||
du mecture - Archit)
|
||||
n complèteentatiocum (doREADME.md`**core/graph/. **`
|
||||
3ontraintes
|
||||
e ction dida - Val)
|
||||
S + linéaireching (FAISatatégies de m - Strmplète
|
||||
tcher` cose `NodeMa - Clas)
|
||||
(125 lignes`**er.pytchde_mano`core/graph/
|
||||
|
||||
2. **aque étapeaillé à ching détLoggs
|
||||
- ternatn de ptectio déourSCAN phme DBritAlgontées
|
||||
- s docume- 8 méthode
|
||||
te complèer`uildraphB - Classe `Gignes)
|
||||
0 ler.py`** (45ildraph_bu/graph/g
|
||||
1. **`coreipaux
|
||||
iers Princ
|
||||
### FichModifiés
|
||||
éés/iers Cr Fich---
|
||||
|
||||
## 📁
|
||||
|
||||
ing/typing) (lintticgnosucun dia As
|
||||
- ✅ion d'erreurGestif
|
||||
- ✅ matg infor✅ Loggins
|
||||
- pletnts com- ✅ Type hi style)
|
||||
les Googcstringstive (dohauexntation ✅ Documetructuré
|
||||
- s bienetode propre ✅ Cvec :
|
||||
- uilder.py` aph_b de `gralleprofessionneet e complèt
|
||||
Réécritureeint
|
||||
f Att# 🎯 Objecti
|
||||
---
|
||||
|
||||
#rminée
|
||||
ropre tementation pplé✅ Im*Status:**
|
||||
* 20243 Novembree:** 2
|
||||
**Datpre
|
||||
te et Promplèentation Complém- Ider uilaphB# Gr
|
||||
Reference in New Issue
Block a user