DField SolutionsMérnöki stúdió · Budapest
Loading · Töltődik
Ugrás a tartalomhoz
Kategória: Generatív NLP

Glossa

Megtanul egy hangot, aztán azon szólal meg.

Miről szól

A Glossa egy Markov-láncos szöveggenerátor, amely megtanulja egy szövegkorpusz stílusát, és új szöveget állít elő azon a hangon. A jellegzetes technika az, hogy tokenizálja a bemenetet, összeszámolja minden n-gram lehetséges folytatásait, majd előre mintavételez súlyozott valószínűségekkel mondat-tudatos kezdőpontokból, a központi teszttel garantálva, hogy a generátor sosem ad ki olyan átmenetet, amit a tanításban nem látott. Ez egy nulláról épített, függőség-szegény projekt, amelyet letölthetsz és helyben futtathatsz.

Egy tiszta Markov szöveggenerátor: tokenizál → összeszámolja minden n-gram folytatásait → előre mintavételez, súlyozottan, mondat-tudatos kezdőpontokból; 13 teszt, amelyek arra az invariánsra összpontosítanak, hogy a generátor sosem ad ki olyan átmenetet, amit a tanításban nem látott.

Mi van benne

A teljes forráskód, a tesztek és a CI. Nyisd meg, olvasd el, módosítsd. Függőség nélküli mag, MIT-szellemben, szabadon.

Futtatás kicsomagolás után

pnpm install && pnpm dev