Embedding

Olyan AI-architektúra, ahol a modell minden válasz előtt lekér releváns dokumentumokat a saját adattáradból, és csak a kontextusra támaszkodva válaszol. 80%-ban kivédi a hallucinációt.

Milliárdos paraméterszámú neurális modell (GPT-4, Claude, Mistral), ami szöveget generál. Produkcióban ritkán használjuk csupaszon · mindig retrieval és guardrails rétegbe csomagolva.

Adatbázis, ami embedding-vektorok gyors közelséges keresésére specializálódott (pgvector, Qdrant, Weaviate). A RAG retrieval-rétegének mérnöki alapja.

Automatizált tesztkészlet, ami minden release előtt lefuttat ~50–200 arany (golden) kérdést a modellen, és megnézi hogy a válasz minőségmetrikái (pontosság, faktualitás, latency) átmentek-e a küszöbön.

Input- vagy output-réteg, ami szűri a modell kérdést/válaszát (PII-scrubber, prompt-injection-detektor, JSON-schema validáció, tiltott témák). Nem kerül a modell-hívás elé/után, hanem azok körül.

Olyan LLM-alapú szoftver, ami eszközöket (API, keresés, DB-lekérdezés) tud hívni, memóriája van, és több lépéses feladatot old meg. Produkcióban minden iteráción guardrail + eval fut.