Skip to content

RAG-Systeme: KI-Antworten aus Ihren eigenen Dokumenten

Verbinden Sie PDFs, Verträge, Handbücher, Netzlaufwerke und Wiki mit einem KI-Assistenten. Er antwortet in klarer Sprache und nennt Dokument und Seite, auf die er sich stützt. Er läuft auf Ihrem eigenen Server, auf Wunsch offline, oder in einer deutschen Cloud. Ihre Daten bleiben unter Ihrer Kontrolle.

Warum ChatGPT Ihre Dateien nicht kennt

So funktioniert ein RAG-System

RRetrieval: finden
Das System findet die Passagen in Ihren Quellen, die am besten zur Frage passen.
AAugmented: übergeben
Diese Passagen werden der Frage mitgegeben, und zwar nur aus Dokumenten, die die fragende Person sehen darf.
GGeneration: antworten
Ein Sprachmodell formuliert daraus die Antwort und nennt Dokument und Seite. Passt nichts, sagt es das, statt zu raten.

Technik im Detail: vom Dokument zur Vektordatenbank

  • Auslesen und aufteilenDer Text jeder Datei wird ausgelesen, bei Scans per Texterkennung (OCR), und in Passagen geteilt, die Titel und Seite behalten.
  • EinbettenEin Embedding-Modell wandelt jede Passage in einen Vektor um: eine Zahlenreihe, die ihre Bedeutung abbildet.
Eine Buchseite blättert im Wind am Hafen, während hinten ein Frachtschiff vorbeifährt
  • In einer Vektordatenbank speichernVektoren, Text, Seite und Zugriffsrechte werden zusammen gespeichert und so indexiert, dass die nächsten Vektoren in Millisekunden gefunden werden.

Mit einem Anwendungsfall starten

Wählen Sie eine Frage, die in Ihrem Betrieb jede Woche gestellt wird. Stimmen diese Antworten, kommt die nächste dazu.

  • Antworten für den SupportAus Handbüchern, Datenblättern und alten Tickets, für Mitarbeiter und Kunden.
  • Personalfragen und RichtlinienUrlaub, Reisekosten und Einarbeitung, beantwortet aus Ihrem eigenen Handbuch.
  • Verträge durchsuchenKündigungsfristen, Haftung und Preise über alle Ihre Verträge hinweg.
  • Angebote und ProduktwissenDer Vertrieb findet alte Angebote, technische Daten und Produktdetails selbst.

RAG-Datenquellen

  • Dateien und PDFsPDF (auch gescannt), Word, Excel, PowerPoint und CSV, auf einem Dateiserver oder NAS.
  • LaufwerkeSharePoint, OneDrive, Google Drive, Nextcloud und Dropbox.
  • Wikis und IntranetConfluence, Notion, Ihr Intranet oder Ihre eigene Website.
  • Mail, Tickets und ChatPostfächer in Outlook oder Gmail, Jira-Tickets, Kanäle in Teams und Slack.
  • DatenbankenPostgreSQL, MySQL oder SQL Server: Ihre Frage wird zur Datenbankabfrage, und die Antwort zeigt sie.

Hosting und Datenschutz (DSGVO)

DSGVO, Punkt für Punkt

Ein RAG-System liest Ihre Dokumente, und die enthalten oft personenbezogene Daten. Diese vier Punkte decken ab, was die DSGVO für die Einrichtung verlangt.

Technische Grundlage, keine Rechtsberatung. Das letzte Wort hat Ihr Datenschutzbeauftragter.

Art. 28Auftragsverarbeitung
Ein Vertrag zur Auftragsverarbeitung (AVV) mit jedem Anbieter, der personenbezogene Daten verarbeitet.
Art. 17Löschen
Wird ein Dokument in Ihrem System gelöscht, verschwindet es beim nächsten Abgleich auch aus dem Index.
Art. 5Ihre Protokolle
Fragen und Antworten werden nur protokolliert, wenn Sie es möchten, auf Ihrem eigenen System und so lange, wie Sie entscheiden.
Art. 30Dokumentation
Die Datenflüsse dokumentiert für Ihr Verzeichnis von Verarbeitungstätigkeiten, dazu eine Datenschutz-Folgenabschätzung (DSFA), wo sie nötig ist.

RAG-Pilotprojekt in 4 bis 6 Wochen

  1. Free first callWhich questions, from which sources?
  2. Use case and planOne use case, its sources, and what counts as a good answer.
  3. PilotYour sources on your setup, tested with your real questions.
  4. Measured resultHow often the right source was found, on your own test questions.
  5. Rollout and careMore sources and users, team training, new documents indexed automatically.

Languages and tools

The basics, chosen per project. myRAG below is one combination.

Languages
  • Python
  • TypeScript
Frameworks
  • LangChain
  • LlamaIndex
Vector databases
  • PostgreSQL with pgvector
  • Qdrant
Embedding models
  • bge-m3
  • OpenAI embeddings
Language models
  • Ollama (local)
  • OpenAI
  • Claude
myRAG mit fünf indexierten PDF-Berichten, einer Frage zur Notwasserung auf dem Hudson River, der Antwort mit Quellenmarke und den zitierten Berichtsseiten

Demo: myRAG

Was es ist
Belambos eigener Open-Source-RAG-Assistent für PDF-Dokumente. Eine Demo, kein Kundenprojekt.
Gemessen
Die richtige Quelle unter den ersten fünf bei 85 % von 46 Testfragen; 98 % der Antworten stimmen mit der Quelle überein.
Läuft auf
Ein einziger Rechner: Python und FastAPI, PostgreSQL mit pgvector, bge-m3-Embeddings, Qwen3 über Ollama, neu gewichtet durch das Sprachmodell.

myRAG auf GitHub

Häufige Fragen zu RAG

How is this different from ChatGPT with file uploads?

Uploads cover a few files at a time and leave your company. A RAG system searches all your sources at once, follows your access rights and can run on your own server.

What hardware do I need on-premise?

For a team, usually one workstation or small server with a modern graphics card. You get an exact recommendation in the offer.

Does my data go to ChatGPT?

Only if you choose that. EU-hosted or self-hosted models are the default options, decided per project.

Does Belambo keep any of our data?

No. Belambo stores no user data from your RAG system. Documents, the search index, questions and any logs stay on your server or in your own cloud, for your admins.

Abdul Hannan sitting in an old armchair in front of a mural of a sparrow

Kontakt

A short message is enough.

Replies within one working day