rag-systeme
Sie stellen eine Frage, statt Ordner durchzublättern, und bekommen die Antwort mit der Fundstelle im Originaldokument dazu. DSGVO-konform, auf Wunsch komplett auf Ihrer eigenen Hardware.
Ein RAG-System beantwortet Fragen zu den Dokumenten Ihres Unternehmens. Sie tippen die Frage in normalem Deutsch und bekommen die Antwort, dazu die Fundstelle im Originaldokument. Ich baue so etwas für Betriebe, bei denen tausende Verträge, Handbücher, Protokolle und Angebote herumliegen und trotzdem jedes Mal jemand losgeschickt wird, um nachzusehen. Ich sitze in Karlsruhe und arbeite deutschlandweit.
RAG steht für Retrieval-Augmented Generation. Der Unterschied zu einem gewöhnlichen Chatbot steckt im ersten Teil: Bevor das Sprachmodell antwortet, durchsucht das System Ihre eigenen Unterlagen, holt die passenden Absätze heraus und legt sie dem Modell hin. Das Modell erzählt also nicht aus dem Gedächtnis, es liest nach. Damit fällt genau das weg, wovor Unternehmen bei KI zu Recht den meisten Respekt haben: Antworten, die frei erfunden sind und trotzdem gut klingen.
Bei einer Volltextsuche müssen Sie außerdem das richtige Stichwort erraten. Im Vertrag steht vielleicht etwas von Vertragslaufzeit und Beendigung, gefragt haben Sie nach der Kündigungsfrist, und schon kommt nichts zurück. Ein RAG-System findet die Stelle trotzdem, weil im Hintergrund eine Vektordatenbank arbeitet: Jeder Absatz Ihrer Dokumente liegt dort als Embedding, also als Zahlenreihe, die seine Bedeutung abbildet. Das System sucht damit nach Sinn statt nach Buchstaben.
Im Alltag sieht das dann ziemlich unspektakulär aus. Jemand fragt "Welche Kündigungsfrist steht im Rahmenvertrag mit Lieferant Meier?", und ein paar Sekunden später steht die Antwort da, daneben der Absatz, aus dem sie kommt. Ihre Leute müssen der Maschine nichts glauben, sie können es nachschlagen.
Verträge
Rahmenverträge, Wartungsverträge, Mietverträge. Wer wissen will, welche Frist wo gilt, klappert sonst fünf Ordner ab. Richtig spürbar wird das, wenn über die Jahre wechselnde Leute die Verträge geschlossen haben und niemand mehr alles im Kopf hat.
Technik
Der Monteur steht an der Anlage und braucht einen bestimmten Wert aus 400 Seiten Dokumentation. Er fragt auf dem Handy und bekommt die Antwort mit Seitenverweis, ohne vorher den Kollegen im Büro anzurufen.
Angebote
Alte Angebote und Kalkulationen sind die beste Grundlage für neue. Vorausgesetzt, man findet sie wieder. Ein RAG-System macht aus dem Archiv eine Stelle, die Auskunft gibt.
Wissen
Die Fragen der ersten Wochen sind fast immer dieselben, und die Antworten stehen fast immer irgendwo. Nur eben verteilt auf Intranet, alte Protokolle und den Kopf von zwei Kollegen, die selbst genug zu tun haben.
Qualität
Die Nachweise für ein Audit zusammenzusuchen kostet regelmäßig Tage. Mit einer Quellenangabe an jeder Antwort wird daraus eine Abfrage, deren Ergebnis der Prüfer nachvollziehen kann.
Behörden
Förderbescheide, Genehmigungen, Auflagen. Was wurde wann bewilligt, welche Nebenbestimmung gilt heute noch? Auf solche Fragen bekommen Sie eine Antwort mit Beleg und müssen sich nicht auf Ihr Gedächtnis verlassen.
Nicht jeder Dokumentenberg braucht ein RAG-System. Wenn Sie zweihundert PDFs haben und zwei Leute darin suchen, ist eine ordentliche Ablage mit Volltextsuche billiger und macht weniger Arbeit im Betrieb. Das sage ich Ihnen im Erstgespräch, bevor Geld fließt. Interessant wird es, sobald viel Material zusammenkommt und die Fragen sich nicht mehr in einen Suchbegriff pressen lassen. Dazu kommt oft, dass dieselbe Sache je nach Dokument anders heißt.
Demos mit Beispieldaten sehen immer gut aus. Deshalb baue ich den Piloten mit einem echten Ausschnitt Ihrer Dokumente, meistens ein klar abgegrenzter Bereich wie alle Rahmenverträge oder die Servicedokumentation einer Baureihe. Sie stellen die Fragen, die Sie im Alltag wirklich stellen, und sehen selbst, ob die Antworten taugen. Kommt dabei heraus, dass es nicht trägt, haben Sie einen Piloten bezahlt und keine Einführung.
Funktioniert der Pilot, kommen die übrigen Quellen dazu. Dann geht es um Zugriffsrechte, um Protokollierung und um die Anbindung an die Programme, in denen Ihre Leute sowieso den ganzen Tag stecken. Ein eigenes Portal, das niemand öffnet, nützt Ihnen nichts, deshalb bringe ich die Suche lieber dorthin, wo die Arbeit ohnehin stattfindet.
Sie bekommen eine Dokumentation, die Ihr IT-Dienstleister lesen und verstehen kann, und eine Einweisung für die Leute, die täglich damit arbeiten. Was ich baue, soll auch dann weiterlaufen, wenn ich nicht mehr im Projekt bin.
Die häufigste Sorge im Erstgespräch ist, dass die eigenen Firmendokumente bei einem amerikanischen Anbieter landen und dort ins nächste Modell einfließen. Die Sorge ist berechtigt. Technisch lässt sie sich ausräumen, die Frage ist nur, wie weit Sie dabei gehen wollen.
Komplett lokal. Ein RAG-System kann vollständig auf Ihrer eigenen Hardware laufen: das Sprachmodell, die Vektordatenbank, die Dokumente. Nichts verlässt Ihr Netz. Das kostet mehr Rechenleistung und bei richtig kniffligen Fragen ein Stück Antwortqualität gegenüber den großen kommerziellen Modellen. Dafür ist es nach DSGVO die einfachste Variante, weil es schlicht keine Übermittlung gibt, über die man streiten könnte.
Gemischt. Ihre Dokumente und die Suche bleiben im Haus, nur das Formulieren der Antwort übernimmt ein externes Modell, mit Auftragsverarbeitungsvertrag und in einem europäischen Rechenzentrum. Dann sollten Sie sich ansehen, welche Textausschnitte dabei tatsächlich das Haus verlassen. Das lässt sich einstellen und begrenzen.
Welche Variante zu Ihnen passt, hängt weniger an der Technik als daran, was in den Dokumenten steht. Personalakten sind eben etwas anderes als Produktdatenblätter. Wir klären das, bevor die erste Zeile Code entsteht, und Ihr Datenschutzbeauftragter sollte dabei am Tisch sitzen.
haeufige fragen
Vor allem der Umfang. Ein Datei-Upload reicht für ein paar Dokumente in einer Sitzung, danach ist alles wieder weg. Ein RAG-System arbeitet dauerhaft auf Ihrem gesamten Bestand, kennt die Zugriffsrechte Ihrer Leute, protokolliert die Anfragen und nennt zu jeder Antwort die Fundstelle. Außerdem läuft es dort, wo Sie es haben wollen, im Zweifel ohne Internetverbindung.
Das Risiko lässt sich stark senken, ganz auf null bekommt es niemand. Deshalb hängt an jeder Antwort die Quellenangabe mit der Textstelle, aus der sie stammt. Findet das System nichts Passendes, soll es das sagen statt zu raten, und genau darauf teste ich im Piloten besonders gründlich. Bei Entscheidungen mit rechtlicher oder finanzieller Tragweite gilt trotzdem: einmal ins Original schauen.
Ja. Für einen abgegrenzten Dokumentenbestand reicht oft ein einzelner Server mit einer ordentlichen Grafikkarte im eigenen Haus. Ich sage Ihnen vorher, welche Hardware Ihr Anwendungsfall braucht und ob sich die Anschaffung gegenüber einer europäischen Cloud überhaupt rechnet.
PDF, Word, Excel, PowerPoint, E-Mails, Textdateien und die Inhalte gängiger Ablagen wie SharePoint oder Nextcloud. Gescannte Papierdokumente brauchen einen Zwischenschritt zur Texterkennung. Das ist Routine, kostet aber Zeit und gehört deshalb von Anfang an in die Planung.
Für einen abgegrenzten Bereich sind wenige Wochen realistisch. Aufgehalten hat mich dabei bisher selten die Technik, sondern die Frage, wo die Dokumente eigentlich liegen und wer sie sehen darf. Das klärt sich schneller, wenn von Ihrer Seite jemand dabei ist, der solche Fragen entscheiden darf.
Das hängt an der Dokumentenmenge, an der Zahl der Quellen und daran, ob Sie lokal oder in der Cloud betreiben wollen. Eine Zahl vorab wäre schlicht geraten. Nach dem Erstgespräch bekommen Sie dagegen eine belastbare Einschätzung mit einer Spanne, an der Sie planen können.
passt dazu
Schreiben Sie mir kurz, welche Art von Dokumenten bei Ihnen liegt und wer täglich darin sucht. Im Erstgespräch sage ich Ihnen, ob sich ein RAG-System dafür lohnt oder ob es eine einfachere Lösung auch tut.