Firmenwissen für die KI: Nachschlagen oder nachtrainieren?

Was bei der Frage nachgeschlagen wird

Bei Retrieval-Augmented Generation, kurz RAG, sucht eine Anwendung passende Informationen und gibt sie dem Sprachmodell als Kontext für die Antwort mit. Microsoft beschreibt dieses Muster für Azure AI Search: Suche und Textgenerierung arbeiten zusammen. Die Informationen können aus eigenen Unterlagen stammen; sie müssen nicht zuvor in das Modell eintrainiert worden sein.

Der entscheidende Arbeitsgang liegt damit vor der Antwort. Eine Anwendung muss passende Stellen finden und auswählen. Microsoft nennt dafür unter anderem aufbereitete Dokumentabschnitte, geeignete Suchverfahren und die Begrenzung auf relevante Ergebnisse. Wer eine ganze Ablage anschließt, hat diese Arbeit noch nicht automatisch erledigt.

Was ein Modell beim Nachtrainieren verändert

Fine-Tuning passt ein vortrainiertes Modell anhand zusätzlicher Daten an. Dabei werden Modellparameter verändert; je nach Verfahren betrifft das alle oder nur einen Teil davon. Google beschreibt beaufsichtigtes Tuning beispielsweise als Training mit zusammengehörigen Eingaben und gewünschten Ausgaben. Es kann sich für wiederkehrende Aufgaben eignen, etwa für die Zuordnung von Texten zu festgelegten Kategorien.

Für die Entscheidung hilft ein Unterschied im gewünschten Ergebnis. Fehlt der gültige Inhalt, muss dieser erreichbar werden. Ist der Inhalt vorhanden, aber das Modell ordnet Anfragen trotz passender Anweisung wiederholt unbrauchbar ein, kann eine Anpassung des Verhaltens interessant sein. Bevor Sie Trainingsdaten erstellen, prüfen Sie, ob eine klarere Anweisung und passende Beispiele das Problem bereits lösen.

RAG und Fine-Tuning schließen sich nicht aus. Google erläutert diese Kombination ausdrücklich: Ein angepasstes Modell kann weiterhin nachgeschlagene Informationen verwenden. Die Kombination ist allerdings eine weitere Betriebsaufgabe, keine pauschale Empfehlung für jedes Team.

Die neue Fassung muss bis zur Antwort kommen

Nehmen wir als konstruiertes Beispiel eine Serviceabteilung. Sie beantwortet Fragen zu Lieferbedingungen. Am Dienstag ersetzt eine freigegebene Fassung die bisherige Datei. Eine sinnvolle Abnahme fragt nun nicht nur nach dem neuen Inhalt. Sie prüft auch, ob der Chat noch die alte Fassung findet und woran die sachlich zuständige Person den verwendeten Stand erkennt.

Lassen Sie sich beim angebotenen System den Weg einer Änderung zeigen: Wo liegt das Original? Wann wird es erneut eingelesen? Wie verschwindet eine zurückgezogene Fassung aus den Ergebnissen? Wenn ein Suchindex verwendet wird, ist dessen Aktualisierung ein eigener Vorgang. Der Upload einer Datei belegt noch nicht, dass die nächste Antwort schon mit ihr arbeitet.

Eine sichtbare Quellenangabe erleichtert die Prüfung. Sie muss zu einer tatsächlich verwendeten Stelle führen und die Aussage tragen. Im Beispiel wäre eine Verknüpfung zur falschen Fassung trotz richtig aussehender Antwort ein Fehler. Diese Anforderung können Sie unabhängig vom gewählten Produkt festhalten.

Eine angeschlossene Datei ist nicht für alle freigegeben

Der Zugriff gehört in dieselbe Abnahme. Bei Azure AI Search dokumentiert Microsoft unterschiedliche Verfahren für Berechtigungen auf Dokumentebene. Dazu zählen durch die Anwendung gesetzte Sicherheitsfilter; mehrere native Integrationen sind in der geprüften Dokumentation als Vorschau gekennzeichnet. Das ist eine konkrete Produkteigenschaft. Daraus folgt keine automatische Übernahme aller Rechte bei anderen RAG-Angeboten.

Im Servicebeispiel dürfen allgemeine Lieferbedingungen auffindbar sein, vertrauliche Einzelvereinbarungen jedoch nur für berechtigte Personen. Fragen Sie den Anbieter, wo diese Grenze geprüft wird und wie geänderte Gruppenrechte ankommen. Eine Anweisung an das Sprachmodell, vertrauliche Angaben nicht zu nennen, ersetzt diese Zugriffskontrolle nicht.

Erst den Fehler zuordnen, dann die Technik bestellen

Für eine erste Arbeitsprobe können Sie drei Fragen vorbereiten: eine mit eindeutig gültiger Quelle, eine mit einer zurückgezogenen Fassung und eine, auf deren Unterlage das verwendete Testkonto keinen Zugriff haben darf. Das ist ein vorgeschlagener Prüfaufbau, kein von uns durchgeführter Produktvergleich. Protokollieren Sie getrennt, was gefunden und was daraus formuliert wurde.

Wird schon das falsche Dokument ausgewählt, hilft die Bestellung eines Trainingslaufs an diesem Fehler vorbei. Wird die richtige Stelle gefunden, aber ihr Inhalt falsch wiedergegeben, liegt die weitere Prüfung bei der Antwortbildung. Für aktuelle Lieferbedingungen beginnt die Beschaffung deshalb bei auffindbaren, gültigen und passend freigegebenen Quellen. Über Fine-Tuning lässt sich sinnvoll sprechen, wenn danach noch ein bestimmtes, wiederkehrendes Verhalten zu verbessern ist.