Ein KI-Framework für BCS: Anforderungen und Architektur

Die funktionale Sicht auf das Framework zeigt die folgende Grafik. Eingetragen ist als erste Anwendung die Softwarehilfe. Schnittstellen bestehen zu Datenquellen, zu Sprachmodellen, zur Ergebnisanzeige in BCS sowie über ein User Interface (UI) zum Administrator des Frameworks. Über das UI definiert der Administrator die Applikationen. Kern ist das System-Prompt, das festlegt, was die Anwendung leisten soll. Zusätzlich legt er das Sprachmodell (intern/extern) fest und kann Parameter eingeben. Wenn es sich, wie bei der Hilfe, um einen RAG-Applikation handelt, lässt sich steuern, wie aus dem Datensatz der Vektorindex erzeugt wird, beispielweise die Art und Größe der Textsplitts, oder wie viele Treffer zurückgegeben werden, und wie hoch diese mindestens bewertet sein müssen.

Von BCS aus wird das Framework über eine Schnittstelle angesprochen. Wenn ein Nutzer eine Frage in das KI-Hilfe-Fenster eingibt, wird eine Anfrage an das Framework gestellt, in der die betreffende Applikation als Parameter enthalten ist. Je nachdem, welche Aufgabe erledigt werden soll (Hilfe, Ticket zusammenfassen) können über die Schnittstelle verschiedene Applikationen angefragt werden.

Das Framework kann eine größere Zahl Applikationen enthalten, wie die folgende Grafik zeigt. Applikationen können verkettet werden. So kann beispielsweise aus den geschlossenen Tickets mit einem lokalen Modell ein Datensatz erzeugt werden, der aus anonymisierten Zusammenfassungen besteht. Dieser Datensatz steht dann zur Beantwortung von neu hereinkommenden Tickets zur Verfügung. 

In einer späteren Version kann der Kunde eigene individuelle Applikationen definieren, die nichts mit BCS zu tun haben müssen. Im Bild ist das beispielhaft ganz rechts dargestellt, „Verträge“. Diese stellt eine Unterstützung für Mitarbeiter dar, die häufig Verträgen verhandeln oder erklären müssen, wie es in einer Softwarefirma der Fall ist, wo mit jedem neuen Kunden ein Lizenzvertrag abgeschlossen wird. Die meisten dieser Fragen wurden bereits früher einmal beantwortet. Auf diese Erfahrungen kann mit einer KI-Applikation zurückgegriffen werden, um die Bearbeitung neuer Fälle zu beschleunigen. Der Datensatz besteht aus Dokumenten, die jeweils einen Vertragsparagrafen enthalten, die früher gestellte Kundenfrage dazu, und die getroffene Entscheidung. Das kann einfach über eine Sammlung von .txt-Dateien geschehen. Diese werden wie die Hilfedokumente verarbeitet, es wird ein Vektorindex erzeugt, der dann befragt werden kann.

Auf die gleiche Weise kann ein Kunde firmenindividuelle Prozessanweisungen, Sicherheitsrichtlinien und ähnliche Datensammlungen durch KI befragbar machen.

Die technischen Komponenten zeigt die folgende Grafik. Grundsätzlich sind diese alle austauschbar, um auf die schwer vorhersehbaren, raschen Entwicklungen auf dem Feld reagieren zu können. Die serverartigen Komponenten wie Ollama und LangServe sind tiefer verankert, sie haben einen standard-nahen Status und werden auch weithin in der Industrie verwendet (Stand Dezember 2024). Komponenten wie das Text-Embedding haben wir durch Test ausgewählt, dazu später mehr. Die Sprachmodelle lassen durch einen einfachen Konfigurationseintrag auswechseln.

Um ein lokales Embedding-Modell auszuwählen, haben wir einen Vergleichstest mit verschiedenen Produkten gemacht. Als Benchmark haben wir OpenAIs text-embedding-ada verwendet, das aber nicht lokal betrieben werden kann. Basis des Tests war ein Datensatz von ca. 100 Texten und 10 Fragen, die jeweils spezifisch zu einem Text gestellt wurden, sodass klar war, welcher Text der Top-Treffer zur Frage sein sollte. Die Texte wurden in die RAG-Lösung von OpenAI eingespielt, die Fragen gestellt, und die jeweils 4 Treffer (also TopK=4) mitgeschrieben. OpenAI konnte die Fragen gut beantworten, die erwarteten Dokumente kamen an erster Stelle. Verglichen haben wir mit 6 lokalen Embedding-Modellen sowie dem auch einzeln, aber nur online verfügbaren text-embedding-ada-002. Die 10 Fragen wurden gestellt, und die jeweils 4 Treffer mit dem Benchmark verglichen. Für eine Abweichung an Pos 1 gab es 7 Punkte, dann 4, 2 und 1 Punkt. Das lokale Modell mit der geringsten Punktzahl haben wir ausgewählt. Das war BAAI/bge-m3 von der Beijing Academy of Artificial Intelligence. 

Die Ergebnisse im Einzelnen zeigt die folgende Tabelle: oberer Teil die Punkte zu jeder Frage, unterer Teil, welche Texte jeweils abweichend herausgesucht wurden. Wir planen, den Test in Abständen zu wiederholen; bei wesentlichen Verbesserungen könnten wir das Embedding-Modell wechseln. Allerdings müssten man dann den gesamten Dokumentenbestand neu indizieren, was einen gewissen Aufwand bedeutet.