Alle Case Studies

Kundenstory

Die Open Telekom Cloud setzt auf amber als kundengerichteten KI-Chatbot

Aktualisiert
Lesezeit
7 Min.

Zu viele Orte für Infos zur Open Telekom Cloud? Mit dem KI-Chatbot von amber finden Kunden von T-Systems alle Informationen an einem zentralen Ort.

Magentafarbene Wolke mit Wissenskarten und Chatnachricht als Symbol für den KI-Chatbot der Open Telekom Cloud

Informationen liegen nicht nur im Unternehmen an verschiedenen Orten. Kunden der Open Telekom Cloud (OTC) von T-Systems finden Informationen nicht nur auf der offiziellen Webseite, sondern auch in technischen Hilfeseiten, Community-Notes und anderen Quellen. Nutzer mussten somit zunächst wissen, an welchem Ort überhaupt nach einer Antwort gesucht werden soll.

Seit Juli 2024 ist auf der Webseite der OTC der erste, frei verfügbare und extern gerichtete KI-Chatbot von amber zu finden. Als Experte für das systemübergreifende Chatten und Suchen für interne Anwendungsfälle ist amber über Techboost schon lange Partner der Telekom und hostet seine Software auch standardmäßig auf der OTC. Nun wurde die bestehende Infrastruktur genutzt, um das öffentliche OTC-Wissen zentral zugänglich zu machen, natürlich DSGVO-konform.

Kapitel 01

Umsetzung des KI-Chatbots

Für die Realisierung setzte man auf die Stärken von Künstlicher Intelligenz in Kombination mit Retrieval Augmented Generation (RAG). In nur 7 Wochen wurde der Chatbot inklusive Anbindung an die verschiedenen Systeme realisiert.

bis zum fertigen Chatbot inklusive Anbindung der Systeme
7 Wochen
weniger Suchaufwand im Durchschnitt durch Enterprise Search
40 %

„Als Open Telekom Cloud haben wir verschiedene Berührungspunkte mit Künstlicher Intelligenz“, weiß Norbert Brüll, Senior Service Manager, „als KI-Anbieter verfolgen wir verschiedene KI-Initiativen mit unseren Partnern“. Dazu gehören u. a. die Bereitstellung von Entwicklungs- und Trainingsumgebungen (u. a. via ModelArts), Daten-Pipelines, der DSGVO-konforme Betrieb von KI-Services oder das Angebot eines LLM Hub.

„Mit dem aktuellen Projekt haben wir die Perspektive gewechselt und uns auf den Standpunkt eines KI-Anwenders gestellt. Wir wollten die Möglichkeiten von KI für uns und unsere Kunden erkunden“, so Brüll. Der Anwendungsfall war schnell gefunden: Auch in der Open Telekom Cloud herrscht ein typisches Enterprise-Problem, viele Daten sind an vielen verschiedenen Ecken „verstreut“. Anwender und Nutzer (sowohl intern als auch extern) müssen häufig suchen, bis sie die richtigen Informationen finden. Die Lösung liegt in KI-Zeiten in einem intelligenten Suchassistenten, der alle Quellen anzapft und die Informationen in einer griffigen Antwort zusammenfasst.

Norbert Brüll, Senior Service Manager von T-Systems, und Bastian Maiworm, Geschäftsführer von amber, sprechen über die Zusammenarbeit.

„Eine Enterprise Search bzw. ein intelligentes Knowledge Management reduziert Suchaufwände in solchen Fällen um durchschnittlich 40 Prozent“, erläutert Bastian Maiworm, der Gründer und Geschäftsführer von amber, „die Produktivitätsgewinne liegen auf der Hand“.

Im Mai 2024 starteten amber und die Open Telekom Cloud das Projekt, um den neuen KI-basierten Chatbot auf die Beine zu stellen. Die Basis dafür waren Dienste, die das Start-up bereits entwickelt hatte und die nun als Standardprodukt schnell und einfach verfügbar sind. Dazu zählen die semantische Suche „amber“ und das Frage-Antwort-System „amberAI“, die auf einem selbst entwickelten und trainierten Large Language Model (LLM) basieren. In der Basisversion fungieren die amber-Dienste als eine Art ChatGPT, um das unternehmensinterne Wissen zu finden und mit diesem zu chatten.

„Der interne Anwendungsfall war jedoch nicht die Intention unseres Open Telekom Cloud Chatbots“, stellt Brüll fest, „er sollte nach dem Motto ‚Find it fast‘ unseren Nutzern helfen, schnell relevante Informationen aufzustöbern und für den einfachen Einsatz der Cloud anzuwenden“.

Kapitel 02

Technische Umsetzung des KI-Chatbots

Dazu benötigte das amber-System den Zugriff auf die relevanten Quellen. Dazu zählen zum Beispiel:

  • die Webseite der Open Telekom Cloud
  • die Dokumentenbibliothek (Doc Library)
  • die Inhalte der Community
  • eine Sammlung von PDFs wie beispielsweise die Leistungsbeschreibung

„Damit der Chatbot den Zugriff auf diese Informationen bekommt, haben wir eine Technologie eingesetzt, die als Retrieval Augmented Generation bezeichnet wird“, erklärt Maiworm.

Unseres Wissens sind wir der erste Public-Cloud-Anbieter, der seinen Kunden einen kostenlosen LLM-basierten Chatbot anbietet. Der Bot schafft klare Vorteile für Customer Experience und User Experience.

Norbert Brüll, Senior Service Manager, Open Telekom Cloud

Beim RAG-Einsatz wird das KI-Modell nicht neu trainiert oder fine-getunt, damit entfallen auch die entsprechenden Aufwände bzw. Kosten. Stattdessen kooperiert der Chatbot mit einer Enterprise Search:

  1. 01

    Frage

    Ein Nutzer stellt dem Chatbot eine Frage.

  2. 02

    Suche

    Zunächst wird eine Suche in den angebundenen Quellen ausgelöst.

  3. 03

    Kontext

    Die Informationen werden dem KI-Modell situativ zur Verfügung gestellt.

  4. 04

    Antwort

    Das KI-Modell verdichtet sie zu einer Antwort.

Die Informationen verbleiben damit auch innerhalb des Unternehmens bzw. in den Ablagen, in denen sie ohnehin vorgehalten werden.

amber bietet verschiedene Verfahren an, um die Daten für den Bot zu erschließen. Konkret wird für die Multimedia-Inhalte der Community eine API genutzt, die anderen Quellen werden mehrmals täglich über einen Crawler indiziert. Die Informationen werden in einer Vektor-Datenbank gesammelt und vereinheitlicht. Diese Datenbank fungiert dann als konsolidierte Basis für das geballte Open-Telekom-Cloud-Wissen, aus der der Bot sich bedient. Die automatisierten Updates der Vektor-DB stellen sicher, dass der Bot immer über zumindest tagesaktuelles Wissen verfügt.

Innerhalb von nur sieben Wochen entstand so der Chatbot. Seit Mitte Juli 2024 läuft er. Nutzer der Open Telekom Cloud erhalten mit ihm einfachen Zugriff auf aktuelles Wissen, das sie brauchen; langwierige Suchen gehören der Vergangenheit an. Zudem dokumentiert der Bot, aus welchen Quellen er die jeweiligen Informationen gezogen hat. Das reduziert die Wahrscheinlichkeit von Halluzinationen.

Mit dem KI-Chatbot für die Open Telekom Cloud haben wir demonstriert, wie einfach es ist, einen Mehrwert-KI-Service für das Wissensmanagement aufzubauen. Praktisch jedes Unternehmen kann von einem solchen Blueprint profitieren.

Bastian Maiworm, Geschäftsführer amber
Kapitel 03

Erreichbarkeit des Chatbots

„Unser Chatbot ist ganz simpel über den Support-Reiter an der rechten Bildschirmseite (AI) verfügbar. Eine Anmeldung ist nicht nötig“, so Brüll. „Mit dem Betrieb der Vektor-DB und des Modells innerhalb der Open Telekom Cloud hat das Team volle Kontrolle über die KI. Das schließt auch DSGVO-Compliance ein“, ergänzt Maiworm, „damit kann ggf. auch eine zweite Stufe realisiert werden, bei der über eine Anmeldung personenbezogene Daten zum Einsatz kommen“.

So funktioniert der KI-Chatbot auf der Webseite der Open Telekom Cloud.

Der Bot ist übrigens nicht nur ein Informations-Assistent, sondern kann dir auch ganz praktisch helfen. Norbert Brüll: „Wer einen Service deployen möchte, muss sich nicht durch API-Dokumentationen oder den Community-Input hangeln, sondern kann den Bot auch einfach um ein Deployment-Setup auf Container-Basis bitten, inklusive Code“.

KI-Anwendungsfälle für das eigene Unternehmen entwickeln

Du möchtest Anwendungsfälle für dein eigenes Unternehmen entdecken? Dann lies dir jetzt unseren Blogartikel zu Anwendungsfällen generativer KI durch.

Über den Autor

Bastian Maiworm

Mitgründer & CRO bei amber

LinkedIn

Bastian hat amber mitgegründet und spricht täglich mit Unternehmen aus dem Mittelstand darüber, wie sie ihr Wissen mit KI auffindbar machen.

FAQ

Häufige Fragen zum KI-Chatbot der Open Telekom Cloud

Was ist der KI-Chatbot der Open Telekom Cloud?

Ein frei verfügbarer, extern gerichteter KI-Chatbot von amber auf der Webseite der Open Telekom Cloud. Er bündelt Informationen aus Webseite, Doc Library, Community und PDFs und fasst sie zu einer Antwort zusammen.

Wie lange hat die Umsetzung gedauert?

Das Projekt startete im Mai 2024. In nur sieben Wochen wurde der Chatbot inklusive Anbindung an die verschiedenen Systeme realisiert; seit Mitte Juli 2024 läuft er.

Welche Technologie steckt dahinter?

Retrieval Augmented Generation (RAG): Das KI-Modell wird nicht neu trainiert, sondern arbeitet mit einer Enterprise Search zusammen. Zu jeder Frage werden zuerst die angebundenen Quellen durchsucht, dann verdichtet das Modell die Informationen zu einer Antwort.

Wie bleibt das Wissen des Chatbots aktuell?

Die Community-Inhalte werden per API angebunden, die übrigen Quellen mehrmals täglich per Crawler indiziert. Die automatisierten Updates der Vektor-Datenbank sorgen dafür, dass der Bot mindestens tagesaktuelles Wissen hat.

Wie verringert der Chatbot Halluzinationen?

Der Bot dokumentiert, aus welchen Quellen er die jeweiligen Informationen gezogen hat. Das reduziert die Wahrscheinlichkeit von Halluzinationen.

Wie erreicht man den Chatbot und ist er DSGVO-konform?

Er ist über den Support-Reiter an der rechten Bildschirmseite (AI) erreichbar, ohne Anmeldung. Vektor-Datenbank und Modell laufen innerhalb der Open Telekom Cloud, damit hat das Team volle Kontrolle über die KI, inklusive DSGVO-Compliance.

Bereit für effizienteres Arbeiten?

Melde dich mit deiner Unternehmens-E-Mail-Adresse an und probiere amber noch heute selbst aus. Lade Dokumente hoch, verbinde deine alltäglichen Programme und lass dir von amber Arbeitsschritte abnehmen.

Teste amber 30 Tage lang kostenlos. Keine Kreditkarte erforderlich.