KI-Sprachagent: So funktioniert er, technisch erklärt

Die fünf Bausteine eines Anrufs

Ein KI-Sprachagent ist kein einzelnes Programm, sondern eine Kette. Wenn der Anrufer spricht, durchläuft seine Stimme fünf Stufen, bevor sie als Antwort zurückkommt, und diese Schleife wiederholt sich bei jedem Redebeitrag.

1. Die Telefonie. Der Anruf geht bei einer Nummer ein, die ein Netzbetreiber verwaltet und die ihn als Audiostream an den Agenten weitergibt. Es ist der älteste und am stärksten regulierte Baustein: eine Telefonnummer, ein gemeldeter Netzbetreiber, die Rufnummernmitnahme, die Weiterleitung auf Ihr Handy, die SMS.
2. Die Spracherkennung, also die Transkription. Der Audiostream wird fortlaufend in Text umgewandelt, Wort für Wort, mit einer Erkennung des Satzendes, um zu wissen, wann der Anrufer fertig ist. Baustellenlärm, ein Akzent, ein seltener Vorname oder eine buchstabierte Telefonnummer sind ihre Schwierigkeiten.
3. Das Sprachmodell. Es ist das Gehirn. Es erhält den Text des Anrufers, den Kontext des Gesprächs und Ihr Betriebsprofil und entscheidet, wie es weitergeht: eine Frage, eine Antwort, eine Aktion. Von sich aus „weiß“ es nichts über Ihr Unternehmen; es weiß, was das Profil ihm sagt.
4. Die Aktionen. Wenn das Modell entscheidet, einen Termin zu vereinbaren, tut es das nicht selbst: Es ruft ein Tool auf, das Ihren Kalender abfragt, das Zeitfenster prüft, den Termin einträgt und die SMS sendet. Diese Tools sind für Sie der entscheidende Teil: Hier wirkt der Agent auf die reale Welt ein, und hier kostet ein Fehler.
5. Die Sprachsynthese. Der Antworttext wird fortlaufend in Sprache umgewandelt, damit der Agent zu sprechen beginnt, bevor er fertig formuliert hat. Die Qualität der Stimme zählt, aber weniger als ihre Reaktionsschnelligkeit.

Das Ganze wiederholt sich bei jedem Wortwechsel, und zwischen dem Ende des Satzes des Anrufers und dem Beginn der Antwort darf insgesamt weniger als eine Sekunde vergehen. Das ist der schwierigste Punkt.

Warum die Latenz das eigentliche Thema ist

In einem Gespräch zwischen Menschen ist die Stille zwischen zwei Redebeiträgen sehr kurz, und eine zu lange Stille wird gedeutet: „Er hat nichts gehört“, „er zögert“, „die Verbindung ist weg“. Ein Sprachagent muss diesen Rhythmus mit einer Kette aus fünf Stufen halten, von denen jede Zeit braucht. Drei Techniken machen es möglich.

• Die Verarbeitung im Stream. Die Transkription beginnt, während der Anrufer spricht, die Synthese beginnt schon bei den ersten Worten der Antwort. Nichts wartet, bis die vorherige Stufe abgeschlossen ist.
• Schnelle Modelle für einfache Antworten. Eine Uhrzeit zu bestätigen erfordert nicht dieselbe Denkarbeit wie eine Angebotsanfrage in drei Sätzen zu verstehen. Ein guter Agent verwendet je nach Aufgabe unterschiedliche Modelle.
• Die Nähe der Bausteine. Eine Kette, deren Stufen im selben Rechenzentrum wie die Telefonie gehostet sind, spart Hin- und Rückwege. Das ist auch ein Argument für ein Hosting in Frankreich.

Wenn Sie einen Agenten testen, stoppen Sie seine Pausen. Überschreiten sie regelmäßig eine Sekunde, merken das die Anrufer, und sie legen auf.

Unterbrechungen, Lärm, Zahlen

Drei Situationen unterscheiden einen Agenten, der in der Vorführung funktioniert, von einem, der auf der Baustelle funktioniert.

• Die Unterbrechung. Der Anrufer fällt dem Agenten ins Wort, um etwas zu korrigieren oder schneller voranzukommen. Der Agent muss aufhören zu sprechen, zuhören und dort weitermachen, wo das Gespräch steht, nicht dort, wo er selbst war. Man nennt das den Umgang mit Überlappungen, und es ist eines der am schwierigsten gut umzusetzenden Dinge.
• Der Lärm. Ein Motor, eine Bohrmaschine, ein Restaurant im Betrieb. Die Transkription muss filtern, und der Agent muss sagen können „Ich habe Sie nicht gut verstanden, können Sie das wiederholen?“, statt zu raten.
• Zahlen und Namen. Eine Telefonnummer, eine Adresse, ein seltener Nachname, ein Kennzeichen. Der Agent muss sie wiederholen und buchstabieren lassen und sie neu formulieren, bevor er sie notiert. Sayelo bestätigt die Rückrufnummer grundsätzlich Ziffer für Ziffer.

Die Schutzmechanismen: was den Agenten daran hindert, irgendetwas zu sagen

Ein Sprachmodell kann zu allem einen plausiblen Satz erzeugen. Das ist seine Stärke und zugleich die Gefahr: Ohne Vorgaben würde es einen Preis, eine Öffnungszeit, einen medizinischen Rat erfinden. Die Schutzmechanismen sind die Regeln, die das verhindern.

• Das Betriebsprofil als einzige Quelle. Der Agent antwortet auf Grundlage dessen, was Sie aufgeschrieben haben; bei allem, was dort nicht steht, sagt er, dass er es nicht weiß, und nimmt eine Nachricht auf.
• Die erlaubten Aktionen. Er tut nur, was die Tools ihm erlauben: in den Kalender schreiben, eine SMS senden, weiterleiten. Er kann nicht all Ihre Termine stornieren oder an Ihrer Stelle eine E-Mail senden, wenn er dieses Tool nicht hat.
• Die verbotenen Themen. Medizinischer, rechtlicher oder steuerlicher Rat; die Bestätigung einer Information über einen Kunden gegenüber Dritten; nicht vorgesehene Zusagen zu Preisen oder Fristen.
• Die Eskalationsregeln. Wann weiterleiten, wann benachrichtigen, wann aufhören. Ein Agent, der nicht übergeben kann, ist ein Agent, der am Ende falsch antwortet.
• Die Ankündigung der KI. Zu Beginn des Anrufs, ausnahmslos. In der EU ist das eine gesetzliche Pflicht, und es ist ein Schutz für den Anrufer selbst. Der Leitfaden zu AI Act und DSGVO beschreibt diesen Punkt im Detail.

Welchen Weg Ihre Daten nehmen

Während eines Anrufs durchläuft die Stimme des Anrufers die Telefonie, die Transkription, das Sprachmodell und die Tools. Jeder Baustein kann bei einem anderen Dienstleister gehostet sein, in einem anderen Land. Deshalb verlangt die Frage „Wo werden die Daten gehostet?“ eine Antwort in mehreren Teilen, und deshalb muss man sie für jeden Baustein stellen: die Telefonie, die Transkription, das Modell, die Speicherung der Zusammenfassungen und etwaiger Aufzeichnungen. Bei Sayelo werden die Daten in Frankreich bei einem HDS-zertifizierten Hoster gespeichert, und der Auftragsverarbeitungsvertrag nennt die Dienstleister, auf die wir zurückgreifen.

Was Sie einen Anbieter fragen sollten

Die Vorführungen ähneln sich. Die Unterschiede zeigen sich in den Antworten auf diese Fragen.

1. Wie hoch ist die durchschnittliche Latenz zwischen dem Ende meines Satzes und dem Beginn der Antwort?
2. Wie geht der Agent mit einer Unterbrechung um?
3. Was tut er, wenn er nicht versteht oder wenn die Frage nicht im Profil steht?
4. Welche Aktionen kann er tatsächlich ausführen, und in welchen Tools, ohne Zwischenschritt?
5. Wie viele Anrufe nimmt er gleichzeitig an?
6. Wo ist jeder Baustein gehostet, und werden meine Gespräche zum Training eines Modells verwendet?
7. Gibt er sich als KI zu erkennen? Lässt sich das abschalten? Die richtige Antwort lautet nein.
8. Wie kann ich nachlesen, was er gesagt hat: Transkription, Zusammenfassung, Aufzeichnung?

Und konkret bei Sayelo

Bei Sayelo sind Sprachagent, Nummer, Weiterleitung und SMS in einem einzigen Abo vereint. Die Nummern und die Telefonie stellt ein Partnernetzbetreiber bereit, der bei der ARCEP (der französischen Regulierungsbehörde für Telekommunikation) gemeldet ist. Der Agent gibt sich als Sprachassistent zu erkennen, antwortet auf Grundlage Ihres Betriebsprofils, trägt Termine in Google Calendar, Microsoft 365 oder Cal.com ein, bestätigt per SMS und schickt Ihnen die Zusammenfassung jedes Anrufs. Sie können ihn in drei Minuten hören, bei einer Demo, bei der er Sie zurückruft, bevor Sie irgendetwas anderes lesen. Der komplette Leitfaden zum KI-Telefonassistenten erklärt anschließend die Einrichtung, und die FAQ zu Sprachagenten beantwortet die Fragen, die man uns am häufigsten stellt.