📘 Guide

Agent vocal IA : comment ça marche, techniquement

Un agent vocal IA enchaîne cinq briques à chaque échange : téléphonie, reconnaissance vocale, modèle de langage, actions sur vos outils et synthèse vocale, le tout en temps réel. Sayelo, agent vocal IA et opérateur déclaré, prend jusqu'à 10 appels simultanés et répond en près de 100 langues.

Entre le moment où l'appelant dit « allô » et celui où vous recevez le récapitulatif, cinq briques travaillent à la suite, plusieurs fois par seconde. Voici ce qu'elles font, pourquoi la latence et les garde-fous comptent plus que la voix, et ce que vous devez demander à un fournisseur.

Par Alexandre HaddadPublié le Mis à jour le 10 min de lecture

Les cinq briques d’un appel

Un agent vocal IA n’est pas un programme unique, c’est une chaîne. Quand l’appelant parle, sa voix traverse cinq étapes avant de revenir sous forme de réponse, et la boucle se répète à chaque tour de parole.

  1. La téléphonie. L’appel arrive sur un numéro géré par un opérateur, qui le transmet à l’agent sous forme de flux audio. C’est la brique la plus ancienne et la plus réglementée : un numéro français, un opérateur déclaré, la portabilité, le transfert d’appel vers votre mobile, les SMS.
  2. La reconnaissance vocale, ou transcription. Le flux audio est converti en texte, en continu, mot après mot, avec une détection de la fin de phrase pour savoir quand l’appelant a terminé. Le bruit d’un chantier, un accent, un prénom rare ou un numéro de téléphone épelé sont ses difficultés.
  3. Le modèle de langage. C’est le cerveau. Il reçoit le texte de l’appelant, le contexte de la conversation et votre fiche d’activité, et il décide de la suite : une question, une réponse, une action. Il ne « sait » rien de votre entreprise par lui-même ; il sait ce que la fiche lui dit.
  4. Les actions. Quand le modèle décide de prendre un rendez-vous, il ne le fait pas lui-même : il appelle un outil, qui interroge votre agenda, vérifie le créneau, l’écrit, envoie le SMS. Ces outils sont la partie la plus déterminante pour vous : c’est là que l’agent agit sur le monde réel, et c’est là qu’une erreur coûte.
  5. La synthèse vocale. Le texte de la réponse est converti en voix, en continu, pour que l’agent commence à parler avant d’avoir fini de formuler. La qualité de la voix compte, mais moins que sa réactivité.

Le tout se répète à chaque échange, et l’ensemble doit tenir en moins d’une seconde entre la fin de la phrase de l’appelant et le début de la réponse. C’est le point le plus difficile.

Pourquoi la latence est le vrai sujet

Dans une conversation entre humains, le silence entre deux prises de parole est très court, et un silence trop long est interprété : « il n’a pas entendu », « il hésite », « ça a coupé ». Un agent vocal doit tenir ce rythme avec une chaîne de cinq étapes dont chacune prend du temps. Trois techniques le rendent possible.

  • Le traitement en flux. La transcription commence pendant que l’appelant parle, la synthèse commence dès les premiers mots de la réponse. Rien n’attend que l’étape précédente soit terminée.
  • Les modèles rapides pour les réponses simples. Confirmer une heure ne demande pas le même raisonnement que comprendre une demande de devis en trois phrases. Un bon agent utilise des modèles différents selon la tâche.
  • La proximité des briques. Une chaîne dont les étapes sont hébergées dans le même centre de données que la téléphonie économise des allers-retours. C’est aussi un argument pour l’hébergement en France.

Quand vous testez un agent, chronométrez ses silences. S’ils dépassent régulièrement une seconde, les appelants le sentiront, et ils raccrocheront.

Les interruptions, le bruit, les chiffres

Trois situations distinguent un agent qui fonctionne en démonstration d’un agent qui fonctionne sur un chantier.

  • L’interruption. L’appelant coupe la parole à l’agent, pour corriger ou pour aller plus vite. L’agent doit s’arrêter de parler, écouter, et reprendre là où la conversation en est, pas là où il en était. Cela s’appelle la gestion du chevauchement, et c’est l’une des choses les plus difficiles à bien faire.
  • Le bruit. Un moteur, une perceuse, un restaurant en service. La transcription doit filtrer, et l’agent doit savoir dire « je n’ai pas bien entendu, pouvez-vous répéter ? » plutôt que de deviner.
  • Les chiffres et les noms. Un numéro de téléphone, une adresse, un nom de famille rare, une immatriculation. L’agent doit les faire répéter, les épeler, et les reformuler avant de les écrire. Sayelo confirme systématiquement le numéro de rappel chiffre par chiffre.

Les garde-fous : ce qui empêche l’agent de dire n’importe quoi

Un modèle de langage sait produire une phrase plausible sur n’importe quoi. C’est sa force, et c’est le danger : sans contrainte, il inventerait un prix, un horaire, un conseil médical. Les garde-fous sont les règles qui l’en empêchent.

  • La fiche d’activité comme seule source. L’agent répond à partir de ce que vous avez écrit ; pour ce qui n’y est pas, il dit qu’il ne sait pas et prend un message.
  • Les actions autorisées. Il ne fait que ce que les outils lui permettent : écrire dans l’agenda, envoyer un SMS, transférer. Il ne peut pas annuler tous vos rendez-vous ni envoyer un email à votre place s’il n’a pas cet outil.
  • Les sujets interdits. Avis médical, juridique, comptable ; confirmation à un tiers d’une information sur un client ; promesse de prix ou de délai non prévue.
  • Les règles d’escalade. Quand transférer, quand prévenir, quand s’arrêter. Un agent qui ne sait pas passer la main est un agent qui finit par mal répondre.
  • L’annonce de l’IA. En début d’appel, systématiquement. C’est une obligation légale, et c’est un garde-fou pour l’appelant lui-même. Le guide sur l’AI Act et le RGPD détaille ce point.

Par où passent vos données

Pendant un appel, la voix de l’appelant traverse la téléphonie, la transcription, le modèle de langage et les outils. Chaque brique peut être hébergée chez un prestataire différent, dans un pays différent. C’est pourquoi la question « où sont hébergées les données ? » appelle une réponse en plusieurs parties, et pourquoi il faut la poser pour chaque brique : la téléphonie, la transcription, le modèle, le stockage des récapitulatifs et des éventuels enregistrements. Chez Sayelo, les données sont hébergées en France chez un hébergeur certifié HDS, et le contrat de sous-traitance décrit les prestataires auxquels nous recourons.

Ce que vous devez demander à un fournisseur

Les démonstrations se ressemblent. Les différences se trouvent dans les réponses à ces questions.

  1. Quelle est la latence moyenne entre la fin de ma phrase et le début de la réponse ?
  2. Comment l’agent gère-t-il une interruption ?
  3. Que fait-il quand il ne comprend pas, ou quand la question n’est pas dans la fiche ?
  4. Quelles actions peut-il réellement effectuer, et sur quels outils, sans intermédiaire ?
  5. Combien d’appels simultanés prend-il ?
  6. Où est hébergée chaque brique, et mes conversations servent-elles à entraîner un modèle ?
  7. S’annonce-t-il comme une IA ? Peut-on le désactiver ? La bonne réponse est non.
  8. Comment puis-je relire ce qu’il a dit : transcription, récapitulatif, enregistrement ?

Et concrètement, chez Sayelo

Sayelo est un agent vocal et un opérateur télécom : le numéro, la téléphonie, le transfert et les SMS sont les nôtres, ce qui raccourcit la chaîne et simplifie le contrat. L’agent s’annonce comme un assistant vocal, répond à partir de votre fiche d’activité, écrit dans Google Calendar, Microsoft 365 ou Cal.com, confirme par SMS et vous envoie le récapitulatif de chaque appel. Vous pouvez l’entendre en trois minutes, sur une démonstration qui vous rappelle, avant de lire quoi que ce soit d’autre. Le guide complet du secrétariat téléphonique IA explique ensuite la mise en place, et la FAQ des agents vocaux répond aux questions que l’on nous pose le plus.

Pour aller plus loin

D'autres guides.

📘

Secrétariat téléphonique IA : le guide complet

Un agent vocal qui décroche à votre place, prend le rendez-vous dans votre agenda et vous envoie le récap : ce que recouvre vraiment le secrétariat téléphonique IA, ce qu'il sait faire, ce qu'il coûte et comment le mettre en place sans se tromper.

📄

IA au téléphone : AI Act, RGPD et vos obligations

Faire répondre une intelligence artificielle à vos clients est légal, à quatre conditions qui tiennent en une page : dire que c'est une IA, informer les appelants sur leurs données, encadrer le prestataire par contrat et, pour la santé, héberger dans un cadre certifié. Voici les textes, et ce qu'ils changent concrètement pour une TPE.

📄

Agents vocaux IA : la FAQ des TPE

Depuis que nous installons des agents vocaux chez des artisans, des cabinets, des agences et des commerces, les mêmes questions reviennent, dans le même ordre : est-ce que ça marche vraiment, combien ça coûte, qu'est-ce que ça fait de mon numéro, et qu'est-ce qui se passe quand ça ne comprend pas. Voici les réponses, courtes, classées par thème.

Tous les guides →

Questions fréquentes

En clair.

Un agent vocal IA, est-ce la même chose qu'un chatbot avec une voix ?

Non. Un chatbot a le temps : l'utilisateur écrit, attend, lit. Au téléphone, tout se joue en temps réel, avec des interruptions, du bruit, des hésitations, et une tolérance de l'appelant qui se compte en secondes. La téléphonie, la détection de fin de phrase, la gestion des interruptions et la latence sont des problèmes propres à la voix.

L'agent apprend-il de mes conversations ?

Il n'apprend pas tout seul, et c'est préférable. Son comportement vient de la fiche d'activité que vous écrivez et des règles du fournisseur. Vos conversations servent à produire les récapitulatifs et, si vous l'activez, à vérifier la qualité ; elles ne doivent pas servir à entraîner un modèle sans votre accord explicite, ce qui se vérifie dans le contrat.

Que se passe-t-il si l'appelant parle une autre langue ?

Si la langue est activée, l'agent la détecte et poursuit dans cette langue. Sinon, il reste en français et propose de prendre un message. Chez Sayelo, le français est la langue de base, et près de 100 langues sont incluses dans toutes les offres.

Pourquoi certains agents répondent-ils avec un temps de retard ?

Parce que la chaîne transcription, raisonnement, synthèse prend du temps, et que chaque brique en ajoute. Un agent bien conçu commence à parler avant d'avoir fini de raisonner, utilise des modèles rapides pour les réponses simples, et héberge ses briques près de la téléphonie. Au-delà d'une seconde de silence, l'appelant demande « allô ? », et la conversation se dérègle.

Écoutez l'agent
répondre dans votre métier.

Trois minutes, gratuit, sans carte bancaire : l'agent vous rappelle et joue le standard de votre activité. Puis 14 jours d'essai sur votre propre numéro.

Une pause ? Attrape les appels