📘 Guía

Agente de voz con IA: cómo funciona, técnicamente

Un agente de voz con IA encadena cinco componentes en cada intercambio: telefonía, reconocimiento de voz, modelo de lenguaje, acciones en sus herramientas y síntesis de voz, todo en tiempo real. Sayelo, agente de voz con IA, atiende hasta 10 llamadas simultáneas y responde en casi 100 idiomas.

Entre el momento en que quien llama dice «¿diga?» y el momento en que usted recibe el resumen, cinco componentes trabajan uno tras otro, varias veces por segundo. Esto es lo que hacen, por qué la latencia y las salvaguardas importan más que la voz, y lo que debe preguntar a un proveedor.

Por Alexandre HaddadPublicado el Actualizado el 10 min de lectura

Los cinco componentes de una llamada

Un agente de voz con IA no es un programa único, es una cadena. Cuando quien llama habla, su voz atraviesa cinco etapas antes de volver en forma de respuesta, y el ciclo se repite en cada turno de palabra.

  1. La telefonía. La llamada llega a un número gestionado por un operador, que la transmite al agente en forma de flujo de audio. Es el componente más antiguo y el más regulado: un número de teléfono, un operador registrado, la portabilidad, la transferencia de la llamada a su móvil, los SMS.
  2. El reconocimiento de voz, o transcripción. El flujo de audio se convierte en texto, de forma continua, palabra tras palabra, con una detección del final de la frase para saber cuándo ha terminado de hablar quien llama. El ruido de una obra, un acento, un nombre poco común o un número de teléfono deletreado son sus dificultades.
  3. El modelo de lenguaje. Es el cerebro. Recibe el texto de quien llama, el contexto de la conversación y su ficha de actividad, y decide lo que sigue: una pregunta, una respuesta, una acción. No «sabe» nada de su empresa por sí mismo; sabe lo que le dice la ficha.
  4. Las acciones. Cuando el modelo decide concertar una cita, no lo hace él mismo: llama a una herramienta, que consulta su agenda, comprueba la franja, la escribe y envía el SMS. Estas herramientas son la parte más determinante para usted: es ahí donde el agente actúa sobre el mundo real, y es ahí donde un error sale caro.
  5. La síntesis de voz. El texto de la respuesta se convierte en voz, de forma continua, para que el agente empiece a hablar antes de terminar de formularla. La calidad de la voz importa, pero menos que su reactividad.

Todo se repite en cada intercambio, y el conjunto debe caber en menos de un segundo entre el final de la frase de quien llama y el inicio de la respuesta. Es el punto más difícil.

Por qué la latencia es el verdadero reto

En una conversación entre personas, el silencio entre dos turnos de palabra es muy corto, y un silencio demasiado largo se interpreta: «no ha oído», «duda», «se ha cortado». Un agente de voz debe mantener ese ritmo con una cadena de cinco etapas, cada una de las cuales lleva su tiempo. Tres técnicas lo hacen posible.

  • El procesamiento en flujo continuo. La transcripción empieza mientras quien llama está hablando, y la síntesis empieza desde las primeras palabras de la respuesta. Nada espera a que termine la etapa anterior.
  • Los modelos rápidos para las respuestas sencillas. Confirmar una hora no exige el mismo razonamiento que entender una petición de presupuesto en tres frases. Un buen agente usa modelos distintos según la tarea.
  • La proximidad de los componentes. Una cadena cuyas etapas están alojadas en el mismo centro de datos que la telefonía se ahorra idas y vueltas. Es también un argumento a favor del alojamiento en Francia.

Cuando pruebe un agente, cronometre sus silencios. Si superan con frecuencia un segundo, quienes llaman lo notarán, y colgarán.

Las interrupciones, el ruido, las cifras

Tres situaciones distinguen a un agente que funciona en una demostración de un agente que funciona en una obra.

  • La interrupción. Quien llama corta al agente, para corregir o para ir más rápido. El agente debe dejar de hablar, escuchar y retomar desde donde está la conversación, no desde donde estaba él. Se llama gestión del solapamiento, y es una de las cosas más difíciles de hacer bien.
  • El ruido. Un motor, un taladro, un restaurante en pleno servicio. La transcripción debe filtrar, y el agente debe saber decir «no le he oído bien, ¿puede repetir?» en lugar de adivinar.
  • Las cifras y los nombres. Un número de teléfono, una dirección, un apellido poco común, una matrícula. El agente debe pedir que se los repitan y se los deletreen, y reformularlos antes de escribirlos. Sayelo confirma sistemáticamente el número de contacto cifra por cifra.

Las salvaguardas: lo que impide que el agente diga cualquier cosa

Un modelo de lenguaje sabe producir una frase verosímil sobre cualquier cosa. Es su fuerza, y es el peligro: sin restricciones, inventaría un precio, un horario, un consejo médico. Las salvaguardas son las reglas que se lo impiden.

  • La ficha de actividad como única fuente. El agente responde a partir de lo que usted ha escrito; para lo que no figura en ella, dice que no lo sabe y toma un mensaje.
  • Las acciones autorizadas. Solo hace lo que le permiten las herramientas: escribir en la agenda, enviar un SMS, transferir. No puede cancelar todas sus citas ni enviar un correo electrónico en su nombre si no tiene esa herramienta.
  • Los temas prohibidos. Opinión médica, jurídica o contable; confirmación a un tercero de información sobre un cliente; promesa de precio o de plazo no prevista.
  • Las reglas de escalado. Cuándo transferir, cuándo avisar, cuándo detenerse. Un agente que no sabe pasar el testigo es un agente que acaba respondiendo mal.
  • El anuncio de la IA. Al inicio de la llamada, sistemáticamente. Es una obligación legal, y es una salvaguarda para quien llama. La guía sobre el AI Act y el RGPD detalla este punto.

Por dónde pasan sus datos

Durante una llamada, la voz de quien llama atraviesa la telefonía, la transcripción, el modelo de lenguaje y las herramientas. Cada componente puede estar alojado en un proveedor distinto, en un país distinto. Por eso la pregunta «¿dónde se alojan los datos?» requiere una respuesta en varias partes, y por eso hay que plantearla para cada componente: la telefonía, la transcripción, el modelo, el almacenamiento de los resúmenes y de las posibles grabaciones. En Sayelo, los datos se alojan en Francia en un proveedor certificado HDS, y el contrato de encargo del tratamiento describe los proveedores a los que recurrimos.

Lo que debe preguntar a un proveedor

Las demostraciones se parecen. Las diferencias están en las respuestas a estas preguntas.

  1. ¿Cuál es la latencia media entre el final de mi frase y el inicio de la respuesta?
  2. ¿Cómo gestiona el agente una interrupción?
  3. ¿Qué hace cuando no entiende, o cuando la pregunta no está en la ficha?
  4. ¿Qué acciones puede realizar realmente, y en qué herramientas, sin intermediarios?
  5. ¿Cuántas llamadas simultáneas atiende?
  6. ¿Dónde se aloja cada componente, y se usan mis conversaciones para entrenar un modelo?
  7. ¿Se presenta como una IA? ¿Se puede desactivar? La respuesta correcta es no.
  8. ¿Cómo puedo revisar lo que ha dicho: transcripción, resumen, grabación?

Y en concreto, en Sayelo

En Sayelo, el agente de voz, el número, la transferencia y los SMS se reúnen en una misma suscripción. Los números y la telefonía los proporciona un operador asociado registrado ante la ARCEP (el regulador francés de las telecomunicaciones). El agente se presenta como un asistente de voz, responde a partir de su ficha de actividad, escribe en Google Calendar, Microsoft 365 o Cal.com, confirma por SMS y le envía el resumen de cada llamada. Puede escucharlo en tres minutos, con una demostración en la que le llamamos, antes de leer nada más. La guía completa de la recepcionista virtual con IA explica después la puesta en marcha, y las preguntas frecuentes sobre agentes de voz responden a lo que más nos preguntan.

Para saber más

Otras guías.

📘

Recepcionista virtual con IA: la guía completa

Un agente de voz que contesta por usted, concierta la cita en su agenda y le envía el resumen: lo que abarca realmente el secretariado telefónico con IA, lo que sabe hacer, lo que cuesta y cómo ponerlo en marcha sin equivocarse.

📄

IA al teléfono: AI Act, RGPD y sus obligaciones

Que una inteligencia artificial atienda a sus clientes es legal, con cuatro condiciones que caben en una página: decir que es una IA, informar a quienes llaman sobre sus datos, regular la relación con el proveedor mediante un contrato y, en el ámbito de la salud, alojar los datos en un entorno certificado. Estos son los textos, y lo que cambian en concreto para una pequeña empresa.

📄

Agentes de voz con IA: preguntas frecuentes de las pymes

Desde que instalamos agentes de voz en profesionales de oficios, consultas y despachos, agencias y comercios, vuelven las mismas preguntas, en el mismo orden: ¿funciona de verdad?, ¿cuánto cuesta?, ¿qué pasa con mi número? y ¿qué ocurre cuando no entiende? Aquí están las respuestas, breves y ordenadas por temas.

Todas las guías →

Preguntas frecuentes

En pocas palabras.

¿Un agente de voz con IA es lo mismo que un chatbot con voz?

No. Un chatbot tiene tiempo: el usuario escribe, espera, lee. Al teléfono, todo ocurre en tiempo real, con interrupciones, ruido, dudas y una tolerancia de quien llama que se cuenta en segundos. La telefonía, la detección del final de la frase, la gestión de las interrupciones y la latencia son problemas propios de la voz.

¿El agente aprende de mis conversaciones?

No aprende solo, y es preferible así. Su comportamiento proviene de la ficha de actividad que usted escribe y de las reglas del proveedor. Sus conversaciones sirven para elaborar los resúmenes y, si lo activa, para comprobar la calidad. En Sayelo, sus datos sirven únicamente para hacer funcionar su agente. Nunca se usan para entrenar modelos de IA.

¿Qué pasa si quien llama habla otro idioma?

Si el idioma está activado, el agente lo detecta y continúa en ese idioma. Si no, sigue en su idioma por defecto y propone tomar un mensaje. En Sayelo, el agente habla por defecto el idioma de su país, y casi 100 idiomas están incluidos en todos los planes.

¿Por qué algunos agentes responden con retraso?

Porque la cadena de transcripción, razonamiento y síntesis lleva tiempo, y cada componente añade el suyo. Un agente bien diseñado empieza a hablar antes de terminar de razonar, usa modelos rápidos para las respuestas sencillas y aloja sus componentes cerca de la telefonía. A partir de un segundo de silencio, quien llama pregunta «¿hola?», y la conversación se descompone.

Escuche al agente
responder en su sector.

Tres minutos, gratis y sin tarjeta bancaria: el agente le llama y hace de centralita de su sector. Después, 14 días de prueba con su propio número.