Les LLM seuls ne suffisent pas
L’arrivée des modèles de langage a bouleversé la manière d’imaginer l’assistance vocale. Pourtant, leur utilisation brute dans un contexte téléphonique présente plusieurs limites.
Lorsqu’un catalogue comporte plusieurs milliers de produits, impossible d’insérer tout cela dans un prompt — même un modèle moderne finit par halluciner, confondre les références ou ralentir fortement la réponse. C’est comme demander à quelqu’un de retenir un annuaire entier avant de répondre à une question métier.
Dans certains environnements (pharmacie, industrie, supply chain), des articles très différents peuvent partager des noms similaires. Un modèle uniquement sémantique risque alors de proposer un produit incorrect.
Ces limites rappellent une chose : un LLM n’est pas un moteur de recherche, et dépendre uniquement de lui est risqué lorsqu’il s’agit d’opérations critiques.
Comment fonctionne une architecture hybride efficace ?
Pour créer un agent vocal robuste, la solution la plus efficace consiste à combiner plusieurs briques complémentaires : LLM, moteurs de recherche spécialisés, et agents dédiés.
Première étape : analyser la transcription vocale pour en extraire un nom probable de produit. Le LLM sert ici d’« extracteur », contraint par un prompt précis. L’objectif est de comprendre malgré les accents, approximations ou erreurs de transcription.
Une fois le nom extrait, un outil comme Algolia permet :
-
d’élargir ou réduire intelligemment la recherche,
-
de tolérer les typos ou hésitations,
-
d’éliminer les confusions entre produits voisins.
C’est une phase déterminante pour écarter les hallucinations.
Le LLM conversationnel intervient ensuite pour poser les bonnes questions : taille, modèle, variante, couleur, niveau de compression… L’agent ne travaille plus sur tout le catalogue, mais sur une liste courte et pertinente.
Un dernier agent évalue si le produit est bien identifié ou si un humain doit reprendre la main. Comme un contrôleur qualité en fin de chaîne, qui vérifie que tout est conforme avant expédition.
Grâce à cette orchestration, chaque agent joue un rôle spécialisé, ce qui :
- réduit la latence,
- améliore la précision,
- limite drastiquement les hallucinations.
Industrialiser un agent vocal
Les équipes qui ont mis en production ce type de système en tirent plusieurs 3 conclusions fortes :
- Les prompts trop longs sont vos ennemis !
Les prompts longs sont à proscrire. Ils augmentent :
- la latence,
- les coûts,
- l’instabilité conversationnelle.
Mieux vaut plusieurs petits prompts qu’un « super prompt » ingérable.
- Les moteurs de recherche classiques restent indispensables
Beaucoup d’équipes pensent qu’un LLM peut tout faire. En réalité, pour la recherche de produits, un moteur full-text rapide est souvent bien plus fiable.
- L’UX vocale est un enjeu central
Les utilisateurs tolèrent certaines latences… si elles sont habillées intelligemment.
D’où l’intérêt d’utiliser du SSML (Speech Synthesis Markup Language, un langage de balisage destiné aux applications de synthèse vocale) pour :
- ajouter des pauses maîtrisées,
- moduler la voix,
- intégrer des « bruits d’attente » naturels.
en Conclusion
Construire un agent vocal performant ne consiste pas à empiler des technologies : c’est un travail d’assemblage intelligent. Les LLM apportent flexibilité et compréhension, mais ne remplacent ni les moteurs de recherche spécialisés ni l’optimisation de l’UX vocale.
L’architecture la plus efficace repose sur une combinaison d’agents spécialisés : extraction, recherche, conversation, validation.
Au final, ce qui fait la différence, ce n’est pas la puissance brute du modèle, mais la capacité à orchestrer plusieurs briques complémentaires de manière cohérente et maîtrisée qui permet une meilleure accessibilité.
C’est ainsi que naissent des agents vocaux fiables, fluides et réellement utiles, même face à des catalogues immenses ou des noms de produits imprononçables.
Si vous voulez en savoir plus sur le développement web, débutez dès aujourd’hui avec notre cours gratuit d’initiation au développement web ou bien suivez DevFest Lyon pour ne pas manquer la prochaine édition !
