Hlasoví AI agenti už dokážu vybaviť bežné úlohy, napríklad zmeniť rezerváciu či vyhľadať informáciu. Správny výsledok však sám osebe nezaručuje dobrý rozhovor. Ak agent reaguje na každú situáciu rovnakým tónom, ignoruje rozrušenie volajúceho alebo odpovie príliš pohotovo na otázku, pri ktorej by si človek najprv overil údaje, môže pôsobiť nedôveryhodne. Pre zákazníka je totiž súčasťou služby aj spôsob, akým sa k výsledku dopracuje.
Podľa ElevenLabs stojí prirodzenejší prejav na štyroch vlastnostiach: rytme reči, primeranej reakcii na emócie, znalosti kontextu a vhodne zvolenom hlase. Rytmus znamená viac než pridanie prestávok do nahrávky. Agent musí vedieť, kedy odpovedať stručne, kedy nechať volajúcemu čas a kedy pokojne vysvetliť ďalší postup. Kontext zase vyžaduje prístup k správnym údajom, napríklad k rezervácii alebo histórii požiadavky. Bez nich ani presvedčivý hlas nedokáže poskytnúť spoľahlivú odpoveď.
Firma opisuje modelový telefonát, v ktorom zákazník potrebuje presunúť rezerváciu reštaurácie na večer svojho výročia. Agent v ukážke zohľadnil príležitosť, všimol si nesúlad v čase rezervácie, požiadal o spresnenie a až potom ju zmenil. Podstatný moment nie je ponuka stola pri okne, ale rozhodnutie neuhádnuť údaj, ktorý nesedel. Ide o ukážku pripravenú ElevenLabs; sama osebe nedokazuje, že rovnako bude agent postupovať pri všetkých skutočných hovoroch.
Veľkú úlohu má zadanie, podľa ktorého agent vedie rozhovor. Vývojári v ňom môžu určiť tón, spôsob opravy vlastnej vety či reakciu na dlhšie ticho. Ďalšie nastavenia ovplyvňujú, ako rýchlo sa agent ujme slova, výslovnosť mien a značiek alebo výber hlasu pre konkrétny jazyk. ElevenLabs upozorňuje, že príliš horlivý agent môže na človeka pôsobiť dotieravo. Pri viacjazyčnej službe preto nestačí iba preložiť pripravené odpovede: výslovnosť a spôsob vedenia rozhovoru treba skúšať aj v cieľovom jazyku.
Dôležité je aj čakanie. Volajúci nevníma iba skutočný čas spracovania požiadavky, ale aj to, čo sa počas pauzy deje. Krátke, vhodne umiestnené slovné potvrdenie môže naznačiť, že agent požiadavku spracúva. Ak však začne hovoriť skôr, než zákazník dokončí otázku, účinok môže byť opačný. Pri jednoduchom presmerovaní hovoru a pri rozhodnutí, ktoré vyžaduje kontrolu viacerých údajov, preto nemusia fungovať rovnaké nastavenia.
Pri nasadení do zákazníckej podpory je potrebné overovať viac než samotný zvuk. Simulované rozhovory a hodnotenie skutočných interakcií môžu odhaliť, kde agent nesprávne pochopil zámer, použil nevhodný tón alebo s istotou vyslovil chybnú informáciu. Práve tieto chyby sú pre službu podstatnejšie než to, či hlas znie takmer ako človek. Prirodzený prejav má pomôcť zrozumiteľnosti a priebehu hovoru; presnosť vybavenia požiadavky musí obstáť samostatne.