基于大模型優(yōu)秀的問答、總結(jié)和話術(shù)生成能力,主流聯(lián)絡(luò)中心紛紛接入大模型升級(jí)智能知識(shí)庫、智能工單、智能陪練等應(yīng)用。
以智能填單為例,借助大模型能夠輕松從對(duì)話中提取出實(shí)體信息、判定對(duì)話意圖、識(shí)別情緒、生成溝通摘要等。通過簡單的Prompt,完成工單字段的提取任務(wù)更是輕而易舉。
然而在初期效果測試中,大模型獲取的工單填單結(jié)果對(duì)比客服的真實(shí)填寫結(jié)果準(zhǔn)確率不足30%,且大模型的處理速度也達(dá)不到業(yè)務(wù)方提出2秒內(nèi)返回結(jié)果的要求。
大模型并非傳統(tǒng)的NLP技術(shù),無法依靠業(yè)務(wù)標(biāo)注數(shù)據(jù)進(jìn)行自主優(yōu)化,那么大模型的調(diào)用方在業(yè)務(wù)應(yīng)用中,該如何進(jìn)行使用效果優(yōu)化成為了現(xiàn)實(shí)考題。
現(xiàn)實(shí)考題:五大因素影響填單可用率
提不準(zhǔn)
眾所周知,工單填寫對(duì)字段有著明確的格式要求,尤其是選項(xiàng)或統(tǒng)計(jì)類的字段,需要大模型嚴(yán)格按照格式輸出指定結(jié)果。
幻覺問題:
例如,若需要判斷客戶的注冊渠道,大模型必須嚴(yán)格返回“支付寶”三個(gè)字段。而現(xiàn)實(shí)情景中,大模型往往返回連篇累牘的描述,導(dǎo)致工單系統(tǒng)無法收到準(zhǔn)確的結(jié)果。
此外大模型不僅“啰嗦”,還容易“胡編亂造”,返回的結(jié)果是經(jīng)過“理解”、“聯(lián)想”加工的,這在對(duì)容錯(cuò)性有著嚴(yán)格要求的現(xiàn)實(shí)業(yè)務(wù)場景中是不能被接受的。
缺乏業(yè)務(wù)背景:
在真實(shí)業(yè)務(wù)場景中,客戶和坐席之間的對(duì)話內(nèi)容往往無法清晰、明確地對(duì)照工單中所需記錄、填寫的信息標(biāo)準(zhǔn)發(fā)生。例如,坐席能夠根據(jù)消費(fèi)者的模糊描述,“使用的是一款能夠進(jìn)行AI畫臉的產(chǎn)品”精準(zhǔn)匹配出對(duì)應(yīng)的產(chǎn)品。而大模型則難以做出正確的判斷,無法勝任絕大多數(shù)的工單填寫任務(wù)。
缺乏判斷能力:
更大的挑戰(zhàn)是,在退訂業(yè)務(wù)等雙方存在復(fù)雜拉扯的對(duì)話場景中,大模型容易按照任意一方的“片面之詞”判定最終結(jié)果,而不是根據(jù)業(yè)務(wù)邏輯得出準(zhǔn)確結(jié)論。例如,客戶申請(qǐng)退回三個(gè)月的費(fèi)用金額,客服表示只能退回一個(gè)月。
如果客戶同意,那實(shí)際雙方達(dá)成一致的退回金額為一個(gè)月的費(fèi)用,而非三個(gè)月。如果客戶表示不同意,則實(shí)際退回費(fèi)用為0。如果大模型沒有“理解”這一判定標(biāo)準(zhǔn),則最終退回的金額會(huì)在一個(gè)月或三個(gè)月中隨機(jī)生成。
填太慢
實(shí)際業(yè)務(wù)中,坐席的工作節(jié)奏非?？?需要在通話進(jìn)行中,2秒內(nèi)完成工單內(nèi)容的填寫,通話結(jié)束后5秒內(nèi)完成通話小結(jié)的填寫。如果大模型不能比坐席的填寫速度更快,那么大模型應(yīng)用的意義與價(jià)值將大打折扣。
實(shí)時(shí)場景的時(shí)延問題:
坐席輔助場景要求低時(shí)延,而智能填單旨在自動(dòng)幫助人工填寫工單,如果填單時(shí)間超過2秒,便基本失去了幫助坐席提率的可能。坐席不可能在對(duì)話過程中,等待大模型輸出結(jié)果后再詢問客戶下一個(gè)問題。但即使只調(diào)用一次大模型進(jìn)行小結(jié),平均時(shí)延也在5秒左右。
而通話會(huì)話小結(jié)的評(píng)價(jià)指標(biāo)為:要素完備性、要素準(zhǔn)確率、業(yè)務(wù)接受率。若對(duì)會(huì)話小結(jié)中的細(xì)分場景、業(yè)務(wù)細(xì)則、專有名詞等方面有更高的要求,便需要在通用格式的會(huì)話小結(jié)中再補(bǔ)充業(yè)務(wù)要素。這就需要多次調(diào)用大模型,智能小結(jié)的時(shí)延將會(huì)達(dá)到10秒左右。
連接調(diào)用不穩(wěn)定產(chǎn)生漏損:
大模型調(diào)用會(huì)有失敗的情況,就像有時(shí)會(huì)遇到偶發(fā)的不響應(yīng)情況,這在C端應(yīng)用中用戶尚可容忍,但是在企業(yè)服務(wù)應(yīng)用中,尤其是嵌入核心作業(yè)流程的場景下,業(yè)務(wù)對(duì)于偶發(fā)的漏損情況則較為敏感,小結(jié)的漏損率會(huì)在5%左右。
四大路徑:巧妙解決準(zhǔn)確率與時(shí)效性問題
作為領(lǐng)先的對(duì)話式AI解決方案提供商,中關(guān)村科金【會(huì)話洞察產(chǎn)研組】始終致力于打破技術(shù)應(yīng)用瓶頸,為用戶帶來更加卓越、智能的體驗(yàn)。經(jīng)過一年的研究和內(nèi)部測試,我們有了一些新的解決方案,或許正是眾多企業(yè)苦苦找尋的答案。
考題一:大模型應(yīng)用的準(zhǔn)確率與延時(shí)如何改善?
路徑一:小模型對(duì)輸出結(jié)果進(jìn)行驗(yàn)證以解決幻覺問題
最初,大多技術(shù)專家通過JSON對(duì)大模型的輸出進(jìn)行限制,以確保大模型每次輸出的結(jié)果都盡可能滿足業(yè)務(wù)要求,但仍存在一定概率的幻覺問題。為此,中關(guān)村科金另辟蹊徑,在大模型輸出結(jié)果后,疊加一層相似度判定模型,讓大模型的輸出結(jié)果對(duì)齊到預(yù)設(shè)的選項(xiàng)中。
在此基礎(chǔ)上,中關(guān)村科金還增加了對(duì)大模型輸出結(jié)果的各類格式轉(zhuǎn)化,以滿足將大模型輸出內(nèi)容轉(zhuǎn)化為工單所需的數(shù)值、百分比、日期、時(shí)間等各類字段類型的需求。
路徑二:讓運(yùn)營人員便捷地將業(yè)務(wù)背景“錄入”大模型
中關(guān)村科金利用不同行業(yè)的客戶數(shù)據(jù),對(duì)Prompt進(jìn)行了針對(duì)性的優(yōu)化,并在自研的模型上進(jìn)行了微調(diào),以確保大模型在不同行業(yè)、不同場景中,擁有通用的“領(lǐng)域知識(shí)”。與此同時(shí),我們還通過對(duì)常見的智能填單場景進(jìn)行抽象,讓用戶可以便捷地輸入企業(yè)專屬知識(shí)。通過將運(yùn)營人員輸入的信息與經(jīng)過驗(yàn)證的Prompt進(jìn)行拼接后,大模型的數(shù)據(jù)準(zhǔn)確率最高提升到了95%以上。
在復(fù)雜的對(duì)話場景中,通過對(duì)每一輪的分析結(jié)果進(jìn)行修正,大模型不僅能夠從對(duì)話中區(qū)分出渠道,還能夠準(zhǔn)確判斷出前述舉例中,最終需要退還給客戶的正確金額。此類需要一定邏輯推理的場景,大模型智能填單的準(zhǔn)確率也能穩(wěn)定在85%。
此外,借助預(yù)設(shè)的字段,不僅能夠準(zhǔn)確判定返回退款的金額,還能夠根據(jù)實(shí)際對(duì)話內(nèi)容確定返回退款的比例、退回多少個(gè)月的費(fèi)用等,覆蓋對(duì)話總結(jié)、業(yè)務(wù)辦理情況收集、用戶反饋問題收集、用戶需求收集、用戶信息收集5大類型的智能填單需求。
考題二:大模型應(yīng)用時(shí)效性怎么保障?
路徑一:分布式分析實(shí)現(xiàn)“搶跑”
面對(duì)通話結(jié)束后才填寫的會(huì)話小結(jié),中關(guān)村科金進(jìn)行分步拆解,在通話開始后先執(zhí)行不依賴全部通話內(nèi)容分析的任務(wù),每進(jìn)行幾輪對(duì)話,就進(jìn)行一次分析,從而將分析拆解到對(duì)話進(jìn)行中“悄悄”完成。通話結(jié)束后,只需執(zhí)行剩余需要依賴全部通話內(nèi)容的分析任務(wù),從而將會(huì)話小結(jié)的智能填單時(shí)間從10秒縮減到了平均3秒內(nèi)。
路徑二:更小的領(lǐng)域大模型帶來更快的速度
在時(shí)效性要求更高的工單場景,中關(guān)村科金使用了自研的得助大模型,針對(duì)電銷、客服等更聚焦的場景訓(xùn)練的領(lǐng)域大模型,實(shí)現(xiàn)了更小的參數(shù)、更高的準(zhǔn)確率。同時(shí),由于訓(xùn)練時(shí)已具備了對(duì)領(lǐng)域的通用知識(shí),無需多次調(diào)用大模型完成業(yè)務(wù)錄入,便可實(shí)現(xiàn)1~2秒內(nèi)即可穩(wěn)定返回結(jié)果的應(yīng)用成效。
智能助力:得助智能填單降本增效顯著
目前,中關(guān)村科金智能填單系統(tǒng)已正式上線得助智能聯(lián)絡(luò)中心,并向廣大客戶開放使用,幫助客戶提升坐席的填單效率,并更詳細(xì)的記錄通話中的信息。
在多個(gè)項(xiàng)目應(yīng)用中,得助智能填單都取得了預(yù)期效果,在幫助運(yùn)營人員提升工作效率、節(jié)省企業(yè)運(yùn)營成本等方面展現(xiàn)出明顯優(yōu)勢。
顯著提高會(huì)話工單的準(zhǔn)確率
由于客服日常的工作強(qiáng)度高,尤其是在線坐席常常需要同時(shí)處理多通對(duì)話,難免出現(xiàn)信息錯(cuò)填、漏填的情況。而得助智能填單不僅能夠幫助坐席減輕工作負(fù)擔(dān),還能夠?qū)μ顚懹姓`的地方進(jìn)行提醒、矯正。
幫助運(yùn)營人員獲取更豐富的信息
過往為了不給客服增加不必要的負(fù)擔(dān),會(huì)話小結(jié)字段只要求客服填寫關(guān)鍵的幾項(xiàng)信息,坐席填寫的內(nèi)容也不夠詳細(xì)。使用得助智能填單后,系統(tǒng)可以幫助運(yùn)營人員更全面地收集信息、更完整地記錄信息。
節(jié)省出海業(yè)務(wù)的運(yùn)營成本
對(duì)于出?？蛻舳?大模型具備多語種理解和翻譯能力,客戶使用智能小結(jié)功能對(duì)英文郵件進(jìn)行字段提取,不僅準(zhǔn)確率高達(dá)93%以上,還能大幅節(jié)省人工翻譯成本。
大模型智能填單作為一種新興的技術(shù)應(yīng)用,未來隨著應(yīng)用邊界不斷拓展,將進(jìn)一步改變企業(yè)的運(yùn)營方式和效率。而中關(guān)村科金一直堅(jiān)持探索前沿人工智能技術(shù)與千行百業(yè)應(yīng)用場景的落地融合,力求打破技術(shù)應(yīng)用瓶頸,為客戶提供最優(yōu)質(zhì)、最智能的解決方案。
隨著技術(shù)逐步成熟和實(shí)踐不斷積累,中關(guān)村科金將持續(xù)優(yōu)化和完善得助智能填單系統(tǒng),以滿足不同行業(yè)、不同場景下的多樣化需求,為千行百業(yè)的數(shù)字化轉(zhuǎn)型貢獻(xiàn)更多力量。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
