后端識(shí)別處理,具有對(duì)大詞匯量、獨(dú)立于說話人的健壯識(shí)別功能,簡(jiǎn)單來說,就是能夠滿足大詞匯量,并能適應(yīng)不同年齡、不同地域、不同人群、不同信道、不同終端和不同噪聲環(huán)境的應(yīng)用環(huán)境。
1、語義置信度
在語音識(shí)別領(lǐng)域一個(gè)很重要的因素是置信度輸出,在限定詞匯量的條件下,如果客戶的提問或回答不**出限定的詞匯,ASR識(shí)別后文本的正確率可以達(dá)到95%以上。但是,一旦問題**出限定的領(lǐng)域或者出現(xiàn)集外詞,ASR的識(shí)別性能就會(huì)嚴(yán)重下降。因此,對(duì)ASR識(shí)別結(jié)果的可信度進(jìn)行度量就顯得非常重要,它可以降低集外詞(OOV)帶來的不利影響。
采用的方法是利用統(tǒng)計(jì)語言模型衡量ASR識(shí)別所得到的整個(gè)句子的可信度。如果一個(gè)句子的詞誤識(shí)率比較低,構(gòu)成這個(gè)句子的眾多三元短語(W1W2,W3),會(huì)比較多的出現(xiàn)在統(tǒng)計(jì)語言模型Trigram中,如圖9所示;反之,如果出現(xiàn)較多的識(shí)別錯(cuò)誤,那么句子*部分的詞W1和元短語(W1,W2)將出現(xiàn)在Unigram或Bigram中,很少有三元短語*Trigram,如圖10所示;對(duì)于一個(gè)由若干詞W1,W2,……,Wi,……,Wn構(gòu)成的句子,可根據(jù)各個(gè)詞及它所構(gòu)成的短語在統(tǒng)計(jì)語言模型中出現(xiàn)的情況對(duì)其中每個(gè)詞打分。出現(xiàn)在Trigram中的可信度高,因而得分較高,出現(xiàn)在Bigram或Unigram中的可信度低,因而得分較低。再在各個(gè)詞得分的基礎(chǔ)上得到整個(gè)句子的可信度得分。若得分**某個(gè)門限,則認(rèn)為句子中包含較多的識(shí)別錯(cuò)誤或者集外詞,可信度較低,應(yīng)當(dāng)被拒識(shí)。
ASR識(shí)別后文本是由一個(gè)個(gè)詞構(gòu)成的詞序列,其中某些詞對(duì)于理解整個(gè)句子有著非常重要的作用,這就是所說的關(guān)鍵詞。在這一步要做的就是提取出這些關(guān)鍵詞,形成一個(gè)關(guān)鍵詞串,作為下一步“問題理解”的輸入,這種處理同時(shí)也是為了降低“問題理解”時(shí)的難度,如圖11所示。可以把特定的對(duì)話節(jié)點(diǎn)看作一個(gè)問題域,針對(duì)該問題域設(shè)計(jì)關(guān)鍵詞表,預(yù)先規(guī)定在這一問題域內(nèi)的關(guān)鍵詞。這個(gè)關(guān)鍵詞表是ASR系統(tǒng)中相應(yīng)問題域下的詞匯表的子集,記錄了每個(gè)關(guān)鍵字的漢字串,類標(biāo)識(shí)和詞序號(hào)等信息。在提取關(guān)鍵詞時(shí),只需要在句子中進(jìn)行搜索,檢測(cè)到出現(xiàn)在關(guān)鍵表的關(guān)鍵詞,記錄它們出現(xiàn)的位置和次序。比如一個(gè)句子“你好,我想問一下,我那個(gè)嗯,快遞是不是寄錯(cuò)地址了?”,這里可以提取出關(guān)鍵漢字串“問一下”、“快遞”、“寄錯(cuò)地址”。對(duì)于不包含關(guān)鍵詞的句子,例如“啊,可以說給我打了,里頭哭了?!?,可把它視作無效或者錯(cuò)誤的輸入,給出相應(yīng)的提示。
以對(duì)話節(jié)點(diǎn)來分類語料,可較好的捕獲用戶說話的習(xí)慣和領(lǐng)域用語,某一節(jié)點(diǎn)場(chǎng)景下機(jī)器人與客戶的對(duì)話可限定在某個(gè)問題域內(nèi)進(jìn)行。對(duì)句子進(jìn)行準(zhǔn)確的理解,并不需要考慮句子中的每個(gè)詞,只需對(duì)幾個(gè)蘊(yùn)含關(guān)鍵概念的關(guān)鍵詞匯進(jìn)行理解就能把握句子的意義。關(guān)鍵詞識(shí)別技術(shù)從語句中抽取用戶關(guān)心的關(guān)鍵信息,能夠降低對(duì)識(shí)別系統(tǒng)和環(huán)境噪聲的要求。
2、語料統(tǒng)計(jì)分析
利用日志數(shù)據(jù),學(xué)習(xí)用戶的語言使用習(xí)慣,從日志中自動(dòng)抽取語意標(biāo)注數(shù)據(jù)和構(gòu)建領(lǐng)域語言模型。以對(duì)話節(jié)點(diǎn)來分類語料,基于不同典型節(jié)點(diǎn)的語料進(jìn)行詞表抽取。
針對(duì)每個(gè)問題域,需要確定有限大小的“詞匯表”,并通過大量的訓(xùn)練語料訓(xùn)練出相應(yīng)的基于詞類的統(tǒng)計(jì)“語言模型”。“關(guān)鍵詞表”可以從“詞匯表”中提煉得到,它記錄的是對(duì)于理解問題有實(shí)質(zhì)作用的詞匯及其相關(guān)信息。此外還要在“關(guān)鍵詞表”的基礎(chǔ)上形成“關(guān)鍵詞類型組合模板庫(kù)”,其中每個(gè)模板代表問題域內(nèi)的一類具體問題,此模板庫(kù)在“問題理解”過程中使用。
以快遞物流領(lǐng)域的對(duì)話語料為基礎(chǔ)。對(duì)話過程是兩個(gè)人通過電話以一問一答的形式進(jìn)行的,電話一端代表客戶,另一端是智能語音客服機(jī)器人,客戶端說話方式完全是自由的和隨意的。
為了表述方便,我們首先給出如下定義:
定義1 對(duì)話語句(Utterance) 從對(duì)話者一方開始講話到講完停下或被對(duì)方強(qiáng)行打斷為止,所說的全部?jī)?nèi)容稱作一個(gè)對(duì)話語句。
定義2 對(duì)話子句(Dialog sentence) 一個(gè)對(duì)話語句中所包含的分句,稱作對(duì)話子句。
例如: 嗯|你好/我想查|一下/我|那個(gè)|快遞|什么|時(shí)候|能|到/現(xiàn)在|還|沒|送來
這一段文字從開始到結(jié)束是一個(gè)對(duì)話語句,在這個(gè)對(duì)話語句中包含有4個(gè)對(duì)話子句(由“/”隔開),每一個(gè)子句中包含多個(gè)詞(由“|”隔開)。
其中,詞典標(biāo)注采用人工方式,語料標(biāo)注采用機(jī)器自動(dòng)標(biāo)注與人工核對(duì)相結(jié)合的方法。當(dāng)**次收集語料時(shí),詞典是不存在的,我們只需要對(duì)整理的語料進(jìn)行分詞,然后提取所有的詞匯,并依據(jù)這些詞匯建立相應(yīng)的詞典。詞典一旦建立之后,當(dāng)領(lǐng)域轉(zhuǎn)移或擴(kuò)展時(shí),系統(tǒng)只需將新收集的語料中在詞典中沒有的所有新詞提取出來,然后在人的輔助下決定是否將這些新詞添加到詞典中去。這樣,對(duì)于應(yīng)用領(lǐng)域接近或同一領(lǐng)域擴(kuò)展時(shí),只需要處理少數(shù)新的詞匯即可,而避免了大量的重復(fù)工作。
長(zhǎng)沙朗深信息技術(shù)有限公司專注于智能電話機(jī)器人,呼叫中心中間件,跨界呼叫中心等, 歡迎致電 13973187797