這個春節(jié)，《狂飆》這部口碑好劇引發(fā)了全網“現(xiàn)象級追劇”。但昨天，有細心的觀眾發(fā)現(xiàn)，劇情人物突然出現(xiàn)臺詞“亂飆”的情況——大量后期配音，使孟德海這個角色“說話和口型對不上”。于是，一些鐵桿粉絲努力讀唇語對口型，試圖找回原本的臺詞。

“看個劇，還得會唇語了？”雖是劇情需要，臺詞或許做出了適當改變，但也因此讓一些好奇的觀眾突發(fā)奇想學唇語。

(資料圖片)

事實上，人工唇讀學習很難，那么AI唇讀能不能助觀眾一臂之力呢？2月1日，天目新聞記者采訪了浙江大學教授、視覺感知教育部-微軟重點實驗室副主任宋明黎。

電視劇《狂飆》劇集截圖

AI怎么識別唇語呢？唇語識別是怎么實現(xiàn)的呢？

那首先要了解下唇語識別（lip-reading）——先從圖像中識別出人臉，提取人說話時口型變化的特征，通過嘴型特征來識別音素。

“目前，AI唇讀肯定還達不到語音識別接近百分之百的準確率，但它的準確率也能達到了百分之八十多。”宋明黎表示，在識別過程中，很可能會出現(xiàn)同音不同字的情況，但人們可以根據唇語翻譯的文字，做進一步糾正后，便可以知道句子真實的意思。也就是說，在理想的情況下，通過AI唇讀，觀眾們也是可以知道未經配音的原來的主要臺詞內容。

宋明黎表示，我們可以把視頻輸入通過人工智能已訓練好的模型，這個模型可以提取嘴巴所在的位置，然后把嘴巴所在的位置框出來，形成“嘴巴動”的序列，“這個序列就是不同的字，把口型變化的序列當成音頻一樣輸入模型，這個模型就會把它解析出來，形成文字?！?/p>

目前，宋明黎所在的課題組發(fā)布了國際上最大的普通話唇語標注數(shù)據集，“這個數(shù)據集是基于中央電視臺的新聞聯(lián)播來提取的，所以能夠識別的必須是‘字正腔圓’的普通話?！彼蚊骼枵f，接下來，對于AI唇讀的研究主要是讓它更加適配于實際場景的數(shù)據。

即使是最先進的系統(tǒng)，也難以克服唇動中的模糊性，使其性能無法超越基于音頻的語音識別。為了追求更高效的系統(tǒng)，阿里巴巴、浙江大學和史蒂文斯理工學院的研究人員已經設計了一種方法，利用從語音識別器中提取的特征作為補充線索。在衡量準確性的在兩個唇語識別行業(yè)標桿基準測試上，以7.66% 和2.75%的字錯誤率優(yōu)于已有技術。

此外，唇讀其實是聾校教學內容之一，人們學習唇語，需要的不僅是視覺感受能力和語言理解能力，還有培養(yǎng)判斷推理能力；而且需要注意力高度集中才能完成，難度可想而知，“學會人工的唇讀取決于個人的素質，但是AI如果做好的話，你就不用去刻意去學習，普惠性會比較強?！彼蚊骼枵f。

雖然目前AI讀唇語還在研究階段，但隨著未來技術成熟，會催生出更多的應用場景，聾啞人群就是其中一個受益群體。

宋明黎團隊曾經做過一個研究項目，設計一款穿戴式的智能設備，專為聾啞人群使用，它裝有一個攝像頭。雖然聾啞人聽不見他人說話，但眼睛是好的，給他們佩戴一個AR眼鏡，利用唇語識別的功能把文字顯示在眼鏡屏幕上，這樣就起到一個增強現(xiàn)實的效果。

AI讀唇還有一些特殊的場景，也是在《狂飆》電視劇中多次出現(xiàn)的場景。

“比如說公安或者是軍人，他們要去執(zhí)行任務，偷偷打入敵方內部，到了目標地點人們可能無法出聲，但他可以用嘴型與隊友交流，利用AI讀唇就可以迅速識別出來。”宋明黎說，當然，這些應用場景的實現(xiàn)，還面臨一些挑戰(zhàn)。我們想讓AI讀唇更加接近于實際的場景。之前我們數(shù)據的收集，大多來自新聞聯(lián)播主播播音，那樣的唇語條件太過苛刻。我們還是希望采用實際普通人說話的場景，更具隨意性，比如說話人的視角不是正對著聽話人，可能角度有點偏，這種場景的實際意義更大。

“更重要的一點是，AI讀唇語的準確率還要再提高，要達到非常接近語音識別程度的準確率，AI讀唇才能真正被應用起來。如果準確率達不到要求，它推廣起來就會有些障礙。目前我們還需要在現(xiàn)實中積累大量數(shù)據，用于訓練人工智能?！彼蚊骼璞硎?，在可以預見的將來，人工智能可以讀取更多信息，除了讀語音、讀人臉、讀唇語，讀懂表情也是人們很感興趣的一個方向。

現(xiàn)在國內外從事AI讀表情的相關研究很多。宋明黎介紹，表情識別分成兩種，一種是早期研究者把人的表情分成了6種情況，比如高興、悲傷、沮喪和驚訝等。依照這6種表情類別，目前AI讀表情技術基本可以做到百分之九十幾的準確率，“但如今這個簡單的分類已無法滿足要求了，在實際使用時，人們更希望識別出人臉上的微表情。因為人和人之間交往溝通時，面部的微表情更多、更復雜，而且微表情更能展示人內心的真實想法。當然，AI讀微表情的難度也更大?！?/p>

關鍵詞： 語音識別 人工智能 浙江大學