唇語翻譯算法設(shè)計是針對偏復雜的模式識別,深層神經(jīng)網(wǎng)絡(luò)DNN通過測量舌頭、下顎、軟腭和嘴唇的協(xié)調(diào)動作來識別嘴正在發(fā)音的某個詞語。系統(tǒng)會對測量出來的數(shù)據(jù)進行訓練,把發(fā)音語音信號轉(zhuǎn)換成為聲學語音信號,方便其他用戶獲取到準確的信息,不會影響溝通的效果。
通過解碼皮層語言相關(guān)活動,能實時控制語音合成器,從而幫助有嚴重發(fā)聲障礙的人恢復交流,科學家會根據(jù)發(fā)生障礙者的特征來進行大腦信號解碼,將其翻譯成語音。
除了唇語翻譯,系統(tǒng)還能進行其他語言翻譯,并且具備自我學習到能力。通過人工智能訓練學習,系統(tǒng)掌握了語言的特征之后,就能立即自動掌握從X到Z語言的翻譯。
開發(fā)唇語翻譯APP能夠幫助失語者恢復交流,讓他們的生活更加順暢,擁有更多樂趣。