2022年4月，有一個名叫Niubility的團(tuán)隊，在新加坡走紅。他們參與了華為云SPARK Hackathon Singapore 2022大賽，在華為云云原生數(shù)據(jù)庫GaussDB(for MySQL)的基礎(chǔ)上構(gòu)建了“DeafTalk”這款應(yīng)用，并在將近500名參賽者中脫穎而出，斬獲大賽總冠軍。
顧名思義，DeafTalk是一款聽覺-語言治療助手。它以趣味性的方式，訓(xùn)練并糾正聽障兒童的發(fā)音，輔助治療師對患者進(jìn)行聽障治療，最終目標(biāo)是促進(jìn)聽障兒童與外界的人際溝通。
Niubility成功地將現(xiàn)有的研究與國際音標(biāo)（IPA）結(jié)合到一個應(yīng)用中，希望用科技為特殊人群創(chuàng)造更好的世界。
聽覺語言治療難在哪里？
聽力障礙讓兒童語言的形成變得十分困難。人們在說話時，其實無時無刻不在自己耳朵的監(jiān)聽之下。兒童的咿呀學(xué)語也是“邊聽邊說”的過程，如果聽不到自己的發(fā)音，就很難判斷說話的效果。而且如果在6-12歲適合進(jìn)行聽覺語言治療的黃金時期，沒有及早干預(yù)和采取康復(fù)訓(xùn)練，聽障兒童將慢慢地失去模仿和學(xué)習(xí)語言的機(jī)會，長大以后也就無法如常人般交流。
但在現(xiàn)實中，聽覺語言治療卻并非易事。
以新加坡為例，口語康復(fù)訓(xùn)練每小時的費用高達(dá)200新幣以上，約等于1000元人民幣。而這樣的治療需要持續(xù)將近十年的時間，高昂的治療費用是很多家庭難以承受的。
其次，在傳統(tǒng)的口語康復(fù)訓(xùn)練中，需要治療師、失聰兒童和家長三方共同進(jìn)行，家長需掌握專業(yè)訓(xùn)練的方法，并在日常生活中抽出大量時間輔助孩子完成訓(xùn)練。
此外，康復(fù)治療的過程單調(diào)而冗長。哪怕對于正常孩子來說，長時間進(jìn)行語言訓(xùn)練都是一個艱巨的任務(wù)。對于失聰兒童來說，學(xué)習(xí)效率更低。
如何在語言發(fā)展的關(guān)鍵期，改進(jìn)康復(fù)方法，讓康復(fù)過程更容易被接受、更高效，是相關(guān)從業(yè)者一直思考的問題。Niubility團(tuán)隊的兩名成員——新加坡國立大學(xué)計算機(jī)科學(xué)專業(yè)的胡家俊和張之堯，也希望能夠借助云計算的力量，幫助聽障兒童更便捷、更高效地獲取專業(yè)訓(xùn)練。
讓聽障兒童的聽覺語言治療充滿趣味
當(dāng)前，大多數(shù)的治療師仍在用傳統(tǒng)的方式為聽障兒童制定康復(fù)方案。而經(jīng)過長時間調(diào)研的胡家俊、張之堯認(rèn)為，圖像識別、自然語言處理等AI技術(shù)，能夠更科學(xué)地輔助治療師，糾正聽障兒童的發(fā)音。因此他們設(shè)計了DeafTalk這一方案。
DeafTalk最大的特點在于，它能精準(zhǔn)分析聽障兒童發(fā)音不準(zhǔn)確的問題，進(jìn)而精準(zhǔn)地提供改善建議，并且以游戲化的方式，引導(dǎo)聽障兒童通過持續(xù)性訓(xùn)練不斷改善發(fā)音。
具體到每一項功能，DeafTalk首先是一款手機(jī)應(yīng)用，是一個簡單易用的手機(jī)APP。張之堯分享道，這款A(yù)PP是和治療師的治療綁定在一起的。治療師可在線安排課程，比如對某個單詞、某個句子進(jìn)行針對性的訓(xùn)練。
而在患者一端，APP提供口語發(fā)音視頻給到聽障兒童學(xué)習(xí)，在聽障兒童模仿的過程中，對其口型進(jìn)行口腔識別和3D模型比對、對其發(fā)音進(jìn)行語音識別，從而實現(xiàn)一邊學(xué)習(xí)、訓(xùn)練，一邊進(jìn)行語音識別反饋。訓(xùn)練完成后，所有的數(shù)量和反饋結(jié)果會反饋給治療師進(jìn)行分析。
通過這個過程，我們可以看出DeafTalk的兩個特性：一是基于手機(jī)應(yīng)用提供治療服務(wù)，簡單易用，方便兒童學(xué)習(xí)；二是訓(xùn)練可視化，根據(jù)實時圖像反饋提供3D口腔指導(dǎo)，以及通過教程視頻提供指導(dǎo)。
DeafTalk還極大地增強(qiáng)了學(xué)習(xí)的趣味性，可以通過游戲訓(xùn)練對兒童進(jìn)行發(fā)音訓(xùn)練。比如，在"Jump for Fun"小游戲中，聽障兒童根據(jù)提示對指定單詞進(jìn)行發(fā)音，如果發(fā)音準(zhǔn)確，棋子將跳到下一個平臺，一步步升級。游戲不僅擴(kuò)展了聽障兒童的詞匯量，而且訓(xùn)練了他們的發(fā)音準(zhǔn)確性。
在手機(jī)端游戲基礎(chǔ)上更進(jìn)一步，DeafTalk還設(shè)置了名為 "Cube-Hub"的實體游戲，不僅包括軟件功能，還有硬件設(shè)備。根據(jù)APP所提供的單詞，聽障兒童需要組合給定的國際音標(biāo)。如果排序、拼寫正確，"Cube-Hub"將反饋笑臉，表示兒童拼寫正確。
Niubility團(tuán)隊之所以能一舉拿下“SPARK Hackathon Singapore 2022”的冠軍，跟DeafTalk的實際落地情況密不可分。
Niubility團(tuán)隊與一位聽障朋友Ku Yanwei進(jìn)行了長時間的合作與多輪的測試，并且多次進(jìn)行了超過100位測試者的beta-testing，最終完成了DeafTalk的研發(fā)。目前Niubility團(tuán)隊也在和一些本地NGO合作，幫助聽障兒童集體進(jìn)行訓(xùn)練，在大大降低康復(fù)成本的同時，還能提高康復(fù)效率。讓接受專業(yè)聽覺語言治療的過程，就像在手機(jī)上訂閱歌曲一樣簡單。
技術(shù)賦能讓聽障兒童生活更美好
創(chuàng)新者的路都是困難而孤獨的。Niubility團(tuán)隊在研發(fā)DeafTalk的時候也遇到了諸多難題，包括市場上沒有相關(guān)參考、APP開發(fā)的技術(shù)支撐問題，以及深度學(xué)習(xí)缺少數(shù)據(jù)量的問題等等。張之堯說：“我們需要不斷地去跟社區(qū)和NGO合作，進(jìn)而不斷提高產(chǎn)品的準(zhǔn)確率?！辈⑶覐漠a(chǎn)品設(shè)計之初，Niubility團(tuán)隊就采用了華為云GaussDB。
張之堯說：“DeafTalk的數(shù)據(jù)存儲和處理采用了華為云GaussDB(for MySQL)，即開即用，可輕松上手，免去了部署和管理數(shù)據(jù)庫的繁瑣，讓我可以更專注于應(yīng)用的創(chuàng)新和實現(xiàn)；其高性能、高可靠、高可用、高擴(kuò)展、應(yīng)用透明以及容災(zāi)能力，也讓我可以更好地規(guī)劃產(chǎn)品未來的商業(yè)拓展，不用擔(dān)心因為用戶數(shù)和數(shù)據(jù)量的爆發(fā)式增長而帶來的數(shù)據(jù)處理能力以及安全挑戰(zhàn)。而且GaussDB(for MySQL)100%兼容MySQL生態(tài)，讓整個數(shù)據(jù)庫開發(fā)搭建過程非常順利?！?/p>
如今，DeafTalk已經(jīng)綜合運(yùn)用了包括GaussDB、OBS、ECS等在內(nèi)的華為云產(chǎn)品，Niubility團(tuán)隊把DeafTalk 的整個系統(tǒng)和生態(tài)都放在了華為云上面。在未來的規(guī)劃里，團(tuán)隊將持續(xù)更新算法，采用SaaS訂閱模式，提供給治療師、聽障兒童以及合作的NGO來使用，他們還將基于華為云去完善每一個細(xì)小的功能。
雖然，未來的路上仍然會遇到很多困難，但Niubility團(tuán)隊堅信，在華為云的加持下，在社會各界的鼓勵下，他們將不忘初心，繼續(xù)前行，懷著赤誠之心，為更多聽障兒童推開一扇“有聲的窗”。
