中評社北京12月10日電/據科技日報報導,近日,黑龍江大學本科生創業團隊的參賽項目“傳情達意——讓機器手語翻譯不再冰冷”憑借其獨特的創意和系列技術突破,在第十四屆“挑戰杯”秦創原中國大學生創業計劃競賽中榮獲金獎。這個項目研發了全國首個融合面部肌電信號的手語翻譯技術和相關AR眼鏡設備,不僅讓手語被“聽到”,還能讓聲音被“看見”。
團隊通過調研發現,目前助聾設備普及率衹有5%,且普遍價格高,適配場景少,準確率較低。為此,團隊決定在助聾設備方面做進一步探索。他們歷時兩年,研發出樣品並進行完善,目前已與徐州市特殊教育中心等機構簽訂購買意向書。
“我們的創新產品主要由臂環和AR眼鏡兩部分組成。”項目負責人、黑龍江大學電子工程學院朱銘熙說,臂環通過收集並識別聾啞人做手語時的肌電信號,將其轉化為語音,實現了手語的“聽覺化”。在這一過程中,電極貼片起到了關鍵作用。它們能夠捕捉肢體動作的細微變化,將其轉化為特徵向量,與預先建立的手語向量數據庫進行比對,從而準確識別出手語的含義。
然而,僅有臂環的手語識別並不足以達到精準翻譯的目標。朱銘熙介紹:“手語中面部表情所占的權重不低於40%,而人的情緒主要通過眉毛和面頰兩側的肌肉來體現。”
為了提升準確率,團隊進一步提升了設備精準捕捉表情、理解情感的能力。他們將電極貼片安裝在AR眼鏡的引擎上,研發了我國首個融合面部肌電信號的手語翻譯技術。當佩戴者因情緒產生微表情的時候,設備就能精準捕捉這些微小的面部表情,並將其轉化為特徵向量後與數據庫中的信息進行比對,從而讓手語翻譯更加精準。
同時,團隊還擴大了數據吞吐量,實現設備時延小於0.1秒,能實時完成13000餘條手語數據的調用。正是基於這些技術,與同類產品相比,團隊產品的實時性翻譯能力更強,準確度更高。 |