近日，千博信息、中國科學(xué)院自動化研究所、華為基于“紫東太初”三模態(tài)大模型、昇騰AI基礎(chǔ)軟硬件平臺打造出手語多模態(tài)模型及手語教考一體機(jī)，輔助聽障人士更好地理解和學(xué)習(xí)手語。我國有2700多萬聽障人士，手語是聽障人群溝通交流的主要方式，但手語學(xué)習(xí)面臨詞匯更新慢、師資短缺、手語標(biāo)準(zhǔn)難統(tǒng)一等多重挑戰(zhàn)。

研發(fā)人員讓“紫東太初”三模態(tài)大模型學(xué)習(xí)了1.2萬個手語詞匯、50多萬語法、70多萬語料，基于昇思MindSpore AI框架，開發(fā)手語多模態(tài)模型，開創(chuàng)性地實(shí)現(xiàn)手語動作與視頻、圖片示意和文字說明的聯(lián)動，讓初學(xué)者對手語語義理解更加深刻。而后，基于手語多模態(tài)模型，利用昇騰AI基礎(chǔ)軟硬件平臺開發(fā)出手語教考一體機(jī)。目前，該一體機(jī)已在湖南多個特殊教育學(xué)校陸續(xù)上線，一定程度上緩解了手語師資短缺問題。

手語教考一體機(jī)可以實(shí)現(xiàn)文本到圖像的自動生成，具備實(shí)時手語手勢識別、表情及唇語識別等能力，并且還可實(shí)現(xiàn)新事物詞匯的及時學(xué)習(xí)與更新，適用于特殊教育學(xué)校、開設(shè)手語教學(xué)師資培養(yǎng)的大專院校、通用手語推廣教學(xué)點(diǎn)和全國殘聯(lián)基層培訓(xùn)點(diǎn)等。此外，基于手語多模態(tài)模型打造的AI手語助手功能可用于同傳翻譯、新聞主持、服務(wù)引導(dǎo)等場景。

2021年底，基于“紫東太初”三模態(tài)大模型，華為攜手伙伴成立了多模態(tài)人工智能產(chǎn)業(yè)聯(lián)盟，經(jīng)過半年多緊密合作，陸續(xù)孵化出多個行業(yè)解決方案，如手語多模態(tài)模型和手語教考一體機(jī)。在AI大模型產(chǎn)業(yè)化落地過程中，豐富的數(shù)據(jù)和參數(shù)、更泛化的應(yīng)用場景，反哺大模型基礎(chǔ)能力，讓大模型更智能、場景適用性更好，從而對行業(yè)應(yīng)用提供更大的支持，實(shí)現(xiàn)大模型創(chuàng)新到應(yīng)用，再到迭代升級的產(chǎn)業(yè)正循環(huán)。未來基于中國算力網(wǎng)—智算網(wǎng)絡(luò)的充沛算力，AI大模型的創(chuàng)新、應(yīng)用到迭代升級的速度將進(jìn)一步加快，大模型在不同領(lǐng)域的應(yīng)用也將更加多元化。

(新媒體責(zé)編：pl0902)