大學在語言學習方面已經(jīng)走了很長一段路，超越了傳統(tǒng)的演講廳課程和預(yù)先錄制的課程而沒有互動?，F(xiàn)在，學生可以在沉浸式學習環(huán)境中使用諸如人工智能(AI)和自然語言處理(NLP)之類的技術(shù)。這就是紐約倫斯勒理工學院(RPI)校園特洛伊認知與沉浸系統(tǒng)實驗室(CISL)的情況。該研究所正是在這里與IBM Research合作開發(fā)了一項為期六周的夏季課程技術(shù)，在該課程中，學生可以與包括街道市場和餐館在內(nèi)的環(huán)境中的AI代理進行交互。

該課程名為“AI輔助沉浸式漢語”，在實驗室的認知沉浸式房間(CIR)(也稱為“情境房間”)中以計算機生成的場景的360度全景顯示系統(tǒng)為特色。虛擬場景發(fā)生在。學生與由Watson Assistant提供支持的化身進行交談，并獲得語音和發(fā)音上的糾正。在CIR中，學生使用對話式AI，敘事生成，空間上下文感知以及手勢和面部識別技術(shù)。

CIR是IBM Watson除教育外在多個行業(yè)中具有多種潛力的示例。這些行業(yè)包括農(nóng)業(yè)，人力資源(HR)和車隊管理。

在RPI上，除了Watson Assistant之外，學生還在研究中使用Watson語音到文本，Watson語音到語言和語言翻譯器。

積極的學習經(jīng)歷

對于RPI的大三學生朱利安·王(Julian Wong)來說，沉浸式AI體驗是一種學習普通話的誘人方式，因為它為他提供了一種更加積極的學習方式。由于普通話是一種音調(diào)語言，其音高變化可以改變單詞的含義，因此AI體驗中的化身會提供有關(guān)音調(diào)的反饋，以確保Wong和其他學生都能正確獲得發(fā)音。

Wong說，在CIR中使用AI可以與正常的課堂時間保持良好的平衡。Wong說：“與計算機交談……絕對可以在很多方面幫助學習語言，尤其是語言技能。”

黃的普通話班每周開會四次。在星期一和星期五，他與RPI副教授Helen Zhou一起在傳統(tǒng)教室里上課。他在那里學習新的詞匯，并介紹了短語和語法結(jié)構(gòu)。在周二和周四，課程在CIR開會，學生與虛擬特工進行對話。Wong說，在餐廳環(huán)境中，學生可以完成整個過程，包括坐在餐廳里坐下來，看菜單，點菜，與侍者談食物的準備方式以及付款。其他環(huán)境包括花園，市場和學校校園。

周說，沉浸式教室中的普通話課不同于傳統(tǒng)環(huán)境，因為它提供了語言和視頻的多模式體驗。她說，傳統(tǒng)課程將減少沉浸感和互動性。周說：“在沉浸式教室的模擬中，我們有兩個特工互相搏斗，試圖說服學生購買產(chǎn)品。”“因此，學生將通過個人經(jīng)歷來理解，而不是僅僅觀看視頻或聽講座。我相信，與僅僅從課本中學習或聽錄音帶相比，他們將更容易理解文化。”

在CIR中，學生進行與他們所互動的場景有關(guān)的測驗，并舉手示意答案。房間內(nèi)攝像頭的計算機視覺技術(shù)可以捕捉他們的手勢。該AI助理給出了相關(guān)現(xiàn)場，學生必須在一個短語回答測驗。

Wong解釋說：“如果要選擇屏幕上的彈出窗口之一，則可以伸出手，手掌張開，然后合上手。”“您可以選擇當前光標所在的位置。對于小測驗，如果您知道正確的答案是什么，則可以將手移到要選擇的字符上，然后合上手以選擇它們。它會告訴您是否正確。”

虛擬座席大多數(shù)時候都會了解學生，除非他們可能沒有將麥克風靠近嘴。該系統(tǒng)具有不同的語音識別設(shè)置，可以根據(jù)學生的發(fā)音來選擇他們。如果您沒有教授在場，它還會在對話中提供即時反饋。普通話班的學生可以在自己的時間上訪問網(wǎng)站以訪問語音剪輯進行練習。

RPI的沉浸式體驗的一個很酷的功能是空間上下文感知，其中屏幕上的多個虛擬代理可以告訴您與哪個人進行眼神交流。Wong說：“如果您在看一個特工時說些話，那么那個特工會做出回應(yīng)，而不是另一名特工。”

RPI的沉浸式體驗是在語言教授和游戲設(shè)計教授聚在一起討論更好的語言教學方法時創(chuàng)造的。IBM Research認知用戶體驗總監(jiān)兼CISL主管Hui Su表示，開發(fā)角色扮演游戲的計劃很快就變成了關(guān)于如何通過模擬真實場景來教授普通話的討論。IBM和RPI從2015年底開始開發(fā)該課程，并在那時建立了聯(lián)合實驗室。此后不久，CISL就形成了。

蘇說：“實驗室的目的是建立認知和沉浸式環(huán)境，以改善小組活動，在學習和決策過程中增強小組的智慧。”“我們還專注于建立認知沉浸式會議室……以查看緊急情況的數(shù)據(jù)，并試圖理解這些信息并為決策者提供決策或建議。”

作為AI語言學習計劃的一部分，IBM和RPI正在試驗音高輪廓分析。Su介紹了這項技術(shù)的工作原理。蘇說：“當你說一個音節(jié)時，當你說出一個音節(jié)時，底層的技術(shù)將捕獲聲音，并產(chǎn)生出你如何發(fā)音該音節(jié)的視覺輪廓。”“然后，它使用該視覺輪廓，并將該視覺輪廓與母語人士的視覺輪廓進行比較。”