目次:
大学は語学の研究において大きな進歩を遂げており、講義室での従来のクラスや相互作用のない事前に録音されたレッスンを超えています。 生徒は没入型学習環境で人工知能（AI）や自然言語処理（NLP）などのテクノロジーにアクセスできるようになりました。 それが、ニューヨーク州トロイのレンセラー工科大学（RPI）のキャンパスにあるコグニティブアンドイマーシブシステムラボ（CISL）で起こっていることです。 研究所がIBM Researchと協力して、6週間の夏期コースの技術を開発し、学生がストリートマーケットやレストランを含む環境でAIエージェントと対話するようになりました。
「AI-Assisted Immersive Chinese」というタイトルのコースでは、「シチュエーションルーム」とも呼ばれる研究室の認知没入型ルーム（CIR）で、コンピューターで生成されたシーンの360度のパノラマ表示システムを使用します。 仮想シーンは中国で行われます。 生徒はWatson Assistantを搭載したアバターと会話し、会話と発音を修正します。 CIRでは、学生は会話型AI、物語生成、空間コンテキスト認識、ジェスチャーおよび顔認識技術を使用します。
CIRは、教育に加えていくつかの業界でIBM Watsonが持つ可能性の多様性の例です。 これらの産業には、農業、人材（HR）、および車両管理が含まれます。
RPIでは、Watson Assistantに加えて、学生は研究でWatson Speech to Text、Watson Text to Speech、およびLanguage Translatorを使用しています。
学生は、RPIキャンパスでAIを使用して標準中国語を学習します。 （画像クレジット：IBM Research / RPI）
アクティブな学習体験
RPIのジュニアであるJulian Wongにとって、没入型のAI体験は、マンダリンを学習するための魅力的な方法でした。 マンダリンは音程の変化によって単語の意味を変えることができる声調言語であるため、AIエクスペリエンスのアバターはトーンに関するフィードバックを提供して、ウォンと他の学生が発音を正しくしていることを確認します。
WIRによると、CIRでAIを使用すると、通常の教室の時間とのバランスがとれます。 「コンピューターと話をする会議は、言語学習の多くの側面、特に口頭でのスキルの向上に役立ちます」とWong氏は言います。
ウォンのマンダリンクラスは週4回開催されます。 月曜日と金曜日、彼はRPIの准教授であるHelen Zhouとの伝統的な教室のクラスに参加します。 そこで彼は新しい語彙を学び、フレーズと文法構造を紹介します。 火曜日と木曜日に、クラスはCIRで会合し、学生は仮想エージェントと会話します。 レストラン環境では、学生はレストランに座って、メニューを見て、食べ物を注文し、ウェイターに食べ物の準備方法について話し、請求書を支払うというプロセス全体を行うことができると言いました。 他の環境には、庭、市場、学校のキャンパスが含まれます。
没入型教室のマンダリンクラスは、Zhou氏によると、言語とビデオのマルチモーダルエクスペリエンスを提供するため、従来の環境とは異なります。 彼女は、伝統的なクラスは没入感とインタラクティブ性が低下すると述べた。 「没入型の教室でのシミュレーションでは、2人のエージェントが互いに戦い、製品を購入するように学生を説得しようとします」とZhou氏は言います。 「学生は、ビデオを見たり、講義だけを聞いたりするのではなく、個人的な経験で理解します。教科書から学ぶか、テープを聞くよりも簡単に文化を理解できると思います。」
CIRでは、生徒は自分がやり取りしたシーンに関連するクイズを取り、手を挙げて答えを出します。 部屋のカメラのコンピュータービジョンテクノロジーは、ジェスチャーをキャプチャします。 AIアシスタントがシーンに関連するクイズを行い、生徒は中国語のフレーズで答える必要があります。
「画面上にあるポップアップのいずれかを選択する場合は、手を伸ばして手のひらを開いてから、手を閉じることができます」とウォンは説明します。 「現在カーソルが何でも選択します。小さなクイズについては、正しい答えがわかっている場合は、選択したいキャラクターに手を動かし、手を閉じて選択します。正しいかどうかをお知らせします。」
仮想エージェントは、ほとんどの場合、口の近くにマイクがない場合を除き、生徒を理解します。 システムにはさまざまな音声認識設定があり、生徒が発音に慣れていない場合にピックアップします。 また、教授がいない場合は、会話で即座にフィードバックを提供します。 マンダリンクラスの生徒は自分の時間にWebサイトにアクセスして、練習用の音声クリップにアクセスします。
RPIでの没入型エクスペリエンスの優れた機能は、画面上の複数の仮想エージェントがアイコンタクトしているエージェントを特定できる空間コンテキスト認識です。 「1人のエージェントを見ながら何かを言うと、そのエージェントは応答しますが、他のエージェントは応答しません」とWongは言いました。
学生は、RPIでマンダリンクラスの一部としてIBMワトソンジェスチャーと顔認識技術を使用します。 （画像クレジット： IBM Research / RPI ）
没入型エクスペリエンスの開発方法
RPIでの没入感のある体験は、言語教授とゲームデザインの教授が出会い、言語を教えるためのより良い方法について話し合ったときに生まれました。 IBM ResearchのCognitive User Experienceのディレクターであり、CISLのディレクターでもあるHui Su氏によると、ロールプレイングゲームを開発する計画は、現実のシナリオのシミュレーションを通じてマンダリンを教える方法の議論にすぐに変わりました。 IBMとRPIは2015年の終わりにコースの開発を開始し、その時点で共同ラボを設立しました。 CISLはその後すぐに形になりました。
「研究室の目的は、認知活動と没入感のある環境を構築して、グループの活動を改善し、学習と意思決定のコンテキストでグループの知能を強化することです」とSu氏は語った。 「私たちは、認知的没入型会議室の構築にも焦点を当てています…重大な状況のデータを見て、情報を理解し、意思決定者への意思決定または推奨事項を作成しようとします。」
AI言語学習プログラムの一環として、IBMとRPIはピッチコンター分析の実験を行っています。 Suは、この技術の仕組みについて説明しました。 「あなたが音節を話すとき、あなたが音節を発音するとき、下にある技術は声を捕らえます、そして、それはあなたがその音節を発音する方法の視覚的な輪郭を生成します」とスーは言いました。 「次に、その視覚的輪郭を使用し、その視覚的輪郭をネイティブスピーカーの視覚的輪郭と比較します。」
その後、生徒は発音を調整して正しい音調に到達できます。 特定の音節の発音を変更する必要があることを学習します。 Suによると、Watson techを使用して没入型の教室でマンダリンを学習することで生徒が得た知識により、実際の生活で会話する自信が増します。
「全体的なアイデアは、生徒がエクササイズを練習できるように、没入型環境とAIテクノロジーを通じて十分な文化的背景を提供することです」とSu氏は語った。 「だから、彼らは実際の生活の中で人々と話すような恐怖を抱かないでしょう。」
学生は、IBM Watson techを使用して、仮想レストラン環境で標準中国語を練習します。 （画像クレジット： IBM Research / RPI ）
技術産業と学界の架け橋
IBMとRPIは、IBMの研究者と教員の間に橋を架けることができ、IBMはキャンパスに研究者、つまりSuを埋め込みます。 一方、RPIのクラスの教授であるZhouは、教室での没入感を向上させる方法について、デザイナー、ユーザー、および教師にフィードバックを提供します。
「より自然な教室を学生に提供できるように、設計をデバッグまたは改善するために、すぐにフィードバックを与える必要があります」とZhou氏は述べました。 「だから多くの仕事が関係しているが、それだけの価値はある」
言語学習の未来
- 2019年の最高の言語学習ソフトウェア2019年の最高の言語学習ソフトウェア
- IBMは複数の業界で事前トレーニング済みのWatson AIツールをリリースIBMは複数の業界で事前トレーニング済みのWatson AIツールをリリース
- AIは本当に私たちの言語を話しますか？ AIは本当に私たちの言語を話しますか？
周氏によると、このタイプの没入型環境は、一見現実に近い環境を提供できるため価値があります。 「AI没入型環境は、学生の会話と聞き取りを強化するだけでなく、現実の状況でその言語を使用することの実用性も高めることができます」とZhou氏は述べています。 「だから、AIはインストラクターとして理想的であり、生徒は初心者でも、国に行かなくても、言語を早期に使用する感覚を得ることができます。」
RPIで提供されるようなマルチモーダル学習環境は、教室でのAIの役割を拡大します。 AIが仮想エージェントを通じて提供する経験により、学生は必要な言語スキルで現実世界のさまざまなシナリオに取り組む準備ができます。
