乂學(xué)教育-松鼠AI受邀參加NCME峰會(huì) 探討在線學(xué)習(xí)的人工智能評(píng)測(cè)應(yīng)用

2019年美國(guó)國(guó)家教育測(cè)量委員會(huì)(National Council on Measurement in Education,以下簡(jiǎn)稱NCME)峰會(huì)4月4-8日在風(fēng)景如畫的多倫多召開。全球近1.4萬名教育行業(yè)的研究人員和教育專家齊集多倫多城市會(huì)議中心和費(fèi)爾蒙德酒店,在5天內(nèi)集中交流一年來行業(yè)在教育評(píng)測(cè)體系研究和教育評(píng)測(cè)實(shí)踐中的重要成果。

4月8日中午,NCME的一個(gè)重要交流匯報(bào)會(huì)-“評(píng)估和分類準(zhǔn)確度的研究新方向”(New Directions in Scoring and Classification Accuracy)在酒店如期進(jìn)行。乂學(xué)教育-松鼠AI作為中國(guó)教育行業(yè)人工智能評(píng)估與量化的代表也受邀參加了此次會(huì)議。SRI斯坦福國(guó)際研究院的教育研究員Yuning Xu作為松鼠AI合作項(xiàng)目組的核心成員,向與會(huì)者做了主題為”在線學(xué)習(xí)所需的集成專家評(píng)估與診斷分類模型”(Integrating Expert Review and Diagnostic Classification Models for Online Assessments)的研究報(bào)告,詳細(xì)介紹了松鼠AI利用Q矩陣和其上的DINA模型建立認(rèn)知診斷測(cè)量系統(tǒng)的核心過程,并提供了仿真研究的具體結(jié)果。

美國(guó)國(guó)家教育測(cè)量委員會(huì)(National Council on Measurement in Education 以下簡(jiǎn)稱NCME)是美國(guó)全國(guó)性的教育測(cè)評(píng)行業(yè)協(xié)會(huì)。該委員會(huì)定期發(fā)布美國(guó)教育行業(yè)指導(dǎo)性文件和質(zhì)量標(biāo)準(zhǔn)。NCME對(duì)于美國(guó)教育行業(yè)評(píng)測(cè)標(biāo)準(zhǔn)具有重大影響力,其制定的《教育與心理測(cè)量標(biāo)準(zhǔn)》,明確了各類考試應(yīng)該達(dá)到的信度、效度、公平性等方面的標(biāo)準(zhǔn)。中國(guó)人所熟知的考試機(jī)構(gòu)-美國(guó)教育考試服務(wù)中心(Educational Testing Service,簡(jiǎn)稱ETS)就是按照NCMS制定的教育評(píng)測(cè)標(biāo)準(zhǔn)設(shè)計(jì)其所屬的托福、GRE、GMAT、托業(yè)和SAT等全球知名的語言和學(xué)術(shù)能力評(píng)估考試的。

2019年NCME峰會(huì)的主題是“與公眾交流教育評(píng)測(cè)” (Communicating with the Public about Educational Measurement.)。在這個(gè)主題下,“公眾”被定義為是各種各樣的和教育相關(guān)的受眾,其中包括普通民眾,家長(zhǎng),教育工作者,教育政策制定者,關(guān)注教育的新聞界和各個(gè)年齡層的學(xué)生,而受眾溝通中和學(xué)生的直接溝通尤為受會(huì)議重視。

在互聯(lián)網(wǎng)顛覆和改造教育行業(yè)的今天,個(gè)性化教育成為學(xué)生的普遍需求。如何精確測(cè)評(píng)學(xué)生的知識(shí)水平,診斷知識(shí)結(jié)構(gòu)中的問題,成為了個(gè)性化教育必不可少的基礎(chǔ)。傳統(tǒng)的潛在特質(zhì)模型和因子分析模型所能夠達(dá)到的精度已經(jīng)不能滿足互聯(lián)網(wǎng)教育的要求。取而代之的是認(rèn)知診斷模型等新型的教育評(píng)測(cè)模型。

松鼠AI在國(guó)內(nèi)的K12教育環(huán)節(jié)已經(jīng)全面地進(jìn)行了新型評(píng)測(cè)模型的應(yīng)用,涵蓋了數(shù)學(xué)、物理、化學(xué)、英語和語文等多個(gè)核心學(xué)科,通過設(shè)計(jì)完善的知識(shí)圖譜和精準(zhǔn)的知識(shí)點(diǎn),并對(duì)知識(shí)點(diǎn)之間的關(guān)聯(lián)與依賴關(guān)系加以準(zhǔn)確勾勒,形成了面向整個(gè)知識(shí)體系的人工智能評(píng)測(cè)方法論。這套科學(xué)方法論為“評(píng)估->學(xué)習(xí)->再評(píng)估”的循環(huán)提升流程構(gòu)建了堅(jiān)實(shí)的基礎(chǔ)。

在松鼠AI的這套評(píng)測(cè)方法中,研究人員把知識(shí)圖譜和測(cè)試內(nèi)容分為“知識(shí)點(diǎn)”(knowledge Point)和“要素”(item)兩個(gè)核心對(duì)象。知識(shí)點(diǎn)描述知識(shí)圖譜中的一個(gè)基本知識(shí)單元。“要素”描述評(píng)測(cè)中的一個(gè)評(píng)測(cè)基本內(nèi)容,比如一道測(cè)試題。在一個(gè)標(biāo)準(zhǔn)化測(cè)試中,即包含多個(gè)知識(shí)點(diǎn),也包含多個(gè)要素,兩者是交叉關(guān)聯(lián)的。如一個(gè)知識(shí)點(diǎn)有可能在多道考題中被使用,同樣一道考題內(nèi)會(huì)使用多個(gè)知識(shí)點(diǎn)。

松鼠AI的評(píng)測(cè)分析方法最終希望找出知識(shí)點(diǎn)和要素的不同組合對(duì)于評(píng)測(cè)準(zhǔn)確度的影響,如簡(jiǎn)單要素(包含少量知識(shí)點(diǎn))與復(fù)雜要素(包含眾多知識(shí)點(diǎn))對(duì)于評(píng)測(cè)準(zhǔn)確度的影響等等。

在介紹交流中,徐研究員談到了項(xiàng)目組在線性方程、根號(hào)和平行四邊形等知識(shí)領(lǐng)域,針對(duì)相應(yīng)的知識(shí)點(diǎn)通過教育專家設(shè)計(jì)的考試內(nèi)容進(jìn)行評(píng)測(cè)實(shí)驗(yàn),希望建立知識(shí)點(diǎn)和要素之間的分類預(yù)測(cè)模型。

在使用認(rèn)知診斷DINA模型和雙重Q學(xué)習(xí)矩陣建模后,研究人員提煉出具有共性的四種“認(rèn)知模式”(skill),并構(gòu)成了要素和認(rèn)知模式的函數(shù)模型,最終完成了邊際認(rèn)知模式分類的精確度驗(yàn)證。

通過這一模型的建立,人工智能系統(tǒng)可以構(gòu)建各個(gè)知識(shí)領(lǐng)域有關(guān)知識(shí)點(diǎn)、評(píng)測(cè)要素和認(rèn)知模式的數(shù)學(xué)模型,將這三者有機(jī)地結(jié)合在一起,幫助教學(xué)與評(píng)測(cè)人員全面了解知識(shí)點(diǎn)與評(píng)測(cè)內(nèi)容的關(guān)聯(lián)關(guān)系,并可以全面描述學(xué)生對(duì)于知識(shí)的掌握與技巧使用的熟練程度。這就為提升“評(píng)估->學(xué)習(xí)->再評(píng)估”的效率創(chuàng)造了良好的條件。

松鼠AI與斯坦福國(guó)際研究院(SRI)在兩年前成立了人工智能聯(lián)合實(shí)驗(yàn)室,松鼠AI與SRI聯(lián)合實(shí)驗(yàn)室專注于利用SRI在人工智能和教育技術(shù)方面的獨(dú)特優(yōu)勢(shì)。聯(lián)合實(shí)驗(yàn)室目前在三個(gè)關(guān)鍵領(lǐng)域進(jìn)行合作研究:1)核心自適應(yīng)教育模型和技術(shù) 2)自然語言處理和語義分析,以實(shí)現(xiàn)虛擬個(gè)性化學(xué)習(xí)助理(VPA)功能,用基于對(duì)話的界面來診斷學(xué)生錯(cuò)因和吸取教練和學(xué)生對(duì)人工智能的反饋。 3)多模式綜合行為分析(MIBA)研究,使松鼠AI能夠在智適應(yīng)學(xué)習(xí)環(huán)境中理解學(xué)生的情感和心理狀態(tài),并更好地預(yù)測(cè)學(xué)生行為,以及為人類教練的干預(yù),補(bǔ)救和支持的機(jī)會(huì)提供信號(hào),或者通過系統(tǒng)對(duì)學(xué)生進(jìn)行提醒、推薦和放松。

目前松鼠AI已經(jīng)把這種評(píng)測(cè)方法應(yīng)用于中國(guó)的中學(xué)教育評(píng)測(cè)中,取得了相當(dāng)好的反饋。我們期待松鼠AI能夠進(jìn)一步擴(kuò)展人工智能的應(yīng)用范圍,為中國(guó)教育行業(yè)走人人工智能時(shí)代提供強(qiáng)大的推動(dòng)力。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。