認(rèn)知診斷評估是新一代的心理和教育測量理論,是形成性評價(jià)、過程性評價(jià)、教育診斷干預(yù)落實(shí)的重要方法。本書從理論與實(shí)踐、認(rèn)知模型與統(tǒng)計(jì)模型、進(jìn)展與展望、抽象與具體、理論與通俗、學(xué)習(xí)與研究等多個不同的角度進(jìn)行設(shè)計(jì),系統(tǒng)地介紹了認(rèn)知診斷評估的歷史發(fā)展和核心概念、指導(dǎo)認(rèn)知心理學(xué)和教育測量融合的思想和例子、認(rèn)知診斷測驗(yàn)設(shè)計(jì)和分析的原則、診斷分類模型和參數(shù)估計(jì)、認(rèn)知診斷評估的軟件實(shí)施等,本書對高校心理、教育方向?qū)I(yè)人員、中小學(xué)從事教育評價(jià)工作的人員、各學(xué)科的教研員以及廣大的一線教育工作者都是重要的參考。
以學(xué)習(xí)診斷促進(jìn)學(xué)生發(fā)展是當(dāng)前我國教育評價(jià)改革的政策導(dǎo)向與重點(diǎn)要求?茖W(xué)的學(xué)習(xí)診斷需要從認(rèn)知診斷評估這一學(xué)科中尋求堅(jiān)實(shí)的理論依據(jù),以提升學(xué)習(xí)診斷的系統(tǒng)研究與科學(xué)論證水平。本書構(gòu)建了較為科學(xué)嚴(yán)謹(jǐn)?shù)膶W(xué)科知識體系,注重理論方法與實(shí)踐應(yīng)用相結(jié)合,介紹了認(rèn)知診斷測驗(yàn)的開發(fā)以及多種認(rèn)知診斷評估統(tǒng)計(jì)軟件的使用方法,以豐富的案例和數(shù)據(jù)分析為學(xué)生發(fā)展提供深層次的、普遍的認(rèn)知規(guī)律,服務(wù)于我國教育評價(jià)改革與教育質(zhì)量提升的重大現(xiàn)實(shí)需求。
自 序
在本書中,我們要研究的是心理和教育評估中的認(rèn)知診斷 評估,運(yùn)用認(rèn)知診斷評估面向中小學(xué)生開展學(xué)習(xí)診斷和教學(xué) 干 預(yù) 。
縱觀心理和教育測量理論的發(fā)展,我們可以將其分為經(jīng)典 測驗(yàn)理論階段和現(xiàn)代測驗(yàn)理論階段。現(xiàn)代測驗(yàn)理論以潛變量模 型為核心構(gòu)建和拓展測驗(yàn)的功能、分析框架,為現(xiàn)代教育評價(jià) 做出了重要貢獻(xiàn)。認(rèn)知診斷評估是處于現(xiàn)代測驗(yàn)理論階段的一 種類型的評價(jià)或測量,即通過心理測驗(yàn)獲得可直接觀察的個體 測驗(yàn)作答反應(yīng),然后借助心理計(jì)量學(xué)的統(tǒng)計(jì)模型,識別個體所 屬的認(rèn)知技能類別(知識結(jié)構(gòu)),從而提取教學(xué)和學(xué)習(xí)的診斷信 息,以便更有針對性地促進(jìn)教學(xué)和學(xué)習(xí)。認(rèn)知診斷評估是一門 年輕的學(xué)科,明確提出認(rèn)知診斷評估理論的研究文獻(xiàn)可以追溯 到20世紀(jì)80年代,雖然僅有40余年的發(fā)展歷程,但是經(jīng)過不 斷發(fā)展和研究積累,該領(lǐng)域已經(jīng)形成了一個學(xué)術(shù)共同體,以及 相對全面的、系統(tǒng)的、精細(xì)的、跨學(xué)科的專業(yè)知識內(nèi)容和結(jié)構(gòu)。 認(rèn)知診斷評估運(yùn)用的機(jī)制是認(rèn)知心理學(xué)和心理計(jì)量學(xué)模型的有 機(jī)結(jié)合,因此近年也被稱為新一代心理測驗(yàn)理論。
自21世紀(jì)初期以來,認(rèn)知診斷評估這一領(lǐng)域的研究開始在 我國興起。我國在認(rèn)知診斷評估40余年的發(fā)展歷程中的作用不 容忽視。國內(nèi)研究者在認(rèn)知診斷模型的開發(fā)、參數(shù)估計(jì)方法、 模型—數(shù)據(jù)擬合評價(jià),以及實(shí)踐應(yīng)用等方面做出了重要的研究 貢獻(xiàn)。目前,全國范圍內(nèi)多所高等院校紛紛開始將認(rèn)知診斷評 估作為一門研究生課程。幫助學(xué)生建立系統(tǒng)全面的專業(yè)基礎(chǔ)知 識、科學(xué)嚴(yán)謹(jǐn)?shù)难芯窟壿、前瞻前沿的研究視野,需要豐富和 提升學(xué)生接受的教育內(nèi)容和教育質(zhì)量,而教材建設(shè)是關(guān)鍵。我 們通過文獻(xiàn)資料檢索可以發(fā)現(xiàn),近10年來由我國研究者編著的 各類認(rèn)知診斷評估理論和實(shí)踐教材不斷涌現(xiàn),如《教育認(rèn)知診斷 評估:理論與技術(shù)研究》《認(rèn)知診斷評價(jià):理論基礎(chǔ)》《高級認(rèn)知
2
中小學(xué)生認(rèn)知診斷評估
診斷》《認(rèn)知診斷理論、方法與應(yīng)用》《英語閱讀能力的認(rèn)知診斷研究》等。但是, 這些教材傳遞的學(xué)科知識內(nèi)容在新的學(xué)科發(fā)展階段和背景下,還有進(jìn)一步的發(fā)展 空間。教材的質(zhì)量提升應(yīng)該立足于認(rèn)知診斷評估的深厚歷史、龐大的學(xué)科群體、 精細(xì)的學(xué)科體系之中。鑒于國內(nèi)外認(rèn)知診斷評估社會歷史發(fā)展條件的變革、學(xué)科 研究體系的不斷拓展,認(rèn)知診斷評估相關(guān)教材仍有必要在認(rèn)知診斷評估的理論基 礎(chǔ)、技術(shù)方法和軟件應(yīng)用的深入講述之外,全面系統(tǒng)總結(jié)認(rèn)知診斷評估本身的歷 史發(fā)展脈絡(luò)、認(rèn)知診斷模型的開發(fā)方法、常用的統(tǒng)計(jì)軟件實(shí)施,以及認(rèn)知診斷評 估的理論演進(jìn)趨勢。
第一,正如美國《不讓一個孩子落后法案》對認(rèn)知診斷評估這一學(xué)科發(fā)展的影 響,近年我國教育政策關(guān)于課堂教學(xué)與評價(jià)改革方面的新變化,對推動我國認(rèn)知 診斷評估的學(xué)術(shù)研究和學(xué)科發(fā)展產(chǎn)生了重要影響。2019年6月,中共中央、國務(wù) 院印發(fā)的《關(guān)于深化教育教學(xué)改革全面提高義務(wù)教育質(zhì)量的意見》提出“精準(zhǔn)分析 學(xué)情,重視差異化教學(xué)和個別化指導(dǎo)”的要求。2020年10月,中共中央、國務(wù)院 印發(fā)的《深化新時(shí)代教育評價(jià)改革總體方案》提出“完善評價(jià)結(jié)果運(yùn)用,綜合發(fā)揮 導(dǎo)向、鑒定、診斷、調(diào)控和改進(jìn)作用”的要求。借鑒國際上認(rèn)知診斷評估這一研 究領(lǐng)域的發(fā)展趨勢和特征,將認(rèn)知診斷評估的理論和實(shí)踐研究與國家教育政策、 課程、教學(xué)和評價(jià)深度融合,是全面提高義務(wù)教育質(zhì)量的一個重要途徑,有必要 在新的社會歷史發(fā)展條件下,深化相關(guān)的理論和實(shí)踐研究,以促進(jìn)學(xué)科發(fā)展和提 高教育質(zhì)量。我國基礎(chǔ)教育發(fā)展現(xiàn)實(shí)需求的深刻變化不僅促使學(xué)科研究的深化, 而且對于高等院校人才培養(yǎng)也提出了更高的要求。因此,更高質(zhì)量的教材建設(shè)成 為當(dāng)前的重要需求。教材建設(shè)是我國認(rèn)知診斷評估學(xué)科發(fā)展的重要基礎(chǔ),高質(zhì)量 的教材是培養(yǎng)高質(zhì)量學(xué)生的必備條件,也是教師高質(zhì)量教學(xué)的重要參考?梢娊 材建設(shè)對設(shè)立認(rèn)知診斷評估課程、培養(yǎng)教育評價(jià)專門人才具有重要意義。
第二,國際上認(rèn)知診斷評估的學(xué)科發(fā)展高度重視多元化的教材建設(shè)、發(fā)展和 完善。在認(rèn)知診斷評估學(xué)科發(fā)展的不同歷史階段,國際學(xué)界都重視教材建設(shè)以加 強(qiáng)認(rèn)知診斷評估的學(xué)科地位,引起廣泛的積極討論共建,總結(jié)系統(tǒng)的領(lǐng)域發(fā)展成 果等。當(dāng)前,國際學(xué)界公開出版了多種相關(guān)的專業(yè)課程教材,各有側(cè)重并形成了 比較全面的體系。早期的認(rèn)知診斷評估教材是關(guān)于研討會的理論和實(shí)踐匯編,雖 然還較少地真正把認(rèn)知模型、測驗(yàn)任務(wù)和心理計(jì)量學(xué)模型結(jié)合起來進(jìn)行系統(tǒng)研 究,但是對于加強(qiáng)認(rèn)知診斷評估的學(xué)科地位,引起廣泛的深入研究,明確學(xué)科的 發(fā)展方向起著積極的推動作用。隨著認(rèn)知診斷評估理論的不斷發(fā)展,出現(xiàn)了更多 以測驗(yàn)為中心的傳統(tǒng)意義上的認(rèn)知診斷評估教材。有的教材側(cè)重以“認(rèn)知”為中 心,構(gòu)建認(rèn)知診斷評估的理論和方法體系;有的教材側(cè)重以“認(rèn)知診斷模型”為中 心,構(gòu)建基于模型的認(rèn)知診斷評估方法,并將認(rèn)知診斷評估與更大的潛變量模型 框架進(jìn)行整合,全面介紹認(rèn)知診斷模型和軟件實(shí)施,以推動實(shí)踐應(yīng)用的深入發(fā) 展;還有教材以認(rèn)知診斷評估理論和實(shí)踐的研究發(fā)展為主要內(nèi)容,以該學(xué)科中形 成的重要研究主題和領(lǐng)域?yàn)榻M織脈絡(luò),系統(tǒng)總結(jié)該學(xué)科當(dāng)前重要的研究內(nèi)容、研
究方法、研究成果和實(shí)踐應(yīng)用,為在比較成熟的框架體系下的學(xué)科未來發(fā)展提供 了重要的系統(tǒng)梳理,扮演著這一學(xué)科的指向標(biāo)和百科全書的重要角色。
鑒于上述情況,我們提出了學(xué)習(xí)和借鑒國內(nèi)外當(dāng)前使用頻率較高的教材,編 寫綜合性的、以實(shí)踐應(yīng)用為中心的通識教材的計(jì)劃,希望將大容量的學(xué)科專業(yè)知 識體系,以更具歷史發(fā)展縱深的線索,更具理論和實(shí)踐結(jié)合性的體系進(jìn)行全面的 梳理總結(jié),體現(xiàn)新材料的增加、思考層次的深入和方向上的重大轉(zhuǎn)變,提高認(rèn)知 診斷評估教材的可讀性和通俗性,強(qiáng)化其知識體系的系統(tǒng)性,促進(jìn)認(rèn)知診斷評估 與國家教育政策、課程、教學(xué)和評價(jià)重要需求的深度融合。為此,我們在教材的 內(nèi)容選擇、寫作方式上盡力做到認(rèn)知模型、心理計(jì)量學(xué)模型、模型—數(shù)據(jù)的擬合 評價(jià)、測量學(xué)軟件實(shí)施、實(shí)踐應(yīng)用,以及前沿進(jìn)展等重要方面的全面總結(jié)和系統(tǒng) 梳理,力求實(shí)現(xiàn)理論和實(shí)踐的深度融合,在實(shí)踐中認(rèn)識理論的價(jià)值,并用理論指 導(dǎo)實(shí)踐的發(fā)展。通過我們的努力和這套教材的推廣,我們期望能夠?yàn)槲覈J(rèn)知診 斷評估的學(xué)科課程建設(shè)盡綿薄之力。
然而,面對認(rèn)知診斷評估這一學(xué)科的迅速發(fā)展、高度專業(yè)的交叉學(xué)科知識體 系,將認(rèn)知診斷評估的全貌和新貌準(zhǔn)確、通俗地介紹給廣大的心理和教育測量的 理論研究和實(shí)踐從業(yè)人員,是寫作過程中面臨的極大挑戰(zhàn),這不僅在于需要收集 大量全面的、系統(tǒng)的文獻(xiàn)資料,而且在于專業(yè)內(nèi)容的閱讀、理解、把握、準(zhǔn)確表 達(dá),以及加工呈現(xiàn),還在于編排整理、圖表制作等大量的編輯方面的工作。囿于 知識和精力有限,雖然竭盡全力反復(fù)校對、修訂,但是書中難免存在一些疏漏, 懇請讀者們不吝指正,幫助我們將這本書進(jìn)一步完善,在此我們表示衷心的 感 謝 。
感謝北京師范大學(xué)出版社的編輯老師在體例、排版、校對、圖表等諸多方面 的細(xì)致工作和大力支持與幫助,他們使得本書不斷完善,得以出版。本書得到國 家社會科學(xué)基金的大力支持,在此表示深深的感謝。
田偉 辛濤
2024年12月于北京師范大學(xué)
田偉,北京師范大學(xué)中國基礎(chǔ)教育質(zhì)量監(jiān)測協(xié)同創(chuàng)新中心副教授
目 錄
第 一 章 認(rèn) 知 診 斷 評 估 導(dǎo) 論
第一節(jié) 走進(jìn)認(rèn)知診斷評估 1
一 、心理診斷評估的理念方法 1
二、認(rèn)知診斷評估的概念界定 1
三 、認(rèn)知診斷評估的研究內(nèi)容 3
四 、認(rèn)知診斷評估的學(xué)科性質(zhì) 5
五、認(rèn)知診斷評估的主要作用 6
第二節(jié) 認(rèn)知診斷評估的學(xué)科發(fā)展 8
一 、三個主要社會驅(qū)動因素 8
二、三個歷史發(fā)展階段及其特征 10
第三節(jié) 認(rèn)知診斷評估的實(shí)踐實(shí)施 14
一 、認(rèn)知診斷評估實(shí)施的基本過程 14
二、認(rèn)知診斷評估實(shí)施的研究支持 19
三、認(rèn)知診斷評估實(shí)施的研究資源 21
第 二 章 測驗(yàn)導(dǎo)向的認(rèn)知理論基礎(chǔ)
第一節(jié) 認(rèn)知模型的概念基礎(chǔ) 24
一 、認(rèn)知模型的意義、作用和必要性 24
二、認(rèn)知模型的定義和類型 25
三、屬性層級關(guān)系 26
四、認(rèn)知模型的粒度 28
第二節(jié) 認(rèn)知模型的開發(fā)和驗(yàn)證 29
一 、認(rèn)知模型開發(fā)和驗(yàn)證過程 30
二、認(rèn)知模型效度驗(yàn)證的方法 30
三、認(rèn)知模型的開發(fā)和驗(yàn)證實(shí)例 37
第三節(jié) 不同學(xué)科領(lǐng)域的測驗(yàn)任務(wù)認(rèn)知模型 42
一 、數(shù)學(xué)領(lǐng)域 43
二、科學(xué)領(lǐng)域 48
2 中小學(xué)生認(rèn)知診斷評估
三、語言測試領(lǐng)域 50
第 三 章 Q 矩 陣 理 論 及 其 關(guān) 鍵 問 題
第一節(jié) Q矩陣的理論和實(shí)踐基礎(chǔ) 53
一 、Q矩陣的概念基礎(chǔ) 53
二、Q矩陣的開發(fā) 54
三 、Q矩陣的錯誤標(biāo)定 56
第二節(jié) Q矩陣?yán)碚摷捌潢P(guān)鍵作用 56
一 、Q矩陣?yán)碚撝械暮诵母拍?56
二、Q矩陣?yán)碚摰年P(guān)鍵作用 59
第三節(jié) Q 矩 陣 設(shè) 計(jì) 64
一 、可達(dá)矩陣R 的重要作用 65
二 、Q矩陣設(shè)計(jì)的主要考慮因素 65
三、Q矩陣設(shè)計(jì)和認(rèn)知診斷模型可識別性 66
第四節(jié) Q矩陣驗(yàn)證和估計(jì)的統(tǒng)計(jì)方法 67
一 、Q矩陣的驗(yàn)證 67
二 、Q矩陣的估計(jì) 70
第 四 章 認(rèn) 知 診 斷 測 驗(yàn) 開 發(fā)
第一節(jié) 傳統(tǒng)測驗(yàn)開發(fā) 72
一 、傳統(tǒng)測驗(yàn)開發(fā)的邏輯 72
二 、傳統(tǒng)測驗(yàn)開發(fā)的過程 73
三 、傳統(tǒng)測驗(yàn)開發(fā)的特點(diǎn) 77
第二節(jié) 原則性方法在認(rèn)知診斷評估中的應(yīng)用 79
一 、教育評估是一種證據(jù)論證過程 79
二 、原則性方法的核心共同要素 81
三 、認(rèn)知診斷評估中的原則性方法 84
四 、證據(jù)中心設(shè)計(jì)的實(shí)踐應(yīng)用 86
第三節(jié) 認(rèn)知診斷測驗(yàn)開發(fā) 91
一 、認(rèn)知診斷測驗(yàn)的質(zhì)量評價(jià)標(biāo)準(zhǔn) 91
二 、認(rèn)知診斷測驗(yàn)開發(fā)的五個步驟 101
三 、認(rèn)知診斷測驗(yàn)開發(fā)的主要成分 102
第四節(jié) 認(rèn)知診斷測驗(yàn)的效度驗(yàn)證 106
一 、測驗(yàn)效度的概念內(nèi)涵 107
目 錄 3
二、效度理論的發(fā)展變化 107
三、構(gòu)念效度的驗(yàn)證框架 110
四、構(gòu)念效度的驗(yàn)證方法 116
第 五 章 認(rèn) 知 診 斷 模 型
第 一 節(jié) 認(rèn)知診斷模型概述 118
一 、認(rèn)知診斷模型的主要特征 118
二、認(rèn)知診斷模型的廣義框架 120
三、認(rèn)知診斷模型的實(shí)踐選擇 121
第二節(jié) 具體的認(rèn)知診斷模型 122
一 、非參數(shù)認(rèn)知診斷模型 122
二、結(jié)構(gòu)化的項(xiàng)目反應(yīng)理論模型 124
三、參數(shù)化的認(rèn)知診斷模型 125
第三節(jié) 認(rèn)知診斷模型的整合 129
一 、三種認(rèn)知診斷模型整合框架 129
二、廣義模型和具體模型的關(guān)系 132
第 六 章 認(rèn)知診斷模型的參數(shù)估計(jì)
第 一 節(jié) 項(xiàng)目反應(yīng)理論模型的參數(shù)估計(jì)方法 135
一 、項(xiàng)目反應(yīng)理論的參數(shù)估計(jì)情形 135
二、潛在特質(zhì)“填補(bǔ)”的參數(shù)估計(jì)方法 136
三 、潛在特質(zhì)“填補(bǔ)”方法的三個階段 138
第二節(jié) 認(rèn)知診斷模型的參數(shù)估計(jì)方法 140
一 、參數(shù)估計(jì)方法的原理 141
二、題目參數(shù)的估計(jì)方法 141
三 、題目參數(shù)估計(jì)的影響因素 143
四、參數(shù)估計(jì)方法的不斷發(fā)展 143
第三節(jié) 知識狀態(tài)的參數(shù)估計(jì)方法 143
一 、知識狀態(tài)的估計(jì)方法 144
二、知識狀態(tài)估計(jì)的信度 146
第 七 章 認(rèn)知診斷評估數(shù)據(jù)分析
第 一 節(jié) 基 于R 軟件的數(shù)據(jù)分析 148
一 、R軟件的安裝和使用 148
二 、R軟件的數(shù)據(jù)分析程序包 154
三、認(rèn)知診斷評估數(shù)據(jù)分析 160
第二節(jié) 基 于Mplus 軟件的數(shù)據(jù)分析 209
一 、Mplus 軟件的安裝和基本模塊 209
二、Mplus 軟件的語法結(jié)構(gòu)和核心命令 210
三、Mplus 軟件中認(rèn)知診斷模型的設(shè)定 213
四、認(rèn)知診斷評估數(shù)據(jù)分析 218
第三節(jié) 基 于 flexMIRT 軟件的數(shù)據(jù)分析 234
一 、flexMIRT 軟件的安裝和核心功能 234
二 、flexMIRT 軟件的程序和命令簡介 235
三 、認(rèn)知診斷模型與其程序設(shè)定 244
四 、認(rèn)知診斷評估數(shù)據(jù)分析 245
第 八 章 認(rèn)知診斷評估的理論演進(jìn)趨勢
第一節(jié) 認(rèn)知診斷評估的研究拓展 253
一 、認(rèn)知模型的開發(fā)和驗(yàn)證 253
二 、認(rèn)知診斷測驗(yàn)開發(fā) 256
三 、認(rèn)知診斷模型拓展 258
四 、認(rèn)知診斷評估的應(yīng)用 266
第二節(jié) 融入屬性層級關(guān)系的縱向認(rèn)知診斷模型 267
一 、融入屬性層級關(guān)系的認(rèn)知診斷模型 267
二、面向縱向數(shù)據(jù)的認(rèn)知診斷模型 268
三、融入屬性層級關(guān)系的縱向認(rèn)知診斷模型 270
四 、融入屬性層級關(guān)系的縱向認(rèn)知診斷模型應(yīng)用 273
參考文獻(xiàn) 275