摘要：随著(zhe)教育評價理念的發(fā)展，學(xué)習投入度成(chéng)爲改善高等教育質量的關鍵指标。其中，高效、準确地測量并分析學(xué)生課堂學(xué)習行爲投入度，是推進(jìn)學(xué)習投入度研究與高校教學(xué)實踐相結合的關鍵議題。文章首先梳理了學(xué)生課堂學(xué)習行爲投入度的相關指标，在此基礎上整理出學(xué)生課堂學(xué)習行爲投入度的6個觀察指标。随後(hòu)，文章引入計算機視覺技術，設計了學(xué)生課堂學(xué)習行爲投入度測量與分析系統。最後(hòu)，文章將(jiāng)此系統應用于教學(xué)實踐，驗證了此系統的有效性。基于計算機視覺技術對(duì)學(xué)生課堂學(xué)習行爲投入度進(jìn)行測量與分析，可爲教師及時掌握學(xué)生課堂學(xué)習投入狀态、優化教學(xué)設計與教學(xué)實施提供及時的數據支撐。
關鍵詞：學(xué)習行爲投入度；課堂行爲；課堂觀察；計算機視覺技術
一 研究背景 學(xué)生的學(xué)習行爲投入度一般是指學(xué)生在學(xué)校中積極的、有利于取得成(chéng)就的行爲。目前，學(xué)生課堂學(xué)習行爲投入度的定義主要有兩(liǎng)類：一類是從學(xué)生遵守規則的角度進(jìn)行研究，具體表征爲學(xué)生上課的出勤率等，如Finn[1]認爲學(xué)習投入度有助于發(fā)現學(xué)生逐步疏遠、脫離學(xué)校的過(guò)程，從而可以通過(guò)及時幹預幫助學(xué)生完成(chéng)學(xué)業；另一類是從學(xué)生深度參與學(xué)習活動的角度進(jìn)行研究，如努力、堅持、集中注意力等[2]，具體表征爲學(xué)生是否完成(chéng)作業和聽課、回答問題、讨論的行爲等，如Henry等[3]通過(guò)測量學(xué)生的行爲對(duì)其學(xué)習結果進(jìn)行預測。本研究綜合考慮上述兩(liǎng)類學(xué)習行爲投入度的内涵，在考慮學(xué)生出勤情況的基礎上，通過(guò)觀察學(xué)生在課堂學(xué)習過(guò)程中的行爲表現，來掌握學(xué)生的課堂行爲投入情況。 課堂學(xué)習行爲投入度的測量方式主要有學(xué)生自我報告與課堂觀察。其中，學(xué)生自我報告是最常用的方法，這(zhè)一方法實用性強、容易管理，并能(néng)以相對(duì)較低的成(chéng)本提供大樣(yàng)本的數據。然而，學(xué)生自我報告時易受主觀影響，在某些情況下可能(néng)不會(huì)如實回答，适用于評估認知及情感投入[4]，并且這(zhè)一方法在數據收集與處理的時效性上具有滞後(hòu)性。而課堂觀察可基于預先設置的觀察量表，捕捉學(xué)生課堂學(xué)習投入度的行爲特征，以評估學(xué)生個體在任務上和任務外的行爲[5]。但是，研究人員在課堂上直接觀察并手動編碼的傳統方法，以及目前較爲通用的基于課堂視頻進(jìn)行半自動數據編碼的方法，均需要研究人員投入較多的人力和時間，因此不适用于大樣(yàng)本量的調研，亦無法作爲常規的過(guò)程性評價工具。 計算機視覺技術的出現，爲研究人員改良課堂觀察法帶來了新的可能(néng)性：對(duì)課堂學(xué)習行爲的捕捉與識别有望擺脫對(duì)人力的依賴，從而大幅提升效率。計算機視覺技術是一種(zhǒng)計算機模拟人類的視覺過(guò)程、具有感受環境的能(néng)力和人類視覺功能(néng)的技術，是圖像處理、人工智能(néng)和模式識别等技術的綜合[6]。受益于計算機視覺技術的長(cháng)足發(fā)展，個體行爲的自動化識别正走進(jìn)真實實踐場景，但與課堂教學(xué)實踐相結合的研究還(hái)處于起(qǐ)步階段。例如，賈鹂宇等[7]在課堂中通過(guò)對(duì)表情檢測分類，來判斷學(xué)生的聽課狀态；孫衆等[8]基于OpenPose算法，進(jìn)行學(xué)生的人體姿态識别。但現有研究也存在一些局限，主要表現爲：往往專注于個别行爲的識别，缺乏完整的課堂學(xué)習行爲投入度分析指标的支持；行爲識别的依據局限于人體骨架信息，沒(méi)有將(jiāng)學(xué)生周邊物體的信息納爲行爲識别的依據，故檢測的準确性有待提升；在應用層面(miàn)往往止步于行爲識别、狀态呈現，而缺少教學(xué)維度的關聯分析。 本研究嘗試在計算機視覺技術的支持下，在數據收集與處理層面(miàn)對(duì)傳統的課堂觀察法加以改良與創新，擴大數據采集的範圍、提升數據收集與處理的效率，同時大幅降低研究人員在人力方面(miàn)的開(kāi)銷，最終實現課堂學(xué)習行爲投入度的自動化測量。具體來說，本研究將(jiāng)在文獻梳理的基礎上提煉出一套有代表性的課堂學(xué)習行爲投入度測量和分析指标集，然後(hòu)引入計算機視覺技術完成(chéng)課堂學(xué)習行爲投入度測量與分析系統的開(kāi)發(fā)，對(duì)學(xué)生課堂學(xué)習的出勤情況、行爲投入度實施自動觀察、測量和診斷，爲教師及時掌握學(xué)生的課堂學(xué)習投入狀态提供數據支撐。 表1 學(xué)生課堂學(xué)習行爲投入度的相關指标 二 學(xué)生課堂學(xué)習行爲投入度測量與分析系統的設計 1 課堂學(xué)習行爲投入度觀察指标 目前，衆多研究者從投入與脫離兩(liǎng)個維度，來探讨與學(xué)習行爲投入度測量相關的指标。其中，投入是正向(xiàng)的學(xué)習行爲投入，其特征表現爲努力、注意力和堅持；而脫離是負面(miàn)投入，通常表現爲被(bèi)動、缺乏主動性和放棄。本研究從投入和脫離兩(liǎng)個維度，在文獻研讀的基礎上對(duì)在校學(xué)生行爲觀察（Behavior Observation of Student in Schools，BOSS）[9]、課堂氣氛、教學(xué)/内容、管理（Classroom Atmosphere, Instruction/Content, Management，Classroom AIMs）[10]、教學(xué)結構和學(xué)生學(xué)業反饋主流編碼（Mainstream Version-Code for Instructional Structure and Student Academic Response，MS-CISSAR）[11]、教學(xué)實踐清單（Instructional Practices Inventory，IPI）[12]、課堂觀察編碼（Classroom Observation Code，COC）[13]、直接觀察表格（Direct Observation Form，DOF）[14]、Flanders交互分析編目（Flanders Interactive Analysis Categories，FIAC）[15]、語言交互編目（Verbal Interaction Category System，VICS）[16]、信息技術交互分析系統（Information Technology-based Interaction Analysis System，ITIAS）[17]、S-T（Student-Teacher）[18]等項目中的課堂學(xué)習行爲指标進(jìn)行了梳理，得到學(xué)生課堂學(xué)習行爲投入度的相關指标，如表1所示。 基于學(xué)生課堂學(xué)習行爲投入度的相關指标，本研究邀請18名相關專家（包括教育技術領域的學(xué)者和大學(xué)一線教師）參加了學(xué)生課堂行爲投入度觀察指标遴選的問卷調研及訪談。結合問卷數據和訪談反饋的分析結果，本研究選取“看黑闆（含看老師，下同）、看書、看電腦、舉手答問、側身交流”等五個行爲作爲投入行爲的觀察指标，將(jiāng)“玩手機”作爲脫離行爲的觀察指标，如表2所示。 表2 學(xué)生課堂行爲投入度的觀察指标 2 學(xué)生課堂學(xué)習行爲投入度測量與分析系統的設計 本研究依托學(xué)生課堂學(xué)習行爲投入度的觀察指标，以計算機視覺技術爲支撐，設計了學(xué)生課堂學(xué)習行爲投入度測量與分析系統。此系統以高清網絡攝像頭采集課堂教學(xué)的大場景圖像爲輸入，通過(guò)動作識别處理和數據管理，實現學(xué)生出勤率和課堂過(guò)程行爲投入度的自動記錄與分析，并予以可視化呈現。此系統分爲系統支撐層、圖像識别層、數據分析層，其具體的業務流程如圖1所示。 圖1 課堂學(xué)習行爲投入度測量與分析系統的業務流程 （1）系統支撐層 在系統支撐層中，教室網絡高清攝像頭對(duì)課堂學(xué)習行爲進(jìn)行全面(miàn)的圖像采集，随機抽取采集圖像的十分之一，經(jīng)由深度學(xué)習及計算機視覺等技術處理，完成(chéng)課堂學(xué)習行爲數據集的制作和課堂學(xué)習行爲模型的訓練，作爲後(hòu)續課堂學(xué)習行爲識别的基礎。其中，課堂學(xué)習行爲數據集示例如表3所示。 表3 課堂學(xué)習行爲數據集示例 （2）圖像識别層 圖像識别層是學(xué)生課堂學(xué)習行爲投入度測量與分析系統最爲核心的功能(néng)模塊，可分爲兩(liǎng)個部分：學(xué)習者識别部分，系統通過(guò)攝像頭獲取課堂現場的圖像，完成(chéng)圖像分割後(hòu)，通過(guò)多任務級聯卷積神經(jīng)網絡和面(miàn)部網絡獲取學(xué)生的人臉圖片，并將(jiāng)圖片提交人臉識别接口。動作識别部分，本研究采用遞進(jìn)（疊加）的技術手段完成(chéng)課堂學(xué)習行爲的判定：首先通過(guò)身體姿态對(duì)個體動作加以識别，之後(hòu)結合目标識别與位置判定等，實現“看書”、“玩手機”、“玩電腦”等交互動作識别。其中，四類身體姿态的骨架示意圖如圖4所示，目标識别樣(yàng)例如圖5所示。 表4 四類身體姿态的骨架示意圖 動作骨架圖低頭側身正坐舉手 表5 目标識别樣(yàng)例示例圖片手書手機電腦 （3）數據分析層 在數據分析層，本研究運用指标函數和模糊數學(xué)中的隸屬度函數，對(duì)課堂學(xué)習行爲投入指标進(jìn)行無量綱處理，如公式（1）所示。之後(hòu)，本研究采用層次分析法與熵值賦權法計算課堂學(xué)習行爲投入指标的綜合權重：邀請5名教育技術領域專家填寫學(xué)習投入及學(xué)習脫離指标重要性矩陣，計算得出各指标的主觀權重序列Wi；將(jiāng)無量綱化後(hòu)的各指标數據錄入Matlab，計算得出客觀權重序列Vi；最後(hòu)，結合主觀權重與客觀權重，計算得出綜合權重，如公式（2）所示。 用上述指标權重計算方法可以得到學(xué)習投入及學(xué)習脫離的權重矩陣，如表6所示。以此爲基礎，系統開(kāi)展了課堂學(xué)習行爲投入度的計算，随後(hòu)還(hái)對(duì)課堂整體行爲投入度、學(xué)生個人行爲投入度及其各自的發(fā)展趨勢進(jìn)行了分析和評估。 表6 課堂學(xué)習行爲投入度指标權重表 三 學(xué)生課堂學(xué)習行爲投入度測量與分析系統的應用 本研究以某高校課程“教育技術學(xué)理論與實踐”中的一堂課爲例，對(duì)參與此課學(xué)習的26名學(xué)生的學(xué)習行爲投入度進(jìn)行了測量與分析。在收集視頻數據之前，研究者向(xiàng)學(xué)生告知了研究的目的并承諾保密；完成(chéng)課堂學(xué)生行爲采集之後(hòu)，教師可以通過(guò)系統查看課堂數據分析處理結果。 1 數據測量結果 （1）學(xué)習行爲投入度 課堂整體行爲投入度。根據系統的測量數據，在采集到的課程投入行爲和脫離行爲中，學(xué)生的學(xué)習投入行爲頻率占比爲95.60%，說明學(xué)生非常專注于課堂學(xué)習；根據表6的權重進(jìn)行計算，本堂課的學(xué)習行爲投入度值爲3.08，這(zhè)表示學(xué)習投入度爲中等水平。經(jīng)分析，造成(chéng)這(zhè)一結果的原因是交互類活動的安排偏少（實際占比僅爲4.85%）。學(xué)生個人行爲投入度方面(miàn)，在納入統計的20名學(xué)生中，有6人的課堂學(xué)習行爲投入度低于班級平均水平。其中，個别學(xué)生的課堂學(xué)習投入度較低，且學(xué)習脫離度較高，教師需要對(duì)這(zhè)些學(xué)生予以有針對(duì)性的關注和提醒。 （2）學(xué)習行爲投入度變化趨勢 課堂整體行爲投入度變化。系統以時間爲線索，開(kāi)展學(xué)生課堂學(xué)習行爲投入度的分析。本堂課學(xué)習行爲投入情況的變化趨勢如圖2所示，可以看出：在上課過(guò)程中，學(xué)生的行爲投入情況整體保持平穩，在接近下課時有一定程度的下降；學(xué)習脫離情況在上課初期有顯著下降，而在課程臨近結束時呈逐步上升的趨勢。課堂中表征學(xué)習投入和學(xué)習脫離的六個行爲動作随時間變化的頻次動态如圖3所示，可以看出：“看黑闆”與“看電腦”是貫穿于整堂課的主要學(xué)習行爲，由此可以推斷本堂課中教師主要采取講授的教學(xué)方式；同時，課堂過(guò)程中“交流”和“舉手答問”的行爲明顯存在幾個波峰，可見教師在課堂中實施了一定的交流讨論，并取得了一定的效果。 注：橫軸爲時間刻度，單位刻度爲8分鍾；縱軸分别表示學(xué)習投入及學(xué)習脫離的得分與行爲次數。圖中兩(liǎng)條曲線，學(xué)習投入居上，學(xué)習脫離居下。 圖2 學(xué)習行爲投入情況的變化趨勢 注：橫軸爲時間刻度，單位刻度爲8分鍾；縱軸表示各類課堂學(xué)習行爲的次數。在起(qǐ)始階段，自上而下分别對(duì)應看電腦、看黑闆、玩手機、看書與舉手答問。 圖3 單個行爲動作随時間變化的頻次動态 個體學(xué)習行爲投入度追蹤。系統對(duì)學(xué)生個人的行爲投入情況也進(jìn)行了分析，圖4、圖5分别表征本堂課中脫離度較高的某學(xué)生的課堂行爲和看手機行爲分布情況。圖4顯示，此學(xué)生的課堂行爲投入度僅爲2.83，其中此學(xué)生看手機的行爲頻次非常高，約占課堂行爲總數的33.3%。而圖5顯示此學(xué)生在課堂前段用很少的時間在看手機，但後(hòu)續基本處于看手機的脫離狀态。 注：橫軸表示行爲類别，縱軸表示行爲的總次數。 圖4 某學(xué)生課堂行爲分布情況 注：橫軸表示時間刻度，單位刻度爲4秒；縱軸表示學(xué)生是否看手機，刻度1表示看手機，刻度0表示未看手機。 圖5 某學(xué)生看手機行爲分布情況 2 教學(xué)應用分析 在出勤數據應用方面(miàn)，有系統中學(xué)生出勤數據的支撐，教師可以快速、準确地掌握班級整體和學(xué)生個體的出勤情況。在本課堂中，有兩(liǎng)位學(xué)生缺課，教師可對(duì)這(zhè)兩(liǎng)位學(xué)生予以重點關注。在教學(xué)設計和教學(xué)實施的印證與優化方面(miàn)，通過(guò)查看聽課與交互兩(liǎng)類課堂行爲計數随時間的變化情況及總數的對(duì)比情況，教師可以了解學(xué)生在教學(xué)實施中的反饋情況，進(jìn)而完成(chéng)教學(xué)設計或教學(xué)實施的調整及優化。在本課堂中，教師采用以講授爲主的授導型教學(xué)模式，中間穿插少量的交流和問答環節。學(xué)生在課堂學(xué)習過(guò)程中整體比較專注，但在35分鍾之後(hòu)，學(xué)生整體的投入狀态明顯地下降了。基于此，本研究建議教師結合學(xué)生對(duì)教學(xué)内容的掌握情況，從調整課程節奏和難度、增加課程的互動性和趣味性等方面(miàn)著(zhe)手，幫助學(xué)生調整課堂投入狀态。 此外，學(xué)習脫離行爲數據的采集爲面(miàn)向(xiàng)學(xué)生的學(xué)風督導提供了決策支持。對(duì)學(xué)習脫離行爲持續時間較長(cháng)、總次數較多的學(xué)生，教師可給予個别化的關注和指導。在本堂課中，有6位學(xué)生的脫離行爲比較明顯，且有一名學(xué)生有三分之一的時間處于學(xué)習脫離狀态，教師應與這(zhè)些學(xué)生溝通，了解其脫離學(xué)習的原因，避免其後(hòu)續出現學(xué)業預警。 四 小結 高效、準确地測量并分析學(xué)生課堂學(xué)習行爲投入度，是推進(jìn)混合學(xué)習投入度研究與高校教學(xué)實踐相結合的關鍵議題。不同個體的課堂行爲差異，決定了研究者難以憑借傳統的方法對(duì)其進(jìn)行科學(xué)測量。随著(zhe)技術的創新與發(fā)展，依靠計算機視覺等技術對(duì)個體行爲進(jìn)行精準識别已成(chéng)爲現實，這(zhè)爲研究者重新測量與評估課堂學(xué)習行爲投入度提供了可能(néng)。爲此，本研究將(jiāng)計算機視覺技術引入大學(xué)課堂場景，首先提煉出學(xué)生課堂學(xué)習行爲投入度的觀察指标，在此基礎上對(duì)課堂行爲識别方式進(jìn)行升級優化，結合身體姿态信息和物品信息，對(duì)學(xué)生6個常見的課堂動作進(jìn)行識别；随後(hòu)，在算法模型研究的基礎上，開(kāi)發(fā)了學(xué)生課堂學(xué)習行爲投入度測量與分析系統，將(jiāng)人臉識别、姿态估計、目标檢測等智能(néng)檢測方法應用于課堂學(xué)生行爲識别。此系統能(néng)幫助教師掌握學(xué)生的課堂表現、客觀評估課堂的教學(xué)效果，是教師提升教學(xué)效果的有效支撐手段。受制于設備類型、精度與技術複雜度，本研究設計的學(xué)生課堂學(xué)習行爲投入度測量與分析系統隻覆蓋了與學(xué)生身體姿勢密切相關的6個課堂動作的識别與分析，學(xué)生的手部及頭部細微動作等更多的個體行爲信息，乃至發(fā)言内容、面(miàn)部表情等與交流互動相關的信息，還(hái)有待更精密的設備、更理想的算法模型的支持，還(hái)有待進(jìn)一步實證。 參考文獻 [1]Finn J D. Withdrawing from school[J]. Review of Educational Research, 1989,(2):117-142. [2]Fredricks J A, Blumenfeld P C, Paris A H. School engagement: Potential of the concept, state of the evidence[J]. Review of Educational Research, 2004,(1):59-109. [3]Henry K L, Knight K E, Thornberry T P. School disengagement as a predictor of dropout, delinquency, and problem substance use during adolescence and early adulthood[J]. Journal of Youth and Adolescence, 2012,(2):156-166. [4]Appleton J J, Christenson S L, Kim D, et al. Measuring cognitive and psychological engagement: Validation of the student engagement instrument[J]. Journal of School Psychology, 2006,(5):427-445. [5]Volpe R J, DiPerna J C, Hintze J M, et al. Observing students in classroom settings: A review of seven coding schemes[J]. School Psychology Review, 2005,(4):454-474. [6]馬廣文.交通大辭典[M].上海:上海交通大學(xué)出版社,2005:1. [7]賈鹂宇,張朝晖,趙小燕,等.基于人工智能(néng)視頻處理的課堂學(xué)生狀态分析[J].現代教育技術,2019,(12):82-88. [8]孫衆,呂恺悅,駱力明,等.基于人工智能(néng)的課堂教學(xué)分析[J].中國(guó)電化教育,2020,(10):15-23. [9]Shapiro E S. Academic skills problems: Direct assessment and intervention[M]. New York: Guilford Press, 2011:54-56. [10]Roehrig A D, Christesen E. Development and use of a tool for evaluating teacher effectiveness in grades K-12[M]. Springer US: Washington, 2010:212-214. [11]Greenwood C R, Horton B T, Utley C A. Academic engagement: Current perspectives on research and practice[J]. School Psychology Review, 2002,(3):328-349. [12]Valentine J. Instructional practices inventory: A process for profiling student engaged learning for school improvement[OL]. <https://core.ac.uk/download/pdf/62759368.pdf> [13]Horn W F, Conners C K, Wells K C, et al. Use of the Abikoff classroom observation coding system on a children’s inpatient psychiatric unit[J]. Journal of Psychopathology and Behavioral Assessment, 1986,(1):9-23. [14]Reed M L, Edelbrock C. Reliability and validity of the direct observation form of the child behavior checklist[J]. Journal of Abnormal Child Psychology, 1983,(4):521-530. [15]Flanders N A. Analyzing teaching behavior[J]. American Educational Research Journal, 1971,(3):589-592. [16]楊平展,劉娟文,羅平.關于教學(xué)行爲分類系統VICS的讨論[J].教師,2009,(6):3-4. [17]顧小清,王炜.支持教師專業發(fā)展的課堂分析技術新探索[J].中國(guó)電化教育,2004,(7):18-21. [18]萬華明,蔣雪明,姜鑫.基于S-T信息分析的高校教師課堂教學(xué)模式研究[J].教育與職業,2010,(24):103-104.
