學習評量數位化之十：試題分析工具應用舉例

-

 試題分析工具應用舉例

學習評量數位化可以生成大量評量數據，可利用試題分析工具，更精準、高效的分析學習評量數據，進而優化試題設計品質，提高學習評量與學習診斷分析的效能。

下面以醍摩豆智慧教學平台為例(圖1，玉山學校2021學年度第一次國英數模擬考)，結合教育理論與應用實務，使用醍摩豆系統進行學習評量(智慧教室評量、卷卡合一評量或自主學習評量)，自動產出學習評量數據之後，說明如何應用試題分析工具，如圖2：評量數據與試題分析工具，包括試題落點分析工具、試題難度分析工具以及試題地位分析工具等。

圖1：玉山學校2021學年度第一次模擬考(國英數)


圖2：評量數據與試題分析工具

一、試題落點分析工具

試題落點分析圖，是博拉圖學情分析系統根據穩定度(試題注意係數，Caution Index for Problems)所繪製的試題落點圖，每一個點來代表一道試題。根據學習評量數據，計算出每一道試題的穩定度，數值介於0~1之間，數值越接近零越為穩定，反之則越不穩定。

試題落點分析圖區分為四個區塊，分別是A,A',B,B'等四區(如圖3)，落在A區的試題，代表試題相當適當，可以用來區分學生的不同，落在A'區的試題，代表試題含有異質成分，需進行局部修正。落在B區的試題，代表試題較為困難，適合區分出高成就學生。落在B'區的試題，代表試題含有嚴重異質成分，應該刪除不用。
圖3：試題穩定度區域特性

以玉山學校2021學年度第一次模擬考(國英數)為例，打開學情分析視窗，選擇試題分析標籤，再選擇學科鈕，就會顯示該學科的試題落點分析頁面(如圖4)。

圖4：試題落點分析頁面

快速查看試題品質：查看試題落點分析圖，可以快速掌握這份試卷的試題品質(穩定度)，以圖3為例，試題穩定度落在A區和A'區，沒有出現在B區和B'區的試題，可初步判斷這份試卷的整體命題品質比較良好，沒有太大問題。

快速連結試題難度分析數據：試題落點分析頁面是類似儀表板的互動式頁面，只要在試題落點分析圖中，點選想要查閱的試題編號或落點，就會自動顯示這道試題的試題難度分析頁面。

在試題分析頁面中，除了試題落點分析外，還包含年級單題得分率統計、試題分析總表、試題得分率表，如圖5、6、7。年級單題得分率統計：可以用來比較單一試題在各班級的得分率。

圖5：年級單題得分率統計

試題分析總表：可以查看每一道試題的題型、知識點、落點區域、配分、難易度、鑑別度、R1-R6的得分率。
圖6：試題分析總表

試題得分率表：可以查看每一道試題的高分組得分率、低分組得分率、全學年得分率、每一班得分率。
圖7：試題得分率表

匯出表格功能可以把評量數據下載為Excel表格，以便進一步統計與分析，如圖8：試題分析總表匯出Excel表格。

圖8：試題分析總表匯出Excel表格

二、試題難度分析工具

 在試題分析頁面，點選任一題目編號，或在落點分析圖上，點選任一落點，就會自動連結跳轉到試題清單與資料分析頁面，如圖9：試題清單與資料分析頁面。

圖9：試題清單與資料分析頁面

在試題清單與資料分析頁面，選擇試題清單之任一試題編號，就會自動連結該試題，並呈現試題內容與資料分析內容，包括：2.題幹、3.選項、4.答案、5.解析、6.知識點、7.認知層次、8.資料分析等。

接著，往下捲動頁面就會顯示該試題的資料分析內容，如圖10：試題之資料分析內容。以第22題為例，其資料分析內容如下：
落點區域：A'
配分：3
難易度：0.71
鑑別度：0.42
正答率：0.689
高分組正答率：92%
低分組正答率：50%
R1組：80%
R2組：100%
R3組：55%
R4組：82%
R5組：33%
R6組：67%
選項A：選答人數6人
選項B：選答人數31人
選項C：選答人數4人
選項D：選答人數4人

圖10：試題之資料分析內容

R1-R6作答曲線分析圖，可以補充難易度和鑑別度之不足，呈現從高分組至低分組的正答率變化，如圖10：R1-R6作答曲線分析比較圖，圖11-a呈現下滑曲線，圖11-b呈現上下波動曲線，圖11-c呈現水平直線。以一個適當、鑑別度高的題目來說，R1-R6的得分率應該會越來越低，同理(如圖11-a)，若R4的得分率遠高於R3(如圖11-b)，則可能表示試題需要修正。


圖11：R1-R6作答曲線分析比較圖

再根據上圖之試卷題號，製作出三個試題的試題落點分析比較圖，如圖12，分別落點為A區、A'區和A區。
圖12：試題落點分析比較圖

透過上述圖11、圖12的比較示例，以說明交叉運用試題落點分析與R1-R6作答曲線分析這兩種一目了然的視覺化工具，來協助試題診斷與分析工作，可以有效提升試題分析的品質與效能。

三、試題地位分析

在醍摩豆雲教學平台中，可以選擇試卷分析鈕(如圖13)，隨時查看試題在雙向細目分析表(two-way specification table)架構藍圖中的評量地位，包括試題知層次和試題知識點，以確定試題想要達到的評量目標(如圖14)。

圖13：選擇試卷分析鈕，打開試卷分析頁面

圖14：雙向細目分析表與試卷分析頁面

學習評量數位化，可以產出大量評量數據，而藉由上述試題分析工具，包括試題落點分析、試題難度分析和試題地位分析等數據化和可視化的試題分析工具，不但可以大大節省試題分析所花費的時間，更能大大提高試題分析品質。

相關學習資源

學習評量數位化之一：學習評量數位化設計
學習評量數位化之二：素養導向學習評量數位化應用舉例
學習評量數位化之三：素養導向雲平台題庫與試卷應用
學習評量數位化之四：全班課堂學習表現數據總表
學習評量數位化之五：數據互動之統計圖表與教學決策
學習評量數位化之六：科技互動與教法應用(AI輔助教師增能)
學習評量數位化之七：科技互動與教法應用(AI輔助文句分析)
學習評量數位化之八：課程名單與評量數據
學習評量數位化之九：分組工具與教學策略
學習評量數位化之十：試題分析工具應用舉例


留言

張貼留言

這個網誌中的熱門文章

生生用平板差異化教學之四：差異化教材設計舉例

-
圖片
 差異化教材設計舉例 同步差異化教學(Synchronous Differentiated Instruction，SDI)，是在一對多的課堂學習環境中，根據學習數據同步對小組或每一個孩子，提供不同的學習材料或情境(醍摩豆，1999)。在生生用平板學習環境中，實施差異化教學，首先要設計差異化教材。 一、差異化教學類型 教師根據班級學生的學習能力、學習態度、學習階段等，設計差異化學習活動，不同教師設計不同班級的教學活動，自然會存在差異，也展現教師專業。差異化教學設計，可說有三千法門，每位老師各有一套。為了便於分類與交流分享差異化教學的經驗與智慧，可概分為內容差異、教材差異、教法差異 、評量差異等四種類型(圖1)，說明如下： （一）、內容差異：不同學區或學校選擇不同課本(例如人教版、上教版等)，或因應學生學情選擇不同文本。內容差異，則教材、教法和評量，也將因內容不同而設計。 （二）、教材差異：因應學情設計的差異化教材，可概分為難度不同、材料不同和份量不同等三種。 （三）、教法差異：因應學情設計的差異化教法，可概分為速度不同、順序不同、方式不同，以及應用技術不同等四種。 （四）、評量差異：因應學情設計的差異化評量，可概分為形式不同、時長不同和數量不同等三種。 圖1： 差異化教學類型 在學習活動中，出現學習進度差異時（例如有人已經學會了，有人還沒有學會，有些小組已經學會，有些小組還沒有學會），為了加速還沒有學會的個人或小組跟上學習進度，教師會採用許多差異化方法和策略，來幫助這類學生(小組)加速學習。當教師投入時間資源到薄弱小組(個人)時，只能暫時忽略學習進度較快小組(個人)，或者輪流進行學習活動，這是分時差異化的教學策略。 然而，實施同步差異化教學，是同步進行差異化策略，在受眾範圍、教材、教法和科技等面向實施差異化。例如教師準備難度不同、材料不同和份量不同的差異化教材，針對全班、小組或每一個人，同步進行差異化教學，以幫助不同班級、不同小組、不同學生，更好的學習，如圖2：差異化教材與實施對象。 圖2： 差異化教材與實施對象 從教師專業角度，根據學生需求、興趣和能力(經驗)等不同學習動機，設計難度不同、材料不同和份量不同的差異化教材，就可以在智慧技術支持的教學環境中，針對全班、小組或個人，進行同步差異化教學活動，如圖3：差異教材設計與學習動機。 圖3： 差異教材設計與學習動機
閱讀完整內容

AI蘇格拉底課堂數據評估報告簡介

-
圖片
AI蘇格拉底課堂數據評估報告簡介      採收教與學大數據是AI蘇格拉底的主要功能之一。採收數據是分析與應用數據的第一步，根據AI蘇格拉底累績課堂教與學大數據統計，截至2023年底，蘇格拉底平台採收課堂數據量，已經累積近35萬堂(348,836)課例，約1千萬學生人次的課堂學習歷程數據。蘇格拉底平台正以飛快的速度累計課堂大數據，相信運用這些寶貴的教與學大數據，能幫助我們掌握教與學樣態，更精準地制定教育創新與發展的方向與策略。     分析課堂數據是AI蘇格拉底的另一項主要功能。課堂是最主要的學習場域，AI蘇格拉底的數據，有別於線上學習非同步數據，是記錄實體(或混合)課堂的教與學數據，透過這些課堂大數據的統計與分析，協助師資培育機構、學術研究機構與教育政策制定者瞭解城市、學區或學校的教學科技應用能力、教學模式、學習型態、學生學習參與度等數據。AI蘇格拉底能自動採收課堂數據，為每一堂課評估與分析課堂數據，包括T科技互動指數、P教法應用指數、C教材實踐指數、D校本綜合評價指數、E學習參與度指數(如圖1)等課堂五項指數，以及相關應用分析。 圖1： 數據品質評估報告之課堂五項指數 一、AI蘇格拉底簡介            AI人工智能蘇格拉底服務(簡稱：AI蘇格拉底) 是由台灣網奕資訊(HABOOK Group)獨家研發的課堂數據服務，AI蘇格拉底是整合多項AI技術的教育創新應用服務，包括整合AI教學行為數據特徵分析、AI文句分析、AI語音轉寫、AI GPT等多種AI工具。能自動解析課堂影音、轉寫出課堂逐字稿，分析課堂語速、用語、提問等，並產出課堂數據品質評估報告(醍摩豆，2024)。AI蘇格拉底自動採集課堂教與學數據，生成蘇格拉底影片、觀議課記錄表、課堂數據品質評估報告、蘇格拉底時間軸(包含語音轉寫逐字稿、師生互動歷程)等教育專業應用數據的雲平台服務。HiTeach 5是AI蘇格拉底的數據輸入套件，操作簡單、整合度高，只要將HiTeach 5安裝在各類型教室(多媒體教室、班級教室、TBL PBL/TBL教室、錄播教室、觀議課教室等)中，以及安裝錄音/錄像設備，就能採集課堂數據，生成教育專業應用數據，並存放在蘇格拉底平臺專屬頻道，系統運作架構如圖2。 圖2：AI蘇格拉底運作架構 (醍摩豆，2017) 二、課堂數據品質評估報告簡介     課堂數據品質評估報告是支持教師團隊
閱讀完整內容

學習評量數位化之一：素養導向學習評量數位化設計

-
圖片
素養導向 學習評量 數位化設計 數位時代，各行各業已經充分享受數位化(Digitization)所帶來的好處，對數位化一詞不再陌生，在教育領域也因數位化帶來許多變革與創新，例如教育行政數位化、校園管理數位化、教與學數位化等。數位化的目標，除了要把傳統作業流程透過數位技術，使作業流程優化，更期待能有所更新疊代，實現數位化轉型( Digital Transformation)，甚至能發生 典範轉移(Paradigm shift)，創造更優質的作業方式、流程與效益。 十二年國教素養導向課綱理念，特別強調素養導向學習評量，是達成有效教學的重要方法與策略。積極研究與推廣以學習評量工具來精準評估、回饋與引導課程與教學，賦予學習評量新功能，把學習評量過程或評量本身，做為學習的一部分(Assessment As Learning)，並鼓勵課室採用多元化學習評量，既要評量知識與技能，也要評量態度和行為，要重視學習成果，更要重視學習歷程。 學習評量是學習活動關鍵環節，也是考驗教學團隊專業能力的重要指標。為了優化傳統學習評量工具，提高學習評量的效能，保存學習評量歷程數據，學習評量數位化是最可行的優化方向。期許借助學習評量數位化設計，善用教育科技(Education Technology)設計出能更有效評估、回饋與引導教學的方法與策略，來促進學習評量的品質與效能，精準掌握學習情況、促進學習成果，輔助達成學習目標。 一、學習評量數位化架構分析 下面從學習評量類型、多元評量工具、數位化設計案例等三個部分，來說明素養導向學習評量數位化的架構與設計。 (一)、三種學習評量數位化類型 形成性評量、總結性評量是我們熟悉的評量類型。近年來得力於學習科技蓬勃發展、智慧型教室普及應用，許多國際教育專家學者，根據學習評量目的，把學習評量類型分為下列三種： 1.促進學習的評量(Assessment For Learning，簡稱 AFL)是一種形成性評量(課堂作業、課堂測驗、單元作業、單元測驗)，教師使用評量方法與策略，來獲取學生學習回饋，掌握學生學習情況與需求，給予學生適當回饋，以及作為調整教學方法與策略的參考依據，進而幫助學生學習，加速達成學習目標。例如，智慧型教室就是一種比較容易實施AFL促進學習的評量的教學情境。 2.學習結果的評量(Assessment Of Learning，簡稱AOL)是一種總結性
閱讀完整內容