學習評量數位化之十：試題分析工具應用舉例

-

 試題分析工具應用舉例

學習評量數位化可以生成大量評量數據，可利用試題分析工具，更精準、高效的分析學習評量數據，進而優化試題設計品質，提高學習評量與學習診斷分析的效能。

下面以醍摩豆智慧教學平台為例(圖1，玉山學校2021學年度第一次國英數模擬考)，結合教育理論與應用實務，使用醍摩豆系統進行學習評量(智慧教室評量、卷卡合一評量或自主學習評量)，自動產出學習評量數據之後，說明如何應用試題分析工具，如圖2：評量數據與試題分析工具，包括試題落點分析工具、試題難度分析工具以及試題地位分析工具等。

圖1：玉山學校2021學年度第一次模擬考(國英數)


圖2：評量數據與試題分析工具

一、試題落點分析工具

試題落點分析圖，是博拉圖學情分析系統根據穩定度(試題注意係數，Caution Index for Problems)所繪製的試題落點圖，每一個點來代表一道試題。根據學習評量數據，計算出每一道試題的穩定度，數值介於0~1之間，數值越接近零越為穩定，反之則越不穩定。

試題落點分析圖區分為四個區塊，分別是A,A',B,B'等四區(如圖3)，落在A區的試題，代表試題相當適當，可以用來區分學生的不同，落在A'區的試題，代表試題含有異質成分，需進行局部修正。落在B區的試題，代表試題較為困難，適合區分出高成就學生。落在B'區的試題，代表試題含有嚴重異質成分，應該刪除不用。
圖3：試題穩定度區域特性

以玉山學校2021學年度第一次模擬考(國英數)為例，打開學情分析視窗，選擇試題分析標籤，再選擇學科鈕，就會顯示該學科的試題落點分析頁面(如圖4)。

圖4：試題落點分析頁面

快速查看試題品質：查看試題落點分析圖，可以快速掌握這份試卷的試題品質(穩定度)，以圖3為例，試題穩定度落在A區和A'區，沒有出現在B區和B'區的試題，可初步判斷這份試卷的整體命題品質比較良好，沒有太大問題。

快速連結試題難度分析數據：試題落點分析頁面是類似儀表板的互動式頁面，只要在試題落點分析圖中，點選想要查閱的試題編號或落點，就會自動顯示這道試題的試題難度分析頁面。

在試題分析頁面中，除了試題落點分析外，還包含年級單題得分率統計、試題分析總表、試題得分率表，如圖5、6、7。年級單題得分率統計：可以用來比較單一試題在各班級的得分率。

圖5：年級單題得分率統計

試題分析總表：可以查看每一道試題的題型、知識點、落點區域、配分、難易度、鑑別度、R1-R6的得分率。
圖6：試題分析總表

試題得分率表：可以查看每一道試題的高分組得分率、低分組得分率、全學年得分率、每一班得分率。
圖7：試題得分率表

匯出表格功能可以把評量數據下載為Excel表格，以便進一步統計與分析，如圖8：試題分析總表匯出Excel表格。

圖8：試題分析總表匯出Excel表格

二、試題難度分析工具

 在試題分析頁面，點選任一題目編號，或在落點分析圖上，點選任一落點，就會自動連結跳轉到試題清單與資料分析頁面，如圖9：試題清單與資料分析頁面。

圖9：試題清單與資料分析頁面

在試題清單與資料分析頁面，選擇試題清單之任一試題編號，就會自動連結該試題，並呈現試題內容與資料分析內容，包括：2.題幹、3.選項、4.答案、5.解析、6.知識點、7.認知層次、8.資料分析等。

接著，往下捲動頁面就會顯示該試題的資料分析內容，如圖10：試題之資料分析內容。以第22題為例，其資料分析內容如下：
落點區域：A'
配分：3
難易度：0.71
鑑別度：0.42
正答率：0.689
高分組正答率：92%
低分組正答率：50%
R1組：80%
R2組：100%
R3組：55%
R4組：82%
R5組：33%
R6組：67%
選項A：選答人數6人
選項B：選答人數31人
選項C：選答人數4人
選項D：選答人數4人

圖10：試題之資料分析內容

R1-R6作答曲線分析圖，可以補充難易度和鑑別度之不足，呈現從高分組至低分組的正答率變化，如圖10：R1-R6作答曲線分析比較圖，圖11-a呈現下滑曲線，圖11-b呈現上下波動曲線，圖11-c呈現水平直線。以一個適當、鑑別度高的題目來說，R1-R6的得分率應該會越來越低，同理(如圖11-a)，若R4的得分率遠高於R3(如圖11-b)，則可能表示試題需要修正。


圖11：R1-R6作答曲線分析比較圖

再根據上圖之試卷題號，製作出三個試題的試題落點分析比較圖，如圖12，分別落點為A區、A'區和A區。
圖12：試題落點分析比較圖

透過上述圖11、圖12的比較示例，以說明交叉運用試題落點分析與R1-R6作答曲線分析這兩種一目了然的視覺化工具，來協助試題診斷與分析工作，可以有效提升試題分析的品質與效能。

三、試題地位分析

在醍摩豆雲教學平台中，可以選擇試卷分析鈕(如圖13)，隨時查看試題在雙向細目分析表(two-way specification table)架構藍圖中的評量地位，包括試題知層次和試題知識點，以確定試題想要達到的評量目標(如圖14)。

圖13：選擇試卷分析鈕，打開試卷分析頁面

圖14：雙向細目分析表與試卷分析頁面

學習評量數位化，可以產出大量評量數據，而藉由上述試題分析工具，包括試題落點分析、試題難度分析和試題地位分析等數據化和可視化的試題分析工具，不但可以大大節省試題分析所花費的時間，更能大大提高試題分析品質。

相關學習資源

學習評量數位化之一：學習評量數位化設計
學習評量數位化之二：素養導向學習評量數位化應用舉例
學習評量數位化之三：素養導向雲平台題庫與試卷應用
學習評量數位化之四：全班課堂學習表現數據總表
學習評量數位化之五：數據互動之統計圖表與教學決策
學習評量數位化之六：科技互動與教法應用(AI輔助教師增能)
學習評量數位化之七：科技互動與教法應用(AI輔助文句分析)
學習評量數位化之八：課程名單與評量數據
學習評量數位化之九：分組工具與教學策略
學習評量數位化之十：試題分析工具應用舉例


留言

張貼留言

這個網誌中的熱門文章

生生用平板差異化教學之四：差異化教材設計舉例

-
圖片
 差異化教材設計舉例 同步差異化教學(Synchronous Differentiated Instruction，SDI)，是在一對多的課堂學習環境中，根據學習數據同步對小組或每一個孩子，提供不同的學習材料或情境(醍摩豆，1999)。在生生用平板學習環境中，實施差異化教學，首先要設計差異化教材。 一、差異化教學類型 教師根據班級學生的學習能力、學習態度、學習階段等，設計差異化學習活動，不同教師設計不同班級的教學活動，自然會存在差異，也展現教師專業。差異化教學設計，可說有三千法門，每位老師各有一套。為了便於分類與交流分享差異化教學的經驗與智慧，可概分為內容差異、教材差異、教法差異 、評量差異等四種類型(圖1)，說明如下： （一）、內容差異：不同學區或學校選擇不同課本(例如人教版、上教版等)，或因應學生學情選擇不同文本。內容差異，則教材、教法和評量，也將因內容不同而設計。 （二）、教材差異：因應學情設計的差異化教材，可概分為難度不同、材料不同和份量不同等三種。 （三）、教法差異：因應學情設計的差異化教法，可概分為速度不同、順序不同、方式不同，以及應用技術不同等四種。 （四）、評量差異：因應學情設計的差異化評量，可概分為形式不同、時長不同和數量不同等三種。 圖1： 差異化教學類型 在學習活動中，出現學習進度差異時（例如有人已經學會了，有人還沒有學會，有些小組已經學會，有些小組還沒有學會），為了加速還沒有學會的個人或小組跟上學習進度，教師會採用許多差異化方法和策略，來幫助這類學生(小組)加速學習。當教師投入時間資源到薄弱小組(個人)時，只能暫時忽略學習進度較快小組(個人)，或者輪流進行學習活動，這是分時差異化的教學策略。 然而，實施同步差異化教學，是同步進行差異化策略，在受眾範圍、教材、教法和科技等面向實施差異化。例如教師準備難度不同、材料不同和份量不同的差異化教材，針對全班、小組或每一個人，同步進行差異化教學，以幫助不同班級、不同小組、不同學生，更好的學習，如圖2：差異化教材與實施對象。 圖2： 差異化教材與實施對象 從教師專業角度，根據學生需求、興趣和能力(經驗)等不同學習動機，設計難度不同、材料不同和份量不同的差異化教材，就可以在智慧技術支持的教學環境中，針對全班、小組或個人，進行同步差異化教學活動，如圖3：差異教材設計與學習動機。 圖3： 差異教材設計與學...
閱讀完整內容

AI蘇格拉底課堂數據評估報告簡介

-
圖片
AI蘇格拉底課堂數據評估報告簡介      採收教與學大數據是AI蘇格拉底的主要功能之一。採收數據是分析與應用數據的第一步，根據AI蘇格拉底累績課堂教與學大數據統計，截至2023年底，蘇格拉底平台採收課堂數據量，已經累積近35萬堂(348,836)課例，約1千萬學生人次的課堂學習歷程數據。蘇格拉底平台正以飛快的速度累計課堂大數據，相信運用這些寶貴的教與學大數據，能幫助我們掌握教與學樣態，更精準地制定教育創新與發展的方向與策略。     分析課堂數據是AI蘇格拉底的另一項主要功能。課堂是最主要的學習場域，AI蘇格拉底的數據，有別於線上學習非同步數據，是記錄實體(或混合)課堂的教與學數據，透過這些課堂大數據的統計與分析，協助師資培育機構、學術研究機構與教育政策制定者瞭解城市、學區或學校的教學科技應用能力、教學模式、學習型態、學生學習參與度等數據。AI蘇格拉底能自動採收課堂數據，為每一堂課評估與分析課堂數據，包括T科技互動指數、P教法應用指數、C教材實踐指數、D校本綜合評價指數、E學習參與度指數(如圖1)等課堂五項指數，以及相關應用分析。 圖1： 數據品質評估報告之課堂五項指數 一、AI蘇格拉底簡介            AI人工智能蘇格拉底服務(簡稱：AI蘇格拉底) 是由台灣網奕資訊(HABOOK Group)獨家研發的課堂數據服務，AI蘇格拉底是整合多項AI技術的教育創新應用服務，包括整合AI教學行為數據特徵分析、AI文句分析、AI語音轉寫、AI GPT等多種AI工具。能自動解析課堂影音、轉寫出課堂逐字稿，分析課堂語速、用語、提問等，並產出課堂數據品質評估報告(醍摩豆，2024)。AI蘇格拉底自動採集課堂教與學數據，生成蘇格拉底影片、觀議課記錄表、課堂數據品質評估報告、蘇格拉底時間軸(包含語音轉寫逐字稿、師生互動歷程)等教育專業應用數據的雲平台服務。HiTeach 5是AI蘇格拉底的數據輸入套件，操作簡單、整合度高，只要將HiTeach 5安裝在各類型教室(多媒體教室、班級教室、TBL PBL/TBL教室、錄播教室、觀議課教室等)中，以及安裝錄音/錄像設備，就能採集課堂數據，生成教育專業應用數據，並存放在蘇格拉底平臺專屬頻道，系統運作架構如圖2。 圖2：AI蘇格...
閱讀完整內容

教師增能與專業發展系列之四：HiTeach AI GPT教學活動設計舉例

-
圖片
   這一篇AI教案設計舉例，說明如何在既有教學活動設計中，應用生成式AI，在教學活動中融入AI評估功能，並設計自動串接教學方法策略模組的教學活動設計舉例，以發揮生成式AI輔助教學的功能，進而達到減輕教學負擔或增進學習效果的目的。 一、HiTeach AI     HiTeach內建多種AI技術，包括AI文句分析、AI口說練習、AI蘇格拉底小數據和AI語音轉文字服務等。現在，HiTeach進一步整合越來越智慧的生成式AI技術，提供便利的提示指令集，方便課堂教學或備課使用。打開GPT生成式AI小幫手視窗，就會顯示多種課堂教學應用指令集，包括評分指令集、出題指令集、挑選指令集、常用指令集、心智圖指令集等，並可自定義指令集，根據課程需求設計適合的指令，以便重複使用設計好的指令集。 應用生成式AI，以對話方式來協助課堂教學中作品作業的評分、評語時，教師需要不斷操作複製、貼上，複製學生的作品給AI，再把AI回應的評分評語複製到成績表單中，重複這種繁瑣的操作過程，才能完成所有學生的評分、評語，這種操作方式，我們簡稱為自助AI流。 HiTeach AI自動串接生成式AI，內建提示指令範本，教師只需應用範本提式指令或自行定義的提示指令，在HiTeach收集學生作品數據後，這些「活」數據就會自動傳送與接收AIGC服務，自動把AI的評分、評語整理到成績表中。這種自動融合學生名單、互動數據、AI智能的作業流程，我們簡稱為HiTeach AI流。 比較自助AI流與HiTeach AI流，可以發現使用自助AI流，老師自助操作很忙碌，透過HiTeach AI流，不但讓機器代替勞力，也提高了效能，如圖1。 圖1： 自助AI流與HiTeach AI流應用效益比較 二、HiTeach AI GPT多元教學策略簡介    HiTeach是基於教育原理，兼具傳承與創新的課堂教學新技術，可以協助教師發展智慧好課堂，讓教學越來越省力，學習效果越來越好，課堂氛圍越來越有趣。其運作核心理念與應用價值如圖2：HiTeach AI GPT多元教學策略組合應用圖(Power, 2024)，包括學習評估型態和教學策略模組兩個部分。 圖2： HiTeach AI GPT多元教學策略組合應用圖(Power, 2024)     圖左邊是學習評估新...
閱讀完整內容