評分這信度是指多個評分者給同一批人的答卷評分的一致性程度。舉個例子,如果只有兩個評分者,則計算其評分的相關系數,即可得到評分者信度。它主要適用于測驗是主觀性試題時,不同評分者的評分會存在差異,這時評分者就凸顯作用
一、數據準備
這里使用兩個評委對10個運動員某項目評分,假兩位評委對這十個運動員評分如下圖所示。這里就用這兩位評委對運動員評分進行一致性評價。
圖1 數據展示
二、分析步驟
點擊SPSS頂部菜單欄“分析”-“相關”-“雙變量”。將評委A、B加載到變量文本框,并且相關系數勾選“皮爾遜”和“斯皮爾曼”。
圖2 雙變量相關性
雙變量相關窗口左側“選項”、“樣式”、“拔靴法”、“置信區間”均保持默認,當然可以根據個人需要進行勾選。
圖3 參數默認
三、結果分析
由于分析過程相關系數勾選了皮爾遜和斯皮爾曼,因此下面分別進行結果分析。皮爾遜相關系數為0.816,表格底部有解釋,顯著性大于0.01則說明相關性顯著,這里為0.04說明相關性顯著,評分者一致性很高。
圖4 皮爾遜分析
斯皮爾曼同理分析,相關系數為0.890,顯著性(雙尾)為0.03,并且0.03大于0.01,說明相關性顯著,評分者一致性很高。
表5 斯皮爾曼分析
以上就是利用IBM SPSS Statistics進行評分者信度分析的測試,大家可以根據需要自行試驗。