Theoretical Sociology

太郎丸博のブログです。研究ノートや雑感などを掲載しています。(このページは太郎丸が自主的に運営しています。京都大学の公式ページではありません。)
<< October 2020 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 >>
 
RECOMMEND
後期近代と価値意識の変容: 日本人の意識 1973-2008
後期近代と価値意識の変容: 日本人の意識 1973-2008 (JUGEMレビュー »)

NHKの日本人の意識調査のデータをつっこんで分析した本です。
RECOMMEND
Labor Markets, Gender and Social Stratification in East Asia: A Global Perspective (The Intimate and the Public in Asian and Global Perspectives)
Labor Markets, Gender and Social Stratification in East Asia: A Global Perspective (The Intimate and the Public in Asian and Global Perspectives) (JUGEMレビュー »)

直下の和書の英語版です。審査を通過するためにレフェリーのコメントに従って若干修正してあります。
RECOMMEND
東アジアの労働市場と社会階層 (変容する親密圏/公共圏)
東アジアの労働市場と社会階層 (変容する親密圏/公共圏) (JUGEMレビュー »)

GCOEの成果をまとめた本です。日本を中心に韓国、台湾(中国も少し)との比較研究をしてます。
RECOMMEND
若年非正規雇用の社会学‐階層・ジェンダー・グローバル化 (大阪大学新世紀レクチャー)
若年非正規雇用の社会学‐階層・ジェンダー・グローバル化 (大阪大学新世紀レクチャー) (JUGEMレビュー »)
太郎丸 博
拙著です。非正規雇用に関する本はたくさんありますが、「なぜ正規雇用と非正規雇用では賃金格差があるのか」など当たり前と思われがちな問題を突き詰めて考えてみました。
RECOMMEND
フリーターとニートの社会学
フリーターとニートの社会学 (JUGEMレビュー »)

拙編です。オーソドックスな計量社会学の手法で、若年非正規雇用や無職にアプローチした本です。白い装丁なので、輪郭がわからないですね...
RECOMMEND
人文・社会科学のためのカテゴリカル・データ解析入門
人文・社会科学のためのカテゴリカル・データ解析入門 (JUGEMレビュー »)
太郎丸 博
拙著です。軽く読み流すのは難しいですが、まじめに一歩一歩勉強するために作りました。
ARCHIVES
RECENT COMMENT
  • 阪大を去るにあたって: 社会学の危機と希望
    charlestonblue (10/08)
  • Cohen et. al 2011 「フェミニズムの方法論的インパクト: 社会学のやっかいな問題?」
    abe daijyu (10/05)
  • アマチュア社会学の可能性
    読者 (02/20)
  • 社会システム理論の野望、あるいは全体性へのオブセッション
    宮国 (12/19)
  • 片山他 2015「図書館は格差解消に役立っているのか?」
    オカベ (12/09)
  • ランダム効果の意味、マルチレベル・モデル、全数調査データ分析
    YZ (12/07)
  • 学歴社会から「学習資本」社会へ:日本の教育と社会における階級形成の再編
    赤尾勝己 (02/11)
  • グラフィカル・モデリングとは?
    anonymous (11/30)
  • Rスクリプト覚書き:vglm関数で平行性の仮定を置かずに順序ロジット
    ほっくー (08/05)
  • 台湾の経済: 典型NIESの光と影
    おーまきちまき (07/19)
RECENT TRACKBACK
 
スポンサーサイト

一定期間更新がないため広告を表示しています

- | | - | -
評価の一致度をクロンバックのアルファで測定すべきではない

多数の教員の顔の良さを、複数の学生に評価してもらい、その評価の一致度をクロンバックのアルファで測定した論文があったのだが (Wolbring and Riordan 2016)、それが不適切であることを例証するために簡単なシミュレーションをしてみた。1000 人の教員の顔の良さを 2〜100 人の学生に評価してもらうとする。学生の評価間の相関係数は、すべての学生のあいだで 0.1 であると仮定する。データは上の条件を満たす多次元正規分布の乱数を使って発生させる。このデータからクロンバックのアルファと級内相関係数 3 (教員と学生の交差分類効果を考慮したもの Shrout, Patrick E. and Fleiss, Joseph L. Intraclass correlations: uses in assessing rater reliability. Psychological Bulletin, 1979, 86, 420-3428.)を計算するが、学生の数を 2〜100 まで変化させ、それによってクロンバックのアルファと級内相関係数 3 がどう変化するか見る。その計算結果を示したのが、下の図である。



学生間の評価の相関は 0.1 しかないので、「一致している」というのは明らかに言い過ぎであるが、それでも評価者の数を増やしていけばクロンバックのアルファはどんどん増加していき、100人になると 0.92 になる。Wolbring and Riordan (2016) の場合、学生の数は 75人で、アルファは 0.95 なので、学生間の評価の相関はもう少し大きい(上と同じ要領で計算してみると 0.2 をやや上回るぐらいと推測される)が、それでも「一致している」というにはほど遠い。

こういう場合には級内相関係数 3 が適切だと思われる。これなら評価する学生の数にはほとんど依存せずに、0.1 で安定している(ただし、評価者が二人だと過小に評価している)。そもそもクロンバックのアルファは単純加算尺度の信頼性(内的一貫性とも呼ばれる)の指標なのであって、評価の一致度の指標ではない。クロンバックのアルファは適切に用いれば十分役に立つ。上の論文は誤用の例である。 以下はこのシミュレーションのスクリプト。

m <- 100  # 評価する学生数の最大値
covariance1 <- matrix(0.1, m, m)  # 評価の共分散を 0.1 に指定
diag(covariance1) <- 1 # 評価の学生個人内の分散を 1 に指定

library(MASS)
d0 <- mvrnorm(n = 1000, mu = rnorm(m, sd = 2), Sigma = covariance1)  # 学生個人内の評価の平均値は学生によって異なり、標準偏差は2に、評価される教員数は1000に



results <- matrix(NA, m - 1, 2) # シミュレーションの結果を代入するための行列

colnames(results) <- c("Cronbach's Alpha", "ICC 3")
makeAlpha <- function(x){ # クロンバックのアルファを計算する関数
  m <- ncol(x)          # psych パッケージの alpha() 関数は計算に時間がかかるので自作した
  var.x <- diag(var(x))
  var.sum <- var(rowSums(x))
  alpha <- m / (m - 1) * (1 - sum(var.x) / var.sum)
  return(alpha)
}

library(psych)
for(i in 1 : (m - 1)){  # 2〜100人で学生数を変化させてアルファと ICC 3 を計算
  d1 <- d0[, 1 : (i + 1)]  
  results[i, 1] <- makeAlpha(d1)
  results[i, 2] <- ICC(d1)$results[3, 2]
}
par(mar= c(4.2, 2.2, 0.2, 0.2))
matplot(2 : 100, results, type = "l", xlab = "評価する学生の数", ylab = "", lwd = 2)
text(20, 0.82, "クロンバックのアルファ")
text(20, 0.13, "級内相関係数 3")
スポンサーサイト
- | 17:05 | - | -
コメント
コメントする









 

Copyright (C) 2004 paperboy&co. All Rights Reserved.

Powered by "JUGEM"