Top
ヘッダー

(2023年6月16日更新) [ 日本語 | English ]

統計的検定 (statistical test)






有珠山 / サロベツ泥炭採掘跡
1986年, 2006年の有珠山火口原. ワタスゲ・エゾカンゾウ

┌───────────────┐
  最尤推定法
  確率分布モデル
_┌──────────────┐
    一般化線形モデル(GLM)
    指数関数族分布モデル
__┌─────────────┐
      最小2乗法
      等分散正規分布
        + 線形モデル
図. 確率分布推定法
の階層性

(統計的)仮説検定論 testing hypothesis: 母集団性質を測定し、標本から計算された統計量実現値とその標本分布の法則とから与えられたデータが仮定した母集団からのrandom sampleとみなしうるか

a) 当面の仮説  b) 一般的前提
[理論/実験] → 比較検討し判定

判定: 1) 仮説棄却する reject. 2) 仮説棄却しない accept
統計的有意性 vs 生物学的有意性: 統計的有意 = 偶然を越えた差存在 → 生物学的意義があるとは限らない

統計的有意性と生物学的有意性に極端な差ないようなデータ採取必要

統計的仮説 statistical hypothesisと検定手順 test procedure

帰無仮説 null hypothesis, H (H0)

母集団分布に関する命題 = 差なし(有れば無に帰する仮説)

対立仮説 alternative hypothesis, K (H1)

H棄却時に本当に正しいと考えられる仮説

Def. 検出力 (検定力) power (of test): 対立仮説正 →

対立仮説の検定での採択確率, α (Ex. 0.01, 0.05) ⇔
(1 – β) = Hが誤っている時にHを棄却できる確率

Ex. 両側検定は片側検定より検出力低

検出力比較: より広範囲の対立仮説に適用できる検定 – 検出力落ちる
検出力関数 power function
  1. 標本x1, x2, … xnから適当な統計量をとる
    T = T(X1, X2, … Xn)からt = t(x1, x2, … xn)を選び計算
  2. test Tの標本分布を考えT = T(X1, X2, … Xn)をある区間Dに落ちる確率を一定値αに設定 (一般に0.01 or 0.05)
    P{T(X1, X2, … Xn) ∈ D} = α
  3. (1)で求めたt = t(X1, X2, … Xn)と(2)で求めたDに対し
    T(x1, x2, … xn) ∈ DH棄却するreject (H成立しない)
    T(x1, x2, … xn) ∉ D, or ∈ Ω – DH棄却しないaccept (H一応成立)
仮説 hypothesis
  1. 単純仮説 simple hypothesis: ある仮説がただ1つの分布しか含まない → θ = θ0 一点のみで決まる
  2. 複合仮説 composite hypothesis: 仮説が複数分布含む → Ex. θ > θ0
検定関数 test function

確率化検定関数, P(x) → (0, 1) ↔ 非確率化検定関数

D: 棄却域 critical region ↔ 採択域 acceptance region:

T(x1, x2, … xn) ∈ D ≡ reject H → 検定有意 significant

α: 有意水準(危険率) significance level (pp values):

検定をする → 1つの棄却域Dを定める
統計上有意でなくても、その差が意味のない、または無関係とは限らない

第一種の誤り(過誤) Type I error (α error, error of the first kind):

H正しいが棄却するための誤り (確率αで起りうる)

第二種の誤り(過誤) Type II error (β error, error of the second kind)

H正しくないが棄却しないための誤り
「(α)わてもの」と「(β)んやりもの」の誤りに例えられる

検定: 2つの誤りが常に同時に起りうる → 課題 = 誤りを小さくする方法
検定する = 1つの棄却域Dを設ける → P{T(X1, X2, … Xn) ≤ D}= α
i) 片側検定one-tailed (-sided) test

test 棄却域 D = [t, ∞]

ii) 両側検定two-tailed (-sided) test

test 棄却域 D = [-∞, t1]∪[t2, ∞]

iii)

test D = [t1, t2] 有り得ない

→ 必ずi, iiがDの範囲 (iiiは第2種の誤りの確率が非常に高い) → 実際の検定は第2種の誤りを小さくしたい
i)test ii)test iii)test

f(x): 仮説Hを正しいと考えた時 → g(x): 真の分布 / 斜線部が第2種の誤りをおかす確率の範囲

外部仮説(事前仮説) = データと独立な仮説

↔ 内部仮説(事後仮説) = 標本特性(平均・分散等)から導かれそうな分布仮説

Def. 最強力検定 most powerful test (MP):

H = f(x1, x2, … xn) ↔ K = g(x1, x2, … xn)
Df(x1, x2, … xn)dx1dx2dxnα
→ 検定力Dg(x1, x2, … xn)dx1dx2dxnを最大化する検定

Th. ネイマン-ピアソンの基本定理:

D = {(x1, x2, … xn); g(x1, x2, … xn)/f(x1, x2, … xn) ≥ k}
k = kα (> 0)はDf(x1, x2, … xn)dx1dx2dxnαとなるよう選んだもの

Pr. Case: f, g, continuous, n = 2, D*: D以外の有意水準αの棄却域

D*f(x1, x2)dx1dx2α = Df(x1, x2)dx1dx2
DD* := E, DE = D0, D* – E = D0*

D0*f(x1, x2)dx1dx2 = D0f(x1, x2)dx1dx2

D0*: f(x1, x2) ≥ 1/k·g(x1, x2),
C0: f(x1, x2) ≤ 1/k·g(x1, x2) ≤1/k·D0*g(x1, x2)dx1dx2

≤ 1/k·D0g(x1, x2)dx1dx2

D*g(x1, x2)dx1dx2Dg(x1, x2)dx1dx2:

D*がDを越えることはありえない → 最強力検定となる

応用: (x1, x2, … xn)~N(μ, σ02), μ 未知, σ02既知, H: μ = μ0K: μ > μ0

f(x1, x2, … xn; μ1)/f(x1, x2, … xn; μ0)

= Exp[(μ1μ0)/s02·Σxi + n·(μ02μ12)/2σ02]

D = [mμ0 + zασ0/√n], (1/√2πzαex2/2dx = α

Ex. α = 0.05, zα = 1.645

Dμ1に全く依存せず決まる → μ1 > μ0に関し一様に最強力な検定となる Def. 一様最強力検定 uniformly MP test, UMP

= MPがただ1つに定まる。漸近的にMPと同 (Savage 1956)

局所最強力(検定) locally MP test: ある条件下で最強力
索引

検定の種類 types of statistical tests


= 母数検定 + 適合度検定

A) 母数検定(母数の検定) parameter test

母集団型既知 → H: 母数θがある値をとる → H; θ = θ0
I. 1試料 → N(μ, σ2), X1, X2, … Xn~N(μ, σ2)
1. 母平均μの検定: μが知りたい → σ2はさしあたり興味なし

= 局外母数(撹乱母数) nuisance parameter

a) 母分散σ2既知 → 正規分布

H: μ = μ0

1) K: μ > μ0 (右)片側検定, or 2) K: μμ0 両側検定

m, N(μ, σ2) ∋ √n·(mμ)]/σ (≡ T)~N(0,1)
P{[√n·(mμ)/σ > 1.64} = 0.05 one-tailed test ↔
P{[√n·(mμ)]/σ > 1.96} = 0.05 two-tailed test
α = 0.05, D = [1.64, ∞], D = [-∞, -1.96]∪[∞, 1.96]

Dt = √n·(mμ0)/σから求まる

Ex. 製品 = 不純物 ≤ 4% → 合格

工場で200個抜き出し不純物平均値4.2 ± 4.2% (SD)。工場製品は合格?

A: H: μ = 4, K: μ > 4

t = [√200 × (4.2 – 4)]/1.5 = 1.885 (検定統計量 test statistic) ≤ D0.05
H棄却 → 不合格(α = 0.01: accept H) → データ数増し再検査
α: 一定が望ましい(値は問による)

b) 母分散σ2未知 → t分布 (t検定 t test)

H: μ = μ0

1) K: μ > μ0 右片側検定, or 2) K: μμ0 両側検定

t値 (t value), t = {√(n – 1)·(mμ)}/S~t(n – 1)

Ex. n = 10 → t(df = 9) → P{T > 1.833} = 0.05, P{T > 2.26} = 0.01

D = [1.833, ∞], D = [-∞, -2.26]∪[2.26, ∞]

Ex. 薬品を10人の患者に投与 → 平均睡眠時間延長 = 1.24 ± 1.45 (SD)

薬は睡眠時間増加効果あるか

A. t(10 – 1) = [√(10 – 1)·(1.24 – μ)]/1.45 = 2.57 ∈ D

H: μ = 0, K: μ > 0 → reject H = 睡眠時間は増加した

2. 母分散σ2の検定 (μ, 母平均) → σ2-dist (χ2検定): T = T(X1, X2, …, Xn)
a) μ既知, N(μ, σ02) → χ02 = Σi=1n(Xiμ)2/σ02~χ2(n)
b) μ未知, N(u, σ02), u = 不偏分散

χ02 = Σi=1n(Xim)2/σ02 = (n – 1)u/σ02~χ2(n – 1)
H: σ2 = σ02

1) K: σ2 > σ02 片側検定, or 2) K: σ2σ02 両側検定

p = P(χ2χ02): p > 0.5 → P = 2 × (1 - p), p < 0.5 → P = 2 × p

EX. ある製造ラインで製品10個の重量測定

→ 標本不偏分散4.5。正常では(母)分散2.1。現製造ラインは正常か

A. μ未知 ∴ χ02 = (10 – 1 )·4.5/2.1 = 19.285714

χ2(10 – 1) →
P = 2 × Pχ2 ≥ 19.285714}= 2 × 0.02287 = 0.0457 < α0.05
H棄却 → 母分散はと異なる

3. 母百分率(母比率)の検定N-dist, F-dist, 2項分布

標本数: n, 対象属性を持つもの(陽性数)の数r

→ 標本比率: p = r/n,母比率: π, 母比率の特定値π0

H: π = π0, K: ππ0 → 有意水準αで両側(片側)検定

a) 正規分布: 標本数十分 min[n × π0, n × (1 - π0]] ≥ 5

z0 = |ππ0|/√{π0(1 – π0)/n}~N(1, 0)

b) F分布 (= 2項検定 binomial test)

pπ0v1 = 2(nr + 1), v2 = 2r, F0 = v2(1 – π0)/(v1π0)~F(v1, v2)
p < π0v1 = 2(r + 1), v2 = 2(nr), F0 = v2π0/{v1(1 – π0)}~F(v1, v2)
信頼区間の設定は、正確法、Wald法、Wilson法の3種類がある

Ex. 母不良率3%の生産工程から製品20個を取り出し不良品が2個あった。母不良率が3%から変化したか
A.v1 = 2(20 – 2 + 1) = 38,v2 = 2·2 = 4

F0 = 4·(1 – 0.03)/(38·0.03) ≈ 3.4035
α0.05P > α → Accept H
母不良率が3%から変化しているとはいえない

II. 2試料 → (X1, X2, …, Xn), (Y1, Y2, …, Yn),

Xi~N(μ1, σ12), Yi~N(μ2, σ22)

0. 差の標準誤差 standard error of difference, SED (SEd)

SED = √{(SD12/n1) + (SD22/n2)}

1. 等分散性の検定 test of homogeneity (homoscedasticity) of variance
= 等分散性分析 homogeneity analysis

等分散性: 時間か群間で分散一定 ↔ 不等分散性 heterogeneity
母分散の差の検定(等分散) → F-分布 (F検定 F-test)
H0: σ12 = σ22σ12/σ22 = 1

F0 (FF values) = σ12/σ22~F(n1 – 1, n2 – 1)

分散一様性検定

ルビーン検定 Levene test (ANOVA) ブラウン-フォーサイス検定 (Brown-Forsythe) ハートレイの検定 Hartley's test: Fmax static

回帰の有意性の検定test of regression
2. 平均値の差の検定, H: μA = μB → 正規分布(の応用)
A. 対応あり → 対比較法 pair-wise comparison

= 対比較(法) (method of) paired comparison
複数解決策(問題) → 内容・性格から同一視点で評価困難 → 順位付け方法

a. ペアードt検定 paired-sample t test

(対応のある2標本でのANOVAと同意になる)
F = (mximyi)2/(1/ni + 1/nj), df = 1

B. 対応なし(独立) a. スチューデントt検定 Student's t test: 等分散
Ex. 新薬は従来薬と比べ効果があるか

従来薬特性値: μ = 100, σ = 5, 新薬特性値 (n = 25): μ = 101.5, σ = 4.9

A. H: μ = 100 → H支持 = 新薬は従来薬と効果差なし

vs K: μ > 100 → H棄却 = 新薬は改良された

b. ウェルチ検定 Welch test: 不等分散

t(φ)~|t0 = ~|(E(X) – E(Y)|/√(SX/nX + SY/nY),

φ = (SX/nX + SY/nY)2/[(SX/nX)2/(nX - 1)+(SY/nY)2/(nY - 1)]

b'. アスピン・ウエルチt検定 Aspin-Welch's t test
c. コクランコックスt検定 Chochran-Cox's t test

(Cochran's t-test, Cochran's test)

d. サイダックt検定 Sidak's t test: 等分散[σ12 = σ22 (値未知で良い)]

H: μ1 = μ2μ1μ2 = 0, K: μ1μ2

Ex. 分散未知の場合に平均の差に関し片側検定の棄却域を求めよ
A. T統計量 T statistics, T

= [(mxmy)/√(1/m + 1/n)]/√[(m12s + ns22)/(m + n – 2)]
推定: T~t(df = m + n - 2),

s12 = 1/mΣi=1m(Ximx)2, s22 = 1/n{Σi=1n(Yimy)2}
D = (-∞, -2.1)∪(2.1,∞)

Ex. n = m = 10 → DF = 18, t-分布5%点
A. P{|T| > 2.1} = 0.05, ms12 + ns22 = Σi=1m(Ximx)2 + Σi=1n(Yimy)2
Ex. A{75, 79, 76, 73, 77}, B{74, 70, 75, 76, 71}
A. mA = 76, sA2 = 3, mB = 73, sB2 = 28/6

Test: μA = μB, or μAμB,
T = Tactual value = [(76 – 73)/√(1/5 + 1/6)]/√[(5 × 3 × 28/6)/(6 + 5 – 2)]

= 2.1453 ∈ D

df = 6 + 5 - 2 = 9, α = 0.05 → p = 2.262 > 0.05
→ 仮説支持 = 平均値は等しい

B) 適合度(性)検定 test of goodness of fit

H0: 一特定分布を母集団がとる ⇒ F = F0 → 分布全体に対する検定

その特定分布への当てはまりの良さgoodness of fitを見る
FF0 ⇒ 当てはまらない F = F0: 当てはまりを否定できない

小サンプルだと仮定は否定できない - あらゆる分布が支持される

クラメール・フォンミーゼスの適合度検定 Cramer-von Mises test of fit

→ nonparametric

適合度指数 goodness of fit index

→ 調整済適合度指数 adjusted goodness-of-fit index

ゼロデータ問題: 0が余りにも多いと分布型定まらない

平滑化テスト smooth test
ポアソン分布 → ゼロ膨張ポアソン分布 zero-inflated Poisson distribution

1) 分布型適合度検定: χ2検定 (Pearson's) χ2 test (statistic)
(X~N(μ, σ2)): 従来の検定
Def. 実測度数(観測値 observation or observed value, Obs):

ある分布基準(質的)の下でk個のカテゴリーcategoryに分類

カテゴリー: C1, C2, …, Ck → 計
実測度数: f1, f2, …, fkn

Def. 理論度数(期待値 expectation or expected value, Exp)

m1, m2, …, mkn

母集団確率変数: H; P(XCi) = p(p1 + … + pk = λ) → 理論度数 mi = n·pi

χ2Σi=1k(fimi)2/mi (≠ 確率変数), n ≈ 十分大
mi = n × pi > 5 → χ2大 = Reject H
結論 1) χ2χ2(df = k – 1), 2) χ2χ2(DF = ks – 1)

a) mi値の仮説には標本総度数nのみ

ti値の仮説には全く試料が用いられない: H; p = pimi = n × pi

b) パラメータのsヶの母数を標本から推定

→ その推定値により母集団分布仮定されpiを決定
χ2検定 → いずれか1桝 any one cell が期待値1未満不適

(< 5で使わない) (Cochran 1954, Poole 1974)

Ex. 表. メンデルの実験 Mendel's experiment
                                    丸・黄    角・黄   丸・緑   角・緑    計  
観察値(実測値, Obs)     315      101      108       32      556
遺伝子群                     C1(AB) C2(Ab) C3(aB) C4(ab)
理論値(期待値, Exp)       9:         3:         3:         1              

H1: p1 = 9/16, p2 = 3/16, p3 = 3/16, p4 = 1/16
Exp. → m1 = 556 × 9/16 ≈ 313, m2 = 556 × 3/16 ≈ 104,

m3 = 556 × 3/16 ≈ 104, m4 = 556 × 1/16 ≈ 35

χ2 = (315 – 313)2/313 + (101 – 104)2/104

+ (108 – 104)2/104 + (32 – 35)2/35 = 0.510

df = 4 – 1 = 3, χ20.05(3) = 7.815, P{χ2 ≥ 7.815} = 0.05, D = [7.815, ∞]
∴ Accept H

Ex. 一様性の検定uniformity test
2) 独立性検定 independence test (≡ χ2検定)
(ランダムサンプルで)2変数が母集団で無関係かを調べる
分割表(連関表, 4分表, 2 × 2分割表) contingency table (two-by-two frequency table)
= 正確(確率)検定(厳密検定, 直接法) (Fisher's) exact test = フィッシャー・イェーツの検定Fisher-Yates test

フィッシャーの分類関数の係数 Fisher's classification function coefficients

Ex. 性別の運転免許保有率。( )期待値。n = 13

         あり       なし        計      分類基準 A          ○    ×
男子  4 (2.3)   2 (3.7)    6   ⇒分類基準 B    ○    a    b       a + b = g
女子  1 (2.7)   6 (4.3)    7                             ×    c    d       c + d = h
計      5           8           13
男子免許保有率 pm、女子免許保有率 pf, H (両側検定) → pm = pf

全桝目 all cells: Σ(Obs – Exp)2/Exp

= χ02~χ2(df = (行数 – 1) × (列数 – 1) = 1)

マクネマー検定 McNemar test: 分割表を従属標本から得た場合のχ2検定

→ 比率検定, χ2 = (bc)2/(b + c)
Ex. 処理前と処理後の比較研究 – 学期の最初と最後で数学の試験に落ちた学生数を度数として記憶

関連(関連)係数 coefficient of association (ユールの連関係数 Yule's coefficient of association), C

a/(a + b) = c/(c + d), or a/(a + c) = b/(b + d)

→ 分類基準A, Bは独立: ad = bc → 独立性の条件

C = (adbc)/(ad + bc) → C = 0 独立, C =±1 完全に関連 (-1 ≤ C ≤ 1)

Ex. C = (4 × 6 – 2 × 1)/(4 × 6 + 2 × 1) = 0.846

グッドマン・クラスカルのタウτ (Goodman and Kruskal's tau)

χ2検定: χ2 = [(a + b + c + d)/(adbc)2]/[(a + b)(c + d)(a + c)(b + d)]

χ02 = 3.745 < χ20.05(1) = 3.84 → accept H

→ 男女免許保有率に有意差は認められない

実際: 全期待値 < 5 → χ2検定不適 → マン・ホイットニーのU検定

一致係数: バイナリ-データ → {(0, 0) + (1, 1)}/総数
a. ケンドールの一致係数 Kendall's coefficient of concordance, W

W = χ2/(k·(n – 1)), k: 評価者数, n: 対象数
k変数(相関標本)間同時的連関(性) – 多変数間関係を示す点を除けば全変数間のスピアマン平均値rと同

b. クラメールの連関係数, V = √{χ2/(n – 1)k}

→ グッドマン・クラスカルのλ, Goodman and Kruskal's lambda

c. コーエンの一致係数 Cohen's measure of agreement, κ

→ [拡張] 重み付け一致係数weited κ
偶然の一致を考慮した評価者間の一致指標

3) (対数)尤度比検定 (log-)likelihood ratio test, LRT, G-test
標本数に応じ有意水準変える

頻度 fA, fB, 観測比率 p, q, 期待頻度 f1^, f2^, 期待比率 p^, q^

f1 + f2 = f1^ + f2^, p + q = p^ + q^ = 1
p = p^, nCkpkqn-k (2項分布), k = f1, nk = f2nCf1pf1qf2

H: nCf1p^f1q^f2 = nCf1pf1qf2 → 尤度比 likelihood ratio (L)

L = (nCf1p^f1q^f2)/(nCf1p^f1q^f2)

= (p/p^)f1·(q/q^)f2 = (f1/f1^)f1·(f2/f2^)f2~χ2α(k – 1), k十分大

対数尤度比 log-likelihood ratio, G

G = 2logL =2(f1ln(f1/f1^) + f2ln(f2/f2^))
nカテゴリ → G = 2Σi=1nfiln(fi/fi^)

Williams修正: k小時の調整, Gadj

Gadj = G/(1 + (k2 – 1)/(6n(k – 1))), k: 水準数, n: 標本数

Ex. 表. メンデル実験 →

f1/f1^ = 315/313, f2/f2^ = 101/104, f3/f3^ = 108/104, f4/f4^ = 32/35
L = Σfiln(fi/fi^) = 2.0063 – 2.9563 + 4.0760 – 2.8676 = 0.2584

G = 0.5168 < χ20.05(4 – 1): accept H

Ex. 表. 性別運転免許保有率

L = 2.214 – 1.230 – 0.993 + 1.999 = 1.990,
G = 3.980, Gajd = 3.849 > χ20.05(3)

Def. オッズ(見込) odds: ギャンブルで見込みを示す方法(元々競馬賭率指標)

粗オッズ: 調整オッズadjusted oddsと混同を避ける時の呼称
= 起こる確率/起こらない確率 = p/(1 – p), or p/q

処理                                     -                +      
事象 event  +                       a               b
                    -                       c               d
オッズ odds                         a/c            b/d
事象発生率 event rate    a/(a + c)    b/(b + d)

Def. オッズ比(見込比) odds ratio (cross-product ratio relative odds)

= 粗オッズ比 crude odds ratio
= 2つのオッズの比 = (a/c)/(b/d) = ad/bc

Def. 相対リスク relative risk: ある条件がある時の発生/ない場合の発生率

= {a/(a + c)}/{b/(b + d)}

Def. 処理時リスク推定値, π1 = b/(b + d)

↔ 非処理時リスク推定値, π2 = a/(a + c)

Def. リスク差 (過剰危険 excess risk), RD

処理による事象増減を絶対的変化の大きさで表した値

RD = π1π2

絶対影響差 absolute risk (reduction), risk difference, ARR

ARR = |a/(a + c) – b/(b + d)|

効果発現必要数 number needed to treat, NNT

NNT = 1/ARR: 1事象防止に必要な(治療者)数

Def. (4分)点相関係数 (four-fold) point correlation coefficient, φ

= phi coefficient, φ = (adbc)√(ghij)

Mantel-Haenszel (M-H)法

複数4分表 → 表併合し検定(一般的方法)

→ 比率(オッズ比等) = 効果指標

M-H推定: 比率の点(共通オッズ比、共通リスク比等)推定値と信頼区間を求める

交絡因子で層別したクロス表から統合したオッズ比を求める方法

M-H検定: Mantel-Haenszel-χ2値から有意確率を求める

効果指標: 危険 risk → リスク関数 risk function

相対リスク(危険度) relative risk (リスク比 risk ratio), RR
ハザード評価 hazard assessment (ハザード確認hazard identification)
↓→ 容量反応性評価 dose-response assessment
暴露評価 exposure assessment
↓→ リスク判定 risk characterization
リスク評価 risk assessment (両側検定リスク水準 two-sided risk level)

→ リスク管理 risk management

4) 無相関検定: 標本で得た相関係数大(みかけ相関 spurious correlation)

→ 母集団に必ずしもあてはまらない
H:t0 = |r|·√[(n – 2)/(1 – r2)] = 0 → t(n – 2)~t0, df = n – 2
母相関係数の信頼区間: z変換, H: N(n – 3)~z

差 difference


分布 = 位置(中央値)とバラツキにより与えられる
位置のずれを検定(ずれの検定 slippage test): H0 = 2つの母集団分布のばらつきが(余り)違わない
バラツキの違いを検定: H0 = 2つの母集団分布の位置は(ほぼ)同じ → 散らばりの程度(分布形)比較

2試料無作為化検定法

H0m1 = m2
独立 ↔ 対応

観察値は間隔変数以上、正規分布・等分散の仮定必要ない

1) 独立2試料無作為化検定法

2試料の平均値の比較

2) 対応2試料無作為化検定法

仮定: 2試料間で個々の観察値に対応ある = 試料間のnは等しい

I. 分布位置のずれに敏感な検定

順位和法 alternatively a distribution-free test

1. 中央値(メディアン)検定median test
2. ムードの(メディアン)検定Mood's W-test (Mood's test of variance)
→ 順序尺度以上
2母集団のある特性の分布のバラツキの大きさの違い
3. モーゼスの検定Moses test
= 尺度差の順位検定
H: 実験変数が何人かの被験者に一方向に影響し、残りの被験者には反対方向に影響する
極値の反応を対照controlの反応と比較(外れ値検出にも用いる)

この辺整理

A. 独立2群

a. 正規スコア検定 normal score test
= ファン・デル・ベルデン検定 Van der Waerden's test
順序尺度以上 n > 20
H: xa = xb (x: 母代表値) → 位置の差の検定

データに正規性仮定可能 → Wilcoxon検定より検定効率高

小さい方からi番目の標本の正規分布%点, zi

zi = Φ{i/(n + 1)} → S = Σiazi
V = n1n2/(n1 + n2)Σi=1nzi2
z0 = |S|/√V ~ N(μ, σ)
P{|z| ≥ z0} < α → reject H

b. ウィルコクソン順位和検定 Wilcoxon rank sum test
= マンホイットニーU-検定 Mann-Whitney U-test
順序(順位)尺度以上 - 順位合計から計算される独立2標本t検定(符号検定の仮定より厳しい)
差異(Ex. 同個人の異なる順位付)の大きさに意味 → 符号検定より敏感 → t検定よりType I error増加
H: Ma = Mb (標本母集団中央値) → Wilcoxon static, W

W = Σi=1n1+n2iui 小 → H棄却
u = (W - E(W))/√(V(W))d ~ N(0, 1)
E(W) = 1/2·n1·(n1 + n2 + 1)
V(W) = 1/12·n1n2·(n1 + n2 + 1)
分布形の差に鈍感 → 2試料の分布形(分散ではない!)がほぼ同じか、位置のみに差と考えられる時使用

c. ワルド・ウォルフォビッツ連検定(ラン検定) Wald-Wolfowitz runs test
n = 十分大(小なら補正か使わない)
H: 2組の独立標本は同一母集団から得た → K: 2グループは何らかの関わりのある点で異なる
何らかの点(Ex. 中心的傾向、変動性、歪度)で2母集団異なればH棄却 = 広範な種類の対立仮説検定

↔ 多くの検定: 2グループ間1特性値の差を扱う
Ex. 中央値検定 → H: Me(A) = Me(B)

d. コロモゴロフ-スミルノフ検定Kolmogorov-Smirnov test, K-S test
簡便・強力 = 2標本分布の分散・尖度に敏感
Sn1(x), Sn2(x): 実験1, 2からの相対累積度数
D = max|Sn1(x) - Sn2(x)

両側検定: 2標本が同母集団から抽出されたか否か
Dα = P(DDα) = α

Ex. N ≥ 35, P = 0.05 → Dα = 1.36·√(n1 + n2)/(n1·n2)

片側検定: 標本1が標本2より大きいか否か
→ χ² = 4D²·√(n1 + n2)/(n1·n2) (df = 2) > α → K

小標本で有効(標本サイズある程度大(n > 40) → 標本サイズ不一致でも可)

H: Da = Db (D: 標本の母集団分布) → K-S static
K = max(1 ≤ ln1 + n2)Σi=1l|Si| 大 → H棄却
v = √(n1 + n2)/n1n2 × K [解釈: ワルド・ウォルフォビッツ連検定に似る]

e. テューキー簡易検定Tukey’s pocket test (Tukey’s quick test)
= non-parametric t-test
f. 3角検定triangular test
独立2順序尺度変数間系列分析 sequential analysis → triangular sequential sampling

B. 対応2群

a. 符号検定 sing test (= 2項検定 binomial test)
順序 → 必要唯一仮定: 連続分布 (continuous distribtion)
→ 分布性質形状仮定不用
H: xA = xB, or xA - xB = 0 → 大きい割合も小さい割合も1/2
n組中r組以上が+になる確率, P

P = Σi=rnnCi(1/2)n, one-sided (P = 2Σi=rnnCi(1/2)n, two-sided)

z = {(r ± 0.5) - n/2}/{(√n)/2}
(n > 30, r < n/2 → r → 0.5, r > n/2 → r + 0.5) < Pα → accept H

z値計算 (z値有意確率 observed significance level of the test計算)

b. ウィルコクソン符号順位検定 Wilcoxon signed rank test
= matched pair test
順序尺度以上
H: xAr = xBr: 対応標本の差をとる → 差の絶対値に順位(0は除く)
→ 正負それぞれで順位和を合計し、小さい方を検定統計量Tとする

P = P(|z| ≥ z0)
z0 = |T - n(n + 1)/4|/√{n(n + 1)(2n + 1)/24}, n十分大
ウォルシュ検定 Walsh test: 間隔尺度以上。母集団正規分布仮定

II. 分布の散らばりの差に敏感な検定

1. アンサリ-ブラッドレイ検定Ansari-radley dispersion test, A-B test
仮定: 2つの母集団分布位置は等しい H: sA2 = sB2 → A-B統計量, A

A = Σi=1Niui + Σi=N+12N(2N - i +1)ui = W + Σi=N+12N(2N - i +1)ui
u = (A - E(A))/√V(A)~ N(0, 1) → 仮説支持

2. カイパーKuiper検定
2母集団分布f(x), g(x)の位置は等しい(K-S testの変形)
H: 2標本の分布の形は同じ → カイパー統計量, K

K = max1 ≤ ln1+n2Σi=1lSi - min1 ≤ mn1+n2Σi=1mSi = K1 - K2

3. サベジ検定Savege test
仮定: 2母集団分布の散らばりの程度は(大体)等しい - 既知
H: f(x) = g(x) → → サベジ統計量, HK

HK = {W - E(W)}2/V(W) + {A - E(A)}/V(A) ~ χ2(df = 2) → 仮説支持

分散分析 analysis of variance, ANOVA


実験計画法 design of experiments, experimental design

Def. 要因: 従属変数に影響しそうな複数独立変数 → 少数要因に絞り他はできる限り統制し少数要因効果検討
因子 element: 比較したい特性(n因子実験)
実験計画事前決定事項
  • 反応効果測定方法
  • 反応効果影響因子と因子数
  • 反復replication数
  • 検定種類
三原則
完全無作為化法completely randomized design = 1, 2の条件を満たすもの
  1. 反復 replication: 推定値誤差は反復により減少 → 同一水準に2回以上の標本(の反復)必要
    = 精度clarity増加 Ex. 標本数増。測定誤差減
  2. 無作為化: 観察者差による偏り等の系統的誤差を排除 = 比較可能性comparabilityをあげる
    バイアス(偏り) bias → 排除方法 Ex. 無作為化、二重盲検
  3. 局所管理 local control: 各ブロックを均一管理
Def. ブロック block: 一連の系統的誤差発生要因を1まとめにしたもの(層別試料抽出法で階層と同様に分けた群)

ブロッキングblocking = 層別抽出法
一般化 generalizability 可能性保証

Ex. 適格基準・除外基準設定、交互作用解析、サブ群解析

設定条件: 対照群 control group
  • 絶対条件: 陽性対照群-無処理群 → 実験成立(= 効果あり)の確認 = 感度sensitivity
  • 必要条件: 実験対照群-無処理群 → 実験成功 = 有効性efficacy
  • 十分条件: 実験対照群-他処理群 → 他処理との比較 = 同等性(優越性) equivalence (superiority)

分散分析 (ANOVA)

平均値間の有意差検定に分散比較をするのが名前の由来
s.s.: 1変量分散分析 (2群 = 2標本t検定と同)
s.l.: One-way ANOVA + ANCOVA + MANOVA + general multivariate analysis of variance (GMANOVA)
Def. 水準, k: 因子段階を複数に明示したもの
Def. サンプルデザイン sampling design
  1. 釣合型デザイン balanced design: 各水準標本数全て等しい
    a' 釣合型不完備ブロック balanced incomplete blocks design, BIBD
  2. 非釣合型デザイン unbalanced design: 各水準標本数が必ずしも等しくない (補完で解決 → 釣合型)
原理: 水準間変動 VA と誤差変動 VE を比較
仮定: 測定値xij = 因子主効果 + 誤差効果
xij = μi + eij (i = 1, 2, …, k. j = 1, 2, …, n)
= μ 一般平均(母集団平均) + αi 水準効果 + eij 誤差 error

μ = (1/kΣi=1kμi,
αi = μiμ,
Σi=1kαi = 0, eijN(0, σ2) [μ: 母集団全体の平均, eij ~ N(0, σ2)]

mxi = μ + αi + ei, ei = 1/n·ΣeijN(0, σ2/n)
mx = μ + me, me = 1/kΣi=1kei = 1/(kn)Σi=1kΣj=1neij
xij = mx + (mximx) + (xijmxi)
xijmx = (mximx) + (xijmxi), Σ(xijmxi) = 0
Def. 偏差平方和 sum of squared deviation, S
S = ΣiΣj(xijmx)2 = ΣiΣj(mximx)2

+ 2ΣiΣj(mximx)(xijmxi) + Σij(xijmxi)2

__= nΣi(mximx)2 + ΣiΣj(xijmxi)2
Def. 全体(偏差)平方和, STΣiΣj(xijmx)2
Def. 処理平方和, SAnΣi(mximx)2
Def. 誤差平方和, SEΣiΣj(xijmxi)2
Th. 平方和 sum of square の加法定理 (平方和分割 decomposition of sum of squares): ST = SA + SE
Th. 平方和自由度の加法定理: fT = kn – 1 = k – 1 + kn = fA + fE

残差平方和自由度, fE

= (偏差総個数) – (偏差間に成り立つ制約条件数)
= knk = k(n – 1)
→ 制約条件: 各iについてΣj=1n(xijmxi) = 0

処理平方和自由度, fA = (因子水準数) – 1
全体平方和自由度, fT = kn – 1, (ΣiΣj(xijmx) = 0)

各平方和の期待値

処理平方和期待値 E(SA), 残差平方和期待値 E(SE), 水準間分散期待値 E(VA), 誤差分散期待値 E (VE)
E(SA) = E{nΣi(mximx)2} = E{nΣi(αi + meime)2}

= n[Σiαi2 + 2ΣiαiE(mei - me) + E{Σi(meime)2}]

eijN(0, σ2), meiN(0, σ2/n), meN(0, σ2/kn)

Def. 不偏分散 unbiased variance, E(x)
(平均平方 mean square, 分散と呼ぶこともある)
E(x) = 偏差平方和/自由度

E(mei) = E(Σi(meime)2/(k – 1)) = σ2/n
E(Σi(meime)2) = (k – 1)·(σ2/n)

E(meime) = meme = 0
set σA2 = 1/(k – 1)Σiαi2 (= 処理効果 αi の分散)

E(SA) = n(k – 1)σA2 + (k – 1)σ2 = (k – 1)(nsA2 + σ2)
E(VA) = E(SA/(k – 1)) = nsA2 + σ2
E(SE) = E(ΣiΣj(xijmxi)2) = ΣjE{Σi(eijmei)2}

E(Σi(eijmei)2/(n – 1)) = E(eijの不偏分散)

E(SE) = E(SE/(k(n – 1)) = σ2
Def. 平均平方誤差 mean square error, MSE

H: 水準間分散VA, 誤差分散 VE

VA = VBαi = 0, i = 1, 2, …, k
SA/σ2~χ2(fA), SE/σ2~χ2(fE)

Def. 分散比 variance ratio, F = VA/VE

F = (SA/(σ2fA))/(SE/(σ2fE)) = (SA/fA)/(SE/fE) = VA/VE~F(fA, fE)

→ 1) eij: 正規性ある、2) VA, VEは独立
バートレット・ボックスのF, Bartlett-Box F

表. 1元配置分散分析表 table of one-way analysis of variance         
要因    平方和S         DF          分散V   分散比F          分散の期待値
因子A   SA                fA=k-1      VA       F=VA/VE         σ2+A2
誤差E   SE                fE=k(n-1)  VE      F(fA/fE)と比較                        
全体T   ST=SA+SE   fT=fA+fE                                                            
Ex. A1, A2, A3, A4の睡眠薬の効果比較

12人を3人ずつ4組に分け、薬を与え睡眠時間を計る ⇒

一般平均 = バラツカナイ部分 = 総平均 = 15, k = 4, n = 3
薬効果 xij = 総平均 + 薬効果によるバラツキ(aj) + 誤差によるバラツキ(eij)

反復 A1 A2 A3 A4  全体  a1  a2 a3 a4     e1 e2 e3 e4
   1   18 20 12 14           +1 +3 -2  -2     +2 +2 -2 +1
   2   17 19 15 13           +1 +3 -2  -2     +1 +1 +1  0
   3   13 15 12 12           +1 +3 -2  -2     -3  -3  -1  -1
平均 16 18 13 13    15

全体(偏差)平方和 = 32 + 22 + (-2)2 + … + (-3)2 = 90
処理平方和 = 3 × {12 + 32 + (-2)2 + (-2)2} = 54
誤差平方和 = 22 + 12 + (-3)2 + … + (-1)2 = 36
F0.05(3, 8) = 4.066 > F = (54/3)/(36/8) = 4.0
→ Accept H, 薬の効果に差はない

乱塊法 (層別無作為配置法) randomized block design (method)

ブロック・ランダム化法 block randomization
= 交互作用なし二元配置分散分析
データ構造模型: xij

= μ (一般平均) + ai (処理効果 treatment effect)

+ bj (ブロック効果) + eij (誤差)

測定値: xij

= mx[一般平均] + (xi(A)x)[処理効果]

+ (xj(B) - x)[ブロック効果] + (xijxi(A)xj(B) + x)[誤差]

因子 factor A: mxi(A) = Ti(A)/r → 第i水準(平均)推定値 Ti(A) = Σj=1rxij
ブロック block B: mxj(B) = Tj(B)/k → 第j水準(平均)推定値 Ti(A) = Σj=1kxij
全体: mx = T/(kr) → 一般平均μ推定値

T = Σi=1kΣj=1rxij = Σi=1kTi(A) = Σj=1rTj(B)

ここで Σi(mxi(A)mx) = 0, Σj(mxj(B)mx) = 0,

Σj(xijmxi(A)mxj(B) + mx) = 0

平方和 ΣiΣj(xijmx)2

= ΣiΣj{(mxi(A)mx)2 + (mxj(B)mx)2 + (xijmxi(A)mxj(B) + mx)}2
= ΣiΣj(mxi(A)mx)2 + ΣiΣj(mxj(B)mx)2

+ ΣiΣj(xijmxi(A)mxj(B) + mx)2

Th. 平方和の加法定理: ST = SA + SB + SE

全体の平方和: ST = ΣiΣj(xijmx)2

df = fT = kr – 1

処理平方和: SA = ΣiΣj(mxi(A)mx)2 = rΣi(mxi(A)mx)2

df = fA = k – 1

ブロック平方和: SB = ΣiΣj(mxj(B)mx)2 = kΣj(mxj(B)mx)2

df = fB = r – 1

残差平方和: SE = STSASB

df = fE = (k – 1)(r – 1)

Th. 自由度も加法定理成立:

fT = kr – 1 = (k – 1) + (r – 1) + (k – 1)(r – 1) = fA + fB + fE

不偏分散の期待値

E(SA) = (k – 1)(σ2 + A2), E(SB) = (r – 1)(σ2 + B2)
E(SE) = (k – 1)(r – 1)σ2

(Σi=1kαi = 0, Σj=1rβj = 0, eijN(0, σ2),
σA2 = 1/(k – 1)Σαi2, σB2 = 1/(r – 1)Σβj2)

ブロック配置 法block design
全体は、それぞれ因子Aの第i水準aiとブロック因子Bの第j水準bjの平均

HA: 処理間に差ない → αi = 0, i = 1, 2, …, kσA2 = 0
HB: ブロック間に差ない → βj = 0, j = 1, 2, …, rσB2 = 0
F = VB/VE ~ F(fB, fE)

表. 分散分析表(乱塊法)
要因     平方和 S        df             不偏分散 V      分散比 F   分散の期待値
処理 A       SA        fA = k - 1               VA             VA/VE        σ2 + A2
ブロック B  SB        fB = k(n - 1)           VB             VB/VE        σ2 + B2
残差 E       SE        fE = (k - 1)(r - 1)    VE                               σ2               
全体 T    ST = SA + SB + SE      fT = fA + fB + fE                                       

要因実験(計画) factor analysis

要因効果を評価できる実験計画
交絡 confound: 処理反応を歪める、見かけ上の関連を生じさせる第3の因子(撹乱因子 nuisance factor)

処理 treatment → 反応 response
___↖ 交絡 confounding ↗

Ex. 日本: 血圧-給料 → 有意な正の相関

→ 交絡 = 年齢 - 年功序列社会因子: 血圧・給料は年齢と共に上昇

交絡除去方法: 実験段階 = 完全無作為化法、解析段階 = 調整解析 adjusted analysis
交互作用 interaction
ある因子が他の因子と互いに相乗的(相殺的)に効果を及ぼすこと

anova

プーリング pooling: 効果が有意でない要因を誤差項へ入れる → 主に交互作用を用いるために使用

→ 判断は第2種の過誤を避けるため、経験的には水準20%程度で行う(理論未確立)

n2要因実験

2因子A, Bの要因(= n2)効果を調べる実験計画
22要因実験
主効果 main effect: 交互作用を取り去った効果
要因効果: 主効果 + 交互作用
表. 繰返し(交互作用)のない要因実験

要因: E(S), df, E(V)
A: (k – 1)(σ2 + A2), k – 1, σ2 + A2
B: (r – 1)(σ2 + B2), r – 1, σ2 + B2
E: (k – 1)(r – 1)(σ2 + σA×B2), (k – 1)(r – 1), σ2 + σA×B2
Total: r(k – 1)σA2 + k(r – 1)σB2 + (k – 1)(r – 1)σA×B2 + (kr – 1)σ2, kl – 1

表. 分散分析表(2因子実験) = 2元配置分散分析 – 交互作用あり
anova

a)  B1 B2 B3
A1 C1 C2 C3
A2 C3 C1 C2
A3 C2 C3 C1
b)   B1      B2     B3     B4   
A1 C1D1 C2D3 C3D4 C4D2
A2 C2D2 C1D4 C4D3 C3D1
A3 C3D3 C4D1 C1D2 C2D4
A4 C4D4 C3D2 C2D1 C1D3

方格
実験回数を減らす方法 – 因子水準は全て同じ
a) ラテン方格(方陣) Latin square: 3水準3因子実験: 9回の実験 → 2元配置では33回実験必要
b) グレコ・ラテン方格(方陣) (オイラー方格): 4水準4因子実験: 16回の実験

→ 2元配置では44回実験必要

c) 直交表(直交配列表) table of orthogonal arrays: 方格拡張

→ 直交配列を一覧表に整理したもの

ラテン方格 → グレコ・ラテン方格

k水準の因子ではk - 1個の因子までを二元配置に組み込めk = ps
(pは素数、sは正整数)時にはこの組み込み可能な配置が存在
互いに直交する完全配置: k水準の因子がk - 1個まで調べられる配置が得られる配置

→ 実験計画法で利用される直交配列(配置)とよばれる配置のもと

多因子要因実験(多要因実験) factorial experiment
多元配置 factorial design
枝分れ(配置)分散分析, 巣篭もり型分散分析 nested (designs) ANOVA

ノンパラメトリック検定 (non-parametric test)


分布によらない検定 distribution-free test
パラメトリック検定: 仮定 = 分布(多くは正規分布) + 等分散性
ノンパラメトリック検定: 母集団分布に関わらず適用できる検定手法群の総称 → 分布型仮定ないが等分散仮定

順位相関 rank correlation

同順位(タイ)tie (tied rank)の調整(Siegel & Castellan 1988)
スピアマンの順位相関 Spearman's rank correlation (r or rs)
Spearman's rank correlation coefficient, r = 1 – 6/(n3n)Σi=1n(xiyi)2

n個の対応データを順位付け並べた順位対から計算される相関係数
全体に渡る評価となるのが特徴

Pr. x = y = (n + 1)/2, sx + sy = (n2 - 1)/12

r = (sx + sy + sxy)/(2sxsy) = [2(n2 – 1)/12 – sxy2]/[2(n2 – 1)/12]

= 1 – (6xy2)/(n2 – 1)

sxy2 = 1/n·Σi=1n{(ximx) – (yimy)}, mx = my
sxy = 1/n·Σi=1n(xiyi)2, (x1, y1), (x2, y2) … (xn, yn)

変量x, yの分散:

sxy2 = 1/nΣi=1n{(xiyi) – (mxmy)}2

= 1/nΣi=1n{(ximx) – (ymy)}2

sxy = sx2 – 2sxy + sy2, (m(xy) = 1/nΣi=1n(xiyi) = mxmy)

= 1/nΣi=1n(ximx)2 + 1/nΣi=1n(yimy)2 – 2/n(ximx)(yimy)
= sx2 – 2sxysy2

測定値 1, 2, 3, …, n, mx = (n + 1)/2
s2 = 1/nΣi=1n{(n + 1)/2 – i}2 = (n2 – 1)/12

(∵ 1/nΣi=1n{(n + 1)/2 – i}2 = 1/nΣi=1nxi2mx2)

= 1/6·(n + 1)(2n + 1) - (n + 1)2/4
= 1/12(n + 1){2(2n + 1)-3(n + 1)}
= 1/12·(n + 1)(n - 1)

Ex. {x: 1, 2, … n}, {y: n, n – 1, … 1} → r = -1

r = 1 – 6/{n(n2 – 1)}·Σi=1n(xiyi)2

2. ケンドールの順位相関 Kendall's rank correlation, τ
Kendall's rank correlation coeffcient, τ
xiに順位 → yixiの順に並べる

→ 各iyi < yj (j > i)となる個数をPi, yi > yjとなる個数をQi
S = ΣPiΣQi, τ = S/{n/2·(n – 1)}
Spearman's rより合理的とする (石井 1975)

2'. ソマーズの関連指数 Somers's index of association, d
Somers's dτに関連した非対称指数
3. グッドマン・クラスカルのγ Goodman and Kruskal's γ
4. サイルの検定 Theil's slope coefficient test
imcomplete method
5. フィッシャー・イェーツ・テリー・ヘフディングの検定 FYTH test
= Fisher-Yates-Terry-Hoeffding test
2標本順位尺度
6. コーナーテスト(片すみ検定) corner test

オルムステッド・テューキー検定 Olmstead-Tukey's test: Olmstead-Tukey corner test of association

差 difference

I. 分布位置のずれに敏感な検定
順位和法 alternatively a distribution-free test
1. 中央値(メディアン)検定 median test
前提 → f(x), g(x)分布形は等しい(サンプルサイズ大 → 検定効率低)

各変数に基づく観測値順位付け(順序尺度)と、変数間差順位付け尺度(順序距離尺度) (Coombs 1950)
n = even →

x(1) ≤ … ≤ x(r)x(r+1)x(r+2) ≤ … ≤ x(2r), (x(r) + x(r+1))/2 = xme

n = odd →

x(1) ≤ … ≤ x(r)x(r+1)x(r+2) ≤ … ≤ x(2r+1), x(r+1) = xme
---- n1 = r -----________-------- n2 = r --------

2標本集団 f(x) = (x1, x2, … xn1), g(x) = (y1, y2, …, yn2)
→ 大きさ順に並べる: z(1)z(2) ≤ … ≤ z(n1+n2)
i番目位置標本 z(i)

Si, ui = 1, z(i) ∈ {x1, x2, …, xn1}. Si = –1, or
ui = 0, z(i) ∈ {y1, y2, …, yn2} (l = n1 + n2)

2. ムードの(メディアン)検定 Mood's W-test
3. モーゼスの検定 Moses test

今後の課題

1) 頑健性(ロバストネス) robustness
ある統計手法が仮定条件満たずとも妥当な結果を与えること

Ex. t検定 → 仮定

1) 母集団正規分布
2) 等分散
→ 1が満たされずとも頑健性持つが2に頑健でない

完全頑健性(ロバストネス) completely robustness
許容度 tolerance (許容的admissible): 制約が少ない度合い

Ex. 許容的検定、許容的推定量

2) 不等分散性
どのように考えるか → 実際に不等分散データは多
→ 通常検定適用 → Type I, II errorが起こり易い

不等分散性無視できない影響 Ex. U検定、相関

不等分散性が検定等に誤りをもたらすケースをカテゴリー分類
不等分散性対処法(統計的方法だけでは対応できないこともある)
生態学: 出現しやすい不等分散性のパターン、見逃されやすい不等分散性のパターン

ノンパラメトリック分散分析


等分散性成り立たないか標本数が異なる時に頑健

A. 変数間対応関係あり

1. コクランのQ検定 Cochran's Q test
条件: 名義尺度変数 → 処理間の比率の差を検定(拡張マクネマー検定)
2. フリードマン分散分析Friedman's ANOVA ()
= フリードマン検定 Friedman's test
分布の平均の違いを検出 ↔ 分布形は見ない

B. 変数間対応関係なし(独立)

1. χ²検定 (χ²-test)
名義尺度
2. クルスカル-ウォリス検定 (Kruskal-Wallis (ANOVA by rank) test)
= K-W ANOVA, H-test, or non-parametric ANOVA

H: Amed/dist = Bmed/dist - 解釈: 順位以外はparametric ANOVAと同

3. ヨンキー・タプストラ検定 Jonckheere-Terpstra test
群間に順位があればK-W検定より有力

H: m1m2 ≤ … ≤ mn → 群標本平均に順位

4. (拡張)メディアン検定 median test
分割表からの計算で組み立て (K-W ANOVA簡易版)

H: 全標本は同じ中央値を持つ母集団 - 各標本全ケースの50%が共通中央値の上(下)に入る
尺度制限があり、多ケース値がその尺度の端点(尺度から外れる) → 標本比較の唯一適当な方法

多重比較 multiple comparison (contrast)


1実験で多数(2以上)比較を行なうとき、実験全体で第1種の過誤を有意水準以下に制御する統計手法の総称
→ 多群間比較に2群間比較方を繰返し用いることはできない

2群比較___処理群___多重比較 [ABCD群: 同じ母集団に属す]
A (control) → B_______A1B
_________C_______A2C
_________D_______A3D

Case 1: A = 母集団から外れたサンプル

A-B, -C, -D全て有意となる可能性高 = 過誤を3回犯す
A1-BA2-CA3-Dとし検定
A1, A2, A3揃って母集団から外れる確率小
→ 言い過ぎをしない工夫

Case 2: 危険率5% ⇔ 有意差がでない確率 = 1 - 0.05

全て有意差が出ない確率 = (1 - 0.05)3 ⇔ 逆に有意差が出る確率は1 - (1 - 0.05)3 = 0.142

多重性問題対処法

1. 検定数減らす: 主要評価項目設定

サブ群解析: 層別効果推定、交互作用解析に重点。サブ群毎検定結果は参考程度とすべき

2. 検定優先順位をつける → 上位検定で有意さなければ下位検定不用
3. 分散分析(有意水準制御) → 多重比較法使用

包括帰無仮説 overall null hypothesis: A = B = C
部分帰無仮説 subset null hypothesis: A = B, B = C, C = A → 多重比較
→ 部分帰無仮説族(ファミリー) family of subset null hypothesis: 部分帰無仮説の集合 – 様々な集合がある

対毎の検出力 per-pair power

Type I familywise error rate (TI FEW): 各ファミリーの有意水準

→ 正しい帰無仮説のうち少なくとも1 つが誤って棄却される確率

保守的 conservative: TI FWEが有意水準よりも小さい

↔ TI FWE > 有意水準 → 検定は多重比較法として不適切 [重要]

H{AB, BC, CA}, H{AB, AC} → 多重比較法決定 = 部分帰無仮説族決定

Ex. 経時測定データ: 経時型分散分析 "群 × 時点" 交互作用有意 → 時点ごと群間比較

多重比較に見られる3つの過誤
  • 第I種の過誤 type I error: 実際には差がないのに有意差ありと判定
  • 第II種の過誤 type II error: 実際には差があるのに有意差無しと判定
  • 第III種の過誤 type III error: 実際には正(負)の差があるのに,有意な負(正)の差があると判定
スチューデント化された範囲統計量 studentized range statistic, q
多重比較でよく使用 → スチューデント化された範囲 studentized range

外れ値検出に使われる (Cp. t検定 → t分布)

スチューデント化 studentization: z = (x - μ)/σ

z: (Student化した)標準化得点
スチューデント化された最大偏差 studentized maximum deviation

多重比較法

多数存在 → 理論未確立 → 明らかに誤った方法以外はどれが正しいとは言えないのが現状

A) パラメトリック法 (1)

正規性・等分散性・(独立性)仮定満たす
a. Tukey family
全群間同時比較

(Tukey 1953)

a1. Tukey's test
= honestly significant difference test, HSD, Tukeyのa法, Tuekyのq検定)
条件: 群間標本数同じ → 各群母分散同じ。検出力高(= 有意差出易い)

H0(i, j): μi = μjF = {H(1, 2), H(1, 3), …, H(1, n), H(2, 3), …, H(n – 1, n)}

水準数 = n, 反復数 = k
群内平均 = 算術平均
誤差分散の自由度 f = 各群の(反復数 – 1)の総和,

fR(A) = Σi=1n(ki – 1) = Σi=1nkin

誤差分散の平方根 = 群ごとの偏差平方和,

Si = Σj=1kixij2 – (Σj=1kixij)2/ki

誤差の平方和, SR(A) = Σi=1nSi
誤差分散, MS = SR(A)/fR(A) → ANOVA実行してれば計算済み
誤差分散の平方根, s = √(MS)
標準誤差, Sxavg = √(MS/k) = s/√k
Q-value = Q(n, f,; α). α, 棄却率
D-value, Dα = Q(n, f,; α) × Sxavg
→ |μcμr| > D → reject H0

群 (データ): 合計, 平均, 二乗和
A (30 33 32 36 38 29 31): 229, 32.71, 7555
B (38 29 32 31 32 37 28): 227, 32.43, 7447
C (28 26 22 30 27 28 29): 190, 27.14, 5198
D (27 28 23 25 20 19 22): 164, 23.43, 3912

fR(A) = 28 – 4 = 24
SR(A) = (7555 – 2292/7) + (7447 – 2272/7)

+ (5198 – 1902/7) + (3912 – 1642/7) = 259.71

平均           A         B         C     
               32.71  32.43  27.14
B  32.43    0.28   5.57*   9.28**
C  27.14              5.29*   9.00**
D  23.43                         3.71   

MS = 259.71/24 = 10.82
s = 3.29 → Sxavg = 3.29/√7 = 1.24
Q(4, 24; 0.05) = 3.9013, Q(4, 24; 0.01) = 4.9068

D0.05 = 1.24 × 3.9013 = 4.837, D0.01 = 1.24 × 4.9068 = 7.084

a2. Tukey-Kramer test (修正HSD test)
群間データ数不一致可(標本数に開きがある時使用)。検出力高
Tukey's testで群内平均を調和平均で求めることで、異なる標本数に対応したもの
a3. Tukeyのb法
= wholly siginificant difference test, WSD test
a4. Tukey-Welsh test
a5. Spjotvoll-Stoline検定
群間データ数不一致用に補正されたテューキーのHSD検定 (Spjotvoll & Stoline 1973)
b. Dunnett's test
逐次棄却型検定法
対照群-実験群 experimental group (多群)間対比較

[群間データ数不一致可] → 順位検定

H0: mc = mr1, mc = mr2, …, mc = mri, …, mc = mrp,

k = 1 (control) + p (references)

fR(A) = Σi=1k(ni – 1) = Σi=1kni - k
Si = Σj=1nixij2 – (Σj=1nxij)2/ni
SR(A) = Σi=1kSi
MS = SR(A)/fR(A)
t1i = (x1avgxiavg)/√{MS × (1/n1 + 1/ni)}
Case a) 実験群数同じ ρ = n2/(n2 + n1)
Case b) 実験群数異なる

i) λi1 = ni/(ni + n1), i = 2, 3, …, p
ii) ρij = √(λi1λj1)
iii) ρijの算術平均をρとする

検定値はd(k, f, ρ, α) → |t1i| ≥ d(k, f, ρ, α) → reject H0

Ai (Mi): 総和、二乗和、平均
A1 (10 7 9 8 6 9 8 11 10 8 8): 84, 724, 8.400
A2 (8 8 9 10 8 9 9 10 12): 75, 715, 9.375
A3 (8 11 12 12 10 11 13 9 10): 88, 980, 11.000
A4 (8 13 12 12 11 14 12 11 10): 95, 1139, 11.875

fR(A) = 34 – 4 = 30
SR(A) = 724 – 842/10 + 715 – 752/8 + 980 – 882/8 + 1139 – 952/8

= 53.15

MS = 53.144/30 = 1.77
t12 = (8.4 – 9.375)/√{1.771 × (1/10 + 1/8)} = -1.545,

t13 = -4.119, t14 = -5.505

ρ = 8/(8 + 10) = 0.44 →

d(4, 30, 0.44; 0.05) = 2.485, d(4, 30, 0.44; 0.01) = 3.161

t13, t14 → reject H0
b1. ウィリアムズ検定 Williams test
Dunnett's testに似るが順位想定できる
群間に単調性(順位)想定(用量相関) = 片側検定 → 検定結果に群間順序が反映される

Ex. 温度: 高 > 中 > 低 → 3群順位づけ(経時的測定データに適応困難)

c. ホッホベルグのGT2 (Hochberg's GT2
d. ペリ検定 Peritz検定
e. シェッフェ検定Scheffe's test
全群間比較(多群間中特定群間比較不可) (Scheffe 1953)
線型対比 linear contrast
厳しく有意差を求める = Dunnett testと比較し過度に保守的 (Winer 1971)
f. ガブリエルの1対比較検定 Gabriel's pairwise comparison test
g. ホテリングのT2, Hotelling's T2

B) パラメトリック法(2)

正規分布に従うが等分散性仮定できない
a. ガイムズ・パウエル検定 Games-Howell pairwise comparison test
= G-H test (Games & Howell 1976)
→ Tukey's testの拡張
Welch統計量
b. ダネットのC (Dunnett's C)
ダネットのT3 (Dunnett's T3): Cよりも標本数が少ないときに向く
標本サイズが異なる群間比較には不向き
c. タムハーン Tamhane法
Welth統計量を使う (Tamhane 1977, 1979)
タムハーンのT2 (Tamhane's T2)

C) ノンパラメトリック検定

母集団正規性・等分散仮定しない (パラに対するノンパラは全てある!)
小標本(n < 10) → ノンパラ多重比較すべきでない
a. スチール順位和検定 Steel's test
順位検定 = nonparametic Dunnett's test
U-testとほぼ同様な検出力
b. スチール・ドゥワス法 Steel-Dwass test
= nonparametric Tukey's test
順位を用いた多重比較 (overall null hypothesis test)

H0: M1 = M2 = … = Mi = … = Mn
マンホイットニーU検定を3群以上の標本に拡張

c. ノンパラメトリック Tukey-Kramer検定
= Turkey-Kramer's HSD test
d. シャーリー・ウイリアムズ検定 Shirley-Williams test
= nonparametric Williams test
e. Brown-Forsythe test
BF test (Brown and Forsythe 1974)
Scheffe test修正 → Scheffe tesより不等分散性に頑健
対比較ではGames-Howell法やTamhane法の方が高検出力
→ 状況により使い分け必要
f. ヨンキーの傾向検定 Jonckheere test
用量相関性(トレンド)の検定 (Joncckheere 1954)
3群以上の場合の順位による検定
g. ボンフェローニ検定 Bonferroni test
= ボンフェローニ多重比較 Bonferroni's multiple comparison
比較回数倍だけ危険率を厳しくする(Wallenstein et al. 1980)

Ex. α, n回比較 → α/n%点を用いる (ボーンフェローニ修正 Bonferroni correction)

標準誤差は比較2群データから計算するのでなくn群全体から計算した(プールした)標準誤差
≥ 5群で用いない(検出力極端に落ちる)
Sequential Bonferroni: 高検出力, α ≤ α/(1 + ki), i: i番目の比較

→ Type II error増える

Bonferroni法: ボンフェローニ不等式Bonferroni's inequalityに基づくステップワイズ多重比較

論文作成時: 方法のタイプと何群中で何回比較がなされたかを明示

Dunnett型/Scheffe型比較でき多群中特定組合せ比較も可能

D) ステップダウン法(下降手順) stepdown method

↔ ステップアップ法(上昇手順) stepup method
アルゴリズム: 1帰無仮説を検定 → 結果を元に終了を含む次ステップを選択

→ 仮説の階層性hierarchy – ファミリーfamily

Ryan-Einot-Gabriel-Welsch's F (R-E-G-W F)
Ryan-Einot-Gabriel-Welsch's Q (R-E-G-W Q)
Dunnettの逐次棄却型検定法
Closed testing procedure

(永田・吉田 1997)

多重比較不適切方法

全てTI FEWを有意水準以下に抑えられないのが理由
制限付最小有意差検定 (= Fisher's PLSD or LSD, protected least significant differendce method)

最小有意差 least-significant difference (LSD): 4群以上の差の比較には適用できない(= 3群のみ)
古典的 post hoc – 不適証明済 → 有意差出やすい。各群標本数等しくないとtype Iエラー大

→ [拡張] 無制限最小有意差検定 unprotected least significant difference method, unprotected LSD

Type I error増加を相関行列元に最小限プロテクション → t検定と原理同 = 多重比較使用不適

Newman-Keuls test (Student-Newman-Keuls test, S-N-K test)

各処理水準平均値を大きさ順に並べターキー法を逐次的に行う

ダンカン(多範囲)検定 Duncan's (multiple range) test
→ 改変: Waller-Duncan's t-test: やはり不適切

逐次的全群間対比較 = t検定と似た性質 → 全体有意水準が名義水準を越えるため使用しない

[ 序列化 ]

多変量解析 (multivariate analysis)


多変量: 変量数 ≥ 3 → 多次元変量間関係を分析
分析目標
全個体を通し(母集団)変数間の平均的関係を示す

= 各変数のある意味での重要性等評価 = 平均的変数間関係と共に、個体間差(個体群間差)を表わす

多次元データ統計分析法共通部分: 全統計分析で検討すべき

数量化理論 quantification method

質的変数カテゴリに数量与えた多次元的解析(日本特有) (林 1993)
質的(定性的)データ(= 名義尺度 + 序数尺度)の数量的取り扱い理論
質的データ → 数量把握時に独自の問題 → 解決のため各種分析法提案
数量化法
異質性因子 heterogeneity factor
外的基準 outside variable (external criterion = 予測(説明, 従属)変数 predictor variable (慣例でこう呼ぶ)
  1. 各ケース属する群が事前に判明し群を表す変数にその情報が納まる
    Ex. 「胃癌群」と「胃潰瘍群」の様に臨床的診断に基づき分類される
  2. 各ケースのある変数のとる値が測定され、その変数のとる値は他変数から予測できる
外的基準ある → 回帰分析の目的変数等 Ex. 数量化I, II類
外的基準ない → データ分類を目指す Ex. III, IV類
数量化I類 quantification method I
連続変数から従属変数予測 = ダミー変数dummy variableによる重)回帰分析
y = a1x1 + a2x2 + … + anxn + ε

x1xn: 説明変数(アイテムitem)
ε: 誤差
a1an: カテゴリ得点 - 各アイテムの影響度

数量化II類
カテゴリーデータを説明変数とし群判別 = ダミー変数を用いた判別分析
数量化III類
= 双対尺度法 dual scaling, 対応分析
カテゴリーデータに基づきケースと変数をまとめる
= ダミー変数による主成分分析 → 使用変数が間隔尺度以上 = 主成分分析
数量化IV類
類似度行列から対象二次元配置求める - 任意基準による類似度行列使用(類似度行列は非対称行列可)。類似方法に主座標分析

プロフィールデータを分析対象とした他数量化と異なり、アイテムiとjの親近性からアイテム間関連分析を行う - 非多次元尺度構成法に対応する分析と考えてよい

表6.2 多変量解析の分類。* 判別分析 = 名義尺度が説明変数、計量尺度である多変数が目的変数(基準変数)とする方が妥当だが従来の分類に従う
  手法名          基準変数         説明変数       潜在変数   
  尺度            名義       計量  名義      計量 名義  計量
  重回帰分析      -          1     -         多数  -    -
  共分散分析      -          1     多数      多数  -    -
  分散分析        -          1     多数      -     -    -
  数量化I類       -          1     多数      -     -    -
  多変量回帰分析  -          多数  -         多数  -    -
  正準相関分析    -          多数  -         多数  -    -
  (線形)判別分析  1(2分類)*  -     -         多数  -    -
  重判別分析      1(多分類)* -     -         多数  -    -
  ロジスティック  1(2分類)   -     -         多数  -    -
    回帰分析
  多項ロジスティ  1 (多分類) -     -         多数  -    -
    ック回帰分析
  数量化II類      多数       -     1(多分類) -     -    -
  主成分分析      -          -     -         多数  -    -
  数量化III類     -          -     多数      -     -    -
  因子分析        -          多数  -         -     -    多数
  クラスタ-分析   -          多数  -         -     多数 -
  数量化IV類      多数       -     -         -     多数 -
  潜在構造分析    多数       -     -         -     多数 -

多変量分散分析 multivariate analysis of variance, MANOVA

群間比較実験計画

Ex. 複数従属変数(各教科成績)が複数教科書の違いに影響を受けるか

誤差分散/共分散行列: 効果による分散/共分散行列 – 比 → 多変量F値(Wilks's λ)
従属変数間に関係あれば、分析上考慮必要で分散比の代わりに分散共分散比を用いる
2従属変数が同測定値 → 情報加わらないが、相関関係あっても異なる2測定値なら新情報を得られる

Ex. 全体有意差 (Ex. 教科書効果)検出 → 数学、物理、双方同時に関係する効果確認

主効果・交互作用効果に対する多変量検定で有意差得た後、各単一変数に対し分散分析(F検定)利用し各変数に対する効果を確かめるやり方が一般的
共分散比 covariance ratio
ステップダウンstepdown MANOVA (ロイ・バークマンステップダウンF検定 Roy-Bargman stepdown F test)

共分散分析 (analysis of covariance , ANCOVA)


複数従属変数回帰分析と分散分析を1以上の因子変数か共変量を使い実行
因子変数:

Ex. 従属変数平均値が各群内で同じかを検定するためケース群を定義する独立変数

共変量 coariate: 実験計画では連続型因子を指しSEを小さくし実験感受性を高めるため使用

→ 因子変数から母集団を群分割
実験は因子に管理され因子追加によりSEを小さくし検出力(感受性)増す方法

従属変数同時分布を分けた群の平均値に対する因子変数効果を検定

因子同士交互作用と因子毎効果の両方を検定 + 共変量効果や共変量と因子の交互作用
独立(予測)変数 = 共変量
検定: 釣合型モデル/不釣合型モデル

従属変数 ≥ 1 → 各従属変数をもとにF近似統計量と併用し多変量分散分析

フィライのトレース Pillai's trace: 多変量有意差検定の1種
Wilks λ: 1組の多変数に対し2個以上の群の平均が同母集団のものとの仮説を検定 (0 ≤ λ ≤ 1)

= 0: 群平均に差ある ↔ = 1: 群平均に差ない(全平均が同一なら1)

ホテリングHotelling's (ローレイ・ホテリング Lawley-Hotelling)トレース trace

固有値合計に基づく有意差についての多変量検定

Roy最大根Roy's largest root
仮説検定 – 事前対比も可能
全体的F検定: 有意確率判明 → 事後 after-the-fact 検定で特定平均値間差評価(従属変数毎に個別実行)
推定周辺平均から、モデルが含むセルの予測平均値を推定し、これら平均値のプロファイル(交互作用)プロットを用い一部関係を視覚化可能

平方和積和行列 sum-of-squares and cross-products matrix

平方和 sum of squares の型

タイプI, type I (階層的分割法): モデル中で先行する項に対してだけ調整
タイプII, type II:
タイプIII, type III: 一般的。計画中にある効果の平方和を、その計画を含まないその他の効果、またはそうした効果に対して直交的な効果を対象に調整した平方和を計算
タイプIV, type IV

平方和積和(SSCP)行列

モデル効果による平方和と誤差平方和
1変量分析 → スカラー形式 → 多変量分析 → 行列形式
残差平方和積和行列(残差SSCP行列)

a) 残差SSCP行列を残差のDFで割った残差分散共分散行列
b) 残差分散共分散行列を標準化した残差相関行列
WLS重み付けにより重み付き最小2乗法分析で異なる重みを観測する際に使用変数指定でき、おそらく測定精度が異なるのを補える

Ex. プラスティック製造会社: フィルム3属性(引張強度、光沢、不透明性)測定

2種類の比率の押出と量が2種類違う添加物を試し、押出率と添加物の量それぞれ3属性測定
→ 押出率と添加物量によりもたらされる影響は個々には大きいが2要因の連関は大きくない

[ 多次元尺度構成法 ]

因子分析 (factor analysis, FA)


因子モデル factor model

固定(因子)モデル fixed model (母数モデル parametric model), FM: I型
グループ間差 → 処理効果による = 固定因子 → 固定因子用いる

反復測定repeated measuresによる分散分析(rm-ANOVA)

比較群間は「等分散か無相関」という分散分析前提条件崩れる → Type I error → [補正] Ex. Greenhouse-Geisser correction: DFにε係数(< 1)をかけ自由度小さくする

変量(因子)モデル randam (effect) model, RM: II型 → 変量因子用いる = nested ANOVA
混合(因子)モデル mixed model = FM + RM → 時に優れる

時間的/空間的自己相関存在
ブロック間設定不均一
反復測定においてサンプルの他因子変化
線形混合モデルlinear mixed model, LMM: 連続分布
→ 一般化線形混合モデル generalized linear mixed model, GLMM: LMMの離散分布への拡張

反復測定データと経時データ(= 縦断的データ)の関係

→ 経時データ ⊂ 反復測定データ
反復測定: 同一1標本から(異なる時間に)得た複数個のデータ → 多変量データ → MANOVA
球面性検定

非有意 → ANOVA分割法 有意 → εによる修正ANOVA 高度に有意 → MANOVA

経時測定データ分析
多重比較を含む
0. 避けるべきもの: 非球面誤差 → 古典的方法不可
1. 古典的方法

反復測定ANOVAとMANOVA
Greenhouse-GeiserやHUynh-Feldtによる修正ANOVA
複合対称: 誤差分散が等しく時点間の共分散もすべて等しい → F検定可
誤差球面 → Tukey test, Dunnett test可

2. 最近の方法: 混合モデル、SEMによるモデル化

因子分析

合成変数に関し全個体平均推定量から各個体標本値分散最大化
→ その種の合成変数個数最小限に押さえ標本データ全体の持つ情報を表現
→ 採択少数合成変数で標本データ全体を説明時の"誤差"が最小となる。誤差は多変量間の平均的関係を推定し誤差本来の意味を持つがズレが全個体平均からの個体標本値の偏差量であることも意味がある
目標: PCAに似るがm次元標本データを低次元(mより小)新座標軸系で表現
モデル仮定: "因子factor"という表面に出た少数変数の線形結合で説明可

因子負荷量 factor lading: 因子と項目の相関係数
共通因子(一般因子) common factor(s), h2j

複数の変数の分散を共通に説明する潜在的変数

Def. 特殊性 specificity: 個々の観測変数そのものだけに起因する分散

特殊因子(独自因子) specific factor: 各変数固有の分散

= 誤差項 ↔ 共通因子

Def. 独自性 uniqueness = 特殊因子分散 + 誤差分散
直交解: 共通因子と特殊因子は直交 = 相関0

特殊因子はそれぞれ直交
異なる共通因子は直交
→ 仮定: 推定される潜在因子は相互に無関連(相関 = 0)

斜交解: 相関 ≠ 0があることを仮定
手順
1. 因子数決定(= モデル決定)

主因子法(主因子分析) principal factor analysis, PFA: 因子中から因子負荷量が最も高くなる因子決定手法
探索的因子分析exploratory FA, EFA
[拡張] 検証的(確認的)因子分析 confirmatory FA, CFA: 因子回転の問題が生じない
アルファ因子分析 alpha factor analysis

2. 因子負荷行列推定
  1. 反復分解法 (MINRES法) (Harman & Jones 1966): 共通性communalityにrij2を使用し、因子抽出後、反復し負荷量調整を行った後、残差平方和 residual sum of squaresを基に適合度を評価
  2. 最尤因子法 (Lawley 1940, Harman 1976): 因子数既知と仮定。負荷量と共通性をデータの確率(尤度)が最大になるように推定(最大尤度法)。適合度(χ2)検定利用できる
  3. 重心法 (Thurstone 1931): 古典的方法。因子分析の幾何的アプローチ(Harman 1976, Wherry 1984)
  4. 主軸法: 各反復で共通性から固有値計算。次に共通性を抽出された固有値、固有ベクトルから計算。新共通性が相関行列対角成分になり次反復が行われ、最大反復数か共通性最小変化量より小なら終了
3. 因子軸回転と因子の意味の解釈

因子軸回転基準必要 → 回転法の違い = 回転基準の違い
直交回転 orthogonal rotation

  1. バリマックス回転 varimax rotation (varimax method): 基準に因子負荷の平方の分散を用いる
    特徴: 全因子同時に、この分散の最大解を求めるのが特徴 = 特徴を際だたせること
    ロー・バリマックス回転: 得られた因子負荷行列に対し直接バリマックス基準を満たす解を求める
    規準化バリマックス回転: 各因子負荷行列をその共通性で割ることで規準化(一般的)
  2. クォーティマックス回転quartimax rotation: 因子負荷行列各要素を2乗した行列から、その成分の総平均からの偏差の平方和を最大とする基準による回転 因子負荷量分散の分散を最大するよう回転し、因子負荷が絶対値大なものと0付近が多くなるよう回転
  3. オーソマックス回転 orthomax method (直交一般): 正確には回転法名でなはく、単純構造への変換基準をまとめて表現したときの基準

斜交回転 oblique rotation

  1. 直接オブリミン回転 oblimin method
    直接オブリミン基準: 因子パターン行列で異なる列間の共分散の和を最小にする基準
  2. プロマックス回転 promax solution: 仮説的因子構造(パターン)に近似するよう斜交回転を行う
    仮説的因子構造として、同じデータを直交回転し求めた単純因子構造を、更に強調する形で用いる

エカマックス回転 equamax rotation
ジェオマックス法 geomax method
斜交ジェオマックス法 oblique geomax method
オブリマックス法 oblimax method

4. 因子得点 factor score 推定

アンダーソン・ルビン法 Anderson-Rubin's method: 因子得点推定法

標本妥当性
= 等分散性 → 偏相関係数を見る
バートレット検定 Bartlett’s test (バートレットの球面性検定 Bartlett's test of sphericity)

群間の分散の均一性検定 [実はt検定, ANOVAは分散均一性仮定 → 本来は事前にBartlett's test必要]

複数群が共通因子有する → 他変数の線形効果除去時に変数同士の偏相関係数↓
→ 偏相関は、その場合に独自因子間の相関となる → H: 独自因子なら相関ない

正規分布からの逸脱に敏感 → 正規分布に従わない標本では分散均一性より非正規性を検出する傾向

正規分布に従わない(と想定される)場合 → 感度低いルベーン検定Levene test好ましい

H0: σi2 = σj2 (ij) → H1: いずれかの母分散異なる
群数 k, 各群の不偏分散 Uj, 各群のケース数 nj (j = 1, 2, …, k), Σnj = n
χ = Σj=1k(nj – 1)·{Σj=1k(nj – 1)Uj}/{Σj=1k(nj – 1)} – Σj=1k(nj – 1)lnUj
C = 1 + [1/{3(k – 1)}]{Σj=1k(1/(nj – 1)) – 1/(Σj=1k(nj – 1))}
P(χ2k-1) ~ χ02 = χ2/Cα → accept H0

コクラン検定: Bartlett検定より望ましい

コクランのC (Cochran's C): 有意 = 不等分散性あり → ANOVA等不適

モークリーの球面性検定Mauchly's test of sphericity: 反復測定

球面性ないときのdf調整法, ε

ホイン・フェルトのε, Huynh-Feldt epsilon
グリーンハウス・ゲイザーのε, Greenbouse-Geisser epsilon

カイザー・マイヤー・オルキン測度 Kaiser-Meyer-Olkin measure, KMO (measure of sampling adequacy, MSA)

因子分析の標本妥当性測度 = 観測相関係数/偏相関係数 → 基準値1に近いほうが変数あてはまりよい
0.9以上 = 優秀、0.8以上 = かなり良い、0.7以上 = 良い、0.6 = 普通、0.5以下 = 不十分

ルービン検定 Levene test for homogeneity of variances:

正規性仮定に非依存 (SPSS採用)
H: σA = σB

(共分散分析とは全く別!!!)

共分散構造分析 (covariance structure analysis)


因子分析 + 重回帰分析
潜在変数間関係調べる検証的方法
≈ (潜在変数)構造方程式モデル (SEM/LV)

回帰分析は仮説存在する場合あるが、観測変数を分析対象とする点で共分散構造分析と異なる
「第2世代の多変量解析」「多変量解析の高級言語」と形容される(された)

PLSモデルpartial least squares model: 共分散構造モデルの1種
リズレルLISREL vs エイモスAmos
多重指標(型)モデル multiple indicator multiple cause model

= ミミックモデル MIMIC model

パス分析(解析) path analysis

複数の重回帰分析を組み合わせる → 間接効果推定

順序反応 ordered response →
パス図 path diagram →
パス係数 path coefficient, r

X → [ r ] → Y
__因果関係
_(順序関係)

間接効果 indrect effect ↔ 直接効果 direct effect

X → [ r ] → Y
__相関関係

R (lavaan package): 構造方程式モデル

因果分析 causal analysis

グラフィカルモデリング graphical modeling
因果係数 causal coefficient
制御変数 control variable

システムダイナミクスsystem dynamics, SD

フィードバック有するシステムでの変化を推定

フィードバック: X → Y (因果関係) → X → …
∴ Xが変われば全てが変わる。その変化を量的に知る

⊃ オペレーションズリサーチ (OR)、意思決定論、情報理論等

潜在特性モデル (項目反応モデル item response model)

潜在変数 latent variable: 概念的・仮説的変数で直接測定不可能

Ex. 個性、意識、嗜好 ↔ 顕在(観測)変数

= 潜在変量latent variate (因子): 潜在的に影響を与えることになる要素
  1. 顕在変数manifest variable (observable variable)間関係を低次元潜在変数で解釈できる
  2. 測定誤差の影響を受けない因子(潜在変数)間関係を推論する方が、測定誤差を伴う顕在変数間の関係を推論するより高精度の結果を得ることがある
四分相関係数 tetrachoric correlation coefficient: 潜在特性モデル latent trait moedl の特殊事例

tetrachoric correlation (= binary ratings)
多分割相関係数polychoric correlation coefficient

判別分析 (discriminant analysis)


新たな観測データが属するクラスを判別

Ex. トマトは果物か野菜か
Ex. 花の特徴からタイプ判別特徴探す
距離 (類似度)

教師データ training data: データとクラス(属性 attribute)の対応づけができているデータ

= モデル内: 従属変数(基準変数criterion variable)予測に利用される変数参照時

教師つき学習 supervised learning: 教師データを用いた判別

↔ 教師なし学習 = モデル外: モデルに含まれない = 利用されない変数参照時
Ex. 教師データ


    No.   1    2    3    4    5    6    7

    x    1.0  1.5  2.0  2.5  3.0  3.5  4.0
    属性  A    A    A    A    B    B    B

→ 2.5 < 判別境界 < 3.0 → 新たなデータ = 3.2 ∈ B

2値判別
1) 線形判別関数(式) linear discriminant function (equation)
discriminant analysis discriminant analysis
→ 判別境界: y = ax + b
判別基準
a) 各属性の平均の中間点 → 各分布の分散は同じ(非現実的)
b) マハラノビス距離, D2 = (xμ)2/σ2
i) σ12 = σ22D22D12 = (xμ2)2/σ2 - (xμ1)2/σ2

= {2(μ1μ2)/σ2}·(x – {μ1 + μ2}/2)
= {2(μ1μ2)/σ2}·(xμ12)
→ 判別境界は(xμ12) = 0のとき → 中間点

ii) σ12σ22D22D12 = (xμ2)2/σ22 - (xμ1)2/σ12

= (1/σ1σ2){σ22(xμ2)2σ12(xμ1)2}
= (1/σ1σ2){(σ22σ12)x2 –2(σ22μ1σ12μ2)x + σ22μ12σ12μ22}
→ 2次判別関数 quadratic discriminant function必要

discriminant analysis discriminant analysis
n次に拡張: マハラノビス距離をn次に拡張
多値判別 (通常の判別分析)
xCi (class i) → P(Ci = i|x),

Bayesの定理からP(Ci = i|x) = P(x = Ci|iP(Ci = i)/P(x)

fi(x) → P(Ci = i|x) = fi(xP(Ci = i)/Σj=1kfj(x)P(Ci = j) → クラスが決まる
応用: 手書き文字認識、癌診断

多重応答順列法 (multi-response permutation procedure, MRPP)

DFA変法 = DFAの多くの仮定を排除したもの (Williams 1983)

正準判別分析 (canonical discriminant analysis, CDA)

= 重判別分析 (multiple discriminant analysis), 正準分析$ (canonical analysis)
データを中心化(標準化)したものでの判別分析

ステップワイズ判別分析 (stepwise discriminant analysis)

1) 前進法(= ステップワイズ判別分析)
ステップ毎に判別モデル構築 → 全変数を調べグループ判別に最も有効な変数探す。その変数はモデルに取り込まれ、次のステップに進む
2) 後進法backward
全変数 → 判別に最も役に立たない変数削除 → [反復] → "重要な"判別有効変数を残す
偶然の誇張: よくある解釈間違いで統計的有意水準を額面通りに受け取ること

変数追加削除判断時に考慮中の各変数の貢献の有意性計算 → モデル内に含まれる変数中で判別を最もよく行うもの選択 → ステップワイズ手順は偶然を利用 → ステップワイズ手順の有意水準は第1種の過誤確率(α) (H0 = グループ間差なし)を誤って棄却する確率ではない

ボックスのM検定 Box's M test: 3群以上での等分散性の検定

正準相関分析 (canonical correlation analysis, CCA)


重回帰分析を序列化 (ordination) に拡張
Def. 正準変量 canonical variable: 合成して得られる変量 (Ex. x1, x2) → 正準変量解釈難しい

Ex 1. 原料特性値s個、製品特性値t
Ex 2. 「文科系的能力」得点s個、「理科系的能力」得点t
→ これら2群間関係を知る = 2群間最大相関を求められ観測変数が十分か等を判断する際利用

Def. 正準相関係数 canonical correlation coefficient, Rc: 正準変数により得られる相関係数

Ex. sample  W           Z         
      code      x1    x2    x3    x4
         1        x11  x12   x13  x14
         2        x21  x22   x23  x24
         …       …   …    …   …
         n        xn1  xn2   xn1  xn1

目的
Ex. 変量(≥ 3) x1, x2組とx3, x4組の間の関係が知りたい
Z: x1, x2を合成して得る正準変量 → Z = l1·x1 + l2·x2
W: x3, x4を合成して得る正準変量 → Z = m1·x3 + m2·x4

l, mは正準変量の係数

2群分割された多変数群間で、複数観測値を得た時、群内主成分分析と群間回帰分析を同時に行う
ZWの相関係数(正準相関係数)を最大にするl, m求める → 重回帰分析・判別分析一般形 (拡張形)

正準変量Wが1変量 ≡ 重回帰分析
正準変量Wが1変量で2群以上に分かれる ≡ 判別分析

p個とq個の変数間にはpq個の相関関係求まる → p個の正準相関に集約できる(但しpq)
標準化: Z = sW = 1, mZ = mW = 0 → 分散(sZZ, sWW)、共分散(sZW)求める

sZZ = 1/n·Σi=1n(l1·x1i + l2·x2i)2 = 1,
sWW = 1/n·Σi=1n(m1·x3i + m2·x4i)2 = 1
sZW = 1/n·Σi=1n(l1·x1i + l2·x2i)·(m1·x3i + m2·x4i)
rZW = sZW/(√sZZsWW) → max(rZW)となるl·mを求める

(Van den Wollenberg 1977)

冗長性分析 redundancy analysis, RDA

正準相関分析に関連
変量群Aの合成正準変量 → 変量群Bの予測(説明)度を示す = 非対称法(従属関係)

PCAはRDAの特別な場合

冗長性指数 redundancy propportion
累積冗長性指数 cumulative redundancy propotion
Def. 冗長性 redundancy, Rleft, Rright
ある事象に対応する別事象が複数存在する確率
= 正準変量により共有される分散の比 → 正準相関を2乗し求めた分散の割合とこの割合とをかける
Rleft = [Σ(loadingsleft2)/p]*Rc2Rright = [Σ(loadingsright2)/q]*Rc2

p: 1番目(左)集合中の変数数,
q: 2番目(右)集合中の変数数,
Rc2: 個々の正準相関を2乗
右集合から左変数集合の、左集合から右変数集合の冗長性を計算

実用的有意性: 冗長性尺度は正準根の実用的な有意性の評価にも有効

標本サイズ大 → R = 0.30の正準相関は統計的に有意
係数(R2 = 0.09)を2乗し冗長性公式使用 → 正準根が変数内で変化性全くないことのみ説明すること明確
実用的有意性最終評価 = 本来主観的 → 実際の(変数内)分散が正準根により説明される量の現実的評価を示すため、冗長性尺度(変数中1集合の実際の変化性の程度を他者により説明するもの)を頭に置くこと重要
共通性h2jで基準化された因子負荷量の2乗の分散varianceを最大化maximizeする回転

正準因子分析 (canonical factor analysis)

正準変量分析 (canonical variate(s) analysis), CVA

フッター