歴史と分野

Quetelet Adolphe (ケトレー) 1796-1874, ベルギー: 「人間について」 社会物理学, 「神の秩序」, 天文学

確率論を数学的方法とし広める

数理統計学 mathematical statistics = 記述統計学 + 推測統計学 (データ解釈)

現実の対象に対し1つの確率モデルを設定し、それに基づきデータ分析をする方法を与える

生物統計学 biostatistics (英農業試験場): 生物学問題を解決する統計学的手法 (Sokal & Rohlf 1995)

1. 記述(要約)統計 descriptive (summary) statistics (19c末-20c初): データ記述・縮約(要約) → 情報化
   Galton Francis 1822-1911, 英 → 相関・回帰
   Peason Karl 1857-1936, 英: Biometrika創刊、記述統計学方法確立
   Gosset Wiiliam Seary (ペンネームStudent) 1876-1937, 英: 小標本理論、t-dist (distribution)
2. 推測統計 (帰納統計 inductive statistics): 統計データの背後にある対象集団(母集団)特性を"帰納"する
   a: 確率論: 数学的確率論と公理系による確率論 Ex. Fisher Ronald Aylmer 1890-1962, 英: F-dist, z変換
   b: 標本理論: 推定estimation・検定(statistical) test Ex. Neyman J 1894-1981, 米: 推測統計学精密化

生データ(素データ) raw data

生ログ: 時系列で得た生データ

有用性 = 状況証拠 → 論文に用いなくても追跡参照できるよう保管

23.7と記録したら、それは生データではない。42.3 - 18.6と記録

統計分析

分析に応じ未知係数に適当な制約条件(Ex. 2乗和 = 1)も課せられる

1. 正規方程式: 未知係数が最適解の連立方程式(普通方程式中既知係数に共分散(か相関)行列)
   線形モデル: 正規方程式は連立1次方程式か固有値方程式が多
2. 第1課題: 分析で目的に応じた最適問題解とし未知係数を推定
3. 第2課題: 仮定モデル関数の形や関数中に取り入れた変数組合せの適切性吟味
   1. モデル適合性評価のための分散分析
   2. モデル複雑性(関数項数・組込変数数)と推定効率(有効推定量/現推定量分散比、決定係数等)間に調和を持たせるモデル選択や変数選択variable selection問題
   3. 推定量信頼区間を求める問題
4. 標本データの統計的性質を様々な角度から吟味 - 基本は仮説検定

ややこしいのはあちこちに出てるし、ここは基礎の基礎のメモ [ 統計的検定 ]

確率の哲学的基礎に関する問題

蓋然性 probability (普通"確率"と訳す): 確率的大小stochastically larger or smaller
経験的確率 emprical probability = 統計的確率 statistical probability
客観的確率 objective probability ↔ 帰納的確率

統計生態学 statistical ecology

数理モデル mathematical model

Ex. 微分方程式、差分方程式

Ex. 格子モデル

根元事象 elementary event: 唯1つの標本点からなり分解できない事象
確率事象(素過程): 事象が、ある確率で起こること

組み合わせと順列 (combination and permutation)

n個の異なるものの中から任意にr個とった時の順列

_nP_r = n!/(n – r)! [Case. r = n → _nP_n = n!/(n – n)! = n]

Ex. 1, 2, 3, 4の4個の数字を用い3桁の自然数を作る → 4³ = 64通り

n個のものがc個の組に分けられ、同じ組に属するもの同士は区別できないが、異なる組に属するものは区別できるとき、これらn個を全てとりできる順列の数 → n!/(n₁!n₂! … n_c!)
Ex. A, F, I, I, M, N, N, R, Tから無作為に1枚ずつ取り出し、その順に並べてできる単語の数

n個の異なるものから任意にr個とった時の組み合わせの数

_nH_r = _n+r-1C_r = {n(n+1) … (n+r-1)}/r!
Ex. 2種類(赤白)のワインから3本を買う組み合わせ

(A = 4, WWW, WWR, WRR, RRR)

n!/(n₁!n₂! … n_c!)
Ex. 7人の生徒を3人と4人の組に分ける

観察の5W (5w for observations): Was 対象(変量・属性), Wer 誰, Wann 時点, Wa 場所, Wie 方法

統計リテラシー

1. 範囲: 対象の範囲とその基準、除外基準
2. 時点: データ採取時と集計時の状況
3. 定義: 統計解析の定義(制限)・意味・内容
4. 確認: 研究デザインと統計方法の妥当(一致)性

1. 誰が言った? = 統計出所(データ歪・測定法)
2. 方法は? = 調査方法(回収率・ランダム抽出)
3. 不足データは? = 隠れた資料(標本数・対照群)
4. 言う事が違わないか? = 問題すり替え・論理性
5. おかしくないか? = 解析誤り・論理性

問題解は標本種類とサンプル数に依存 [統計分析 = 補助手段 → 問題の本質は考察判断しかない]

記述統計学 descriptive statistics

個票データ(個体値) individual data → 標識で階級分類 classification・集計 aggregation → 度数分布表作成 → 集団特徴記述用具設定 → 集団法則・関係提示
= 固定パラメータ fixed parameter: ローカル変数(定数)、測定値 ↔ 自由(移動可能)パラメータ free parameter

度数分布表 frequency distribution table

階級 class: 1, 2, …, k
階級値 class mark: x₁, x₂, …, x_k
度数 count (頻度 frequency) (T = n): f₁, f₂, …, f_k
相対度数 relative frequency/確率密度関数 (pdf) (T = 1):

f₁/n, f₂/n, …, f_k/n

累積度数 umulative frequency: f₁, f₁ + f₂, …, f₁ + f₂ + … + f_k
累積相対度数分布関数 cum.r.f. distribution:

f₁/n, (f₁ + f₂)/n, …, (f₁ + f₂ + … + f_k)/n

k: 階級数, n: 観測値個数
Ex. n = 20 → log₁₀20 = 1.301, log₁₀2 = 0.301 ∴ k = 1 + 4.3 = 5.3 ≈ 5

尺度水準と属性 scales and attributes

1. 属性統計: 質的標識 qualitative merkmal
   1. 類別(名義) category (nominal): 観察変数observed variableと数値の対応基準。変数間に順序関係なし Ex. 土壌型、血液型 → 2値binary: あるなしデータ Ex. Sex
   2. 順序 ordinal = hybrid
      Ex. 植物社会学 Brawn-Blanquet scale
      Ex. リッカート・スケール likert scale: 比例尺度 → 評点法 scoring method 官能検査sensory test等
      Ex. アンケート "好、やや好、普通、やや嫌、嫌"
2. 変量 variate 統計: 量的標識 quantitative merkmal → 階差(差分) difference: 標本間の数値差
   3. 間隔(距離) interval (distance) = quantitative: 数値間差が得られる → 数値差のみに意味 Ex. 摂氏
   4. 比率 ratio = quantitative: 固定0点fixed zero持つ(間隔尺度になし) Ex. 正答率proportion of right answers

二元データと(定)量的データ (Orloci 1968)

多面的情報包含 → 情報量多

二元データ変換: x > 0 → 1, x = 0 → x = 0
量的データ ⇒ 二元データ (⇔ 逆はできない)

順序統計量

1. 代表値 representative

位置母数 location parameter: 典型値を定める度数分布の位置を示す母数 parameter

代表的位置母数: 3M = 平均 mean, 中央値 median, 最頻値 mode → 中心傾向 central tendency

= x(2n + 1)/2 [n = 奇数]
= 1/2·(x_n/2 - 1 + x_n/2 + 1) [偶数]

擬中央値 quasi(-)median → グラフ理論

2. 散布度(バラツキ) dispersion (measure)

Ex. 株価変動幅

4分位数 quartile__________累積度数
Q₁ (= 下ヒンジ lower hinge)_1/4n (25%)点
Q₂ (≡ 中央値 median)_____ 2/4n (1/2n, 50%)点
Q₃ (= 上ヒンジ upper hinge)_3/4n (75%)点

3項平均 trimean (Tukey's trimean): {Q₁ + (Q₂ × 2) + Q₃}/4 → 異常値影響軽減

= 1/2·(Q₃ - Q₁)

⇔ 相対偏差 relative deviation: 変動係数 × 100 (%)

偏差 deviation, D = x_i – m ∴ Σ_i=1ⁿ(x_i – m) = 0, x_i: 素(粗)点
Def. 平均差 mean difference (≠ 平均偏差), D_m

= Σ_i≠j|x_i – x_j|/(n(n – 1)/2)

Def. (ジニ)集中係数 Gini's coefficient of concentration, G

= D_m/(2m) = 相対平均差

標準偏差 standard deviation (偏差 deviation, sd), s = √(1/nΣ_i=1ⁿD²)

= Σ(x_i – m)² – 2cΣ(x_i – m) + Σc² = Σ(x_i – m)² + nc² > Σ(x_i – m)² //

偏差値 deviation score: 偏差値得点(Tスコア T-score), T_i

T_i = 50 + D/s × 10 → m = 50、SD = 10に変換

標準誤差 standard error of mean, SEM (root mean square error), se

se = s/√n = ΣD²/[n(n – 1)]

→ × 母集団標準偏差。O 試料平均値標準偏差推定値

一般化分散 generalized variance
表. 標準偏差sdと標準誤差se (浜田 1999) → ゲゼルの標準値: 標準値に分散をつけないため生ずる誤解

___意味____________標本数nの影響__分布仮定
sd 生データのバラツキ 依存しない______正規分布
se 平均値の推定精度 _1/√nで小さくなる_n大きくなれば必要なし

cv = s/|m|, or s/|m| × 100 (%) → データ間ばらつき具合比較
→ s: 単位数 = 絶対的散らばりを検出 → 単位異なる(Ex. cm², cm)と比較できない
→ cv = 相対的尺度(無名数 dimensionless number)なら比較可能

= 2 dataのsが同じでもmの違いにより分散が異なる点を修正

3. 特性値 characteristic value

μ_r ≡ 1/nΣ_i=1ⁿ(x_i –m)^r (μ_r = m_r → 標本モーメント)

集中度 → 1/nΣ_i=1ⁿ(x_i – m)²f_i ≤ 1/nΣ_i=1^k(x_i – ^∀α)²

dy/dα = 1/nΣ_i=1ⁿ2(-x_i + α)
∴ m = α → minimum___//

歪度(非対象度, 歪み) skewness α³ = μ³/s³ = 1/nΣ_i=1ⁿ((x_i – m)/s)³
分布がxの平均値に関し対称 → μ³ = 0 (分布非対称 → μ³ ≠ 0)

尖度(尖り) kurtosis α⁴ = μ⁴/s⁴ = 1/nΣ_i=1ⁿ((x_i – m)/s)⁴

α⁴ < 3 尖度強(比較的尖る)
α⁴ = 3 正規分布 ↓↑
α⁴ > 3 尖度弱(比較的尖らない)

グラフ化

ヒストグラム (柱状グラフ, histograms)

ステレオグラム stereogram = 3次元

図. 箱ひげ図の例
(必ずしもこうとは限らない)

棒グラフ bar graph (chart)

帯グラフ stacked bar chart (compnent bar charts)

円グラフ pie chart

三角グラフ triangular chart

折線グラフ line chart

各種描画法

フェイス分析 face analysis: 多変量情報を顔等で表現し視覚化

解像度 resolution

品質管理

nシグマ法 n-σ method: n = 3, 6 …: 管理図作成に利用

μ ± nσの区間推定が意味をもつ場合

1. 管理限界線の外側又は線上に現れる点
2. 連続する3点中2点以上が管理限界線近くに現れた時の管理限界線近くの点
3. 6点以上の点が連続し中心線の上(下)側に現れた時の6点目以降の点
4. 3点以上の点が連続し上昇(下降)した時の3点目以降の点

(単純)算術平均 (相加平均) arithmetic mean, m or x^-

幾何平均 geometric mean, x_g

調和平均 harmonic mean, m_h

分子より分母の影響が重要な時使用
Ex. 遺伝子頻度の機会的浮動 ∝ 集団サイズの逆数

複数集団サイズ平均には調和平均が機会的浮動効果検討に適切

limt→0m(t) = x_g    (m(1) = m. m(-1) = x_h)

個々のデータの重要度(重み) weight, w_iが異なる → wを反映
Def. 合成得点: 重み付き得点(合計点)

時系列データから将来値を予測 Ex. CD-Rの寿命

両端p割を除く平均値(p = 1/4 → 中央平均 mid(-)mean)
Ex. Data 3, 2, 6, 9, 4. p = 0.4 → (3 + 6 + 4)/3

分散 (variance), s²

s² = 1/nΣ_i=1ⁿx_i² – 2(1/n)mΣ_i=1ⁿx_i + 1/nΣ_i=1ⁿm²

= 1/nΣ_i=1ⁿx_i² – 2m² + m² //

組: 1, 2, …, r
大きさ n: n₁, n₂, …, n_r
平均: m₁, m₂, …, m_r
分散: s₁², s₂², …, s_r²
試料の中身: x₁₁, x₁₂ … x_1n1, x₂₁, x₂₂ … x_2n2, …, x_n1, x_n2 … x_nnr

s_w²: (級)内分散 within variance [試料内分散]
s_B² 外分散 (級間分散 between variance) [試料間分散]

1) 非決定論的 non-deterministic

2) 集団的規則性

1. Laplace流組合わせ的確率(古典的確率, 算術的確率), P(A) = r/n → 同程度に確からしい equally probable
2. von Mises流統計的確率(コレクティフKollektiv理論, 経験的確率/統計的確率), P ≡ lim_N→∞(N_H/N), (N_H/N, 相対度数)
   → N → ∞: いつ、どこで考慮不要 → 非現実的: 統計に導入困難
3. Kolmogorov流測度論的(公理論的)確率 "Gundberiffe der Wahrscheimlichkeitrechnung (1993)"
   「公理」として条件を挙げ、それらを満たす実数存在 → 確率とする

ある2つの事象が同時に起こる確率, P(x, y)

甲の勝つ確率: 1, 3, …, 2n + 1回目に表が出る
→ 初項1/2, 公比1/4 = (1/2)2の等比数列の和
Σ_{i = 1}ⁿ1/2·(1/2)ⁱ = [1/2{1 – (1/4)ⁿ}]/(1 – 1/4)
∴ lim_n→∞Σ_{i = 1}ⁿ1/2·(1/2)ⁱ = (1/2)/(3/4) = 2/3

P(A) = P(A₁)∪P(A₂)∪(A₃) … = P(A₁) + P(A₂) + P(A₃) + …
⇒ P(A∪B) = P(A) + P(B) 互いに排反の時成立

Ex. 事象AとBが同時に起こらない → AとBは互いに排反 → A∩B = ∅

E^C: 余事象

∩ 積 product: 積事象 ≡ 共に起こる事象 (交わりintersection)
∪ 和 sum: 和事象 ≡ 少なくとも一方が起こる事象 (結び union)
A^– or P{A^c}: 余事象 complementary event ≡ 事象Aが起こらない事象
∅: 空事象(空集合) empty group, null set ≡ 決して起こらない事象

F: 事象, P[•]: 確率測度

確率の3公理
1) 0 ≤ P(E)    2) P(Ω) = 1    3) E_i∩E_j = ∅ ⇔ E_i, E_jは互いに排反
⇒ P(∪E_i) = Σ_iP(E_i) [P(E): 事象Eの確率Aを制限(枠組み)]

∴ P(E^C) = 1 – P(E) //

Def. 完全加法則: P(E∩F) = ∅

Th. 1におけるE∩FとE∩F^C, 2におけるF∩EとF∩E^Cは互いに排反
E∪F = (E∩F)∪(E∩F^C)∪(E^C∩F) … 3
∴ P(E∪F) = P(E∩F) + P(E∩F^C) + P(E^C∩F) … 3'
式1と2はP(E) = P(E∩F) + P(E∩F^C) … 4
P(F) = P(E∩F) + P(E^C∩F) … 5 → 式4, 5を式3に代入

P(A∩B) = 3/52 → P(A∪B) = 13/52 + 12/52 – 3/52 = 11/26

P(B) ≠ 0 → P(A|B) = P(A∩B)/P(B)

→ このn_b回中事象Aがn_A∩B回生起

→ 多重試行: P(A∩B)/P(B) = P(A/B)

[全て条件付確率を一般確率に置き換え証明可能] →
1) 0 ≤ P(A|B) ≤ 1
2) P(∅|B) = 0, P(Ω|B) = 1
3) A∪C = ∅ → P(A∪C|B) = P(A|B) + P(C|B)

2) 1)と同様P(∅|B) = P(∅∪B)/P(B) = 0 (∅∪B = ∅) ∴ P(Ω|B) = 1
3) P(A∪C)|B) = P((A∩B)∪(C∩B))/P(B)

= P(A∩B)/P(B) + P(C∩B)/P(B) = P(A|B) + P(C|B)

独立性 independence

Def. AとBは独立事象independent ↔ 従属事象
意味: Bが起こったという情報がAが起こる確率に影響しない

= P(A₁) × P(A₁|A₂) × P(A₃|A₁∩A₂) × … × P(A_n|A₁∩A₂∩ … ∩A_n-1)

(左式) = P(A_n∩A₁∩A₂∩ … ∩A_n-1)

= P(A₁∩A₂∩ … ∩A_n-1) × P(A_n) = (右式)

→ P(B) = P(A₁)·P(B|A) + … + P(A_n)·P(B|A_n)

P(B) = P(A₁∩B) + P(A₂∩B) + … + P(A_n∩B)

= P(A₁)P(B|A₁) + P(A₂)P(B|A₂) + … + P(A_n)P(B|A_n)

P(A_i|B) = P(A_i∩B)/P(B)
∴ P(A_i∩B) = P(B)·P(A_i|B) //

Th. ベイズの定理 Bayes theorem

ベイズの規則 Bayes' rule

理論確率 → 事前分布 prior distribution
(統計的)決定関数 (statistical) decision function: 変量定める関数

Q. ある製品を作る機械3台    A     B    C    
     製品全体での製造率(%)  20   30   50
     製品中不良品発生率(%)   5     4     2 

製品全体rodから任意抽出した製品について、1)不良品である確率、2)それが不良品であることを知った時A製造のものである確率を求めよ

P(A) = 0.2, P(B) = 0.3, P(C) = 0.5
(5/100 × 20/100) × (4/100 × 30/100) × (2/100 × 50/100) = 1/10000·(100 + 120 + 100) = 0.32 → 3.2%不良品

→ P(R) = P(B, R) + P(B^c, R) = P(B)P(R|B) + P(R)P(R|R)

= {b/(b + r)}{b/(b + r + c)} + {r/(b + r)}{(r + c)/(b + r + c)} = r/(b + r)

= r/(b + r)

確率行列(統計行列) stochastic matrix

状態遷移確率行列(P): 状態i → jの遷移確率 → P(i, j)

Ex. 天気の推移
i → j   晴   曇   雨   計
  晴    3/4  1/4  0     1
  曇    1/4  1/2  1/4  1
  雨    1/4  1/2  1/4  1

同時確率行列: 相対度数の行列(クロス表を総度数で割ったもの)

ランダムウォーク random walk

顕微鏡下で水面上での花粉粒子の軌跡 = 無秩序
→ 全ての十分に細かい粒子の一般的性質

Ex. 水槽中に落とした1滴のインクの拡散 → r = a√t, r: インク滴半径

ブラウン運動過程 Brownian motion process: 確率でこの運動を表現した確率過程

逆正弦法則 arcsine law

                    ⇚ ⇚  ⇛ ⇛
━╋━╋━╋━╋━╋━╋━╋━
   -3    -2    -1     0    +1    +2   +3
時刻 t = 0にm = 0を出発
→ 1回に±1移動 (どの位置でも左右へ進む確率は、それぞれ1/2)

ブラウン運動もその性質 → 至る所微分不可能 nowhere differentiable
↔ 花粉粒子運動跡はとんでいず連続 continuous

a) 途切れず(つながっている)
b) ギザギザで
c) 原因においてランダムに動く

この3要素満たす現象多 Ex. 株価・為替相場・動物行動軌跡・分子運動
発展: 確率微分方程式、伊藤の公式、ギルサノフの定理と測度変換等
→ コンピュータ・シミュレーションで実現可能

角度統計学 (circular statistics)

Def. 角度データ: 円周上にプロットできるデータ Ex. 風向、樹冠の向き

周期データ(24時間, 季節)に拡張可能

→ 確率分布, P(X = a_j) 各確率の分布状況を示したもの

[discrete: Σ_{xk ≤ k}P(X = x_k), continuous: ∫_-∞^xf(x)dx]

(Ex. 2項分布)

x = 3, ₅C₃(1/2)⁵, 2 ≤ x < 3, 16/32
x = 4, ₅C₄(1/2)⁵, 3 ≤ x < 4, 26/32
x = 5, ₅C₅(1/2)⁵, 4 ≤ x < 5, 31/32
_____________ 5 ≤ x,___ 32/32

x = 0, ₅C₀(1/2)⁵, x < 0, 0
x = 1, ₅C₁(1/2)⁵, 0 ≤ x < 1, 1/32
x = 2, ₅C₂(1/2)⁵, 1 ≤ x < 2, 6/32

年利率i ⇒ Def. 現価率 v = 1/(1 + i)
⇒ j年後のA'円の契約時(現在)の価値はv^jA'円
Z (保険会社側支払金額の現在価値) = C·v^j, (j - 1 ≤ X < j), j = 1, … n

B (保険料) = E(Z) = CΣ_j=1ⁿv^jP(j - 1 ≤ X < j)

Xの分布が分かればBが求まる → 保険料

グラフ: 決して沈降線をとらない

条件付分布 conditional distribution
→ 条件付確率密度関数 conditional density function

分布関数 F(x)・確率密度関数 f(x)の性質

→ F(∞) = lim_x→+∞F(x) = 1, lim_x→–∞F(x) = 0

→ rvY = G(x)の分布 → 標本分布sample distributionを求める

G(y) = P(Y ≥ y) = P(aX + b ≥ y) = P(X ≥ (y – b)/a) = F((y – b)/a)
⇒ Yの分布はXで表わせる

確率モデル (具体的確率分布)

≡ 1回毎の事象生起確率pが一定であるとき実験を繰り返し行うこと

⇔ P(Xi = 0) = q = 1 - p: 生起しない(失敗する)
S_n = x₁ + x₂ + … + x_n (0 ≤ S_n ≤ 1)
→ S_nはn回の試行中の生起回数を示す確率変数

分布形: J/L/U字形分布 J-/L-/U-shaped distribution
ノッチ notch: V・U字形等の溝の部分

確率分布族

1. 離散型確率分布 discrete distribution

a. x = 0, 1, 2, …, n

k = 0, 1, 2, …, n. p + q = 1, p > 0, _nC_k: 2項係数

= E[X(k)] = E[X(X – 1)Λ(X – k + 1)]

f(p) = P(x ≥ 30) ~ B_i(n, p) = B_i(500, 0.05)

= (n!/k₁!k₂! … k_m!)·p1k₁p₂k₂ … p_mk_m (n = k₁ + k₂ + … + k_m),
= 0 (others)

スターリング近似: ln(n!) = nln(n) – n

b. x = 0, 1, 2, …, ∞

2項分布で期待値 = 分散 → E(X) = Var(X) = λ

Ex. 株価暴落, ポーカーでロイヤルストレートフラッシュの出る頻度

(∵ e^x = 1 + x + x²/2! + x³/3! + … = x^k/k!)

P(X = k) = _nC_kp^kq^n–k = {n(n – 1) … (n – k + 1)}/k!·(λ/n)^k·(1 – n/λ)^n–k

= λ^k/k!·(1 – 1/n)(1 – 2/n) … (1 – (k – 1)/n)·(1 – λ/n)ⁿ·(1 – n/λ)^–k

–λ/n = x, n → ∞, x → 0, lim_x→∞(1 + x)^1/x = e
∴ (1 – 1/n)ⁿ = [(1 + x)^1/x]^xn → e^–λ → _nC_kp^kq^n–k → (λ^k/k!)·e^–λ

→ lim_n→∞(_nC_k)p^kq^n–k = e^-λ·(λ^k/k!)

P(X = k) = _nC_kp^kq^n-k

= [{n(n – 1) … (n – k + 1)}/k!]·(_λC_n)k·(1 – λ/n)^n–k
= (λ^k/k!)(1 – 1/n)(1 – 2/n) … (1 – (k – 1)/n)(1 – λ/n)ⁿ(1 – λ/n)^–k

-λ/n = x → (n → ∞ → x → 0)
lim_x→0(1 + x)^1/x = e, (1 – λ/n)n = [(1 + x)^1/x]^xn → e^-λ
1 – 1/n, 1 – 2/n, … , 1 – (k – 1)/n, (1 – l/n)^-k, respectively → 1
∴ (_nC_k)p^kq^n–k → (λ^k/k!)e^–λ: ポアソン分布

⇒ Y = (X₁ + X₂)~P(λ = λ₁ + λ₂)

= Σ_k=0ⁿe^-λ₁·λ₁^n-k/(n - k)!·e^-λ₂·(λ₁^k/k!)
= e^{-(λ₁+λ₂)}Σ_k=0ⁿλ₁^n-k/(n - k)!·(λ₂k/k!)
= e^{-(λ₁+λ₂)}·1/n!·Σ_k=0ⁿ_nC_kλ₁^n-kλ₂^k [二項定理]
= e^{-(λ₁+λ₂)}·1/n!·(λ₁ + λ₂)ⁿ__//

P(Y = k) = 1/k!·λ^k·e^-λ, k = 0, 1, 2, …
P(Y > 4) = 1 - Σ_k=0⁴P(Y = k)

= 1 - e^-λ(1 + λ + 1/2·λ² + 1/6·λ³ + 1/24·λ⁴)

λ := 3 ⇒ 1 - 0.815 = 0.185 [かなり危険]

1. 統計的に独立なベルヌーイ試行 → r回の「成功」得るのに必要な試行回数の分布
   Ex. 反復実験 → 生起確率 = p → 事象生起回数 ~ 2項分布

   ⇔ 事象がk回起きるまでにその事象が起きない回数 ~ B_n

2. 統計的に独立なベルヌーイ試行 → r回の「成功」をする前に失敗した試行回数の分布
3. 数学的に2番目の意味でのベルヌーイ試行のrを整数から実数に拡張

Case. r = 1 → 幾何分布

N_B(1, 1 – 1/p), P(X = k) = pq^k-1 (k = 1, 2, ,3 … , p + q = 1, p > 0) → 初項p, 公比qの無限等比級数と考える
S_n = p/(1 – q) = p/p = 1

別名多
逆負の超幾何分布 inverse negative-hypergeometric distribution
逆ポリア-エッゲンバーガ分布 inverse Polya-Eggenberger distribution
β負の2項分布 β negative-binomial distribution
一般ウェアリング分布 generalized Waring distribution

c. x = 1, 2, …, ∞

μ = -p/{(1 – p)·ln(1 – p)}, σ = -(p + ln(1 – p))/{(1 – p)·ln(1 – p)}²

2. 連続型確率分布 continuous distribution

a. x = (0, 1)

U(a, b) (a, b: 母数)
→ f(x) = 1/(b – a) (a ≤ x ≤ b), = 0 (others)

= ∫_a^b1/(b – a)dx = 1/(b – a)[x]_a^b = 1

E(x) = a/(a + b)
V(x) = ab/{(a + b)²·(a + b + 1)}
事前分布を一様分布とし､尤度が2項分布であるときの事後分布

= {|a|x^ap-1(1 - (1 - c)(x/b)^a)^q-1}/{b^apB(p, q)(1 + c(x/b)^a}^p+q
一般化第1種ベータ分布 generalized β of first kind: c = 0
一般化第2種ベータ分布 generalized β of second kind: c = 1

→ B(1/2, 1/2)に等しい Ex. 酔歩モデル、ゲームでの「つき」

b. x = (-∞, ∞)

→ f(x) = 1/{√(2π)·σ}·e–(x – μ)^2/2σ2

連続的パラメトリック変量(パラメトリック連続変量) continuos, parametric variables

= 1/√{(2π)·σ}∫_–∞^∞e^–t2/2σdt [x → ∞ → t → ∞, x → –∞ → t → –∞]
= 1/√(2π)∫_–∞^∞e^–t2/2dt = {1/√(2π)}·√(2π) = 1

→ x = μ: Max, x = μ – σ: 偏曲点

σ = constant (μを動かす) → Max変化。恐らく曲線形は変わらない
μ = constant (σを動かす) → 曲線勾配変化

≡ N(0, 1), f(x) = (1/√2π)·e^–x2/2 (s = ± 0), I(x) = ∫₀^x(1/√2π)e^–x2/2dx

Ex. N(0, 1), P(|Z| ≥ 1.96) = 0.05

Ex. N(0, 1), P(Z ≥1.96) = 0.025

ある分布関数で上側(下側、両側)確率がQ%となる値

= 1/√(2π)·σ∫_–∞^μ+σ_te^{–(x–μ)2/2σ2}dx = 1/√(2π)∫_–∞^te^–t2dt →^set (x – μ)/σ = t

→ 全ての正規分布は標準正規分布に帰着出来る //

P(μ ± σ) = 0.68__ P(μ ± 2σ) = 0.95__ P(μ ± 3σ) = 0.99
→ 2σ, 3σがよく使われる

P(X < 60) = P((X - 75)/10) < (60 - 75)/10)) = P(T < -1.5)

= P(T > 1.5) = 0.5 - 0.4332 = 0.0668

Ex. 5段階評価法評点

        X   Y                                    確率(%)
        1  (-∞, μ - 1.5α)         (-∞, -1.5)    7
        2  (μ - 1.5α, μ - 0.5α)  (-1.5, -0.5)  24
        3  (μ - 0.5α, μ + 0.5α)  (-0.5, +0.5)  38
        4  (μ + 0.5α, μ + 1.5α)  (+0.5, +1.5)  24
        5  (μ + 1.5α, +∞)         (+1.5, +∞)    7

確認: 評点2 = 24%

P(μ- 1.5σ < X < μ - 0.5σ)

= P(-1.5 < T < -0.5) = 0.4332 - 0.1915 = 0.2417

→ t(n): t-分布(df = n)

b) n → ∞, t分布はN(0, 1)に近づく
[Γ((n + 1)/2)/(√(nπ)·Γ(n/2)) → 1/√(2π)]
(1 + t2/n)^{-(n + 1)/2} → e^–t2/2

b) X₁, X₂, …, X_n~N(μ, σ²), X(= m)~N(μ, σ²/n)
(m – μ)/(σ/√n) = √n(m – μ)/σ~N(0, 1)
n·S²/σ²~χ²(n – 1)
[{√n·(m – μ)}/σ]/√{1/(n – 1)·(n/σ²)·S²} = (m – μ)/[{√1/(n – 1)}·S]

= {(m – μ)√(n – 1)}/S~t(n - 1)

(Gosset 1908, Fisher 1926)

= t(df = 1), f(x) = (1/π)·(1/(1 + x²)), -∞ < x < +∞
Me = λ。積率存在しない → 平均・分散存在しない
x~U(-π/2, π/2) → tan^-1(x)はコーシー分布

f(x) = 1/2ξ·exp(1/ξ·|x|), ξ > 0

k: 形状母数 shape parameter (> 0)
θ: 尺度母数 scale parameter (> 0, 平均値), λ = 1/θ (> 0)
[θ = 1 → 標準形]
期間μに1回程度起こるランダム事象がn回起こるまでの時間の分布
Ex. データ: 平均 < 分散、下限 = 0、等
Ex. 電子部品の寿命

→ f(x) = λ·e^-λ_x (x ≥ 0), = 0 (x < 0)

Ex. 病院の患者待時間・診療時間、部品故障し次に故障する時間

Ex. 赤玉白玉が十分に多く、同数入る箱から20個選択 - 赤12個、白8個

期待値: 赤玉・白玉各10個 → 実現値と期待値食い違う = χ²分布

→ χ²(n), ∫₀^∞f_n(χ²)dχ² = 1

拡張: ウィシャート分布 Wishart distribution – 多変量解析で使用

→ X₂ ≡ X₁ + X₂ + … + X_n~χ²(n)

→ {(X_i – μ)/σ}²~χ²(1) → Σ_i=1ⁿ{(X_i – μ)/σ}²~χ²(n)

→ nS²/σ² = 1/σ²Σ_i=1ⁿ(X_i – m)~χ²(n – 1)

最弱リンクモデル Ex. 鎖を引く → 最も弱い輪が破壊 = 鎖全体破壊

m: ワイブル係数 (形状パラメータ) → m = 1ならば指数分布
η: 尺度パラメータ

1 + γ·((x – μ)/θ > 0

Type 1 グンベル型 Gumbel: γ = 1/n, μ = 0, θ = 1
Type 2 フレシェ型 Furéchet
Type 3 ワイブル型 Weibull

(m_x – m_y)~N(μ₁ – μ₂, σ²/n₁ + σ₂/n₂)~N(0, 1)
(n1 – 1)s₁²/σ² + (n2 – 1)s₂²/σ²~χ²(n₁ + n₂ – 2) →
t = (m_x – m_y)(μ₁ – μ₂)/{σ√(1/n₁ + 1/n₂)}/

√[1/(n₁ + n₂ – 2){(n₁ – 1)s₁²/σ² + (n₂ – 1)s₂²/σ²}]

= √{n₁n₂(n₁ + n₂ – 2)/(n₁ + n₂)}·{(m_x – m_y) – (μ₁ – μ₂)}/

√{(n₁ – 1)s₁² + (n₂ – 1)s₂²}~t(n₁ + n₂ – 2)

μ < s² → 片側にデータが歪んだデータ

正(非負)に歪むデータ
f(x; γ, μ, σ²)
f(x) = (l/2πx³)^1/2·exp[-{l(x - μ)²}/2μ²x]
m = μ, σ = μ³/λ

混合分布 mixed distribution

教師付き学習 supervised learning: 各学習パターン所属クラス既知
教師なし学習 unsupervised lerning: 各学習パターン所属クラス未知 → 混合分布

E(x) = ∫_-1¹xf(x)dx = ∫_-1⁰x(1 - x)dx + ∫₀¹x(1 + x)dx = 0
V(x) = E(x²) – E²(x) = ∫_-1⁰x²(1 + x)dx + ∫₀¹x²(1 - x)dx = 1/6

S_n = X₁ + X₂ + … + X_n (成功回数を表わすrv) → E(S_n), V(S_n)を求める

E(S_n) = E(X₁ + X₂ + … + X_n) = E(X₁) + E(X₂) + … + E(X_n) = np
V(S_n) = npq

∵ E(X_i) = 0·(1 – p) + 1·p = p, E(X_i²) = 0²·(1 – p) + 1²·p = p

V(X_i) = E(X_i²) – E²(X_i) = p – p² = p(1 – p) = pq

Summary: S_n

離散型 discrete

連続型 continuous

Σ_k=0^∞x_k = 1 + x + x² + … + = 1/(1 – x) (|x| < 1),
Sの両辺にxをかけて微分するとTが求まる

G'(1) = p₁ + 2p₂T + … + np_nT^n–1 = E(X),
G''(1) = E(X²) – E(X) = V(X)___⇒ 期待値と分散が求まる

→ 逆モーメント inverse moment

N(μ, σ²) → κ_r = 0 (r ≥ 3) → μ, σのみで正規分布は表現可
キュムラント母関数 cumulant generating function → 逆キュムラント

和の分布

→ f(x) = f(y) = 1/(b – a) (a < x < b, or a < y < b), or = 0 (others)
2a < x ≤ a + b, x + y < z → P(Z < z) = {1/2·(z – 2a)²}/(b – a)²
a + b ≤ y < 2b, x + y < z → P(Z < z) = {1/2·(2b – z)²}/(b – a)²
zで微分 → pdfz: φ(z)

= (z – 2a)/(b – a)² (2a < x ≤ a + b),
= (2b – z)/(b – a)² (a + b ≤ y < 2b), or
= 0 (others)

f(x) = 1 – |x| (|x| ≤ 1), = 0 (|x| > 1)
一様分布に従う2つの確率変数の和は三角分布に従う

→ f(t) ≠ g(t) = ∫₀^τf(t – τ)g(τ)dτ

非心分布 noncentral distribution

非心ガンマ分布noncentral γ distribution: x = (0, ∞)
非心χ²分布 noncentral χ² distribution
非心F分布 noncentral F distribution
非心t分布 noncentral t distribution

1) 各人面接時間は互いに独立な確率変数とし面接終了までの時間Sの平均値と分散を求めよ
2) λ = 3としチェビチェフの不等式を利用しSを求めよ

E(S) = E(X₁ + X₂ + … + X₁₀₀) = 100
V(S) = V(X₁ + X₂ + … + X₁₀₀)__(互いに独立 ⇒)

= V(X₁) + V(X₂) + … + V(X₁₀₀) = ΣV(X_i) = 100 × 0.64 = 64

∴ s = √V(S) = √64 = 8

∴ S ≥ 124 or 76 ≥ Sになる確率は1/9以下

{X_n}はθに確率収束 convergence in probability, X_n
→ θ in prob. (or pr.)

{X_n}はθに概収束, X_n → θ a.e. (= "殆んど至る所の{X_n}はθに収束")

弱収束 weak convergence

→ 1/n·Σ_k=1ⁿX_kはΣ_k=1ⁿE(X_k)に概収束
viz. P{lim_n→∞(1/n·Σ_k=1ⁿX_k – Σ_k=1ⁿE(X_k)) = 0} = 1

→ lim_n→∞p{(X₁ + X₂ + … + X_n)/n – p ≥ ε} = 0
(number of occurrence)/n → P in prob.
E(X_i) = 1 × p + 0 × (1 – p) = p → 大数の法則に帰着

→ Z = (X + Y)~N(μ₁ + μ₂, σ₁² + σ₂²)

→ Σ_i=1ⁿC_iX_i~N(Σ_i=1ⁿC_iμ_i, Σ_i=1ⁿC_iσ_i²) C: 定数

(X + Y)~N(μ₁ + μ₂, σ₁² + σ₂²)

= (-3X + 4Y)~N(-3μ₁ + 4μ₂, 9σ₁² + 16σ₂²)

m = 1/n·(X₁ + X₂ + … + X_n)~N(μ, σ²/n)

Pr. 正規分布の再生性 → μ_i ≡ μ, σ_i² ≡ σ, C ≡ 1/n

S_n ~ B_i(n, p) → (S_n – np)/√(npq) ~ N(0, 1)

↔ 連続修正(連続補正) continuity correction

E(S) = 100, V(S) = 64
P(S > 100) = P((S – 100/8 > (120 – 100)/8)

= P((S – 100)/8 > 25) ≈ 0.5 - I(2.5) = 0.5 - 0.4938

分布U(-0.5, 0.5)に従うと仮定
N = 75(誤差の総和の絶対値)をCLTから解く

Xi~U(-0.5, 0.5), S = X₁ + X₂ + … + X₇₅の分布
E(Xi) = 0, V(Xi) = 1/12 → E(S) = 0, V(S) = 75/12 = 25/4
∴ √(25/4) = 5/2
P(-α < S < α) = P(-5/2α < S < 5/2α)
∴ I(5/2·α) = 0.475, 5/2·α = 1.96___∴ α = 4.9

E(X) = n/2, V(X) = n/4 → E(X/n) = 1/2, V(X/n) = 1/4n
P{|X/n – 1/2| ≥ 0.05} = P{|X/n – 1/2|/(1/√(4n)) ≥ 0.05/(1/√(4n))}

≈ 1 - 2·I(0.1 × √n) ≤ 0.01

I(0.1n) ≥ 0.495 = I(2.58), 99%
∴ 0.1√n ≥ 2.58, n ≥ (25.8)² = 666___最低666回を必要とする

P{Y – E(Y) ≥ λ√V(Y)} ≤ 1/λ²,
P{|X/n – 1/2|} ≥ l·λ/√(4n) ≤ 1/λ² = (0.05² × 4n) ≤ 0.01
∴ n ≥ 1000

確率密度関数の近似表現

母集団 population, π

= 時間と場所を特定し実際にサンプリング可能な集団

Ex. ≠ 東京と大阪を1母集団とする

Ex. 質問内容が最初は回答者家族(の誰でも)、途中から回答者のみ

⇔ 無限finite母集団(n → ∞): 理想化状態

→ 手掛かり= 標本(試料) sample = 任意標本random sample

Xと同じ分布をするn個のrv(X₁, X₂, …, X_n)
→ sample x₁, x₂, …, x_nは(X₁, X₂, …, X_n)の1つの実現値とみなす

Ex.母平均 E(X) = μ, 母分散 V(x) = σ², 母百分率 p

統計量(標本特性値) statistic (for inference)

→ 通常母集団のある母数推定量(標本関数)とし計算

↔ 母数: 既知でも未知でも定数

分散 s² = 1/n·Σ(x – m)², (x₁, x₂, …, x_n) → (X₁, X₂, …, X_n)

→ σ² = Σ(X_i – μ)², [X_i equiv; 基本統計量: x_iとX_iを区別]

標本分布とランダムサンプリング(無作為抽出)

→ 標本抽出に伴う誤差等考慮不要

→ 指定統計 designated statistics

統計的推測 inference: 標本集団 → 母集団全体法則性を見出す手続

Ex. 世論調査: 母集団 = 成人国民全員

無作為抽出標本集団調査 - 母集団特性推定

標本抽出誤差は、統計学理論で評価可 - 統計的推測精度を知る

n: 標本数, N: 母集団数, ε: 推定値絶対誤差, t, P: 母比率

n ≥ N/[(0.1/1.96)²·(N – 1)/{0.5(1 – 0.5) + 1}]

標本抽出法 sampling

Ex. 男女別、職業別 → 層化(層別化) stratification

X₁, X₂, …, X_n: 独立independentではない → 復元抽出不可

標本抽出(調査)法 sampling survey technique

→ 完全無作為化 completely randomizedは可能か ⇔
有意抽出: 標本抽出の主観性排除できず誤差の影響の統計的推定困難

実施容易であり、反復調査を行う場合等や予備調査に用いる

割当抽出 quota sampling: 無作為抽出と有意抽出の折衷的なもの

Ex. 年齢構成は母集団と同じだが他は有意抽出 - 結局は有意抽出

抽出段階の主観排除のため実施(客観性)
コンピュータ化無作為選別法 computerized random selection

1. 単純無作為抽出 simple random sampling

2. 層別(層化)抽出 (確率比例層化抽出) stratification sampling

a. 比例割当法: 層の大きさに比例proportionalして各層にサンプル割当
b. 層化多段抽出 multi-stage stratification samping

Ex. 全体 → X村、Y町 → Z小学校、A小学校 →○君、×さん

3. 集落抽出(多段抽出) cluster sampling

Ex. 小学生100人調査

4. 確率比例抽出 probability proportionate sampling

5. 系統抽出(等間隔抽出) systematic interval

乱数 random number

Def. 乱数列 radnom sequence: 数字が無作為randomに並んだもの

1. 一様乱数

Ex. 0, 1, 2, 3, … 9 (10数)をrandomに並べる

0-9の整数が等確率で独立に作られた表

→ 統計シミュレーション statistical simulation
乗算合同法: x₀を適当に置く

Ex. x₀ = 1, x₁ = 15 × x₀, x₂ = (x₁ × 15) mod (10⁶ + 1)

i = 1 … 4使用しない

線形合同法(混合型合同法): X_n+1 = (a·X_n + c) mod m (n = 0, 1, 2 …)

mに対し適切なa, cを選ぶと周期(最大の)mで乱数的性質を持つ数列が得られる

2. (擬似)正規乱数

Ex. 2つサイを振った和の分布

≡ (全データ点) – (データから推定された母数の数)
→ 本概念により各種統計表を汎用的に作成可能 → dfは(n – 1)とは限らず注意
Ex. x_m = X_mとなるn個標本採取: (n – 1)標本は自由に抜けるがn個目の標本はそれしか抜けない → df = (n – 1)
Ex. 直線回帰 y = ax + b → df = n – 2 [2つの母数a, bを推定する]

反復と擬似反復 replication and pseudoreplication

原因:
空間的自己相関 spatial autocorrelation
時系列自己相関 temporal autocorrelation

正規性 normality

確率プロット(法) probability plotting (method)

y軸: 観測値 → 順序統計量(xi ≤ xj, i < j)
x軸: 理論値(4分位) → 観測変量が完全に理論分布にあえば全ての点が対角線(直線)上に並ぶ
4分位変動係数 quartile variation

理論値(x) = N(0, 1)の%点
b) Q-Qプロット quantile-quartile plots, Q-Q plots: 理論分位値(y)
c) P-Pプロット, P-P plots: 観測された累積分布関数(y)-理論累積分布関数(x)

→ 正規normal Q-Qプロット/P-Pプロット
→ 傾向化除去detrendec正規Q-Qプロット/P-Pプロット

確率紙 probability paper (死語かも)

幾何的手続きで、母数評価可能

他にワイブル確率紙等がある

★ 古典的解析 査読のために

正規性検定 normality test

→ nを妥当な線に置く問題 = 標本数問題

Kolomogorov-Smirnov test

C₁, C₂, …, C_k → Total
f₁, f₂, …, f_k → N
H_i, p_i, X~N(m, s²) → Γ = (m - μ)/s~N(0, 1)
p_i = p(X ∈ x_i) = p(a_i-1 < X ≤ a_i)
= p{(a_i-1 - m)/s < T < (a_i - m)/s} = p{T < (a_i-1 - m)/s} - p{T < (a_i - m)/s}
この確率分布は正規性検定ではN(0, 1) → m_i = mp_i, χ²(df = k - 1 - s)

H: 標本は特定分布(理論的に仮定された)母集団から抽出
F_o(x): 理論分布関数(= レリーフォース確率 Lilliefors probability) ↔ S_n(x): 実験の相対累積度数
D_α = max|F_o(x) - S_n(x)|, P(D ≥ D_α) = α
Ex. N = 35, (P = 0.05) → D_α = 1.36/√N

当人いわく、正規性検定として最も優れる
歪度と尖度から正規性を検定

シャピロ-ウィルク統計量, W

ギアリ統計量Geary, G

多変量の正規性検定

標本数 sample number

α: 検定有意水準 Ex. 1%, 5%
β: 有意性を見逃す確率(通常10-20%)
s: ばらつきの大きさ
Δ: 予想される差(生物学的に検出する際に価値のある差)

正規分布 α/2%点 (両側 → 2で割る), z_β: 正規分布β%点
t-value = Δ/√(s²/n + s²/n) = Δ/√(2/n), n → ∞ → f(t)~N(0, 1)

Ex. z_0.025 = 1.96, z_0.20 = 0.84

→ 分析で目的の定量(検定)可能最小量(値) = 通常SDのx倍

(浜田 1999)

外れ値(異常値) outlier

平均値に影響大 → 中央値・最頻値は殆んど(全く)影響なし

1. 異常値検出

a) 異常値棄却検定(外れ値検定) Ex. スミルノフ-グラブス検定
b) 箱ひげ図: 髭上下端を1.5 x IQRとする
c) クラスター分析: 大きく離れた枝 = 異常値の可能性

2. 異常値処置

正規分布から外れた標本検出法

1. 観測値が本来非正規分布なら無意味
2. 値自体が異常値としての意味を持つ

R_i+1 = |x⁽ⁱ⁾ – m⁽ⁱ⁾|/s⁽ⁱ⁾

H: ^∀x_i ∈ π_A~N(m, s) ⇔ K: Maxx_i or Minx_i ∈ π_B
(最大(小)値は外れ値) → αで片側検定(両側検定定義可)
→ t検定: Minx_iのT_iを求める: T_i = max|x_i - m|√s,

sは不偏分散(標本分散)

Ti < t → accept H = 最大(小)値は外れ値といえない

↔ Ti ≥ t → reject H = 最大(小)値は外れ値

μ = 140,σ = 8, 正規母集団 → 20 標本抽出: 測定値中164を検定
m = 141.7, U = 55.0632

→ reject H = 164 = outlier

→ 外れ値ならそれを除きn - 1個データで同様に検定(反復)

拡張(正規分布以外)

標準化(基準化) standardization

1. 変数間関係単純化 Ex. 変数間の量に差 ⇒ 変数間比較可能
2. 分布幅一定 – 集団間比較 Ex. 異なる単位の2測定値分布比較(z変換 → μ = 0, σ = 1、無単位)
3. 正規分布(+ 他の標準分布)近似: (多)統計手法 = 正規分布仮定 ↔ 生データ: 正規分布と限らない

正規分布仮定できない(正規分布でも) → ノンパラメトリック検定

データ変換(再表現) data transformation

Ex. 群集調査データ: 超優占種 → これに大きくデータ解析結果が依存する場合実施すべき

x' = (x^λ – 1)/λ (λ ≠ 0), or x' = log(x) (λ = 0)
λ = 1 → 無変換 no transformation
λ = 0.5 → ルート変換(平方根変換) square root transformation

x' = √(x + a), a = 0.5 良 (Bartlett 1936)
分布低値に偏る時有効

λ = -1: 分数変換 reciprocal transformation

x' = 1/(x + a), a = 0 or 1が多い
x' = (x – Min(x_i))/(Max(x_i) – Min(x_i)) → 上限・下限がある時有効

→ λ選択: 対数尤度関数, L = –(v/2)·log_es_T² + (λ – 1)(v/n)Σ(log_ex)

→ Max(L) [v: df = n – 1, s_T² = σ(x')]

得たλをそのまま採用せず、意味の明らかな近傍の値を採用すべき

x' = ln(x + a), 通常 a = 0, 1 → 0値がある, x > 0
折り重ね対数変換: p' = ln√p – ln√(1 – p)

→ 比率データの両極を引き伸ばす

x' = ae^x
べき乗変換 power transformation: x' = x^a → Max(x_i)/Min(x_i) ≤ 20

= inverse sine, sin^-1 or angular
p' = arcsin√p

p: 比率 proportion → 値が0-1間で変動時のみ可能

→ backtransform – フーリエ変換の一種?
low frequencies, high frequencies, create band filtersで有効

Ex. シャノン-ヴィーナ多様性指数: 種数・均等度を1値で表現

対数変換 logarithmic transformation

logy = loga + bx → Y = A + bx (線形式 x-logy平面で直線)

b = dY/dx = dlogy/dx = (dy/y)/dx → 時系列ならYの変化率となる

Law. Weber-Fechnerの法則: 同量の反応増加を起こすには刺激は同じ比率で増加させねばならない

今後の課題

↔ 仮説検証型: 多くの統計解析

↔ 確認的データ解析

1. 抵抗性 = 抵抗性高い中央値使用
2. 残差分析 → データ「ならし」やモデル適合ではなく潜在的パターン発見や再表現につながる点を重視
3. 再表現(データ変換): データ構造探索使用
   a) 単純関係
   b) 安定分散
   c) 確率分布 (Ex. 正規分布)近似(べき乗変換か比率変換)

   – ノンパラメトリックと判断されることもある

   d. 図示

→ 標本(x₁, x₂, … x_n)から推定

母平均 μ = E(X)___母分散 σ = V(X)
平均値統計量 X = 1/n·Σ_i=1ⁿX_i
分散 S = 1/n·Σ_i=1ⁿ(X_i – m)²

*: 複雑で実用性ない

2) S² = 1/nΣX_i² – m² = 1/nΣX_i² – {1/nΣX_i}² = 1/nΣX_i² – 1/n²{ΣX_i}²

= 1/nΣX_i² – 1/n²{Σx_i² – Σ_{1≤i≤j≤n}X_iX_j}
= (n – 1)/n²ΣX_i² – 2/n²Σ_i<jX_iX_j

Cf. (a₁ + a₂ + … + a_n) = Σa_i² + 2Σ_1≤i<j≤nE(a_i)E(a_j)
∴ E(s²) = (n – 1)/n²·ΣE(X_i²) – (2/n²)·Σ_i<jE(X_i)E(X_i)

= (n – 1)/n·ΣE(X_i²) – 2/n²·[{n(n – 1)}/2]{E(X)}²
= (n – 1)/n·(E(X²) – E²(X)) = (n – 1)/n·σ²

→ F_n(x): 経験分布関数(標本分布関数) emprical distribution function

≡ lim_n→∞P(|F_n(x) – F(x)| > ^∃ε) = 0

X₁, X₂, …~f(μ, σ²), X₁ ⫫ X₂ ⫫ …, ^∀ε > 0
⇒ lim_n→∞P(|(X₁ + X₂ + … + X_n|/n - μ| ≥ ε) = 0

P(|Y_n - μ| ≥ ε) ≤ σ²/(nε²) [チェビシェフの不等式]
n → ∞ ⇒ lim_n→∞P(|Y_n - μ| ≥ ε) = 0

良い推定の4条件

1) 一致性 consistency

n十分大, lim_n→∞P(|θ_n^(X₁, X₂, … X_n) – θ| ≥ δ) = 0
→ θ_n^ = θ_n^(X₁, X₂, … X_n)
一般にE(θ_n^|θ) → θ, V(θ_n^|θ) → 0 → θ_n^は一致推定量となる

^∃θ > 0 → P(|θ_n^ – θ| > δ) ≤ P(|θ_n^ – E(θ_n^|θ)| > (δ > |E(θ_n^|θ) – θ|))

≤ V(θ_n^|θ)/(δ - |E(θ_n^|θ)| – θ)² → 0 //

2) 効率(有効性, 最小分散性) efficiency

Def. 絶対効率: e(θ^) = V_θ/V(θ^|θ)

利点: 統計学の中心根拠: 最尤性・不偏性に関係する推定理論の根幹
1) 理論的取扱容易: a) 各変量値同等に関与, b) 標準偏差(分散)最小
2) 計算楽

3) 十分性

Ex. θ^ = θ^(X₁, X₂, …, X_n)

→ 最尤法により求められる

4) 不偏性(不偏推定量) unbias

未知母数θ ⇒ 統計量T = T(X₁, X₂, …, X_n)が存在しE(T) = θの時のθに対するT
Def'. E(θ^|θ) = θ + b(θ), b(θ): 推定量θ^の偏り, b(θ) = 0

→ θ^ ≡ 不偏推定量

Def. V(^∀θ^*|^∀θ) = V_θ ≤ V(θ^|θ), exist

→ θ^^* ≡ 一様最小分散不偏推定量

σ²未知, 2標本(X₁, X₂, …, X_m) (Y₁, Y₂, …, Y_n)

→ E{(Σ_i=1^m(X_i – m_x) + Σ_j=1ⁿ(Y_j – m_y))/(m + n – 2)} = σ²

→ (標本)平均値推定量(X)は母平均μに対する不偏統計量 → 点推定
不偏分散 unbiased variance, u = n/(n – 1)·s²

= n/(n – 1)·1/nΣ(X_i – m)² = 1/(n – 1)Σ(X_i – m)²

E(s²) = (n – 1)/n·s²はσ²に対する不偏統計量ではないが、E(u²)は、母分散σに対する不偏統計量

最もバラツキ小
V(θ^) = E((θ – θ^)²) → 最小 → 最良不偏推定量

→ 有効推定量 efficient estaimator ≡ θ^(X)
フィッシャー情報量 Fisher information, i(θ) ≡ V_θ(∂l/∂θ),

∂l/∂θ ≡ スコア統計量 score statistic
→ V(T) ≥ i(θ)^-1

(Fisher 1936)

最尤法 maximum likelihood method, ML

尤度方程式(最尤方程式): ∂logL(θ)/∂θ = Σ_i=1ⁿ∂logf(xⁱ; θ)/∂θ = 0

N(μ, σ²), θ(μ/σ²)より解θ求める → 偏微分

→ 成功確率Pの尤度: l = (p)^s·(1 – p)^f = p⁶·(1 – p)⁴
対数をとる: 6logp + 4log(1 – p) → 偏微分 l = 0.6

十分統計量 sufficient statistic

統計量 θ^ = θ^(X₁, X₂, …, X_n)が十分統計量
→ ^N.C/S.C. f(x₁, x₂, …, x_n; θ) = g(θ^; θ)h(x₁, x₂, …, x_n)

pdf f(t) = L(μ, σ²) = 1/{(2π)^n/2·σ²}·e^{(–1/2σ2)Σ_i=1n(x_i – μ)2}
L(θ) = L(μ, σ²) = (n/2)·log(2π) – nlogσ – (1/2σ²)·Σ(x_i – μ)²
1/L·∂L/∂μ = 1/σ²·Σ_i=1ⁿ(x_i – μ)², 1/L·∂L/∂σ = -1/σ² + 1/σ³Σ_i=1ⁿ(xⁱ – μ)²
μ = m = 1/n·Σx_i, σ² = 1/n·Σ(x_i – m)²
Σ(m) = μのunbiased statisticsを除けばE(s) ≠ 0

(X₁, X₂, …, X_n) 同時確率密度関数

→ f(x₁, x₂, …, x_n; θ) = g(θ^, θ)h(x₁, x₂, …, x_n)

θ^^* = θ^^*(x₁, x₂, …, x_n) → g(θ^, θ)最大, f最大 → θ^^*: 最尤推定量 //

≈ N(0, 1), τ²(θ) = E{[∂logf(X; θ)/∂θ]²}

CLT → 1/n·Σ(x_i; θ) ≈ N(0, τ²(θ)/n), n十分大

→ (θ_n^^* – θ) ≈ ΣS(x_i; θ) //