線形回帰

統計学
回帰分析
モデル
線形回帰 線形単回帰（英語版） 多項式回帰 一般線形モデル
一般化線形モデル 離散選択（英語版） ロジスティック回帰 多項ロジット（英語版） 混合ロジット（英語版） プロビット（英語版） 多項プロビット（英語版） 順序ロジット（英語版） 順序プロビット（英語版） ポアソン（英語版）
多水準モデル（英語版） 固定効果（英語版） 変量効果 混合モデル
非線形回帰 ノンパラメトリック（英語版） セミパラメトリック（英語版） ロバスト（英語版） 分位点（英語版） 等調（英語版） 主成分（英語版） 最小角度（英語版） 局所 折れ線（英語版）
変数誤差（英語版）
推定
最小二乗法 線形（英語版） 非線形
普通（英語版） 加重（英語版） 一般化（英語版）
部分 総最小二乗法（英語版） 非負（英語版） リッジ回帰 正則化（英語版）
最小絶対偏差（英語版） 繰返し加重（英語版） ベイズ（英語版） ベイズ多変量（英語版）
背景
回帰検証（英語版） 平均応答と予測応答（英語版） 誤差と残差 適合度（英語版） スチューデント化残差 ガウス＝マルコフの定理
表 話 編 歴

線形回帰（せんけいかいき、英: linear regression）とは、説明変数（独立変数ともいう）に対して目的変数（従属変数、あるいは反応変数ともいう）が線形またはそれから近い値で表される状態。線形回帰は統計学における回帰分析の一種であり、非線形回帰と対比される。

線形回帰のうち、説明変数が1つの場合を線形単回帰（simple linear regression）や単純線形回帰や単変量線形回帰（univariate linear regression）、2つ以上の場合を線形重回帰（multiple linear regression）や多重線形回帰や多変量線形回帰（multivariate linear regression）と呼ぶ。単回帰と呼んだ場合、単変量の回帰のことであるが、多くの場合は非線形を含めずに線形単回帰の事を指す。

概要[編集]

線形回帰では，データから推定される線形予測関数を用いて関係性がモデル化される。このようなモデルは線形モデルと呼ばれる。 説明変数（または予測変数）に対して目的変数の条件付き期待値は、アフィン写像で与えられる。（通常は条件付き期待値だが、条件付メジアンまたは他の分位数を用いることもある。）

線形回帰が非線形回帰に比べて用いられる頻度が高いのは、未知のパラメータに線形に依存するモデルの方が、パラメータに非線形に依存するモデルよりもフィッティングが容易で、推定値の統計的性質を決定しやすいためである。

線形回帰が取り扱う範囲は、予測変数の値を与えられた応答の条件付き確率分布に限る。 全ての変数の同時確率分布は多変量解析の領域として、ここでは扱わない。

線形回帰の用途[編集]

線形回帰は多くの実用的な用途があり、大まかには以下の二種類の用途に分類される。

○予測、予想、またはエラーの削減を目的とする。 →線形回帰は、応答変数と説明変数の値の観測されたデータセットに予測モデルを適合させるために使用できる。 説明変数の追加値が収集された場合、このモデルから応答変数を予測できる。

○説明変数の変動に起因する応答変数の変動を説明することを目的とする。 →線形回帰分析を適用して、応答と説明変数の関係の強さを定量化できる。 これにより各説明変数が応答と全く線形関係を持たないかどうかを判断したり、説明変数のどのサブセットに応答に関する冗長な情報が含まれているかを特定できる。

線形モデルのフィッティング方法[編集]

線形回帰モデルは多くの場合、最小二乗法を用いてフィッティングされる。 それ以外のフィッティング方法としては、最小絶対値法や、リッジ回帰（L2ノルムペナルティ）やラッソ回帰（L1ノルムペナルティ）のように、最小二乗コスト関数のペナルティ付きバージョンを最小化する方法などがある。 逆に最小二乗法は、線形モデルではないモデルのフィットにも使用できる。 このように、「最小二乗法」と「線形モデル」という言葉は密接に関連しているが、同義ではない。

基本モデル[編集]

線形回帰モデルは、目的変数^{[注釈 1]} Y と説明変数^{[注釈 1]} X_i, i = 1, ..., p および擾乱項^{[注釈 2]} ε の関係を以下のようにモデル化したものである。

${\displaystyle Y=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+\cdots +\beta _{p}X_{p}+\varepsilon \ }$

ここで β₀ は切片（「定数」項）、β_i は各々の説明変数の係数であり、p は説明変数の個数である。線形回帰においては、説明変数の係数および切片の組 {β_i}_i∈[0,p) をパラメタとするモデルを与える。また、擾乱項 ε は説明変数 X とは独立である。

ベクトル・行列記法を用いれば、線形回帰モデルは以下のように表せる。

${\displaystyle Y=X\beta +\varepsilon \ }$

線形とは[編集]

線形回帰が「線形」であるのは、目的変数 Y が説明変数 X の係数 β に対して線形であるためである。たとえば

${\displaystyle Y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\varepsilon }$

という回帰は x に対して明らかに線形ではないが、係数 β に対して線形であるから、線形回帰の問題に分類される。

線形単回帰[編集]

線形単回帰（英語版）や単純線形回帰や単変量線形回帰の場合、説明変数は1つだけであり回帰パラメタは2つである。上式は以下のようになる。

最小二乗法を使用した場合、${\displaystyle {\bar {x}}}$ と ${\displaystyle {\bar {y}}}$ を ${\displaystyle x_{i}}$ と ${\displaystyle y_{i}}$ の平均としたとき、パラメータ ${\displaystyle a}$ と ${\displaystyle b}$ の推定量の ${\displaystyle {\hat {a}}}$ と ${\displaystyle {\hat {b}}}$ は以下のように求まる。

$${\displaystyle {\begin{aligned}{\hat {a}}&={\bar {y}}-{\hat {b}}\,{\bar {x}}\\{\hat {b}}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\end{aligned}}}$$

同等な定式化に、線形単回帰を条件付き期待値のモデルとして陽に表すものがある。

ここで、所与の x に対する y の条件付き確率分布は擾乱項の確率分布に一致する。

線形回帰の種類[編集]

最小二乗モデル[編集]

最小二乗法はカール・フリードリッヒ・ガウスが1820年代に発展させた。本方法は、擾乱項 ε_i の振る舞いに次のような仮定をする（ガウス＝マルコフ仮定）。

• 擾乱 ε_i の期待値は 0 である

  ${\displaystyle E[\varepsilon ]=0}$

• 擾乱 ε_i は相互に無相関である（統計的な独立の仮定よりは弱い）

  ${\displaystyle \operatorname {cov} (\varepsilon _{i},\varepsilon _{j})=0,\qquad i\neq j.}$

• 擾乱 ε_i は等分散、すなわちみな等しい分散をもつ（ガウス＝マルコフの定理も参照）

  ${\displaystyle V[\varepsilon _{i}]=\sigma ^{2},\qquad \forall i\in [n].}$

以上の仮定は、最小二乗法がある意味で最適なパラメタの推定量を与えることを保証する。

説明変数の個数が p 個のモデルを考えると、線形回帰によって決定すべきパラメタは係数 β₁,..., β_p と切片 β₀ の p + 1 個である。目的変数と説明変数の測定結果の組 (y_k; x_k1,...,x_kp) を1つのデータとし、n 個のデータを用いた線形回帰は以下のように表すことができる。

${\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}}={\begin{bmatrix}1&x_{11}&x_{12}&\dots &x_{1p}\\1&x_{21}&x_{22}&\dots &x_{2p}\\\vdots &\vdots &\vdots &&\vdots \\1&x_{n1}&x_{n2}&\dots &x_{np}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{p}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{bmatrix}}}$

上記の連立方程式は、目的変数の観測値を n 成分の列ベクトル Y、説明変数の観測値および切片 β₀ の係数 (=1) を n × (p + 1) 行列 X、回帰パラメタを (p + 1) 成分の列ベクトルβ、観測ごとの擾乱を n 成分の列ベクトル ε とすれば、行列の記法を用いて以下のように表せる。

${\displaystyle Y=\mathbf {X} \beta +\varepsilon }$

n = p の場合、回帰パラメタの標準誤差は算出できない。n が p より小さい場合、パラメタは算出できない。

回帰パラメタの推定量は、

で与えられ、ガウス＝マルコフの定理より推定量${\displaystyle {\widehat {\beta }}}$は最良線形不偏推定量になる。つまり、任意の線形不偏推定量${\displaystyle \beta }$に対して

が成立する。

回帰の二乗和 SSR は下式で与えられる。

ここで ${\displaystyle {\bar {y}}={\frac {1}{n}}\sum y_{i}}$ であり ${\displaystyle {\vec {u}}}$ は n × 1 の1ベクトル（各要素が1）である。 項 ${\displaystyle {\frac {1}{n}}y^{\top }uu^{\top }y}$ は ${\displaystyle {\frac {1}{n}}(\sum y_{i})^{2}}$　と等価である。

誤差の二乗和 ESS は下式で与えられる。

二乗和の全和 TSS' は下式で与えられる。

決定係数, R² は下式で与えられる。

擾乱項が正規分布に従うモデル[編集]

以下では擾乱項ε_iが互いに独立な平均${\displaystyle 0}$, 分散${\displaystyle \sigma ^{2}}$の正規分布に従うと仮定する。

残差は、観測値とモデルによる予測値の差を表し、以下のように決定される。

この時、統計量${\displaystyle S^{2}={\frac {{\hat {\vec {\varepsilon }}}{\;}^{\top }{\hat {\vec {\varepsilon }}}}{n-p-1}}}$は分散${\displaystyle \sigma ^{2}}$の不偏推定量（${\displaystyle E[S^{2}]=\sigma ^{2}}$）になる^[1]。また、最小二乗推定量${\displaystyle {\widehat {\beta }}}$と統計量${\displaystyle S^{2}}$について以下が成立することが知られている。証明は久保川(2017)^[2]や解説記事^[3]が詳しい。

1. ${\displaystyle {\widehat {\beta }}}$は多次元正規分布${\displaystyle {\mathcal {N}}\left(\beta ,\sigma ^{2}({\boldsymbol {X}}^{\top }{\boldsymbol {X}})^{-1}\right)}$に従う
2. ${\displaystyle {\frac {(N-P-1)S^{2}}{\sigma ^{2}}}}$は自由度${\displaystyle n-p-1}$の${\displaystyle \chi _{n-p-1}^{2}}$分布に従う
3. ${\displaystyle {\widehat {\beta }}}$と${\displaystyle S^{2}}$は独立

上記の事実をもとに回帰係数の有意性検定、信頼区間や予測区間を構成できる。

回帰係数の有意性検定[編集]

回帰係数の推定量${\displaystyle {\widehat {\beta }}_{i}}$は正規分布${\displaystyle {\mathcal {N}}\left(\beta _{i},\sigma ^{2}({\boldsymbol {X}}^{\top }{\boldsymbol {X}})_{ii}^{-1}\right)}$に従うことから

${\displaystyle T={\dfrac {{\hat {\beta }}_{i}-\beta _{i}}{\sqrt {({\boldsymbol {X}}^{\top }{\boldsymbol {X}})_{ii}^{-1}S^{2}}}}}$

は自由度${\displaystyle n-p-1}$の${\displaystyle t}$分布に従う^[4]。ここで${\displaystyle ({\boldsymbol {X}}^{\top }{\boldsymbol {X}})_{ii}^{-1}}$は行列${\displaystyle {\boldsymbol {X}}^{\top }{\boldsymbol {X}}}$の第${\displaystyle (i+1,i+1)}$成分である。（添え字${\displaystyle i}$は0から始まることに注意。）

これより適当な有意水準${\displaystyle \alpha }$で

• 帰無仮説: ${\displaystyle \beta _{i}=0}$
• 対立仮説: ${\displaystyle \beta _{i}\neq 0}$

を検定することできる。

信頼区間と予測区間[編集]

値 ${\displaystyle {\vec {x}}={\vec {x}}_{0}}$における${\displaystyle 100(1-\alpha )\%}$ の信頼区間は下式^[5]で表される。

同様に値 ${\displaystyle {\vec {x}}={\vec {x}}_{0}}$における${\displaystyle 100(1-\alpha )\%}$ の予測区間は下式^[6]で表される。

脚注[編集]

注釈[編集]

出典[編集]

表 話 編 歴 統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
要約統計量	連続確率分布 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック-ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	交絡 ピアソンの積率相関係数 順位相関（スピアマンの順位相関係数 ・ケンドールの順位相関係数 ）
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 <! -- 名前に回帰とついていますが確率を回帰する分類手法です --> 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法 （k-means++法 ） DBSCAN 密度推定（英語版） カーネル密度推定 （ カーネル ） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット（英語版） 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉表示 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存分析	生存関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ