Betrachten Sie die Modellfunktion

y = α + β x, {\ displaystyle y = \ alpha + \ beta x,}

, die eine Linie mit Steigung beschreibt β und y-Achsenabschnitt α. Im Allgemeinen gilt eine solche Beziehung möglicherweise nicht genau für die weitgehend unbeobachtete Wertepopulation der unabhängigen und abhängigen Variablen. Wir nennen die unbeobachteten Abweichungen von der obigen Gleichung die Fehler. Angenommen, wir beobachten n Datenpaare und nennen sie {(xi, yi), i = 1, …, n}. Wir können die zugrunde liegende Beziehung zwischen yi und xi, die diesen Fehlerterm & egr; i beinhaltet, durch

y i = & agr; + & bgr; x i + & egr; i beschreiben. {\ displaystyle y_ {i} = \ alpha + \ beta x_ {i} + \ varepsilon _ {i}.}

Diese Beziehung zwischen den wahren (aber nicht beobachteten) zugrunde liegenden Parametern α und β und den Datenpunkten wird als a bezeichnet lineares Regressionsmodell.

ε ^ i = yi – α – β xi. {\ displaystyle {\ widehat {\ varepsilon}} _ {i} = y_ {i} – \ alpha – \ beta x_ {i}.} Finde min α, β Q (α, β) für Q (α, β ) = ∑ i = 1 n ε ^ i 2 = ∑ i = 1 n (yi – α – β xi) 2. {\ displaystyle {\ text {Find}} \ min _ {\ alpha, \, \ beta} Q (\ alpha, \ beta), \ quad {\ text {für}} Q (\ alpha, \ beta) = \ sum _ {i = 1} ^ {n} {\ widehat {\ varepsilon}} _ {i} ^ {\, 2} = \ sum _ {i = 1} ^ {n} (y_ {i} – \ alpha – \ beta x_ {i}) ^ {2} \.} α ^ = y ¯ – (β ^ x ¯), β ^ = ∑ i = 1 n (xi – x ¯) (yi – y ¯) ∑ i = 1 n (xi – x) 2 = sx, ysx 2 = rxysysx. {\ textstyle {\ begin {align} {\ widehat {\ alpha}} & = {\ bar {y}} – ({\ widehat {\ beta}} \, { \ bar {x}}), \\ {\ widehat {\ beta}} & = {\ frac {\ sum _ {i = 1} ^ {n} (x_ { i} – {\ bar {x}}) (y_ {i} – {\ bar {y}})} {\ sum _ {i = 1} ^ {n} (x_ {i} – {\ bar {x }}) ^ {2}}} \\ & = {\ frac {s_ {x, y}} {s_ {x} ^ {2}}} \\ & = r_ {xy} {\ frac {s_ {y}} {s_ {x}}}. \\\ end {align}}}

Hier haben wir

Einsetzen der obigen Ausdrücke für α ^ {\ displaystyle {\ widehat {\ alpha}}} und β ^ {\ displaystyle {\ widehat {\ beta}}} in

f = α ^ + β ^ x, {\ displaystyle f = {\ widehat {\ alpha}} + {\ widehat {\ beta}} x,}

ergibt

f – y ¯ sy = rxyx – x ¯ sx. {\ displaystyle {\ frac {f – {\ bar {y}}} {s_ {y}}} = r_ {xy} {\ frac {x – {\ bar {x}}} {s_ {x}}} .}

Dies zeigt, dass rxy die Steigung der Regressionslinie der standardisierten Datenpunkte ist (und dass diese Linie durch den Ursprung verläuft).

Verallgemeinern des x ¯ {\ displaystyle {\ bar { x}}} Notation können wir einen horizontalen Balken über einen Ausdruck schreiben, um den Durchschnittswert dieses Ausdrucks über den Satz von Stichproben anzugeben. Zum Beispiel:

x y ¯ = 1 n ∑ i = 1 n x i y i. {\ displaystyle {\ overline {xy}} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} x_ {i} y_ {i}.}

Diese Notation erlaubt es uns eine prägnante Formel für rxy:

rxy = xy – x – y (x 2 – x 2) (y 2 – y 2). {\ displaystyle r_ {xy} = {\ frac {{\ overline {xy}} – {\ bar {x}} {\ bar {y}}} {\ sqrt {\ left ({\ overline {x ^ {2 }}} – {\ bar {x}} ^ {2} \ right) \ left ({\ overline {y ^ {2}}} – {\ bar {y}} ^ {2} \ right)}}} .}

Der Bestimmungskoeffizient („R im Quadrat“) ist gleich rxy 2 {\ displaystyle r_ {xy} ^ {2}}, wenn das Modell mit einer einzelnen unabhängigen Variablen linear ist. Weitere Einzelheiten finden Sie im Beispielkorrelationskoeffizienten.

Intuitive ErklärungEdit

β ^ = ∑ i = 1 n (xi – x) (yi – y) ∑ i = 1 n (xi – x ¯) 2 = ∑ i = 1 n (xi – x ¯) 2 ∗ (yi – y ¯) (xi – x ¯) ∑ i = 1 n (xi – x ¯) 2 {\ displaystyle {\ begin {align} {\ widehat {\ beta}} & = {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} – {\ bar {x}} ) (y_ {i} – {\ bar {y}})} {\ sum _ {i = 1} ^ {n} (x_ {i} – {\ bar {x}}) ^ {2}}} = {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} – {\ bar {x}}) ^ {2} * {\ frac {(y_ {i} – {\ bar {y }})} {(x_ {i} – {\ bar {x}})}} {\ sum _ {i = 1} ^ {n} (x_ {i} – {\ bar {x}}) ^ {2}}} \\\ end {align}}} α ^ = y ¯ – β ^ x ¯, {\ displaystyle {\ begin {align} {\ widehat {\ alpha}} & = {\ bar {y}} – {\ widehat {\ beta}} \, {\ bar {x}}, \\\ end {align}}}

Einfache lineare Regression ohne den Intercept-Term (einzelner Regressor) Bearbeiten

Manchmal ist es angebracht, die Regressionslinie durch den Ursprung zu zwingen, da x und y als proportional angenommen werden.Für das Modell ohne den Intercept-Term y = βx vereinfacht sich der OLS-Schätzer für β zu

β ^ = ∑ i = 1 nxiyi ∑ i = 1 nxi 2 = xy ¯ x 2 ¯ {\ displaystyle {\ widehat { \ beta}} = {\ frac {\ sum _ {i = 1} ^ {n} x_ {i} y_ {i}} {\ sum _ {i = 1} ^ {n} x_ {i} ^ {2 }}} = {\ frac {\ overline {xy}} {\ overline {x ^ {2}}}}

Wenn Sie (x – h, y – k) anstelle von (x, y) einsetzen, erhalten Sie die Regression durch (h, k):

β ^ = (x – h) (y – k) (x – h) 2 = xy – kx – hy + hkx 2 – 2 hx + h 2 = xy ¯ – x ¯ y ¯ + (x ¯ – h) (y ¯ – k) x 2 ¯ – x ¯ 2 + (x ¯ – h) 2 = Cov ⁡ (x, y) + (x ¯ – h) (y ¯ – k) Var ⁡ (x) + (x ¯ – h) 2, {\ displaystyle {\ begin {align} {\ widehat {\ beta}} & = {\ frac {\ overline {(xh) (yk)}} {\ overline {(xh) ^ {2}}} \\ & = {\ frac {{\ overline {xy}} – k {\ bar {x}} – h {\ bar {y}} + hk} {{\ overline {x ^ {2}}} – 2h {\ bar {x} } + h ^ {2}}} \\ & = {\ frac {{\ overline {xy}} – {\ bar {x}} {\ bar {y}} + ({\ bar {x}} – h) ({\ bar {y}} – k)} {{\ overline {x ^ {2} }} – {\ bar {x}} ^ {2} + ({\ bar {x}} – h) ^ {2}}} \\ & = {\ frac {\ operatorname {Cov} (x, y) + ({\ bar {x}} – h) ({\ bar {y}} – k)} {\ operatorname {Var} (x) + ({\ bar { x}} – h) ^ {2}}}, \ end {align}}}

wobei Cov und Var sich auf die Kovarianz und Varianz der Probendaten beziehen (nicht korrigiert für Bias).

Die letzte Form oben zeigt, wie sich das Verschieben der Linie vom Massenmittelpunkt der Datenpunkte auf die Steigung auswirkt.