zpět na výpis    domů » statistika » Klasický model lineární regrese

Klasický model lineární regrese

Publikováno: 1.6.2017

Klasický model lineární regrese

Regresní analýza je ekonometrický nástroj k modelování závilosti mezi proměnnými a tvorbě předpovědí. K modelování vztahů slouží matematické funkce, které se označuje jako tzv. regresní funkce. Regresní funkce obsahuje 2 skupiny proměnných - závisle proměnná yi a nezávisle proměnné x1, x2, ...., xi, pomocí kterých se snažíme vysvětlit yi.

Regresní funkce

V rámci regresní analýzy je nutné rozlišovat populační regresní funkci nebo regresní funkci základního souboru a výběrovou regresní funkci. Populační regresní funkce je konstruována na základě všech dat. Jedná se však pouze o teoretický koncept. Při hledání závilosti pracujeme s výběrovou regresní funkcí, neboť máme k dispozici pouze určitý výběr dat. Na základě výběru dat se snažíme odhadnout populační regresní funkci.

Rozlišují se regresní modely s jednou vysvětlující proměnnou a více vysvětlujícími proměnnými (= vícenásobná regrese).

Obecná populační regresní funkce

yi = ηi + εi = β0 + β1·x1i + β2·x2i + ... βk·xki + εi

i ... označení jednotlivých pozorování proměnných
yi ... i-tá hodnota závisle proměnné
ηi ... i-tá hodnota populační regresní funkce
εi ... i-tá hodnota náhodné složky
β1, β2, ..., βk ... neznámé regresní parametry
x1, x2, ..., xk ... nezávisle proměnné


Obecná výběrová regresní funkce

yi = Yi + ei = b0 + b1·x1i + b2·x2i + ... bk·xki + ei

yi ... i-tá hodnota závisle proměnné
Yi ... i-tá hodnota výběrové regresní funkce
ei ... i-tá hodnota residuální složky
b1, b2, ..., bk ... bodové odhady neznámých regresních parametrů
x1, x2, ..., xk ... nezávisle proměnné


Metoda nejmenších čtverců

Bodové odhady regresních parametrů lze získat metodou nejmenších čtverců (MNČ). Cílem MNČ je nalézt vhodnou aproximační funkci, která nejlépe vystihuje empirické hodnoty závisle proměnné.

Z následujícího minimalizačního kritéria MNČ jsou odvozovány tzv. normální rovnice pro odhad neznámých parametrů modelu.

∑εi2 = ∑(yi - ηi)2 → MIN

∑εi2 = ∑(yi - ηi)2 = ∑(yi - β0 - β1·x1 - ... - βk·xk)2 → MIN

Z minimalizačního kritéria je patrné, že MNČ minimalizuje součet čtverců odchylek.

Soustavu rovnic získáme položením prvních parciálních derivací minimalizačního kritéria MNČ podle jednotlivých parametrů nule.

Pro parabolickou výběrovou funkci je odvození normálních rovnic následující.

Soustava normálních rovnic pro parabolickou regresi

Yi = b0 + b1·xi + b2·xi2

∑ei2 = ∑(yi - Yi)2 = ∑(yi - b0 - b1·xi - b2·xi2)2 → MIN

∂∑ei2/∂b0 = 2∑(yi - b0 - b1·xi - b2·xi2)·(-1) = 0

∂∑ei2/∂b1 = 2∑(yi - b0 - b1·xi - b2·xi2)·(-xi) = 0

∂∑ei2/∂b2 = 2∑(yi - b0 - b1·xi - b2·xi2)·(-xi2) = 0

Výsledná soustava normálních rovnic

∑yi = n·b0 + b1·∑xi + b2·∑xi2
∑yi·xi = b0·∑xi + b1·∑xi2 + b2·∑xi3
∑yi·xi2 = b0·∑xi2 + b1·∑xi3 + b2·∑xi4

Bodový odhad neznámých parametrů lze také provést pomocí maticových výpočtů. Maticový zápis je přehlednější a odhad modelu lze snadno provést v MS Excel pomocí vestavěných funkcí.

Klasický lineární model regrese v maticovém vyjádření

y = Xβ + u

y ... sloupcový vektor n pozorování hodnot závisle proměnné
X ... matice n x (k + 1) pozorování hodnot vysvětlujících proměnných
β ... sloupcový vektor k + 1 neznámých parametrů
u ... sloupcový vektor n náhodných složek → u = y - Xβ

Pro odvození odhadové bodové funkce MNČ je stejně jako v předchozím případě minimalizován součet čtverců odchylek.

Odvození bodové odhadové funkce MNČ

eTe = (y - Xb)T(y - Xb) → MIN

∂(eTe)/∂bT = -2XTy + 2XTXb = 0

XTXb = XTy

b = (XTX)-1 XTy

b ... sloupcový vektor bodových odhadů parametrů βk
XT ... transponovaná matice (k + 1) x n nezávisle proměnných
(XTX)-1 ... inverzní čtvercová matice (k + 1) x (k + 1)
y ... sloupcový vektor závisle proměnné

Pro řešení rovnic doporučuji použít ekonometrický software (např. volně dostupný Gretl) nebo MS Excel, který umožňuje hned několik způsobů výpočtu.

Vlastnosti odhadů metody nejmenších čtverců

Bodové odhady bj neznámých parametrů βj jsou náhodné veličiny, neboť se pro různé množiny pozorování odhady parametrů liší. Náhodnou neboli stochastickou veličinu, která má určité pravděpodobnostní rozdělení, lze popsat pomocí střední hodnoty a rozptylu.

Vlastnosti bodových odhadů získaných pomocí MNČ jsou nestrannost a vydatnost. Tyto vlastnosti platí i pro malé výběry.

Nestrannost bodových odhadů parametrů modelu znamená, že odhady bj nejsou vychýlené. Jinými slovy je střední hodnota bj, pro různé množiny pozorování, rovna βj. Tuto vlastnost lze formálně zapsat jako E(bj) = βj.

Bodový odhad parametrů by měl mít co nejnižší rozptyl. Čím vyšší by byl rozptyl, tím vzdálenější by byl odhad bj od neznámé hodnoty parametru βj. Bodové odhady parametrů MNČ mají nízký rozptyl. V takovém případě jsou nestranné odhady také vydatné.

V případě vícerozměrného rozdělení se mluví o vektorových veličinách. Střední hodnota vektoru bT = [b0, b1, ..., bk]T (T v horním indexu představuje transpozici sloupcového vektoru) je rovna vektoru βT = [β0, β1, ..., βk]T. Tato vlastnost se zapisuje jako E(b) = β.

Rozptyl je ve vícerozměrném rozdělení nahrazen kovarianční maticí V(b) = σ2(XTX)-1.

V případě velkých či nekonečných výběrů se mluví o limitních nebo asymptotických vlastnostech.

Předpoklady metody nejmenších čtverců

Pro dodržení požadovaných vlastnosti bodových odhadů b vektoru β metodou nejmenších čtverců musí klasický model lineární regrese splňovat několik předpokladů:

  • E(u) = 0 → střední hodnota náhodné složky je ve všech pozorováních nulová
  • E(uuT) = σ2In → náhodné složky mají konstantní a konečný rozptyl (= homoskedasticita) a jsou navzájem nekorelované (= sériová nezávislost)
  • E(XTu) = 0 → matice hodnot nezávisle proměnných X je nezávislá na náhodné složce, matice X je nestochastická
  • h(X) = k + 1 ≤ n → matice nezávisle proměnných X musí mít plnou hodnost k + 1. To znamená, že sloupce pozorování matice X nejsou lineárně závislé.

E(uuT) je kovarianční matice náhodné složky, která má na diagonále konstantní a konečný rozptyl. Nediagonální prvky matice musí být nulové, aby byl splněn požadavek sériové nezávislosti náhodné složky.

Doplňujícím předpokladem MNČ je lineární model z hlediska parametrů. Popřípadě model, který lze pomocí vhodné transformace linearizovat (například logaritimická transformace).

Funkce v MS Excel

MS Excel nabízí statistické funkce pro odhad a testování regresního modelu. Následující odstavec obsahuje nejdůležitější funkce pro odhad regresního modelu.

INTERCEPT() ... absolutní člen regresní přímky
SLOPE() ... sklon regresní přímky
LINREGRESE() ... odhad regresního modelu včetně testovacích statistik (maticový vzorec)

Chcete vědět o každém novém článku? Dejte Like Financím v praxi na sociálních sítích a zůstaňte ve spojení.

Google+

Sdílejte článek na sociálních sítích

Seznam použité literatury
  • CIPRA, T.: Finanční ekonometrie. EKOPRESS 2008, Praha. První vydání, 538 stran. ISBN 978-80-86929-43-9
  • HAMPEL, D., BLAŠKOVÁ, V., STŘELEC, L.: Ekonometrie 2. Mendelova univerzita v Brně 2011, Brno. První vydání, 147 stran. ISBN 978-80-7375-540-9
  • HINDLS, R., HRONOVÁ, S., SEGER, J., FISCHER, J.: Statistika pro ekonomy. Profesional publishing 2007, Praha. Osmé vydání, 415 stran. ISBN 978-80-86946-43-6
  • HUŠEK, R.: Ekonometrická analýza. EKOPRESS 1999, Praha. První vydání, 303 stran. ISBN 80-86119-19-X
  • JAROŠOVÁ, E., PECÁKOVÁ, I.: Příklady k předmětu statistika B. Vysoká škola ekonomická v Praze 2003, Praha. První vydání, 222 stran. ISBN 80-245-0015-9
  • LEJNAROVÁ, Š., RÁČKOVÁ, A., ZOUHAR, J.: Základy ekonometrie v příkladech. Vysoká škola ekonomická 2009, Praha. První vydání, 276 stran. ISBN 978-80-245-1564-9
  • MINAŘÍK, B.: Statistika I. Popisná statistika - druhá část. Mendelova zemědělská a lesnická univerzita v Brně 2000, Brno. První vydání, 226 stran. ISBN 978-80-7375-152-4
  • Wikipedia. Metoda nejmenších čtverců [on-line] [cit. 2015-10-05]. Dostupné z WWW: https://cs.wikipedia.org/wiki/Metoda_nejmen%C5%A1%C3%ADch_%C4%8Dtverc%C5%AF
Nahoru