Štatistika a teória pravdepodobnosti - PDF na stiahnutie zadarmo

Štatistika a teória pravdepodobnosti Dr. Jochen Koehler 1

Obsah dnešnej prednášky Štatistika a teória pravdepodobnosti Zhrnutie predchádzajúcej prednášky Prehľad odhadov a modelov χ Goodness of Fit Test Porovnanie modelu Good Test of Kolmogorov Smirnov

Zhrnutie predchádzajúcej prednášky Uvažovali sme o možnosti možnosti odhadnúť parametre distribúcie na základe pozorovaní/údajov. Čo sme sa dozvedeli Že parametre distribúcie je možné odhadnúť pomocou napr. der: Metóda momentov MoM Metóda maximálnej pravdepodobnosti MLM 3

Zhrnutie predchádzajúcej prednášky Metóda momentov (MoM) Odhad bodu Princíp MoM je: Parametre odhadujeme tak, že sa analyticky vypočítané momenty stotožnia s momentmi vzorky. m 1 n = xˆ 1 ini = 1 1 x fx (xμ, σ) λ = dx m 1 n = xˆ ini = 1 x fx (xμ, σ) λ = dx To vedie k k rovniciam, ktoré je potrebné vyriešiť pre k Odhad parametrov. 4

Zhrnutie predchádzajúcej prednášky Metóda odhadu maximálnej pravdepodobnosti (MLM) Odhad parametrov a ich rozdelenie Princíp MLM je: Parametre sa odhadujú maximalizáciou pravdepodobnosti, že parametre budú predstavovať pozorovania/údaje. n L (θ xˆ) = f (ˆ X xi θ) i = 1 l (θ x) = log (f (ˆ X xi θ)) min (l (θ xˆ)) θ ni = 1 μ = Θ (1 1 C ΘΘ = HH ij θ, θ. Θ l (θxˆ) T n) = θ = θ θ i θ j 5

Odhad a prehľad vývoja modelu Pri vývoji technických modelov sa používajú rôzne typy informácií. Subjektívne informácie Časté informácie Subjektívna pravdepodobnostná kniha Fyzické porozumenie Skúsenosti Úsudky rozhodovania Distribučná rodina Časté údaje Distribučné parametre Pravdepodobnostný model Štatistika vzorky Intervaly spoľahlivosti Štatistická významnosť Metóda momentov Metóda maximálnej pravdepodobnosti 6

Predpokladajme, že sme zvolili konkrétnu distribučnú funkciu na modelovanie neistoty neurčitej udalosti. Distribučná rodina fyzikálnych zákonov dát f x (x) pevnosť v tlaku betónové parametre distribúcie dát μ, σ x Teraz chceme skontrolovať výber nášho rozdelenia pomocou štatistických testov. 7.

Zvažujú sa dva rôzne prípady: Overenie 1: Diskrétne distribučné funkcie p x (x) Čtverec CHI (χ) Test x: Funkcie spojitej distribúcie Kolmogorov Smirnov Test f x (x) x 8

CHI kvadratický test správnosti zhody Ide o to, že rozdiely εj medzi očakávaným a pozorovaným rozdelením údajov by mali byť malé, ak vybraná distribučná rodina dokáže dobre popísať vzorku. 10 9 8 ε j ε i Pozorovania 7 6 5 4 3 1 0 0 5 5 30 30 35 35 Histogram z pozorovaní Histogram z očakávaných pozorovaní podľa zvoleného rozloženia a jeho parametrov pevnosť v tlaku betónu (MPa) 9

Test dobrej zhody štvorcového CHI Ako už vieme, diskrétna kumulatívna funkcia rozdelenia pravdepodobnosti je uvedená nasledovne: i 1 = j = 1 Px () px () i j funkcia hustoty pravdepodobnosti Kumulatívna funkcia rozdelenia pravdepodobnosti 10

CHI kvadratický test dobroty prispôsobenia Nech n je počet pozorovaní diskrétnej náhodnej premennej X. Počet pozorovaní X = xi tj. N i je binomicky rozdelená náhodná premenná s nasledujúcou očakávanou hodnotou a odchýlkou: [] [] EN = npx () = N ii pi, Var N = np (x) (1 p (x)) = N (1 p (x)) iii pi, i Očakávaný počet pozorovaní určitej hodnoty Ak je postulovaný model správny a n je dostatočne veľké, potom je podľa centrálnej limitnej vety je rozdiel ε i normálne distribuovaný štandardne. ε = i N N oi, pi, pi, N (1 p (x)) i Zistený počet pozorovaní určitej hodnoty 1

CHI kvadratický test dobroty prispôsobenia Štatistika a počet pravdepodobností Ak sa spočítajú štvorcové rozdiely pozorovaného a očakávaného počtu pozorovaní, dostaneme: ε (NN) kk oi, pi, = εi = i = 1 i = 1 Npi, p xi ( 1 ()) Štvorec CHI distribuovaný s k 1 stupňami voľnosti ε ε 1 počet pozorovaní 10 9 8 7 6 5 4 3 1 0 ε mk (Noi, Npi,) = N i = 1 pi, 0 1 3 ε 3 ε 4 histogram z pozorovaní Histogram očakávaných pozorovaní Počet nehôd za mesiac 13

CHI kvadratický test dobrej zhody Teraz sa testuje na hladine významnosti α, či je súčet všetkých pozorovaných štvorcových rozdielov pravdepodobný, t. J. Je nastavená nulová hypotéza H 0, že zvolená distribučná funkcia predstavuje pozorovanú vzorku. Pravidlo postupu je potom P ε (m) Δ = α. Alternatívna hypotéza H 1 je oveľa menej informatívna, pretože prijíma všetky ostatné distribúcie okrem vybraného distribúcie. Δ α χ 1 v = k j je zlomková hodnota distribúcie so stupňami voľnosti. 14

CHI kvadratický test dobrej pevnosti Uvažujeme nasledujúci príklad: Predpokladáme normálne rozdelenie ako distribučnú funkciu pre 0 pozorovaní pevnosti v tlaku betónu. Priemerná hodnota a štandardná odchýlka sú 33 MPa a 5 MPa. Parametre sa z dostupných pozorovaní neodhadujú. Normálne rozdelenie je spojité rozdelenie. Ale dá sa to ľahko diskretizovať! 15

Test štvorcovosti CHI na dobrú priľnavosť Je diskretizovaná hustotná funkcia vybranej distribučnej funkcie: Hustota pravdepodobnosti vybranej distribučnej funkcie 0,09 0,08 0,07 0,06 0,05 0,04 0,03 0,0 0,01 0 0 10 0 30 40 50 60 Pevnosť betónu v tlaku (MPa) 16

Testuje sa štvorcová skúška CHI na dobrú priľnavosť. Diskretizuje sa hustotná funkcia vybranej distribučnej funkcie: Hustota pravdepodobnosti 0,09 0,08 0,07 0,06 0,05 0,04 0,03 0,0 0,01 Zvolená distribučná funkcia 0 0 10 0 30 40 50 60 Pevnosť v tlaku betónu (MPa) Interval 0 5: Φ Φ) 0 0,055 1. 10 Celkový počet pokusov 5 33 33 0 () (= = 5 5 17

Testuje sa štvorcová skúška CHI na dobrú priľnavosť. Diskretizuje sa hustotná funkcia vybranej distribučnej funkcie: Hustota pravdepodobnosti Zvolená distribučná funkcia 0,09 0,08 0,07 0,06 0,05 0,04 0,03 0,0 0,01 0 0 10 0 30 40 50 60 Pevnosť v tlaku betónu (MPa) Počet pozorovaní 9 8 7 6 5 4 3 1 0 Očakávaný histogram 0 5 5 30 30 35 35 Pevnosť v tlaku betónu (MPa) Interval 0 5: Φ Φ) 0 0,055 1. 10 Celkový počet skúšok 5 33 33 0 () (= = 5 5 18

CHI kvadratický test správnosti zhody Pozorované a očakávané histogramy je možné teraz porovnať. 10 Počet pozorovaní 9 8 7 6 5 4 3 1 0 0 5 5 30 30 35 35 Pevnosť v tlaku betónu (MPa) Histogram z pozorovaní Histogram z očakávaných pozorovaní 19

CHI kvadratický test správnosti zhody Pozorované a očakávané histogramy je možné teraz porovnať. Kvôli malému počtu vzoriek v dolnej oblasti sú dva spodné intervaly zlúčené. Počet pozorovaní 10 9 8 7 6 5 4 3 1 0 0 5 5 30 30 35 35 Pevnosť v tlaku betónu (MPa) Histogram z pozorovaní Počet pozorovaní 10 Histogram z očakávaných 1 pozorovaní 0 9 8 7 6 5 4 3 0 30 30 35 35 Betón v tlaku (MPa) 0

CHI kvadratický test výpočtov správnosti prispôsobenia napríklad štatistík a výpočtov pravdepodobnosti Interval xj (MPa) Počet pozorovaní N o, j Očakávané pravdepodobnosti Očakávaný počet pozorovaní N p, j, štatistika vzoriek 0 30 5 0,96671 5,933415 0,14684 30 35 9 0,381169 7,65443 0,36537 35 6 0,344578 6,41155 0,0649 Súčet 0,40987 ε NN k (o, jp, j) m = j = 1 N p, j Pri hladine významnosti 5% dostaneme pre štvorcové rozdelenie CHI s N = 3 1 = stupne voľnosti od tabuľky: Δ = 5,99. Pretože 0,40987 je menej ako 5,99, nulovú hypotézu H 0 nemožno odmietnuť. 1

Skúška CHI kvadratúry dobrého súladu Ak sa jeden alebo viac (m) parametrov zvoleného rozdelenia určilo z tých istých údajov, ktoré sa použili na skúšku, potom sa musí zodpovedajúcim spôsobom znížiť počet stupňov voľnosti: v = k 1 j Za predpokladu, že rozptyl bol určený z údajov, ale nie priemer, dostaneme n = 3-1-1 = 1 stupeň voľnosti.

Štatistika a pravdepodobnosť Štvorecový test CHI na dobrú kondíciu Ak predpokladáme normálne rozdelenie s nasledujúcimi parametrami: μ = 33,00 σ = 4,05, dostaneme nasledujúci výsledok: Interval xj (MPa) Počet pozorovaní N o, j Očakávané pravdepodobnosti p (xj) Očakávané Počet pozorovaní N p, j =, 0p (xj) štatistika vzorky 0 30 5 0,7453 5,485061 0,04896 30 35 9 0,381169 7,63373 0,488591 35 6 0,344578 6,891566 0,11534 suma 0,40689 Pri hladine významnosti 5% dostaneme pre štvorcovú distribúciu CHI s N = 3 1 1 = 1 stupeň voľnosti od stola: Δ = 3,84. Pretože 0,40689 je menej ako 3,84, nulovú hypotézu H 0 nemožno odmietnuť. 3

Kolmogorov Smirnovov test Goodness of Fit Myšlienka Kolmogorovovho Smirnovovho testu je nasledovná: Ak sa pre pozorovania berie do úvahy funkcia kumulatívneho rozdelenia pravdepodobnosti zvoleného rozdelenia, potom by maximálny rozdiel medzi pozorovanou a očakávanou funkciou kumulatívneho rozdelenia pravdepodobnosti mal byť malý. ε max ε max