3.9 Vyhodnotenie
Najskôr by sa mali zvážiť všeobecné zdroje chýb predtým, ako sa diskutuje o štatistických možnostiach hodnotenia.
3.9.1 Zdroje chýb pri hodnotení
V prieskumoch môžu zdroje chýb (skreslené odpovede) vzniknúť z chýb v prístroji alebo z nesprávnych odpovedí účastníka. Chyby v prístroji je možné minimalizovať pomocou vedecky podloženej štruktúry. Najskôr by sa však mali opísať účinky, ktoré sa môžu pri hodnotení vyskytnúť a nesúvisia priamo s nástrojom alebo respondentom, ale skôr s „povahou veci“ samotnej.
Je to výber účinkov, ktoré je potrebné zohľadniť počas implementácie a predovšetkým počas hodnotenia.
Štatistická úmrtnosť
Jeden hovorí o štatistickej úmrtnosti, keď už nie je možné uskutočniť rozhovor s každým, koho sa opatrenie týkalo pôvodne (napr. Kurz, seminár). Vyhodnotenie sa vykonáva v kurze Business Administration v Tübingene, v ktorom má byť tento efekt ilustrovaný. Z prekvapenia vyplýva, že hodnotenia seminárov často nečakane vyústili do veľmi dobrých až dobrých známok.
Ak sa na postup pozriete pozornejšie, objavia sa dva problémy. Najskôr sa prieskum uskutoční niekedy na konci semestra počas prednášky. Študenti, ktorým sa seminár zdal taký zlý, že už neprídu, nie sú nevyhnutne zahrnutí do hodnotenia so svojim názorom. Vypadnete teda z vyšetrovania.
Sociálna žiadanosť
Druhý problém vyššie popísaného hodnotenia sa zakladá na sociálnej vhodnosti, v tomto prípade v kombinácii s negatívnymi sankciami. Prieskum sa koná krátko pred skúškami. Ak hodnotenie dopadne zle, je potrebné sa obávať, že výsledky skúšok budú podobné. Sociálnou vhodnosťou sa rozumie „reakčné správanie zamerané na očakávania skúšajúceho“ (Sassenberg/Kreutz 1999, s. 61).
dozrievanie
Účastník dospieva počas opatrenia, nie však nevyhnutne prostredníctvom opatrenia. To znamená, že zmenu je možné určiť pri kontrole pred a po, ale nastáva problém s pripisovaním: Získal účastník úžitok z opatrenia alebo z iných udalostí, napr. Externé rozhovory, čítanie novín?
Tendencia súhlasu (akvizícia)
To znamená súhlas s otázkami bez odkazu na obsah. Vidieť to na ľuďoch, ktorí napríklad kladne odpovedajú na nasledujúcu otázku: „Držba strelných zbraní by mala byť zaručená v základnom zákone v Nemecku.“ Súhlasia však aj s opakom: „Držba strelných zbraní by mala byť v Nemecku zakázaná základným zákonom“. Pri tomto fenoméne existuje vysvetľovací vzorec, s ktorým majú tendenciu súhlasiť najmä ľudia s nízkou silou ega.
Efekty nadradenosti a aktuálnosti
Efekt nadradenosti je podobný vyššie uvedenej tendencii k dohode, s tým rozdielom, že v zásade neexistuje dohoda, ale je zvolená skôr možnosť prvej odpovede, ktorá uspokojí účastníka.
Efekt nadradenosti možno predpokladať, ak existuje tendencia k jednej z prvých odpovedí v zozname. Efekt nadradenosti sa vyskytuje pomerne často pri vizuálne dostupných zoznamoch odpovedí (porovnaj McClendon vo Vogt 1999, s.134). Tento jav je možné teoreticky vysvetliť uplatneným uspokojujúcim princípom, t. J. Respondent vyberie prvú odpoveď, ktorá ho „uspokojí“, pričom ďalšie alternatívy odpovede sú ignorované. Rozhodujúca môže byť aj nedostatočná znalosť alebo nedostatok záujmu o predmet otázky (porovnaj Vogt 1999, s. 135).
Naproti tomu existuje efekt aktuálnosti, pri ktorom majú tendencie odozvy tendenciu k jednej z posledných pozícií v zozname. K tomu dochádza v. a. pri ústnych pohovoroch, keď respondent už zabudol na prvé možnosti, a uskutoční tak výber z naposledy vypočutých bodov.
Haló efekt
Ak je otázka v kontexte predchádzajúcich otázok, môže byť ovplyvnená predchádzajúcimi otázkami alebo odpoveďami. Respondent potom použije predchádzajúce otázky a odpovede ako pomôcku. Tento problém sa označuje ako halo alebo radiačný efekt. Takéto účinky sa vyskytujú hlavne vtedy, keď sa otázky nejakým spôsobom zaoberajú rovnakým predmetom alebo predmetom. „Sú však dokázateľné iba v ojedinelých prípadoch. Konzistentné výsledky týkajúce sa určitých účinkov sekvencie zjavne nie sú k dispozícii “(Vogt 1999, s. 131; porovnaj Schnell a kol. 1999, s. 320). Napriek tomu by sa mala venovať pozornosť možným účinkom vysielania spojeným s obsahom.
Chyba centrálnej tendencie alebo miernej tvrdosti
V prípade centrálnej tendencie sa respondent vyhýba extrémnym prejavom. Respondenti inklinujú k stredu. Podobný jav, ktorý býva veľmi pozitívny, popisuje Gerl: „Problém (.) Často sa objavuje, že účastníci majú tendenciu všeobecne veľmi priaznivo hodnotiť a hodnotiť svoj kurz a/alebo svojho inštruktora. Jednotlivé položky potom niekedy vykazujú extrémne skreslené rozdelenie. “(Gerl 1983, s. 46)
Tento problém sa zhoduje so skúsenosťami z mojej práce v kurze. V hodnotení hlasuje 85 až 100% účastníkov za „veľmi dobré“. Gerl vymenúva dva možné dôvody tohto správania: Na jednej strane účasť na kurze vedie na rozdiel od bežných životných podmienok k veľkej spokojnosti, relatívne nezávislej od didaktickej kvality. Kurz možno vnímať ako dovolenku z každodenného života.
Na druhej strane je tu veľmi slušné druhé vysvetlenie: Účastníci si nemôžu zvyknúť na to, že budú diferencovane kritizovať prostredníctvom inštruktora kurzu, ktorý je v súčasnosti riadiacim personálom. Zlé hodnotenie ešte sťažuje to, že inštruktor kurzu je zvyčajne priateľský a zo „súcitu“ (alebo zľutovania) dostane dobré hodnotenie. Týmto spôsobom je možné vykonať veľmi dobré hodnotenie pre všetky odpovede bez ohľadu na otázku.
Gerl navrhuje výpočtovo zhrnúť zostávajúce, chudobnejšie kategórie a porovnať ich s výsledkom veľmi dobrých hodnotení (Gerl 1983, s. 46).
Súhrn slúži na poskytnutie prehľadu a za určitých okolností môže príliš pozitívne hodnotenie relativizovať.
3.9.2 Štatistické metódy
Na rozdiel od ľudskej inteligencie sa môže počítačová inteligencia mýliť s oveľa vyššou mierou presnosti. (Autor neznámy)
Štatistiky sú numerické parametre, techniky vyhodnocovania a najrôznejšie grafické znázornenia, ktoré umožňujú zmysluplné zaznamenávanie a analýzu údajov z pozorovaní.
Matematické hodnotenie podľa popisných postupov
Po prvýkrát veľkosti a charakteristiky umiestnenia a miery rozptylu vytvárajú dojem očakávaných výsledkov. Ďalším veľmi dôležitým účelom je „vytvoriť určitú citlivosť výskumného pracovníka na dostupné údaje“ (Maier et al. 2000, s. 35). Tým sa zabráni chybám, ktoré sa počas transformácie premenných môžu pomerne rýchlo vkradnúť. V každodennom živote tento proces prebieha intuitívne, ako keď platíte účet za reštauráciu. Takže pomáha „napr. pri rozpoznávaní nepravdepodobných distribúcií, dobrodružných stredných hodnôt alebo neobvykle veľkého počtu alebo menej platných hodnôt “(Maier ibid.).
Popisné postupy
Znalosť popisných postupov je dôležitá, pretože tieto hodnoty je možné vypočítať automaticky neskôr, keď sa použije softvér, bez ohľadu na to, aké nezmyselné sú pôvodné hodnoty alebo otázky. Takto by sa počítala otázka „Aký vysoký je podiel cudzincov vo Švajčiarskej garde vo Vatikánskom štáte“.
Pre základné pochopenie je najskôr potrebné porozumieť úrovniam stupnice.
Po prvé, Nominálna stupnica potrebné. Pri tomto škálovaní existuje iba jeden znak „buď-alebo“. Otázky sa členia napríklad podľa pohlavia a volebných zámerov. Odpovede nie je možné objednať, takže nemajú hodnotenie. Spravidla neexistujú žiadne medzistupne.
V Radová stupnica Na rozdiel od menovitej škály je možné údaje radiť do určitého poradia, ak sú niektoré charakteristiky formálne „hodnotnejšie“ ako iné. Ak napríklad absolvujete školu, Abitur počíta viac ako Realschule, čo je zasa lepšie ako Hauptschule. Dá sa povedať iba to, že niečo je lepšie, nie o koľko je to lepšie.
O Intervalové stupnice Okrem vlastností nominálnej a ordinálnej stupnice existuje aj možnosť stanovenia rozdielu. Klasickým príkladom akejkoľvek prednášky o štatistike je teplotný rozdiel - rozdiel medzi 10 a 20 stupňami je rovnako veľký ako medzi 60 a 70 stupňami.
V Pomerová stupnica Okrem vlastností ostatných mierok sa pridáva trvalo definovaný nulový bod. Takto je možné vypočítať pomery. Dá sa teda povedať, že človek A je trikrát starší ako B, ktorý zarába dvakrát toľko.
[Tabuľka 16: Porovnanie nominálnej, ordinálnej, intervalovej a pomerovej škály podľa Maier et al. (2000, s. 36)
Pochopenie stupníc je prvým zásadným krokom k úspešnému použitiu štatistických metód. Jeho integráciou do softvéru je možné automaticky generovať kategórie otázok. V spoločenskovedných štúdiách sa vyskytujú hlavne znaky, ktoré zodpovedajú nominálnej a ordinálnej škále.
Dôležité sú aj ústredné tendencie. Tu sa pamätajú iba aritmetický priemer (priemer, priemer), režim (modálna hodnota), medián (centrálna hodnota) a kvantily.
Miery disperzie poskytujú prehľad o variabilite rozdelenia funkcií. Miery disperzie zahŕňajú minimum a maximum, rozsah, medzikvartilový rozsah, štandardnú odchýlku, rozptyl a rozptylový koeficient (relatívny rozptyl).
Aby sa neprekročil rozsah práce, je potrebné odkázať na štatistické knihy s vysvetlením tendencií a mier disperzie, ktoré tieto pojmy zvyčajne vysvetľujú v prvých kapitolách (pozri Maier et al. 2000).
Analytické postupy
Cieľom analytickej metódy je skontrolovať, či zo získaných údajov možno vyvodiť závery, ktoré je možné zovšeobecniť, alebo či existujú vzťahy medzi jednotlivými premennými. V nasledujúcej časti sú stručne načrtnuté tri dôležité metódy analýzy údajov, ktoré by mohli byť zaujímavé pre hodnotenie a ktoré sa automaticky počítajú niektorými z opísaných softvérových balíkov.
Krížová tabuľka (synonymá: dvojrozmerné rozdelenie frekvencií, pohotovostná tabuľka)
Krížová tabuľka zobrazuje vzťah medzi dvoma premennými. Tieto sú krížené a to ukazuje frekvenčné rozdelenie premennej, ktoré je definované charakteristikami druhej premennej. Tu je jednoduchý príklad: Hodnotenie sa môže pýtať na spokojnosť účastníkov. Okrem toho sa pri hodnotení určuje pohlavie. Tieto dve premenné sú skrížené a je možné urobiť vyhlásenie o spokojnosti účastníkov v závislosti od pohlavia.
Dôležitosť výrokov je možné skontrolovať pomocou testu chi 2, ktorý sa zvyčajne používa pre krížové tabuľky. Ak existuje štatistická významnosť, je asociačné opatrenie zaujímavé. Miera asociácie vyjadruje rozsah vytvoreného vzťahu. To by v tomto okamihu malo stačiť na to, aby bolo možné posúdiť softvér. Ďalej a predovšetkým presné procesné postupy sú uvedené v Maier et al. (2000, s. 46 a nasl.).
Korelačná analýza
V korelačnej analýze by sa mal kvantifikovať štatistický vzťah medzi dvoma metricky upravenými premennými za predpokladu, že existuje. Reprezentácia v diagramoch sa uskutočňuje prostredníctvom mračna bodov. Ak sú body rozptýlene rozptýlené, neexistuje žiadna korelácia (Pearsonov korelačný koeficient r = 0). Ak sú body blízko a takmer na imaginárnej čiare, potom má korelačný koeficient sklon k r = 1 (porovnaj Maier a kol. 2000, s. 62 a nasl.).
Faktorová analýza
Faktorová analýza sa často používa, keď sú k dispozícii údaje s neznámou štruktúrou, t.j. keď nie je známe, ako by jednotlivé premenné mohli teoreticky navzájom súvisieť. Tu je názorný príklad: Dotazník o kúpe automobilu sa pýta na povolanie a dôležitosť vlastníctva automobilu. Tieto dáta sú vyhodnotené faktorovou analýzou. Nasledujúci diagram ukazuje silné stránky faktorovej analýzy a znázornenie vo forme faktoriálnej mapy.
[Obrázok 15: Príklad posúdenia dôležitosti vlastníctva automobilu, zobrazený na faktoriálnej mape
Faktorová analýza ide ešte ďalej ako v príklade a ponúka úžasné možnosti vedomostí.
Maier a kol. (2000, s.116 a nasl.) Ďalšie informácie.
Záverečná úvaha o štatistike
Štatistické procesy môžu poskytnúť zaujímavé výsledky. Základnou požiadavkou je a zostáva základné pochopenie štatistických procesov aj pri použití počítačových prieskumov. Nasledujúca štvrtá kapitola ukazuje, do akej miery softvérové riešenia podporujú použitie deskriptívnych a analytických metód.