4. Bonferroni-Test und Irrtumswahrscheinlichkeit

Bonferroni-Test und Irrtumswahrscheinlichkeit

  • C

    Hallo,
    wah... ich hatte vor zwei Tagen nen Post hier reingeschrieben und mich nun ueber die Antwort gefreut, allerdings hatte mein Computer die Lassaviren und ich bin nun erst wieder online - gut, also was ich zu sagen hatte war in etwa folgendes:

    Ich bin nicht sicher, ob man das so sagen kann. Ich dachte immer, dass der P-Wert eher angibt, wie weit ich Alpha hätte senken können, ohne dass der Test die Signifikanz verfehlt hätte.

    Also, so wie ich es verstehe ist doch da immer diese Unterschied zwischen Irrtumswahrscheinlichkeit, die ich vor dem Test maximal erlaube - sprich alpha, mit dieser lege ich gewisse Rahmenbedinungen fuer den Test fest. Der P-Value trifft ja seine Aussage nach dem Test. So wie ich es verstehe gibt er eine Information, wie "gut" der Test verlaufen ist, sprich, wie weit ich alpha haette senken koennen - richtig so?!

    "Anzahl der falsch erkannten Unterschiede"

    Damit meinte ich den alpha-Fehler, H0 waere wahr, aber wurde nicht abgelehnt. Es stimmt, dass ich besser von Wahrscheinlichkeiten haette reden sollen (das nur so als Nachtrag, bin selber ja noch am einlesen).

    "Anpassen, Bonferroni-Korrektur, post hoc Bonferroni Test"
    OK, ich verstehe, dass man ein allg. angenommenes alpha evtl durch "Anpassung" auf die einzelnen Gruppen (=Kohorten?), die man getestet hat, vllt kalibrieren kann, aber was ein anpassen genau bewirkt, kann ich mir momentan nicht richtig vorstellen und ich glaube es uebersteigt vllt auch den Rahmen hier. Ich muss das mal selber durchrechnen. Aber ich sehe, dass es wahrsch. ein Verrechnen des P-Values mit dem Test und dessen Alpha ist, weil eben der Alpha die Rahmenbedinung ist und der p-Value ja nur dessen Lage nach dem Test angibt, aber eben nach dem Test. (erbsenzaehlermodus) Ansonsten, waere nicht Varianzanalyse besser geeignet fuer mehr als zwei Gruppen (/erbsenzaehlermodus)

    Daher meine Frage: Kannst Du mir (gute) Literatur/Buecher zu multiple Testing und Internetseiten dazu empfehlen? Gibt es zu evtl allg. stat. Testverfahren verstaendliche Standardliteratur?

    Danke - jedenfalls schonmal, ich glaube ich bin nun schon auf dem richtigen Weg 🙂

    0
  • D

    Corcovado schrieb:

    Hallo,
    wah... ich hatte vor zwei Tagen nen Post hier reingeschrieben und mich nun ueber die Antwort gefreut, allerdings hatte mein Computer die Lassaviren und ich bin nun erst wieder online - gut, also was ich zu sagen hatte war in etwa folgendes:

    Ich bin nicht sicher, ob man das so sagen kann. Ich dachte immer, dass der P-Wert eher angibt, wie weit ich Alpha hätte senken können, ohne dass der Test die Signifikanz verfehlt hätte.

    Also, so wie ich es verstehe ist doch da immer diese Unterschied zwischen Irrtumswahrscheinlichkeit, die ich vor dem Test maximal erlaube - sprich alpha, mit dieser lege ich gewisse Rahmenbedinungen fuer den Test fest. Der P-Value trifft ja seine Aussage nach dem Test. So wie ich es verstehe gibt er eine Information, wie "gut" der Test verlaufen ist, sprich, wie weit ich alpha haette senken koennen - richtig so?!
    [...]

    Genau das hatte ich ja geschrieben.

    Corcovado schrieb:

    [...]

    "Anzahl der falsch erkannten Unterschiede"

    Damit meinte ich den alpha-Fehler, H0 waere wahr, aber wurde nicht abgelehnt. Es stimmt, dass ich besser von Wahrscheinlichkeiten haette reden sollen (das nur so als Nachtrag, bin selber ja noch am einlesen).

    "Anpassen, Bonferroni-Korrektur, post hoc Bonferroni Test"
    OK, ich verstehe, dass man ein allg. angenommenes alpha evtl durch "Anpassung" auf die einzelnen Gruppen (=Kohorten?), die man getestet hat, vllt kalibrieren kann, aber was ein anpassen genau bewirkt, kann ich mir momentan nicht richtig vorstellen und ich glaube es uebersteigt vllt auch den Rahmen hier. [...]

    Es handelt sich hierbei um eine Absicherung gegenüber Fehlern der ersten Art, d.h. gegenüber irrtümlich als signifikant eingeschätzte Hypothesen. Wenn du also für jeden Einzeltest zulässt, dass mit 5%iger Wahrscheinlichkeit ein Fehler erster Art auftritt, kannst du folgern, dass 5% der gerechneten Tests allein aufgrund von Fehlern der ersten Art signikant werden. Dagegen gilt es sich abzusichern.

    Corcovado schrieb:

    [...]Ich muss das mal selber durchrechnen. Aber ich sehe, dass es wahrsch. ein Verrechnen des P-Values mit dem Test und dessen Alpha ist, weil eben der Alpha die Rahmenbedinung ist und der p-Value ja nur dessen Lage nach dem Test angibt, aber eben nach dem Test.
    [...]

    [Vorsicht: Halbwissen]Ich perönlich würde alpha-Niveau und p-Wert nicht so miteinander vermischen, es handelt sich in meinen Augen zwei alternative exclusive Wege die Fehlerwahrscheinlichkeit zu beschreiben, wobei der p-Wert möglicherweise das aussagekräftigere Mass ist. Dass wir jedoch das alpha-Niveau zunächst größere Bedeutung beimessen dürfte daran liegen, dass zum Verständnis von Fehlern erster und zweiter Art hilfreicher ist und vorallem Tests unter Verwendung des alpha-Niveaus -im Gegensatz zum p-Wert- zu Fuss rechenbar sind. [/Halbwissen]
    Ein weiteres, vielleicht noch schwerwiegenderes Argument dürfte auch sein, dass der p-Wert erst nach dem Test feststeht, während alpha vorher festgelegt wird (vgl. Logik des Hypothesentestens).

    Corcovado schrieb:

    [...]

    (erbsenzaehlermodus) Ansonsten, waere nicht Varianzanalyse besser geeignet fuer mehr als zwei Gruppen (/erbsenzaehlermodus)
    [...]

    Mit Mehrfachtests waren bislang -zumindest von mir- Mittelwertvergleiche gemeint. Mit der Varianzanalyse wird getestet, ob die Varianz zwischen den Gruppen größer ist, als innerhalb der Gruppen. Es geht hier also nicht in erster Linie um Mittelwerte. Selbige werden erst in den Post-hoc Vergleichen angeschaut.

    Corcovado schrieb:

    [...]
    Daher meine Frage: Kannst Du mir (gute) Literatur/Buecher zu multiple Testing und Internetseiten dazu empfehlen? Gibt es zu evtl allg. stat. Testverfahren verstaendliche Standardliteratur?
    [...]

    Mmhh, das ist schwer, da ich selbst keine guten Bücher kenne. Was ich so weiss, habe ich aus den Vorlesungen in der Uni und dem, was man so gelegentlich in einem Artikel aufschnappt. Wenn ich mal was Nachschlagen muss, schaue ich in der Regel zuerst in die (grauenhafte) Hilfe von SPSS, danach in Bortz: Statistik für Sozialwissenschaftler, oder Kerlinger & Lee: Foundations of Behavioral Research.

    Oft google ich mich auch durch das Problem, obwohl man da ja nie so richtig weiss, welche Qualität eine Internetquelle hat.

    0
  • C

    Hi,
    Varianzanalyse - Natuerlich wird hier kein Mittelwert verglichen, aber zum Vergleich von mehr als zwei Datensaetzen an Stichproben, die intervall- bzw verhaeltnisskaliert sind, soll doch gerade darin der Vorteil liegen keinen t-Test sondern eben etwa Varianzanalyse mit einfacher oder zweifacher Klassifikation zu bennutzen? Leider hab ich die genaue Stelle zur Begruendung nicht mehr gefunden, aber ich kann mich erinnern, dass zum einen beim t-Test umfangreiche Paarbildungen durchgefuehrt werden muessen und ein Test der mit den Varianzen anstatt der Mittelwerte arbeitet weniger aufwendig und letztendlich einfach maechtiger ist bei >2 Datensaetzen (etwas vage gesagt 😉 ).

    Mit SPSS bin ich (als nicht Sozialwissenschaftler) nicht so vertraut, was ist mit der Hilfe? warum findest Du sie "grauenhaft"? (zu einfach oder zu komplex geschrieben? zu vage? zu speziell?). Ich bin momentan schon beim vierten Buch (durchlesen und markieren noch nicht zusammenschreiben) allerdings kommt es mir so vor, als wenn es wohl auch unterschiedliche Auffassungen gibt. Bspw vertritt dieses Buch (welches ich nicht empfehlen moechte) so ziemlich die Aussage, man solle die stat. Testverfahren alle komplett ueber Bord werfen, weil sie in Veroeffentlichungen nichts hermachen - sprich, man sollte viel mehr auf Bilder und Grafiken setzen, als auf mathematische Tests. Dabei handelt es sich um ein amerikanisches Buch und aus eigener Erfahrung weiss ich, dass es dort einige Menschen gibt, die zwar publizieren aber nicht mal Fehlerrechnung beherrschen - wobei man wohl andererseits die Moeglichkeiten die man mit computer erstellten Plots hat auch nicht unterschaetzen sollte.

    Sind Deine Buecher sehr auf Sozialwissenschaften ausgelegt? Wie sieht es mit Papers aus, gibt es Journals, die man empfehlen kann (eben auch in einer eigenen Arbeit zitieren kann, da sich ansonsten ja einfache Internetseiten immer etwas fadenscheinig anhoeren)?

    Dein Wissen scheint mir dennoch recht umfangreich zu sein - das brauch ich, damit kann ich andere sofort dumm da stehn lassen, hehe - werde mir gleich mal die SPSS Hilfe besorgen 😉 Ach ja, wie sieht es da mit SAS Hilfe etc aus, haste auch etwas Erfahrung damit?

    0
  • D

    Corcovado schrieb:

    Hi,
    Varianzanalyse - Natuerlich wird hier kein Mittelwert verglichen, aber zum Vergleich von mehr als zwei Datensaetzen an Stichproben, die intervall- bzw verhaeltnisskaliert sind, soll doch gerade darin der Vorteil liegen keinen t-Test sondern eben etwa Varianzanalyse mit einfacher oder zweifacher Klassifikation zu bennutzen? Leider hab ich die genaue Stelle zur Begruendung nicht mehr gefunden, aber ich kann mich erinnern, dass zum einen beim t-Test umfangreiche Paarbildungen durchgefuehrt werden muessen und ein Test der mit den Varianzen anstatt der Mittelwerte arbeitet weniger aufwendig und letztendlich einfach maechtiger ist bei >2 Datensaetzen (etwas vage gesagt 😉 ).
    [...]

    Es gibt auch multivariate Tests zum Mittelwertvergleich. Eine Verallgemeinerung des t-Tests auf p Variablen ist bspw. Hotelling's T2. Warum sich die Varianzanalyse so großer Beliebtheit erfreut, weiss ich auch nicht so genau. Ich vermute mal, dass dies daran liegen könnte, dass du ja für viele (alle?) Mittelwertvergleiche Varianzhomogenität als Voraussetzung benötigst. Wenn man also die Varianzen also ohnehin schon vorher testen muss...

    Corcovado schrieb:

    [...]
    Mit SPSS bin ich (als nicht Sozialwissenschaftler) nicht so vertraut, was ist mit der Hilfe? warum findest Du sie "grauenhaft"? (zu einfach oder zu komplex geschrieben? zu vage? zu speziell?).
    [...]

    Naja, sie ist etwas knapp gehalten; um sie zu verstehen, brauchst du schon einiges an Vorwissen. Wenn du selbiges aber hast, brauchst du die Hilfe nicht, da sie wenig in die Tiefe geht.

    Corcovado schrieb:

    [...]Ich bin momentan schon beim vierten Buch (durchlesen und markieren noch nicht zusammenschreiben) allerdings kommt es mir so vor, als wenn es wohl auch unterschiedliche Auffassungen gibt. Bspw vertritt dieses Buch (welches ich nicht empfehlen moechte) so ziemlich die Aussage, man solle die stat. Testverfahren alle komplett ueber Bord werfen, weil sie in Veroeffentlichungen nichts hermachen - sprich, man sollte viel mehr auf Bilder und Grafiken setzen, als auf mathematische Tests. Dabei handelt es sich um ein amerikanisches Buch und aus eigener Erfahrung weiss ich, dass es dort einige Menschen gibt, die zwar publizieren aber nicht mal Fehlerrechnung beherrschen - wobei man wohl andererseits die Moeglichkeiten die man mit computer erstellten Plots hat auch nicht unterschaetzen sollte.
    [...]

    Ich denke mal, dass die Akzeptanz von statistischen Test weniger von der Nationalität oder Kultur abhängt, sondern von der wissenschaftlichen Disziplin.

    Corcovado schrieb:

    [...]
    Sind Deine Buecher sehr auf Sozialwissenschaften ausgelegt? [...]

    Die verwendeten Beispiele im Bortz entlehnen sich halt aus den Sozialwissenschaften; der sonstige Inhalt dürfte nicht spezifisch auf die Sozialwissenschaften abgestimmt sein. Der Kerlinger & Lee nimmt seine Beispiele aus der Psychologie.

    Corcovado schrieb:

    [...]

    Wie sieht es mit Papers aus, gibt es Journals, die man empfehlen kann (eben auch in einer eigenen Arbeit zitieren kann, da sich ansonsten ja einfache Internetseiten immer etwas fadenscheinig anhoeren)?[...]

    Die als notwendig erachtete Quellenqualität wird sicherlich in verschiedenen Disziplinen unterschiedlich beurteilt.
    Auch hängt sie mit Sicherheit davon ab, auf welchem "Niveau" du publizierst. Unterhalb der Universität kannst du sicherlich jedes beliebige Wurstblatt zitieren und wenn du irgendwo ein "www" vor der Quelle hast, bist du sowieso der Gott. Auf universitärem Level sollte man m.E. schon versuchen vertrauenswürdige Quellen zu zitieren. Um die Qualität eines Journals einzuschätzen gibt es verschiedene Indizes, z.B. den impact factor. In der Regel ist man aber auf der sicheren Seite, wenn man nur Journals mit peer review zitiert. Hierbei ist es dann auch nicht wichtig, ob es sich um die print-version oder ein e-Journal handelt. Auf sonstige Internetquellen würde ich vollkommen verzichten, weil es in der Regel keinerlei Möglichkeit gibt, deren Qualität abzuschätzen.

    Corcovado schrieb:

    [...]Dein Wissen scheint mir dennoch recht umfangreich zu sein - das brauch ich, damit kann ich andere sofort dumm da stehn lassen, hehe - werde mir gleich mal die SPSS Hilfe besorgen 😉 Ach ja, wie sieht es da mit SAS Hilfe etc aus, haste auch etwas Erfahrung damit?

    Nein, mit SAS habe ich noch nicht gearbeitet.

    0
  • C

    Hallo,

    Es gibt auch multivariate Tests zum Mittelwertvergleich. Eine Verallgemeinerung des t-Tests auf p Variablen ist bspw. Hotelling's T2. Warum sich die Varianzanalyse so großer Beliebtheit erfreut, weiss ich auch nicht so genau. Ich vermute mal, dass dies daran liegen könnte, dass du ja für viele (alle?) Mittelwertvergleiche Varianzhomogenität als Voraussetzung benötigst. Wenn man also die Varianzen also ohnehin schon vorher testen muss...

    Diesen Test kenne ich nicht. Ich weiss aber, dass es einige modifizierte t-Test-Verfahren gibt, allerdings sind diese eben modifiziert/verbessert (was wohl nichts daran aendert, dass es sich dabei dennoch um Mittelwerttests handelt). Ich bin auch kein Spezialist mit multivariaten Daten, allerdings erinnere ich mich daran, dass diese wieder so eigene Kovarianzprobleme haben koennen (und sind auch abhaengig?! kA - sind multivariat verteilte Daten nicht wieder so ein ganz eigenes Ding?), jedenfalls denke ich nicht, dass ein "gemeiner" t-Test dafuer das Mittel der Wahl ist. Ferner hab ich noch folgendes Dazu gefunden:
    "Bemerkung zum 2-Stichproben-t-Test
    1.Der t-Test prueft die Nullhypothese, zwei Erwartungswerte lassen sich auf dem festgelegten Niveau nicht unterscheiden; es gibt keinen Behandlungseffekt (mit meinen Worten keine Unterschiede..)
    2. Sind mehrere Erwartungswerte der genannten Art zu vergleichen, etwa aus Stichproben-Untergruppen, so darf der t-Test nicht mehrfach angewandt werden. Man prueft dann anhand der Varianzanalyse." (Sachs S. 353 unten)
    Dazu liessen sich noch einige Diagramme dieses Buches anfuehren, wann welcher Test am guenstigsten zu verwenden ist. Eine genauere Begruendung hatte ich darin auch mal gelesen, hab sie aber auf die schnelle leider nicht mehr wieder gefunden. Allg. denke ich war folgendes eines der wichtigsten Argumente, in Bezug auf die Frage Varianz oder Mittelwert: "Vertrauensbereiche und Tests, die Standardabweichung, Varianz und Varianz1/Varianz2 betreffen, sind gegenueber Abweichungen von der Normalverteilung empfindlicher als Verfahren, die zweiseitige Vertrauensbereiche und Tests fuer Mittelwerte und Mittelwertdifferenzen (t-Verteilung) betreffen." (Sachs S. 345). Dann fand ich noch "3 Bemerkungen zum Mittelwertvergleich", u.a. heisst es "(...) knapp signifikante Resultate [sollte man] mit grosser Vorsicht interpretieren (...)" (S. 358) bei Mittelwerttests und "Die Anzahl der Stichprobenwerte, die man fuer den Vergleich eines Stichprobenmittels mit dem Parameter der Grundgesamtheit oder fuer den Verlgeich zweier Stichprobenmittelwerte benoetigt,..." (S. 360, oben) scheint bei Mittelwertvergleichen hoeher zu liegen als bei Varianztests, um also die gleiche Robustheit der Aussagen, v.a. wenns knapp wird zu erzeugen.

    Wie man ausserdem in Tabelle 63 auf Seite 359 desselben Buches erkennen kann, laesst sich der t-Test aber ohne weiteres auf ungleiche Varianzen und ungleiche Anzahlen an Stichprobenwerten anwenden (hier ungepaarter Zweistichproben-t-Test), falls Du das mit Varianzhomogenitaet meintest.

    Ich denke mal, dass die Akzeptanz von statistischen Test weniger von der Nationalität oder Kultur abhängt, sondern von der wissenschaftlichen Disziplin.

    Das war nicht ganz so ernst gemeint von mir, aber dennoch - ich kann nicht fuer die Statistik sprechen - aber bspw in der chem. Analyse gibt es unterschiede wie man etwa die Peakbreiten bestimmt zwischen europaeischen Standardverfahren und anglosaechsischen (deren Ergebnisse sind tendentiell dann immer etwas groesser, is ja auch klar.. gg).
    Die These mit den Berufssparten finde ich interessant, so denke ich kommt es wohl haeufig darauf an, wofuer die Artikel erstellt werden, fuer die Tageszeitung oder fuer wissenschaftliche Fachblaetter. Allerdings meinte ich eben letzteres und bin aus eigener Erfahrung (hab ein Jahr drueben gearbeitet) absolut davon ueberzeugt, dass es doch so einige Naturwissenschaftler dort gibt, die eiskalt alles mit den Worten Kohorten, ANOVA und t-Test erschlagen und den Rest macht man grafisch (wie gesagt, ich halte grafische Verfahren, v.a. zur Erklaerung eines Sachverhaltes durchaus fuer verstaendlich, aber wie gesagt gehoert da fuer mich auch ein gewisser Unterbau dazu, naja egal).

    Naja, der Impact Factor, da ich nicht promoviert habe und es auch nicht tun werde, kenn ich den v.a. aus Erzaehlungen. Hat sicherlich auch Vor und Nachteile..

    Ich hab noch was gefunden und zwar "Der P-Wert ermoeglicht als standartisierte Pruefgroesse im Gegensatz zur eigentlichen Pruefgroesse [die Testgroesse etwa \hat{t} ] eine Vergleichbarkeit von Testergebnissen" (Angewandte Statistik/Sachs S. 449, Mitte) Also doch ein gewisses Mass der Qualitaet des eines Tests, wenn er dadurch mit anderen vergleichbar wird?!

    Leider hab ich eben (fast) nichts zum Thema Bonferroni-Tests und hab da auch ehrlich gesagt noch nicht viel weitergelesen. Ich habe erst mal versucht, die bisherige Literatur aufzuarbeiten - puh. Somit suche ich immer noch eine Bestaetigung oder Widerlegung der These "Bonferroni behaelt Alpha = 5% bei, beim LSD-Test steigt Alpha an.". Momentan aendert sich meine Ueberzeugung dazu je nach Tageslaune und ich hoffe bald wieder etwas Luft zu haben um mir dazu mal etwas mehr reinzuziehen..

    0
  • D

    Corcovado schrieb:

    Hallo,

    Es gibt auch multivariate Tests zum Mittelwertvergleich. Eine Verallgemeinerung des t-Tests auf p Variablen ist bspw. Hotelling's T2. Warum sich die Varianzanalyse so großer Beliebtheit erfreut, weiss ich auch nicht so genau. Ich vermute mal, dass dies daran liegen könnte, dass du ja für viele (alle?) Mittelwertvergleiche Varianzhomogenität als Voraussetzung benötigst. Wenn man also die Varianzen also ohnehin schon vorher testen muss...

    Diesen Test kenne ich nicht. Ich weiss aber, dass es einige modifizierte t-Test-Verfahren gibt, allerdings sind diese eben modifiziert/verbessert (was wohl nichts daran aendert, dass es sich dabei dennoch um Mittelwerttests handelt). Ich bin auch kein Spezialist mit multivariaten Daten, allerdings erinnere ich mich daran, dass diese wieder so eigene Kovarianzprobleme haben koennen (und sind auch abhaengig?! kA - sind multivariat verteilte Daten nicht wieder so ein ganz eigenes Ding?), jedenfalls denke ich nicht, dass ein "gemeiner" t-Test dafuer das Mittel der Wahl ist.
    [...]

    Mein Verweis auf multivariate Tests im obigen Quote war falsch, es hätte Mehrfachvergleich der Mittelwerte heissen muessen. Eben ein solcher ist Hotelling's T2.

    Corcovado schrieb:

    [...]
    Ferner hab ich noch folgendes Dazu gefunden:
    "Bemerkung zum 2-Stichproben-t-Test
    1.Der t-Test prueft die Nullhypothese, zwei Erwartungswerte lassen sich auf dem festgelegten Niveau nicht unterscheiden; es gibt keinen Behandlungseffekt (mit meinen Worten keine Unterschiede..)
    2. Sind mehrere Erwartungswerte der genannten Art zu vergleichen, etwa aus Stichproben-Untergruppen, so darf der t-Test nicht mehrfach angewandt werden. Man prueft dann anhand der Varianzanalyse." (Sachs S. 353 unten)
    [...]

    Falls du gerade versuchst, mich von den Vorzuegen der Varianzanalyse zu ueberzeugen, traegst du Eulen nach Athen. Ich habe zu keiner Zeit bezweifelt, dass bei Vergleichen von mehr als zwei Gruppen die Varianzanalyse das Mittel der Wahl ist. Das heisst jedoch nicht, dass es nicht auch alternative Wege geben kann.

    Ich wollte lediglich darauf hinweisen, dass die Varianzanalyse nicht die Mittelwerte vergleicht. Mit Hilfe der Varianzanalyse kannst du nur feststellen, ob es einen signifikanten Unterschied gibt; offen bleibt, welche Gruppen bzw. Faktorenstufen sich tatsaechlich unterscheiden. Wenn du also per ANOVA herausfindest, dass zwischen drei Gruppen A, B und C ein signifikanter Unterschied besteht, weisst du nicht, welche der drei Gruppen sich unterscheiden. Hierfuer musst du auf post hoc Tests zurueckgreifen und diese sind halt multiple Mittelwertvergleiche.

    Corcovado schrieb:

    [...]
    Dazu liessen sich noch einige Diagramme dieses Buches anfuehren, wann welcher Test am guenstigsten zu verwenden ist. Eine genauere Begruendung hatte ich darin auch mal gelesen, hab sie aber auf die schnelle leider nicht mehr wieder gefunden. Allg. denke ich war folgendes eines der wichtigsten Argumente, in Bezug auf die Frage Varianz oder Mittelwert: "Vertrauensbereiche und Tests, die Standardabweichung, Varianz und Varianz1/Varianz2 betreffen, sind gegenueber Abweichungen von der Normalverteilung empfindlicher als Verfahren, die zweiseitige Vertrauensbereiche und Tests fuer Mittelwerte und Mittelwertdifferenzen (t-Verteilung) betreffen." (Sachs S. 345). [...]

    Dir ist aber klar, dass diese Aussage eher ein Argument fuer Mittelwerttests ist.

    Corcovado schrieb:

    [...]
    Dann fand ich noch "3 Bemerkungen zum Mittelwertvergleich", u.a. heisst es "(...) knapp signifikante Resultate [sollte man] mit grosser Vorsicht interpretieren (...)" (S. 358) bei Mittelwerttests und "Die Anzahl der Stichprobenwerte, die man fuer den Vergleich eines Stichprobenmittels mit dem Parameter der Grundgesamtheit oder fuer den Verlgeich zweier Stichprobenmittelwerte benoetigt,..." (S. 360, oben) scheint bei Mittelwertvergleichen hoeher zu liegen als bei Varianztests, um also die gleiche Robustheit der Aussagen, v.a. wenns knapp wird zu erzeugen.

    Wie man ausserdem in Tabelle 63 auf Seite 359 desselben Buches erkennen kann, laesst sich der t-Test aber ohne weiteres auf ungleiche Varianzen und ungleiche Anzahlen an Stichprobenwerten anwenden (hier ungepaarter Zweistichproben-t-Test), falls Du das mit Varianzhomogenitaet meintest.
    [...]

    Die Tatsache, dass der t-Test zu einem gewissen Masse robust gegenüber ungleichen Varianzen ist, ändert nichts an der Tatsache, dass die Gleichheit der Varianzen eine Voraussetzung für die Anwendung des Tests ist. Es mag sein, dass er ohne die Erfüllung dieser Voraussetzung funktioniert, seine Anwendung ist in solchen Fällen jedoch eigentlich nicht erlaubt. Die Einschaetzung, wie streng derartige theoretisch begruendete Forderungen einzuhalten sind, ist mit Sicherheit eine Frage der Erfahrung.

    Noch einmal, ich habe in keiner Weise versucht, einen Vergleich der Nuetzlichkeit von Mittelwertvergleichen und ANOVA anzustellen. Ich spekulierte nur ueber den Grund der Beliebtheit der ANOVA.

    Corcovado schrieb:

    [...]

    Ich denke mal, dass die Akzeptanz von statistischen Test weniger von der Nationalität oder Kultur abhängt, sondern von der wissenschaftlichen Disziplin.

    Das war nicht ganz so ernst gemeint von mir, aber dennoch - ich kann nicht fuer die Statistik sprechen - aber bspw in der chem. Analyse gibt es unterschiede wie man etwa die Peakbreiten bestimmt zwischen europaeischen Standardverfahren und anglosaechsischen (deren Ergebnisse sind tendentiell dann immer etwas groesser, is ja auch klar.. gg).
    Die These mit den Berufssparten finde ich interessant, so denke ich kommt es wohl haeufig darauf an, wofuer die Artikel erstellt werden, fuer die Tageszeitung oder fuer wissenschaftliche Fachblaetter. Allerdings meinte ich eben letzteres und bin aus eigener Erfahrung (hab ein Jahr drueben gearbeitet) absolut davon ueberzeugt, dass es doch so einige Naturwissenschaftler dort gibt, die eiskalt alles mit den Worten Kohorten, ANOVA und t-Test erschlagen und den Rest macht man grafisch (wie gesagt, ich halte grafische Verfahren, v.a. zur Erklaerung eines Sachverhaltes durchaus fuer verstaendlich, aber wie gesagt gehoert da fuer mich auch ein gewisser Unterbau dazu, naja egal).

    Naja, der Impact Factor, da ich nicht promoviert habe und es auch nicht tun werde, kenn ich den v.a. aus Erzaehlungen. Hat sicherlich auch Vor und Nachteile..
    [...]

    Klar, war ja auch nur das erstbeste Beispiel das mir eingefallen ist. Da sich der Impact Factor nur aus der reinen Zitationshaeufigkeit berechnet, sagt er prinzipiell nichts ueber die inhaltliche Qualitaet eines Journals aus.

    Corcovado schrieb:

    [...]

    Ich hab noch was gefunden und zwar "Der P-Wert ermoeglicht als standartisierte Pruefgroesse im Gegensatz zur eigentlichen Pruefgroesse [die Testgroesse etwa \hat{t} ] eine Vergleichbarkeit von Testergebnissen" (Angewandte Statistik/Sachs S. 449, Mitte) Also doch ein gewisses Mass der Qualitaet des eines Tests, wenn er dadurch mit anderen vergleichbar wird?!
    [...]

    Ja, denke ich auch. Ich habe uebrigens nochmal nachgeschaut und gesehen, dass man den p-Wert auch (relativ einfach) von Hand berechnen kann.

    Corcovado schrieb:

    [...]
    Leider hab ich eben (fast) nichts zum Thema Bonferroni-Tests und hab da auch ehrlich gesagt noch nicht viel weitergelesen. Ich habe erst mal versucht, die bisherige Literatur aufzuarbeiten - puh. Somit suche ich immer noch eine Bestaetigung oder Widerlegung der These "Bonferroni behaelt Alpha = 5% bei, beim LSD-Test steigt Alpha an.". Momentan aendert sich meine Ueberzeugung dazu je nach Tageslaune und ich hoffe bald wieder etwas Luft zu haben um mir dazu mal etwas mehr reinzuziehen..

    Argh, die Frage war mir ganz entgangen. Laut der SPSS-Hilfe ist die Aussage richtig, da der LSD keinerlei Korrektur des Signifikanzniveaus vornimmt. Hier werden nur paarweise t-Tests gerechnet. Beim Bonferrroni wird jedoch die bereits mehrmals erwähnte Korrektur des Alpha-Niveaus vorgenommen.

    0
  • C

    Momentan bin ich am Zusammenschreiben, daher dieser Exzess gestern..

    Ich wollte lediglich darauf hinweisen, dass die Varianzanalyse nicht die Mittelwerte vergleicht. Mit Hilfe der Varianzanalyse kannst du nur feststellen, ob es einen signifikanten Unterschied gibt; offen bleibt, welche Gruppen bzw. Faktorenstufen sich tatsaechlich unterscheiden. Wenn du also per ANOVA herausfindest, dass zwischen drei Gruppen A, B und C ein signifikanter Unterschied besteht, weisst du nicht, welche der drei Gruppen sich unterscheiden. Hierfuer musst du auf post hoc Tests zurueckgreifen und diese sind halt multiple Mittelwertvergleiche.

    Genau das hab ich auch gelesen und dass man eben zum genauen Unterscheiden der Gruppen weitertesten kann auch, wenn das mit "Anpassen" auf die einzelnen Gruppen gemeint ist, ist das genau so wie ich es nun auch verstehe. Allerdings ist es mir eben nicht klar in wie fern sich Alpha dabei veraendern kann, v.a. nach unten.

    "Vertrauensbereiche und Tests, die Standardabweichung, Varianz und Varianz1/Varianz2 betreffen, sind gegenueber Abweichungen von der Normalverteilung empfindlicher als Verfahren, die zweiseitige Vertrauensbereiche und Tests fuer Mittelwerte und Mittelwertdifferenzen (t-Verteilung) betreffen." (Sachs S. 345)[...]
    Dir ist aber klar, dass diese Aussage eher ein Argument fuer Mittelwerttests ist

    Ups ja, stimmt, da wollte ich noch was nachtragen und hab's dann nicht mehr richtig durchgelesen - Jedoch etwas ueber den Satz nachgedacht, finde ich ihn wiederum um so interessanter. Das scheint eines der Hauptargumente fuer Mittelwerttests zu sein. Werde da mal weiterarbeiten, wie funktionieren denn dann die sog. nichtparametrischen Tests (das sind doch die die keine NV mehr vorraussetzen?), sind das eher Mittelwerttests oder Varianztests (Welche Art der Varianz, wenn keine Verteilung bekannt ist?)? Ich glaube etwas gelesen zu haben, dass es da auch einige Tests gibt, die mit dem Median arbeiten - weisst Du da mehr?

    Argh, die Frage war mir ganz entgangen. Laut der SPSS-Hilfe ist die Aussage richtig, da der LSD keinerlei Korrektur des Signifikanzniveaus vornimmt. Hier werden nur paarweise t-Tests gerechnet. Beim Bonferrroni wird jedoch die bereits mehrmals erwähnte Korrektur des Alpha-Niveaus vorgenommen.

    WAS?! nun bin ich wieder verwirrt 😕 die Welt war schon fast soo einfach. Also, dann stelle ich mal ne weitere These auf und schauen wo ich da meinen Denkfehler hab:
    Wenn sich also bei einer "Korrektur des Alpha-Niveaus" der Wert von Alpha nicht aendert sondern beibehalten wird und bei einem (multiplen) Test der eben diese Korrektur nicht macht, Alpha erhoet - heisst das dann, dass beim multiplen testen i.allg. von einer Erhoehung des Alpha Niveaus ausgegangen werden muss, sofern KEINE Korrektur stattfindet. Sprich, man also das Alpha Niveau ueberhaupt nicht weiter nach unten senken koennte, sondern eben nur maximal beibehalten kann?

    Toll dass Du was gefunden hast zum Bonferroni!! Falls Du es noch findest, kannst Du mir gerne Tipps geben, wie ich das evtl nachsuchen kann in der SPSS Hilfe, welche Schlagworte, Stellen etc - Danke schonmal waere echt noch SUPER!!!

    0
  • D

    Corcovado schrieb:

    Momentan bin ich am Zusammenschreiben, daher dieser Exzess gestern..

    Ich wollte lediglich darauf hinweisen, dass die Varianzanalyse nicht die Mittelwerte vergleicht. Mit Hilfe der Varianzanalyse kannst du nur feststellen, ob es einen signifikanten Unterschied gibt; offen bleibt, welche Gruppen bzw. Faktorenstufen sich tatsaechlich unterscheiden. Wenn du also per ANOVA herausfindest, dass zwischen drei Gruppen A, B und C ein signifikanter Unterschied besteht, weisst du nicht, welche der drei Gruppen sich unterscheiden. Hierfuer musst du auf post hoc Tests zurueckgreifen und diese sind halt multiple Mittelwertvergleiche.

    Genau das hab ich auch gelesen und dass man eben zum genauen Unterscheiden der Gruppen weitertesten kann auch, wenn das mit "Anpassen" auf die einzelnen Gruppen gemeint ist, ist das genau so wie ich es nun auch verstehe. Allerdings ist es mir eben nicht klar in wie fern sich Alpha dabei veraendern kann, v.a. nach unten.

    "Vertrauensbereiche und Tests, die Standardabweichung, Varianz und Varianz1/Varianz2 betreffen, sind gegenueber Abweichungen von der Normalverteilung empfindlicher als Verfahren, die zweiseitige Vertrauensbereiche und Tests fuer Mittelwerte und Mittelwertdifferenzen (t-Verteilung) betreffen." (Sachs S. 345)[...]
    Dir ist aber klar, dass diese Aussage eher ein Argument fuer Mittelwerttests ist

    Ups ja, stimmt, da wollte ich noch was nachtragen und hab's dann nicht mehr richtig durchgelesen - Jedoch etwas ueber den Satz nachgedacht, finde ich ihn wiederum um so interessanter. Das scheint eines der Hauptargumente fuer Mittelwerttests zu sein. Werde da mal weiterarbeiten, wie funktionieren denn dann die sog. nichtparametrischen Tests (das sind doch die die keine NV mehr vorraussetzen?), sind das eher Mittelwerttests oder Varianztests (Welche Art der Varianz, wenn keine Verteilung bekannt ist?)? Ich glaube etwas gelesen zu haben, dass es da auch einige Tests gibt, die mit dem Median arbeiten - weisst Du da mehr?
    [...]

    Ja, solche Tests koennen halt auf die Normalverteilungsannahme der Daten verzichten, weil sie nur auf Ordinalskalenniveau rechnen. Ein Beispiel das mir spontan einfaellt sind der Median-Test, wo in der Tat die Mediane verglichen werden, oder auch Mann-Whitney's-U-Test, wo die Ränge verglichen werden. Allerdings wuerde ich auch diese Tests nicht beliebig anwenden, da sie halt auf ordinal-skalierte Daten abzielen. Aber ich glaube, um solche Tests auf intervall- oder verhaeltnisskalierte Daten anwenden zu koennen, sollte man schon eine gute Begruendung vorweisen koennen. Ich weiss aber nicht, welche nicht-parametrischen Tests es fuer Mehrfachvergleiche gibt.

    Corcovado schrieb:

    [...]

    Argh, die Frage war mir ganz entgangen. Laut der SPSS-Hilfe ist die Aussage richtig, da der LSD keinerlei Korrektur des Signifikanzniveaus vornimmt. Hier werden nur paarweise t-Tests gerechnet. Beim Bonferrroni wird jedoch die bereits mehrmals erwähnte Korrektur des Alpha-Niveaus vorgenommen.

    WAS?! nun bin ich wieder verwirrt 😕 die Welt war schon fast soo einfach. Also, dann stelle ich mal ne weitere These auf und schauen wo ich da meinen Denkfehler hab:
    Wenn sich also bei einer "Korrektur des Alpha-Niveaus" der Wert von Alpha nicht aendert sondern beibehalten wird und bei einem (multiplen) Test der eben diese Korrektur nicht macht, Alpha erhoet - heisst das dann, dass beim multiplen testen i.allg. von einer Erhoehung des Alpha Niveaus ausgegangen werden muss, sofern KEINE Korrektur stattfindet. Sprich, man also das Alpha Niveau ueberhaupt nicht weiter nach unten senken koennte, sondern eben nur maximal beibehalten kann?
    [...]

    Ich glaube, dass du einfach nur zwei Dinge vermischst: (1) das Alpha-Niveau des einzelnen Tests und (2) Fehlerwahrscheinlichkeit ueber alle Tests. Wenn du viele Tests ueber den gleichen Datensatz rechnest und (1) bei 0.05 laesst, werden (2) 5% deiner Tests faelschlicherweise signifikant. Um (2) auf [spekulation] kleiner 1 [/spekulation] zu senken wird bei Bonferroni (1) nach unten hin angepasst. Das ist alles. Es gibt andere Post hoc tests die Korrektur von (2) auf anderem Wege bewerkstelligen (Scheffe, Tukey), anscheinend aber auch post hoc tests die auf diese Korrektur verzichten (LSD).

    Corcovado schrieb:

    [...]

    Toll dass Du was gefunden hast zum Bonferroni!! Falls Du es noch findest, kannst Du mir gerne Tipps geben, wie ich das evtl nachsuchen kann in der SPSS Hilfe, welche Schlagworte, Stellen etc - Danke schonmal waere echt noch SUPER!!!

    Ich habe einfach General Linear Model aufgerufen, als wuerde ich es tatsaechlich rechnen wollen, dann den Button "post hoc" und rechts Click auf den entsprechenden Text. Dann erscheint die kontextsensitive Hilfe.

    0
  • C

    Hallo
    So, ich habe nun versucht, konkret meine Fragen dazu zusammenzustellen..

    Ich glaube, dass du einfach nur zwei Dinge vermischst:
    (1) das Alpha-Niveau des einzelnen Tests und
    (2) Fehlerwahrscheinlichkeit ueber alle Tests.
    Wenn du viele Tests ueber den gleichen Datensatz rechnest und (1) bei 0.05 laesst, werden (2) 5% deiner Tests faelschlicherweise signifikant. Um (2) auf [spekulation] kleiner 1 [/spekulation] zu senken wird bei Bonferroni (1) nach unten hin angepasst. Das ist alles. Es gibt andere Post hoc tests die Korrektur von (2) auf anderem Wege bewerkstelligen (Scheffe, Tukey), anscheinend aber auch post hoc tests die auf diese Korrektur verzichten (LSD).

    Heisst das also, dass sich quasi das Alpha der einzelnen Tests (1) nicht aendert, bzw man das Alpha der einzelnen Tests nicht 'aendern' kann, sondern eben nur die "Fehlerwahrscheinlichkeit ueber alle Tests" (also 2)?

    Bei post hoc Tests mit Alpha Korrektur wird dann die "Fehlerwahrscheinlichkeit ueber alle Tests" an die (evtl niedrigere?) Fehlerwahrscheinlichkeit der Einzeltests, eben des Alphas, angepasst - ist das so richtig?

    Folgenden Satz verstehe ich nicht ganz:"Um (2) auf [spekulation] kleiner 1 [/spekulation] zu senken wird bei Bonferroni (1) nach unten hin angepasst." - Was meinst Du mit der Spekulation < 1 (was ist hier 1?)?

    Also wird in diesem Zitat doch "(1) angepasst", sozusagen aendert sich doch das Alpha der Einzeltests?

    Kann es sein, dass sich das Alpha (Einzeltest) durch die Hintereinanderverknuepfung des Tests mit dem post hoc Tests, zu einer groesseren Fehlerwahrscheinlichkeit (Gesamttest) beider "anhaeuft", sofern keine Alphakorrektur vorhanden ist? ...und dass genau die Alphakorrektur dieses vornimmt?

    0
  • D

    Corcovado schrieb:

    [...]

    Kann es sein, dass sich das Alpha (Einzeltest) durch die Hintereinanderverknuepfung des Tests mit dem post hoc Tests, zu einer groesseren Fehlerwahrscheinlichkeit (Gesamttest) beider "anhaeuft", sofern keine Alphakorrektur vorhanden ist? ...und dass genau die Alphakorrektur dieses vornimmt?

    Genau so würde ich das sehen. 🙂

    0
  • C

    OK, dann denke ich hab ich verstanden worum's da geht - es wird wohl klarer werden, wenn ich's mal selber durchrechne. Besten Dank jedenfalls schon mal fuer Deine Geduld beim beantworten und erklaeren. 👍

    0
Anmelden zum Antworten