医療統計

Pairwise comparisons

ANOVAやKruskal-Wallisで有意差がでたら、次はどのペアに有意差があるのかを調べるためのpairwise comparisonsを行います。

ちなみに、もしANOVAやKruskal-Wallis testで有意差がでなければ、それ以上の解析はしない、というのが定石です。なぜでしょうか。

それは、multiple testing problemを呼ばれる、統計学では非常に重大な問題がおきるからです。

Multiple testing problem

仮に、4群比較において、ANOVAで有意差がないのに、もしくはANOVAをせずに、それぞれのペアにt-testを行なったとしましょう。t-testを行う回数(ペアの組み合わせ)は、4C2=6回となります。

もしα=0.05とした場合、5%の確率でfalse positiveとなることを意味しています。では、6回t-testを行なった場合に1回でもfalse positiveとなる確率はいくつでしょうか?

それは、1-(0.95)6=0.26

となります。ちなみに、(0.05)6は、6回ともfalse positiveになる確率です。

簡単に言えば、一回あたり5%の確率でミスをする場合、6回行えば1/4の確率でミスが起こる、ということを意味しています。

無茶苦茶高くないですか?4回に1回はミスするんです。

これが、multiple testing problemです。統計というのは、検定をすればするほどミスする可能性が増えるんです。そのため、できる限り検定を減らす努力をしなければなりません。これは、今後ずっとつきまとってくる問題ですので、しっかりと覚えておいてください。

話は逸れますが、臨床研究を行う際、データを適当に取りまくって、いろんな解析を何度も行い、有意差を見つけた場合にそれをoutcomeとして研究を進める人がいます。いわゆる、p-hackingですね。

しかし、これはmultiple-testing problemを存分に発揮してしまっており、そうやって見つけた有意差はただの偽陽性でしょう。もう一度研究を行えば、おそらく同様の結果にはなりません(再現性がない)。

こういう理由で、闇雲にt-testを行うのではなく、まずはANOVAなりKruskal-Wallis testを行うことが大切なんです。そして、そこに有意差がある場合のみpairwise comparisonsを考えましょう。

Pairwise comparisonsには、幾つか方法があります。

Pairwise comparisonsの方法

すべてのペアにt-testを行い、α=0.05を用います。シンプルですが、前述のmultiple testing problemを引き起こしますね。4群比較では、26%の確率で”ミス”をするんでしたね。

その問題を解決する方法の一つが、Bonferroniです。これは、αを0.05ではなくもっと小さい値を使って有意差を出しにくくし、偽陽性を少なくしよう、という考え方です。

例えば、4C2=6回テストをする場合、0.05/6=0.00833というカットオフを用います。すると、6回テストをした場合に一回でも偽陽性となる確率は1-(1-0.0833)6=0.049となり、丁度良くなりますね。

Bonferroniの問題点は、有意差を非常に出しにくい(very conservative)であるということです。0.008なんて、サンプルサイズが小さいとなかなかでませんよね。

 

最もliberalであるFisher(α=0.05を用いる)と、最もconservativeであるBonferroniの他にも、その間に幾つか検定方法がありますので、参考にしてください。

 

References

  • John Orav. BST 206: Introductory Statistics for Medical Research. Harvard T.H. Chan School of Public Health
  • John Orav. BST 208: Stats for Med Research, Advanced. Introductory Statistics for Medical Research. Harvard T.H. Chan School of Public Health

 

 

 

ABOUT ME
木村聡
福岡県の研修病院で初期研修修了後、大学に入局。米国オハイオ州に臨床研究で留学するも、知識の欠如を痛感。ハーバード公衆衛生大学院に進学し、MPHを取得。マサチューセッツ工科大学メンバーとの共同研究などに関与。 日本では麻酔・集中治療医として働き、オーストラリアでは小児集中治療を一から学び直しています。 乗り越える壁を見つけ続けることは、なかなか簡単ではありませんよね。アラフォー目前、様々な壁にぶち当たり、それなりに多くの経験をしてきました。私の挑戦や経験・知識、失敗談などが、他の誰かの刺激になり、役に立つことを切に願っています。 プロフィールをもっと詳しく見る

COMMENT

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です