推測統計学における検定に絡むものとして、さまざまな確率分布が登場する。その例を挙げれば、2項分布、正規分布、カイ2乗分布、t分布、F分布がある。これらの分布は、異なる検定で用いられるため、それぞれ独立したものであると思われがちであるが、数学的には密接に関連していることを、南風原(2014)は丁寧に解説している。
まず、各回の試行における成功確率がπであるような試行を独立にN回繰り返したときの成功数wの分布である「2項分布」について、Nの値を大きくしていくと、「正規分布」に近似できる。中心極限定理によれば、Nを無限大に近づくと、正規分布に近づいていくことを示している。
次に、正規分布の変数を標準化して、平均が0、標準偏差が1となった標準正規分布について、この変数zを2乗したものの分布をとると、自由度1のカイ2乗分布になる。また、正規分布の母集団から大きさNの標本をとり、それぞれを2乗したものの和は、自由度Nのカイ2乗分布にしたがうことになる。これは、「互いに独立カイ2乗分布にしたがう変数の和もカイ2乗分布にしたがい、自由度はそれぞれのカイ2乗分布の自由度の和に等しい」という定理から導かれる。
さらに、互いに独立に、それぞれ自由度を持つカイ2乗分布にしたがう2つの変数について、それぞれの変数を自由度で割った比は、それぞれの自由度をもつF分布にしたがうことが証明されている。そして、このF分布にしたがう「比」の分子を1とするならば、それは、分母にあるカイ2乗統計量の自由度をもつt分布にしたがう数の2乗として解釈できる。t分布は、その自由度を大きくしていくと、限りなく標準正規分布にしたがうことが知られている。
ここまでをまとめると、多少正確性を欠く記述となるが、まず、2項分布は正規分布に近似できる。正規分布は2乗することでカイ2乗分布となる。カイ2乗分布の比をとると、F分布やt分布になる。t分布を2乗するとF分布となる。そしてt分布は正規分布に近似できる、ということになるのである。
