回帰分析における最小二乗法は理解していても、一般化線形モデルなどにおける最尤法について理解できていないというケースも多い。久保(2012)によれば、最尤法もしくは最尤推定は、統計モデルのパラメータを推計する方法の１つであり、尤度というモデルの当てはまりの良さをあらわす統計量を最大にするようなパラメータを探そうとする推定方法である。尤度とは、例えば、θをパラメータとする確率分布から観測データが得られる確率を観測データの数だけ掛け合わせたものである。意味としては、観測データがすべて同時に起こる確率を計算するためである。
久保は、掛け算だらけである尤度は数学的に扱いにくいため、尤度の対数を取ると説明する。対数を取れば、掛け算が足し算になるため、対数尤度はそれぞれの観測データについての値の和で表現できる。尤度と対数尤度は単純増加関数であるため、対数尤度が最大化するようなパラメータのときは、尤度も最大化する。対数尤度を最大化するパラメータは、近似計算をしなくても、数値的な試行錯誤を行えば探し出すことができる。
そのようにして最尤推定値が得られるわけだが、それはあくまで手元にある観測データを用いて計算した値だから、もう一度サンプルを取り直して同じように最尤推定を行えば違う値になりうる。つまり、データを取り直すごとに、推定値はばらつく。このことを考慮して、今回得られた最尤推定値がどれくらい真のモデルの推定値からズレる可能性があるのかを、パラメータ推定値の標準誤差を求めることによって把握しなければならない。サンプル数が多くなればなるほど、推定値の正確さが増してくるので、標準誤差は小さくなる。ここでは、推定値のばらつきが正規分布に従うと仮定して求める。推定値と標準誤差がわかれば、推定値の信頼区間を計算することできる。
なお、モデルのあてはまりの良さを示す最大対数尤度に（−２）を掛けた値は、あてはまりの悪さを示す「逸脱度」と呼ばれる観測データすべての個数のパラメータを使った（モデルとしては意味のない）フルモデルでの逸脱度（最小逸脱度）と、逸脱度との差を、残差逸脱度と呼ぶ。残差逸脱度もモデルのあてはまりの良さを示す指標なので、もっともあてはまりの悪いモデル（nullモデル）のときに値が最大化する。つまり、逸脱度はnullモデルのときに最小化、フルモデルのときに最大化するが、null逸脱度がこの２つの差（相対的な値）であって、残差逸脱度がnullモデルのときの最小値と実際のモデルの逸脱度の差（相対的な値）である。モデルが観測データに当てはまっている度合いの良さを良いモデルの基準とするならば、残差逸脱度に注目することになるが、モデルがどれくらい将来の現象を予測できるかという予測力を基準とするならば、ひと工夫必要となる。
モデルの予測の良さをあらわす量は、平均対数尤度として表現できる。最大対数尤度が、たまたま得られた観測データへのあてはまりの良さに基づいて推定されるのに対し、平均対数尤度は「真の統計モデル」を用いて得られる尤度からなるもので、現実には真の統計モデルがわからないので、値もわからない。よって、この平均対数尤度を推定する必要がある。たまたま得られたデータに基づくモデルでは、最大対数尤度で示されるモデルのあてはまりが過大評価されるので、これをバイアスと考え、このバイアスを補正する。久保によれば、一般的には、最尤推定するパラメータをk個持つモデルの平均対数尤度の推定量は(LogL - k)だとされるため、これに（−２）を掛けて計算した値を、AICと呼び、モデルの予測の良さを相対的に示す指標だと解釈するのである。よって、AICに基づいて、複数のモデルの代替案からもっとも予測の良いモデルを選択することが正当化されるのである。
