研究者であれば、同分野の雑誌に投稿された論文を査読する機会が増えてくる。投稿論文の査読は、投稿された論文の内容を、科学的厳密性、妥当性の観点から批判的に評価することである。批判的評価といっても、当然分野によってその判断基準が異なってくることが考えられる。しかし、共通する一般原理のようなポイントはある。Nielsen (2018)は、数量研究の査読に焦点を絞り、とりわけ方法論の適切性を判断するための一般的な原理に則った形で、適切な査読を行うためのチェックリストを提供している。適切な査読の方法を身に着けることは、自分自身が研究者として、査読者の視点に立ち、ハイレベルの学術雑誌に掲載可能な科学的厳密性や妥当性を担保した論文を作成する能力を身に着けることにもつながる。以下に、そのチェックリストを紹介する。
1. リサーチ・クエスチョンの関連性と新規性
リサーチ・クエスチョンは、当該研究テーマのこれまでの知識の蓄積や対話と関連づけられるかたちで設定しているか。そして、そのリサーチ・クエスチョンに答えることで、当該分野に新たな知識を追加するすなわち付加価値を与えることにつながるか。つまり、リサーチ・クエスチョンは当該分野の発展に貢献することができる可能性を秘めているものなのか。
2. リサーチ・デザインの適切性
リサーチ・デザインには、探索的、説明的、因果関係の検証など様々なものがあるが、一番重要なのは、リサーチ・デザインが、リサーチ・クエスチョンに答えるのに最も適切なものかどうかということである。つまり、適切なリサーチ・デザインであるかの判断は、リサーチ・クエスチョンによって導かれる。
3. 研究方法のバイアスに対する頑健性
研究を行う際、偶然性による錯乱や、測定誤差の存在、サンプリングバイアスなど、さまざまなバイアスが混在する可能性を持っている。よって、これらのバイアスを想定し、あらかじめそれらに対して頑健なリサーチ・デザインを考案する必要がある。バイアスに対する対策ができていなければ、研究結果から得られた結論が誤りを含む可能性を高める。
4. アプリオリな仮説の検証
仮説は、実証研究を行う前に、アプリオリに導出されたものである。結果を得てから、それに辻褄があうように仮説が構築されていないかをチェックする。結果から後付けでつくった仮説には、研究モデル全体を俯瞰する理論的枠組みが欠けていたり、論理展開に不備があったり、検証に必要な変数が抜けていたりするなど、なんらかのサインが含まれている。
5. 統計的証拠
統計的有意性、説明力、効果サイズ、検定力、重要な変数の省略がないなど、適切な統計分析を用いているか。
6. 分析の信頼性と妥当性
欠損値の処理、時間の扱い、コントロール変数の扱い、媒介分析や調整分析、因果関係の判断、共通方法バイアス、多重共線性、自己回帰の可能性などをチェックする。
7. 測定の適切性
プロクシ変数、ダミー変数、カテゴリー変数、連続変数など、適切な変数が用いられているか。それらの変数は、研究で扱っている理論と整合性が取れているか、などをチェックする。
8. データによる結論の正当化
分析結果から十分に言えない結論を強引に導いていないか（過大評価）。分析結果を過小評価していないか。結果の一般化可能性を適切に論じているか。
