本シリーズでは、AMJ論文Leslie et al. (2023)を教材として、経営学のトップジャーナルに掲載できるような研究とはどのような研究であり、その研究をどのように論文化していくとトップジャーナルに実際に掲載可能な論文になるのかについて解説している。前回は、Leslie et al. (2023)の２つの実験である調査２と調査３の特徴についてやや詳しく説明したので、今回は、この２つ実験の具体的なサンプルと手続き、そして分析方法と結果の報告内容について解説する。
調査２と調査３のサンプルと手続き
調査２は、リーダー経験のある米国の人々136人を被験者サンプルとしており、調査３は、米国で働く従業員503を被験者サンプルとし、どちらもProlific Academicを使ってポイント付与を条件としたサンプリングしている。調査２では、ダイバーシティ推進の演説の例として、価値レトリックと条件レトリックの２つを示した後、どちらかを１つ選んでもらって、後で従業員役の人々がそれを評価し、高評価の場合はボーナスポイントが進呈されるという設定のもとで自分の演説を録音してもらった。その他の変数もその際に測定された。調査３では、被験者にある会社に新たに入社した従業員のロールプレイをしてもらい、シニアリーダーからダイバーシティ推進に関する演説のメールを受け取ったという状況のもとで（それは本物の企業から借用したものだと告げられた）、その反応として、この会社のダイバーシティ推進のためのアイデアをできるだけたくさん出してもらうという課題によって反応を測定した。こちらもその他の変数がその際に測定された。
変数の操作
前回説明した通り、実験の大きな特徴は、統制された環境のもとで、実験者が変数の値を操作するというものである。しかし、調査２と調査３では、変数の操作の形式が異なっているところを指摘しておこう。調査３はより直感的にわかりやすい典型的な実験で、被験者をいくつかの条件にランダムに配分した上で、それぞれ別の刺激を与え（異なるリーダーレトリック）、その反応を見ようとするものである。これは、異なる変数の値を異なる被験者に提示するという意味で、「被験者間デザイン」と呼ぶものである。調査３では、４つの異なるレトリックに被験者を配分しているので、１つのレトリックに必要な被験者の数を考慮すると、多くの被験者を必要とする。一方、調査２の実験のやり方はやや異なっており、被験者に２つのレトリックの種類という刺激を与えて、どちらを選ぶかという反応をみる形式になっている。これは、１人の被験者に全ての変数の値を提示しているという意味で、「被験者内デザイン」と呼ぶものである。このデザインだと、１人の人に複数の変数の値を与えることが可能なので、サンプル数を節約することができる。とはいえ、被験者間デザインと被験者内デザインはそれぞれ長所と短所があるので、それを考慮してベストな実験を設計することが重要である。
操作チェック
調査２も調査３も、操作チェックを行なっている。実験の場合、適切に被験者に対して変数の値を与えることができたのかを確かめる必要があり、これが操作チェックである。調査２では、パイロットスタディで操作チェックをしており、オンラインの補足資料で結果を報告している。調査３では、被験者にリーダーレトリックの内容を思い出してもらう質問を課している。また、両調査とも、被験者が注意散漫になっていた場合には変数操作に影響が出る恐れがあるので、実験中に注意散漫となりいいかげんな回答になっていないかを調べる質問を加えている。
その他の変数の測定
実験では、変数を操作したことによる反応を見るので、操作変数の刺激を与えた後で、被験者の反応を示す変数を測定している。調査２も調査３も、検証するのが媒介仮説なので、媒介変数と従属変数の両方を測定している。それに加え、仮説とは異なるメカニズムで結果が出る可能性を考慮して、それを調べるための変数も追加で尋ねている。
統計分析
分析結果の報告では、調査２も調査３も、まず基本統計量を報告し、確認的印紙分析で測定尺度の妥当性を確認した後、メインの分析に入っている。なお、アーカイブを使った分析やサーベイ調査での分析には、分析の際に統制変数を投入することが多いが、実験データの分析にあたっては、統制変数は含めない。論理的にいうと、実験では無作為配分（ランダム化）によって、操作変数以外の変数は統制されていると仮定するので、あえて統制変数を用いる必要がないからである。
代替モデルの検証
調査２と調査３では、因果関係を検証すべき媒介メカニズムがクリアに示されており、それを検証したわけだが、常に、別のメカニズムによってXからYに影響する可能性も考慮しないといけない。そのような別のメカニズムが存在するかもしれないのに、それを検証していないと、仮説で言うところの媒介メカニズムが真に存在するかどうかを推論できない。考えられる代替メカニズムの影響が検出されないというエビデンスを示すことによて、別のメカニズムの可能性を消し、仮説のメカニズムを支持することが求められる。調査２も調査３も、考えられる代替メカニズムを示す媒介変数を測定してあるので、それも分析した上で、それらが統計的に有意でないことを報告している。
考察
調査２も調査３も、それぞれの終わりに短い考察のセクションを儲け、結果を簡単に要約したのちに、調査方法の短所について述べ、他の調査と組み合わせた形で総合的な判断がなされるべきであることを示唆している。
実験的手法のまとめ
実は、経済学や経営学では、昔は実験的手法をほとんど用いなかった。経営学において実験的手法が用いられなかった大きな理由は、外部妥当性の弱さである。心理学のように、ある程度文脈から切り離された人間の心理メカニズムの理解といった基礎的な研究とは異なり、応用研究分野である経営学では、経営現象の理解が最たる目的である。よって、人工的に作られた、場合によっては非現実的な環境で明らかになった法則性などが経営現場で本当に当てはまるのかという疑義が拭いえなかったわけである。以前述べたとおり、AMJに掲載されるような論文は、ある程度狭い範囲の特定の文脈で起こっている現象の理解を深めることに貢献するものであるから、実験のみの研究をAMJのようなトップジャーナルに掲載させるのは非常に困難である。しかし、Leslie et al. (2023)のように、外部妥当性の高い他の研究手法と組み合わせて用いることは非常に効果的で、それでこそ、経営学での実験的手法の強みが最大限に活かせるのである。
さて、次回は、最後の調査４のサーベイ調査について詳しく解説する。
文献（教材）
Leslie, L. M., Flynn, E., Foster-Gimbel, O. A., & Manchester, C. F. (2023). Happy Talk: Is Common Diversity Rhetoric Effective Diversity Rhetoric? Academy of Management Journal, https://doi.org/10.5465/amj.2021.1402
