本シリーズでは、AMJ論文Leslie et al. (2023)を教材として、経営学のトップジャーナルに掲載できるような研究とはどのような研究であり、その研究をどのように論文化していくとトップジャーナルに実際に掲載可能な論文になるのかについて解説している。前回は、Leslie et al. (2023)の実証部分のうち、アーカイブデータを用いて分析した調査１について説明した。今回は、実験的手法を用いて行った調査２および調査３について解説する。
繰り返しになるが、AMJのようなトップジャーナルに掲載できる論文は、強い理論的貢献と実証的貢献が必要である。そのうち、実証的貢献とは、論文で構築した理論や仮説がどれだけ確からしいか（妥当であるか）を、実証調査によって得られる十分なエビデンスを提供することで示すことに他ならない。もちろん、理論から導き出された仮説の全てがエビデンスで支持される必要はない。そのうちどれかの仮説については支持されないかもしれない。しかしそれ自体は問題ではない。なぜ支持されなかったのか、代替案はあるのか、将来研究ではどうすればこの問題を解決できるのか、といったことを考察で議論すればよい。そして、AMJをはじめとする近年のトップジャーナル掲載論文の傾向としては、１つの調査のみでは、トップジャーナルが求める実証的貢献を満たせないため、複数の調査を実施するものが多いということが挙げられる。Leslie et al. (2023)も例外でなく、４つもの調査を実施して構築された理論や仮説を検証したのである。
複数の調査を実施する際にとりわけ有効なのは、異なる研究手法を用いた調査を組み合わせることである。研究手法によって長所と短所が異なるので、異なる手法を組み合わせれば、お互いの長所が、お互いの短所を補うことで結論を強化できるからである。Leslie et al. (2023)のアーカイブデータを用いた調査１は、現実世界への当てはまり度合いという意味での「外部妥当性」の検証に優れていたが、理論内部の因果関係メカニズムの確らしさといった「内部妥当性」の検証は十分にできなかった。よって、次のステップは、内部妥当性の検証に強い研究手法を用いた調査を実施することで因果関係メカニズムの検証に焦点を当てることである。そしてそのような研究手法の代表格が「実験」なのである。
実験的手法の強み
実験は、研究者のほうで独立変数を操作し、その結果、媒介変数や従属変数がどう変化をするかを検証するものであるから、実験の強みは、適切に実験を設計して計画どおりに実験を実施することで、厳密なかたちで因果関係を検証することができるという点である。これは、理論や仮説の内部にある因果関係ロジックを厳密に検証可能だという意味で、「内部妥当性」が高い研究手法である。一方、それがゆえに犠牲となるのが、その実験結果が、実験の文脈の外部にある現実の世界でもあてはまるかどうかという意味での「外部妥当性」の検証に弱いという欠点がある。一般的には、内部妥当性の検証のしやすさと、外部妥当性の検証のしやすさは、裏表の関係あるいはトレードオフの関係にある。実験に関して説明すると以下の通りになる。
いわゆる実験室実験というのは、研究者が操作する変数以外の条件をできるだけ均等にすることが重要であり、その他の変数が均等でなければ、結果となる変数が変化した際に、操作した変数が原因なのか、操作した変数以外の違いや測定していない変数が原因なのか、さらには、操作した変数と操作していない変数が組み合わさったのが原因なのか分からなくなってしまう。これは、因果推論における「反実仮想」と関係している。反実仮想とは、例えばxが起こった後にyが生じたときに、xがyの原因となっているかどうかを推論するためには、まったく同じ状況でxが起こらなかったらyは生じなかったかを確かめないといけない。しかしすでに起こってしまった事実についてそれは不可能であるから反実仮想という言い方をする。最も単純な実験の例だと、ロジックとしては最も正しい反実仮想が現実には検証できないから、それに最も近い方法として、ほぼ同じ状況を「人工的に」２つ作りあげて、xが生じるケース（実験群）とxが生じないケース（統制群）とを比較するわけである。
上記の説明のうち「人工的に」実験環境を作りあげるという点が重要である。あることが現実に生じる世界は１つしかないが、実験では、同じ状況下で、xが生じる世界と、xが生じない世界を２つ人工的につくりだす。実験的環境を単純にすればするほど、２つの世界を作りやすいので、そうすることで現実の複雑性を捨象する。このように、実験では、内部妥当性を厳密に検証するために人工的に環境を作りあげることが重要なのであるが、人工的に作りあげられた環境は現実世界とは異なっていることが多く、場合によっては非現実的であることもある。であるから、非現実的な環境で確かめられた因果関係が、現実世界でも成立するのかは重要な問いであって、実験はそれに答えるのが苦手なわけである。
実験は内部妥当性の検証に強いとはいえ、その点に関しても弱点がないとは言えない。主な弱点の１つが、実験者効果とか実験者の需要効果とか呼ばれるものである。これは、実験する側が期待している結果が無意識的に被験者に伝わってしまい、被験者がそれに沿うように行動してしまう効果を指す。被験者は、自分が参加している実験の目的は何かを意識的もしくは無意識的に探る傾向がある。実験の目的や仮説が分かってしまうと、これも意識的あるいは無意識的に、その仮説に沿った行動をしてしまう。人間は、何かを依頼されればそれに親切に答えようとする生き物なので、実験において「こういう結果が出てほしい」と実験者が祈っていることが伝わってしまえば、実験者の想いをサポートしてあげよう、助けてあげよう、という気持ちが出てきてしまうのである。もし、このような需要効果が働いてしまえば、実験結果は現実に存在する因果関係を検証したとは言えないことがお分かりになるだろう。
Leslie et al. (2023)が行ったサンプリング
さて、サンプリングの話に移ろう。実は本研究では、実験である調査２および調査３と、最後のサーベイ調査である調査４において、すべて、Prolific Academicという調査会社によるオンラインサンプリングを利用している。これは、膨大な会員を有している調査会社が、会員に対してアンケートや実験に回答するよう依頼し、回答の見返りに現金やポイントなどを支払う仕組みである。日本でも、マーケティングリサーチ会社を始めとしてオンラインで調査やサンプリングを代行する会社がいくつかある。一般論でいうと、オンライン調査会社を使ったオンラインアンケート調査は、比較的お手軽にできるので研究者にとっても便利であるが、お手軽であるがゆえに、結果の信頼性や妥当性を疑問視されたりする。とりわけ、調査設計の原理原則を逸脱したかたちでの調査は数多くの欠陥が明らかなので良いジャーナルに研究結果を掲載することが困難である。しかしここでは、そのような安易に使われがちでかつ批判されやすいオンライン調査会社を使ったものであっても、しっかりと調査を設計して実施すれば、AMJのようなトップジャーナルに研究成果を掲載可能であるというところを重要な学習ポイントして挙げておきたい。
２つの実験の目的
Leslie et al. (2023)が２つの実験を実施している理由は、調査２の実験の目的が、リーダーが価値レトリックを条件付きレトリックよりも好むことを予測するH1aと、その内部にあるリーダーの心理メカニズムを示すH1bをリーダーを被験者として検証するところにあり、調査３の実験の目的が、両方のレトリックともダイバーシティ推進に対する従業員の努力を引き出すという面ではそれなりの効果があるが、条件付きレトリックのほうが価値レトリックよりも効果が高いことを予測するH2a～H4aと、その内部にある従業員の心理メカニズムを示すH2b～H4bを、従業員を被験者として検証するところにある。Leslie et al. (2023)が構築した理論の核心は、「記述ー処方パラドックス」であるが、このパラドックスを実験で一度に検証することは困難なため、記述面と処方面に分けて実験を行ったということである。
今回は、Leslie et al. (2023)の調査２と調査３という２つの実験の特徴を一般論を交えながら解説することでスペースを消費してしまったので、調査２と調査３の実験の詳細の解説は次回にまわすことにする。
文献（教材）
Leslie, L. M., Flynn, E., Foster-Gimbel, O. A., & Manchester, C. F. (2023). Happy Talk: Is Common Diversity Rhetoric Effective Diversity Rhetoric? Academy of Management Journal, https://doi.org/10.5465/amj.2021.1402
