本シリーズでは、AMJ論文Leslie et al. (2023)を教材として、経営学のトップジャーナルに掲載できるような研究とはどのような研究であり、その研究をどのように論文化していくとトップジャーナルに実際に掲載可能な論文になるのかについて解説している。前回までで、Leslie et al. (2023)の実証部分の概要と構造を説明したので、今回からは、それぞれの実証研究の詳細について解説をしていく。
調査１：公開されたアーカイブデータの分析
すでに説明したとおり、調査１は、企業のウェブサイトの情報や公表されている企業のダイバーシティランキングといった公表されているアーカイブデータを用いて仮説を部分的に検証したものである。具体的には、仮説のうち「リーダーは相対的に価値レトリックのほうを好んで使うが、条件付きレトリックの効果性のほうが相対的に高い (H1a, H2a, H3a, H4a）」が支持されるかを検証し、支持される結果が出たことを報告している。このように公開されたアーカイブデータを用いて理論や仮説を検証することの長所と短所はどこにあるのだろうか。
アーカイブデータを用いた分析の強み
Leslie et al. (2023)が構築した理論や仮説が真実を表しているのか、そして企業経営にその理論や原則を活用したときに、その理論や原理を活用できていない企業との比較において、優位に立つことができるのか、という問いは、学術的にも実践的にも重要である。アーカイブデータを用いた分析は、大規模調査であったりする場合は、広範囲なサンプルを用いた分析が可能であるという点において、このような要求にうまく答えることができる。今回の調査１で言えば、企業のサンプルを用いて企業レベルで仮説を検証しているので、このデータセットから理論や仮説を支持する結果が出たということは、価値レトリックを用いるのか、条件付きレトリックを用いるのかで、企業レベルにおいて有意な差が生じているということを意味している。
よって、調査１の分析結果は、企業の経営者が、ダイバーシティ推進においては意識的に条件付きレトリックを用いることで、他の企業よりもダイバーシティ推進を成功させる確率が高まることを示唆しており、理論や仮説を支持するだけでなく、経営の実践においても説得力のある結果を提供することにつながっている。理論や仮説から導かれる変数の関係性が、実際の企業データで見られたということは、その理論や仮説が、その理論の外部にある世界できちんと観察される、その理論や仮説が現実の世界で当てはまるという意味での「外部妥当性」が高いことが調査１で示されたということになる。
また、誰もがアクセス可能な公開データを扱っていることの別の強みは、他の人が同じデータを入手し、自分で分析してみることで論文で報告されていることと同じ結論が導かれるかどうかを検証することも比較的容易に可能である点が挙げられる。誰もが再現できる分析方法で結論が導かれている点は調査結果の説得力の増加に繋がっているといえよう。
アーカイブデータを用いた分析の弱み
一方、アーカイブデータを用いた分析には多くの弱点も存在する。もっとも重要なのは、この現存する公開データは、今回構築した理論や仮説を検証するために設計されたものではないということである。別の言い方をすれば、「たまたま」今回の議論や仮説を検証するのに「都合が良かった」から用いたという言い方もできる。であるから、まず、理論や仮説で想定している変数をそのまま測定して検証できていない。あくまで、現存するデータセットの中から、理論や仮説で想定している変数に近い「疑似的な」変数を取り出して分析に用いるしか方法がない。よって、ここに論理的に飛躍がないかどうかは注意深く検討する必要がある。そもそも測定したい変数が測定できていないのであれば、理論や仮説を検証したことにはならないのだから。
次に、現存するデータを分析に使う場合、理論や仮説で想定している因果関係を検証することはできないし、ましてや、その背後にある心理メカニズムを検証することもできない。あくまで、理論や仮説で想定されているようなメカニズムが存在するとすれば生じていたであろう「表面的な」変数の関係性を調べているだけなのである。であるから、Leslie et al. (2023)の調査１においては、公開されているデータだけで検証が可能なH1a～H4aまでの仮説のみが検証可能で、その心理メカニズムを示すH1b～H4bまでは検証不可能であったわけである。因果関係を厳密に検証できないことは、似たようなマクロなデータセットを扱う計量経済学ではおなじみの問題点で、そのようなデータ上の限界を克服するための因果推論の技術が計量経済学において最も研究され発達しているのはうなずける話なのである。
因果関係が厳密に検証できないことは、先ほど述べた、実践的な示唆に対する注意喚起にもつながる。つまり、調査１の結果のみでは、理論が想定している内部メカニズムや因果関係が検証できていないから、本当に企業レベルのダイバーシティ推進において条件付きレトリックを用いることが企業がダイバーシティ推進を成功させる「原因」となるとは胸を張って主張できないとも言えるのである。このような特徴を、因果関係メカニズムといった理論の内部の様子が妥当であるかどうかがわからないという意味で、内部妥当性が確認できていないということになる。
調査１のみでは実証研究としては不十分
アーカイブデータを用いることの強みは、実在する会社が公表しているデータや企業ランキングの結果といった「事実」をデータとして扱っている点で、「外部妥当性」すなわち、本論文で導いた理論および仮説が企業の現実の実践を反映している度合いが高い点である。つまり、企業の実践の現実において、理論や仮説の通りのことが生じていることが確からしいということである。一方、アーカイブデータを用いた研究の弱みは、先に述べたように、目に見える事実データのみを扱っている点で、その背後にある理論メカニズムを直接検証できないことである。なので、理論や仮説で示した「因果関係」が本当に妥当かどうかわからない。すなわち「内部妥当性」の検証力が低いという点にある。
以上より、調査１のアーカイブデータを使った実証調査は魅力的な長所があるものの、さまざまな短所も存在することから、調査１で扱ったデータと分析のみでは、構築した理論や仮説を厳密に検証できず、トップジャーナルに論文を掲載することは無理であることがおわかりになるだろう。だからこそ、調査１の強みを最大限に生かしつつ、その弱みを後続の調査で補うというアプローチをLeslie et al. (2023)は採用しているわけである。
実証研究でアーカイブデータを用いる際の留意点
今回の解説で、実証研究においてアーカイブデータを用いることの強みと弱みが理解できたと思う。アーカイブデータの強みを活かしてこの手法を効果的に活用するには、まず、理論や仮説を検証するのに適したアーカイブデータが存在するかどうかが大きなポイントである。それでもなお、そこで測定可能な変数が、理論や仮説で記述された変数の代理変数にすぎないことが多いということは重要なポイントであり、この問題を克服できなければ、仮説で測定すべき変数を測定できていないという批判に晒されることになる。また、利用できるアーカイブデータがありそうだというところから、研究テーマや理論・仮説を考えるというのも１つの手である。ただし、その場合は、アーカイブデータに合わせた変数選択、それを組み合わせたモデル構築、理論や仮説の考案になってしまう危険性がある。これは、そもそもこの手の分析手法が因果関係の検証など内部妥当性の検証に弱いこと、そしてデータベースのような目に見える変数の背後には何らかの因果関係を含んだ測定されていない変数が媒介している可能性を心に留めておき、Leslie et al. (2023)のように、他の研究手法と組み合わせることでこの手法の弱みを消していく努力が必要であろう。
調査１の記載内容
まず簡単に概要を説明した後、使用データとして、2019年にFortune 100 companiesの企業ウェブサイトの内容からダイバーシティ推進に関するメッセージを類型化もの、
2020年のForbes Magazineのダイバーシティ企業ランキング(500 Best Companies for Diversity)のものを用いたことを報告している。分析に用いる変数についての説明が続く。そして分析結果として、基本統計量とともにメインの分析結果が示され、仮説が支持されたことを報告し、考察において今回説明したようなアーカイブデータを使った調査の長所と短所について論じ、次以降の調査につないでいる。
さて、次回は、まさに調査１の弱点を補うことで理論および仮説の更なる支持を得ることを示した調査２と調査３の実験について解説する。
文献（教材）
Leslie, L. M., Flynn, E., Foster-Gimbel, O. A., & Manchester, C. F. (2023). Happy Talk: Is Common Diversity Rhetoric Effective Diversity Rhetoric? Academy of Management Journal, https://doi.org/10.5465/amj.2021.1402
