「データを拷問にかけ自白させる」「セレンディピティ主義」の危険性

フランシス・ベーコンが言ったとされる有名な言葉に、実験とは「自然を拷問にかけて自白させること」だというものがある。自然科学は経験データとの整合性が必須なので、特定の法則性が自然に備わっているならば、その自然が自分でそれを語らざるをえない状況を人工的に作り出す、すなわち拷問にかける手段が実験だということである。一方、「セレンディピティ」も科学でよく語られる言葉である。例えば、パスツールが偶然カビからペニシリンを発見した例のように、偶然が偉大な発見につながったという逸話とともに、偶然を味方につけることの重要性が数多く語られている。

 

一般的に、これらの2つは、科学における美談として語られることが多い。つまり、科学を実践する際に模範とすべき行動や態度を表す言葉である。しかし、現代の経営学をはじめとする社会科学などにおいては、少し様子が違うようである。むしろ、研究における問題行動を戒める言葉として扱われそうな雰囲気を醸し出している。ビッグデータ時代の到来とともに、経営学においても多様なデータが習得可能になり、それらのデータを用いた実証研究が盛んに行われている中で、冒頭の2つの言葉になぞらえた「データを拷問にかけて自白させる」「セレンディピティ主義」が、適切な研究を阻害する問題行動につながりかねないという指摘が増えているのである。

 

例えば、Aguinis, Cascio, & Ramani (2017)はこれらの行動に警鐘を鳴らしているが、彼らが指摘する現象が、"Capitalization on chance" というもので、これは「何かいろいろとやっていると偶然結果が得られる」というような現象である。研究をしていれば、冒頭にあげたセレンディピティの例のように、偶然何かが発見されるということはありうる話である。むしろ、Aguinisらが問題視するのは、"Systematic capitalization on chance" というもので、偶然何かの結果が出るような研究方法を意図的に志向するということである。セレンディピティによって結果を得ることを意図的に志向するということで、これをセレンディピティ主義と呼んでみよう。

 

先に述べたとおり、現在は、大量の変数が入ったデータセットを作りやすく、かつ、様々な視点から高度な分析が可能な統計分析ソフトウェアも発展している。よって、研究者としては、とにかく大量の変数の入ったデータセットを作り、これこそが宝が埋め込まれた原石とばかりに、ありとあらゆる分析を統計ソフトにやらせるのである。AIであれば文句を言わずひたすら分析続けることも可能だ。まさに、何か結果がでるまでデータを回しまくる。「データを拷問にかけて自白させる」というのはこういった行為のたとえである。偶然、何らかの結果がでるまで拷問のようにデータを分析しつづける。そうすると、いずれは偶然に有意な結果が出たりなんらかのモデルがデータにフィットするだろう。そうしたら、それに基づいたストーリーを構成して論文を作成するという塩梅である。

 

このようにして作成された論文は眉唾であることは明らかである。偶然起こった結果だから、それが、経営学の法則性やメカニズムを表したものである可能性はかなり小さい。だから、仮にそのような結果をもとに論文を発表しても、誰もそれを再現できないということが起こりうる。なぜならばそれは特定のデータから偶然得られた結果にすぎないのだから。しかも悪いことに、経営学などのトップジャーナルでは、とにかく新規性の高い、革新的な理論や仮説の実証研究を求めている。すでに発表された論文の追試などの論文はトップジャーナルには掲載できない。よって、いったん論文が発表されれば、ほかの研究者がその妥当性を再検討するモチベーションはあまりわかない。

 

だとすると、いくらトップジャーナルといっても、再現性のない理論や仮説のコレクションになりかねなく、トップジャーナルの学術的価値が危機に陥ってしまうのみならず、信用できない誤った情報を実践家に伝えてしまう危険性もある。もちろん、そのような傾向を助長しているのが、大学などの研究機関や学会などの研究者コミュニティーであるわけで、トップジャーナルへの論文の掲載が賞賛され多くの大学での教員採用や教授昇進の基準になっているから、研究者は、経営現象そのものへの探求よりも、自分自身の昇進や名声への探求に論文作成のモチベーションが向かってしまう。直感を裏切るような仮説やそれを支持する結果、複雑だが面白いモデルなど、それらがデータ分析によって「偶然」見つかったならば、しめたとばかりに論文を作成し投稿するという行為を助長している。

 

ジャーナルへの論文掲載も"Capitalization on chance"すなわちセレンディピティ主義で、打てば当たるとばかりに、偶然論文がアクセプトされてしまうことを願って投稿しまくる。そうなると、ジャーナルあたりの論文の投稿数が肥大するので、間違って問題を含む論文を掲載してしまう可能性も高めてしまう。つまり、いろんな要因が相互に影響を与え合って、再現不可能な論文が量産される可能性を高めてしまっているのである。このような由々しき事態への反省と対応から、近年では、再現性を検討する研究の見直しと評価が進んでおり、これらの論文を専門的に掲載しようとするジャーナルの設立も増えてきている。その1つが、経営学のトップジャーナルの一角であるJournal of Managementの姉妹ジャーナルとして発刊されたJournal of Management Scientific Reportsである。

 

経営学も比較的歴史の浅い学問分野というよりは、研究者の層も厚くなり、経営理論などの成熟度も高まってきた。成熟度が高まった学問分野に必須の義務は、単に新しい理論や仮説を作り続けることだけではなく、これまで蓄積された理論や仮説を再検討しつづけ、洗練し、修正していく地道な作業である。このような活動があって初めて経営学が安心して実務家に使ってもらえる公共財となるのである。これは、役割分担を進めていくべきということでもある。新規性が高く革新的な理論や仮説を発表するジャーナルがある一方で、既存の理論や仮説の追試を通じて改善、修正していくジャーナルもあるという具合で、異なる役割を担うジャーナルや研究活動が力を合わせて学問分野全体を持続的に発展させていくということである。経営学コミュニティーの自浄作用によって、正しい方向に研究活動の動向が向かうことが求められるし、そのように向かおうとする機運が高まっているのである。

文献

Aguinis, H., Cascio, W. F., & Ramani, R. S. (2017). Science’s reproducibility and replicability crisis: International business is not immune. Journal of International Business Studies, 48, 653-663.