質問紙調査（いわゆるアンケート調査）を行ったのはいいが、統計的に分析するとなに１つ有意な結果がでないということがある。適当に表やグラフをこしらえれば素人はごまかせるかもしれないが、玄人はごまかせない。学術的には何の価値もない調査であると一蹴されてしまう。
そもそも、仮説が妥当でない場合は論外であるからここでは議論しない。むしろ、真の関係があるかもしれないのにも関わらずアンケート調査で結果がでない原因の多くは、信頼性の高い測定尺度を利用していないからだ。測定尺度の信頼性が低い場合、ほんとうに変数間になんらかの関係があったとしてもそれが検出されないので、統計的に有意な結果が出なかったということになってしまう。明らかに質問紙の設計ミスである。
一般的に、アンケートなどから得られる尺度には、真の値と誤差が含まれている。誤差というのをランダムな成分であると考えるならば、誤差の多ければ多いほど、ランダムな回答に近くなってしまう。信頼性の低い尺度というのは、単に回答者が何も考えずランダムに回答しているだけという状態に近づいているということになる。ランダムな回答とランダムな回答との相関係数がゼロに近いわけであるから、信頼性の低い尺度同士の見かけ上の相関係数は、尺度の信頼性が低いほどゼロに近づいていくわけである。だから、信頼性の低い尺度を使っていれば、本当は何らかの関係性があったとしても、測定された変数間の関係はゼロであるとみなされ、統計的に有意な結果がでないのである。
もちろん、信頼性だけの問題ではない。本当に測りたい概念を測っているかという「妥当性」の問題もある。妥当性が低い尺度を使っている場合も、変数間の真の関係を見出せない。信頼性は、妥当性に含まれる概念であるから、信頼性が高い尺度を使用しているということは、妥当性が高いことの必要条件（十分条件ではない）とうことになる。
