１つの概念に多数の操作的定義が与えられるとき，それらのすべてが，まったく同じように構成概念を代表することはありえない。それらのうちのどれか１つが，１００％過不足なく構成概念を表すとも考えられない。現実には，それぞれの操作的定義が，ある程度の誤差を含みながら，構成概念の少しずつ違った側面を捉えていると考えるのが妥当である。クーパーはこの状況を，多数の項目を集めてテストが作られることになぞらえている（Cooper, 2009b)。テストによって何らかの構成概念を測ろうとするとき，１つないし少数の項目を用いるのでは，構成概念の一部しか把握できず，高い信頼性を確保することも難しい。構成概念を確実に捉え，かつ信頼性の高い測定値を得るためには，測ろうとする構成概念と多少なりとも相関があって，互いに少しずつ異なる多数の項目を積み上げて，テストを構成することが必要である（池田, 1992）。これと同じように，少数の操作的定義を用いるときよりも，構成概念の異なる部分を反映した多数の操作的定義を用いるときの方が，一般性の高い結論を導くことができると考えられるのである。ただし，概念的定義の広さに応じて，操作的定義を選ぶことは大事である。英語全般の学力を測ろうとするときと英語文法の学力を測ろうとするときとを比べると，テストのために使える項目の範囲は前者では広く後者では狭くなるだろう。関心を向ける構成概念をどのくらい広く（狭く）定義するのか，その広さを考慮に入れた操作的定義の選択は，問題の定式化の段階における重要な決定事項のひとつである。
井上俊哉 (2012). 問題の定式化 山田剛史・井上俊哉（編） メタ分析入門：心理・教育研究の系統的レビューのために 東京大学出版会 pp.25-48.
PR
