사회복지 조사론 '조사 연구에서 신뢰도와 타당도를 확보하기 위한 방안'

'조사 연구에서 신뢰도와 타당도를 확보하기 위한 방안'

 

 

1) 신뢰도와 타당도에 대한 개념, 신뢰도와 타당도의 관계 포함

 

신뢰도 개념을 통계 용어로 다시 설명해 보자면, 높은 신뢰도를 갖는 측정도구는 특정한 구성이나 개념을 측정할 때, 측정오류, 즉 관찰값 오류가 적은 관찰값을 도출합니다. 여기서 측정오류란 측정 대상에 대한 참값과 측정 대상의 관찰값 간 차이로 정의할 수 있습니다. 참값은 측정에서 오류가 없을 때 얻을 수 있는 완전한 기댓값이고, 관찰값은 측정도구를 통해 실제로 측정된 값입니다.

측정오류에 대한 개념을 실제 측정 사례를 통해 설명하면 다음과 같습니다. 동일한 사람의 몸무게를 측정하더라도 아날로그 방식 체중계를 사용할 때와 디지털 방식 체중계를 사용할 때, 약간 다른 몸무게 수치가 나타날 수 있습니다. 이때 발생하는 몸무게 수치, 즉 관찰값 차이는 바로 기계적 오류, 즉 측정오류에 기인한다고 볼 수 있습니다. 또는 동일한 체중계를 사용하더라도 여러 번 몸무게를 측정할 경우, 체중을 측정하는 사람의 자세나 측정 위치 차이로 인해 다른 몸무게 수치가 나올 수 있습니다. 이때 측정하는 사람의 자세나 측정 위치 차이가 측정오류를 발생시킵니다. 이 경우, 측정하는 사람의 몸 질량 그 자체는 변함이 없지만, 관찰값은 어떤 측정오류로 의해 변할 수 있습니다.

이 관계를 참값 이론으로도 불리는 멜빈 노빅의 고전적 검증이론에서 제시한 세 가지 핵심요소 즉, 관찰값, 참값, 그리고 측정오류 사이의 관계로 표현하면 다음과 같습니다.

 

관찰값 = 참값 + 측정 오류

 

이 공식에서 측정오류는 다시 무작위 오류와 체계적 오류로 구분할 수 있습니다. 소음으로도 간주되는 무작위 오류는 표본에 걸쳐 변인 측정에 무작위로 영향을 주는 어떤 요인, 예를 들어, 표본에 속한 개별적 구성원의 속성이나 상태에 의해 발생한다. 반면 편향(bias)이라고도 불리는 체계적 오류는 표본에 걸쳐 변인의 측정에 체계적으로 영향을 주는 어떤 요인, 예를 들어, 표본에 속한 모든 구성원 전체에게서 일관적으로 발생하는 외부 요인에 의해 발생한다. 각 측정오류를 실제 사례를 들어 설명하면 다음과 같습니다. 수업 도중 학생 일부가 딴 생각을 하거나(무작위 오류) 또는 강의실 바로 옆에서 갑자기 시끄러운 마이크 소리가 들린다면(체계적 오류), 선생님이 전달하는 강의내용(참값)과 학생들에게 실제로 전달된 강의내용(관찰값) 간에는 차이가 발생할 수 있을 것입니다. 측정도구의 타당도란 연구자가 측정하고자 하는 것을 측정도구가 실제로 정확하게 또는 적합하게 측정하는지에 관한 정도로 이해할 수 있습니다. 신뢰도가 측정의 수적 오류를 평가한 것이라면, 타당도는 측정의 개념적 오류를 평가한 것입니다. 다시 말해 신뢰도는 특정한 수치를 통해 검증할 수 있지만, 타당도는 일반적으로 특정한 수치를 통해 평가하는 경우가 거의 드뭅니다.

또한 추상적인 구성이나 개념을 측정도구가 논리적으로 타당하게 측정했는지를 판단할 때, 연구자의 주관적 관점이 개입될 수 있기 때문에 타당도를 객관적으로 검증하기가 어려운 것도 사실입니다. 따라서 커뮤니케이션 학술지를 살펴보면 측정도구의 신뢰도는 구체적인 숫자 예를 들어, 크론바흐 알파 통계량을 통해 제시하지만, 타당도는 거의 언급하지 않음을 쉽게 확인할 수 있습니다. 그런데도 측정도구가 타당도를 갖지 않는다면 결국 연구자는 자신이 측정하고자 하는 구성이나 변인을 측정하지 못하는 치명적인 오류를 범할 수 있습니다.

따라서 측정도구를 사용하기 전에, 타당도를 검증하는 과정은 반드시 필요합니다. 단적인 예로 사람의 신장을 측정하고자 할 때, 체중계를 측정도구로 사용한다면, 이 경우 신장을 타당하게 측정할 수는 없을 것입니다.

 

2) 신뢰도와 타당도 각각의 저해요인과 해결방안

 

신뢰도의 저해요인은 처음한 특정이 재측정 점수에 영향을 미치는 검사요인 효과와 특정 간격이 길 때 조사대상집단의 특성변화에 따른 성숙요인효과 특정기간 둥에 발생한 사건의 영향을 받는 역사요인 효과 등이 있습니다. 기억효과 혹은 학습효과에 따르는 이월효과와 반대로 검사시간이 긴 경우 망각이나 새로운 학습요인에 따른 낮은 상관도를 보이는 거이 저해요인으로 들어갑니다. 이를 해결하고자 신뢰도를 확보하기 위한 방안으로는 동형검사를 실시하고 같은 속성을 특정하는 신회도가 입증된 타 검사를 실시하여 두 검사 간의 상관계수를 구하는 것과 반분신회도, 문항 내적 일관성등의 방식을 취할 수 있습니다. 타당도의 저해요인은 내적 타당도와 외적 타당도로 나눠서 살펴 볼 수 있는데 먼저 인과적 결론의 적합성을 저해하는 내적 타당도의 저해요인으로는 선발요소, 역사적 요소, 성숙효과, 선발과 성숙의 상호작용, 상식요소, 측정요소, 측정수단요소 , 회귀인공요소, 오염효과 등이 있고 실험결과의 일반화를 저해하는 외적 타당도의 저해요인은 호오든효과, 다수적처리에 의한 간섭, 표본의 대표성 부족, 실험조작과 측정의 상호작용, 크리밍효과등이 있습니다.

이를 해결하기 위해 부작위할당으로 실험집단과 통제집단을 배정하고 짝짓기 매칭을 통해 실험적 방법을 이용하여 내적 타당도를 확보하고 표본의 대표성 높이기와 설문 방법을 이용해 호오돈 효과를 줄여 외적 타당도를 확보할 수 있습니다.