신뢰성 평가 및 제고 방법
신뢰도(Reliability)는 여러 번 반복 측정에 의해서 구성 개념의 측정이 얼마나 일관적인지 검증하는 과정이다. 예를 들어 고객의 만족도를 조사한다고 했을 때 만족도를 여러 번에 걸쳐 측정해도 얼마나 동일한 결과를 일관적으로 도출해내는지 알아보는 과정인 것이다. 구성 개념이 하나의 변수를 측정하는 데 있어서 여러 번 반복적으로 측정될 때 일관성 있고 정확하게 측정된다면 이는 신뢰도가 있다고 볼 수 있다.
신뢰성 예시
몸무게를 측정한다고 했을 때 사람들은 저마다 다른 측정 도구를 사용한다. 예를 들면 A 브랜드 저울, B 브랜드 저울, C 브랜드 저울 등... 그런데 그 어떤 저울로 반복해서 측정하더라도 실생활에서 몸무게의 오차는 0.1 KG 가 나올까 말까이다. 어떤 몸무게로 측정해도 대부분 동일한 값을 보이므로 이경우 몸무게는 신뢰할만한 측정도구라고 할 수 있다.
왜냐하면 실제 내 몸이 살이찌거나 빠져서 몸무게의 변화가 있는 것이 아닌 이상, 무수히 여러 번 측정하더라도 몸무게는 거의 변하지 않기 때문이다. 이렇듯 여러 번 반복 측정할 때 같은 결과를 보이는 것을 '일관성'이라고 한다. 일관성이 있으면 그 측정도구는 신뢰성이 확보된다.
특히 사회과학 분야에서 신뢰도가 중요한 지표로 언급되는 이유는 사람의 생각이나 판단은 개인의 기질, 성향, 시간, 장소, 상황 등에 따라 달라질 여지가 있다. 그래서 똑같은 측정도구를 사용하더라도 매번 동일한 결과를 나타내기 힘들지만, 그럼에도 어느 정도 선에서 일관성을 나타내는지 확인하는 과정이 꼭 필요하다.
신뢰성이 가지는 한계점
신뢰성은 일관성이라는 중요한 개념을 포함하지만 그 측정도구의 정확성까지 보장하지는 못한다. 예를 들어 내가 사용한 몸무게의 저울이 애초부터 잘못된 눈금으로 표시되어 있다면 아무리 일관되게 몸무게를 측정할 수는 있어도 근복적으로 정확히 몸무게를 측정했다고 보기 어려운 것이다. 비록 눈금은 잘못 표기되어 있어도 저울은 여전히 내 몸무게에 대해 일관성 있는 결과를 보여준다면 그래도 이 저울은 여전히 신뢰성을 가진다고 한다.
신뢰성을 해치는 원인
신뢰성을 해치는 원인 중 하나는 애매모호하고 부정확한 질문이다. 예를 들어 "귀하의 소득은 얼마입니까?" 라고 물었을 때 응답자가 생각하기에 이 질문이 연 소득을 묻는 것인지, 월 소득을 묻는 것인지, 가처분 소득을 답해야 하는지, 혹은 소득이 없는 경우 용돈을 기입해야 하는지 잘 몰라서 애매한 판단을 내릴 수 있다. 애매모호한 질문은 응답자로 하여금 정확한 답변을 얻기 어렵고 이렇게 얻어진 데이터로 분석을 하면 당연히 신뢰성 있는 결과가 나오지 않는다.
질문의 모호함이 아니더라도 질문 자체는 명확한데 응답자가 대충 응답하거나 사실과 다르게 응답하는 경우도 마찬가지로 신뢰성이 떨어진다. 특히 생소한 변수나 주제에 대해 물어보는 경우 그런 경우가 종종 발생한다. 질문을 할 때는 쉽고 간결하면서도 정확한 단어를 사용해 최대한 응답자가 그 설문을 잘못 받아들이거나 이해하는 일이 없도록 해야 한다. 또한 전문 지식이 있는 상태에서 응답을 해야 할 경우 응답자의 표본을 잘 선출해서 응답자가 측정척도를 사전에 이해하고 측정항목이 뜻하는 바를 명확하게 알고 있는 상태에서 답할 수 있도록 하는 것이 필요하다.
신뢰성 검증방법
1. 재검사법
동일한 구성 개념에 대하여 두(2) 번의 검사를 한 다음에 나타난 결과 값들 간의 일관성을 측정하는 것이다. 검사를 위해 동일한 표본이 필요하지만 검사는 시간의 간격 차를 두고 진행되어야 한다. 두 번의 측정을 통해 나온 결과를 비교했을 때 일정한 수준이라면 이 척도는 신뢰성이 있다고 할 수 있다. 하지만 재검사가 이루어지는 시간 차가 너무 길거나 짧으면 결과에 영향을 미칠 수 있다는 것이 단점이다.
2. 반분법
임의로 구성 개념을 2 분류로 나누어 그 절반과 나머지 절반의 상관성을 측정하는 것이다. 어떻게든 무작위로 나누었을 때 두 개의 결과값이 비슷하게 도출되어야 하지만 어떻게 나누느냐에 따라 결과가 달라질 수도 있다. 그리고 두 그룹으로 나누려면 일단 측정 항목이 넉넉하게 준비되어야 하는데 그런 측정 척도를 찾기 어려울 수도 있다.
3. 복수양식법
동일한 개념에 대해 두 가지 이상의 서로 다른 측정도구를 가지고 검증한 다음 측정값들 간의 일치성 여부를 확인하는 방법이다. 그런데 문제는 거의 동일한 척도를 찾아서 준비하는 것이 여간 쉬운 일이 아니다. 그래서 사전에 동등성이 확보된 척도를 구하는 것이 어렵다는 단점이 있다.
4. 내적 일관성
흔히 크론바흐 알파 값이라고 불리는 것이 이 방법이다. 이는 동일한 구성 개념을 설명하는 여러 항목들 간의 일관성을 측정하는 방법이다. 예를 들어 만족도를 설명하는 항목에 1번~8번까지 있다고 하면 이 각각의 항목이 만족도를 얼마나 잘 반영하고 있는지 측정하는 것이다. 이를 검증하기 위해 구성 개념을 이루는 항목들 간의 평균을 측정하고 항목 전체 상관관계의 평균이나 Cronbach’s alpha 계수를 통해 산출한다.
신뢰성이 높으면 타당성은?
일관성이 유지될수록 신뢰도 또한 높다고 할 수 있다. 그런데 한 가지 주의해야 할 점이 있다. 구성 개념을 일관되게 측정해서 신뢰성이 확보되어도 항상 그 척도가 타당하다고는 볼 수 없다. 즉 신뢰성과 타당성은 별개인 것이다. 연구를 진행함에 있어 가장 좋은 건 구성 개념이 변수를 나타내는 데 있어 신뢰성과 타당성이 모두 확보되는 것이다.