유효성 (통계)

유효성 (정확도)

평가의 타당성 ^[5] 은 평가해야하는 것을 측정하는 정도입니다. 이것은 측정이 매우 일관된 결과를 제공하는 정도 인 신뢰성 과 동일하지 않습니다 . 타당성 내에서 측정은 신뢰성과 마찬가지로 항상 유사 할 필요는 없습니다. 그러나 측정이 신뢰할 수 있다고해서 반드시 유효한 것은 아닙니다. 예를 들어 5 파운드 떨어져있는 저울은 신뢰할 수 있지만 유효하지 않습니다. 신뢰할 수없는 테스트는 유효하지 않습니다. 유효성은 또한 다른 것이 아니라 측정하도록 설계된 것을 측정하는 측정에 따라 달라집니다. ^[6] 유효성 (신뢰성과 유사)은 상대적인 개념입니다. 타당성은 전부 또는 전무 아이디어가 아닙니다. 다양한 유형의 유효성이 있습니다.

구성 유효성

구성 타당성 은 구성의 운영 화 (예 : 이론에서 개발 된 실제 테스트)가 이론에 정의 된 구성을 측정하는 범위를 나타냅니다. 다른 모든 유형의 유효성을 포함합니다. 예를 들어, 테스트가 지능을 측정하는 정도는 구성 유효성의 문제입니다. 지능의 척도는 무엇보다도 척도가 연관 되어서는 안되는 것 ( 판별 타당성 ) 과 연관되지 않고 연관되어야하는 것 ( 수렴 타당성 )과 연관되어 있다고 가정합니다 . ^[7]

구성 타당성 증거는 구성 해석에 대한 경험적 및 이론적 지원을 포함합니다. 이러한 증거에는 다른 테스트 항목에 대한 응답 간의 관계를 포함하여 테스트의 내부 구조에 대한 통계 분석이 포함됩니다. 또한 다른 구성의 테스트와 측정 간의 관계도 포함됩니다. 현재 이해되는 바와 같이, 구성 타당성은 테스트가 측정하도록 설계된 구성의 실체 이론에 대한 지원과 구별되지 않습니다. 따라서 구조의 인과 적 역할의 측면을 드러내도록 설계된 실험은 타당성 증거 구성에도 기여합니다. ^[7]

콘텐츠 유효성

내용 타당성 은 "측정 할 행동 영역의 대표 샘플을 포함하는지 여부를 결정하기 위해 테스트 내용을 체계적으로 검사"하는 비 통계적 유형의 타당성입니다 (Anastasi & Urbina, 1997 p. 114). 예를 들어, IQ 설문지에는 과학 문헌에서 논의 된 모든 지능 영역을 다루는 항목이 있습니까?

콘텐츠 유효성 증거는 테스트 콘텐츠가 구성과 관련된 콘텐츠 도메인과 일치하는 정도를 포함합니다. 예를 들어, 두 숫자를 더하는 능력 테스트에는 숫자 조합 범위가 포함되어야합니다. 한 자리 숫자 만 사용하거나 짝수 만 사용하는 테스트는 콘텐츠 도메인을 잘 다루지 못합니다. 콘텐츠 관련 증거에는 일반적으로 테스트 사양에 대해 테스트 항목을 평가하는 주제 전문가 (SME)가 포함됩니다. 설문지의 최종 관리에 들어가기 전에 연구원은 각 구성 또는 변수에 대한 항목의 유효성을 검토하고 그에 따라 SME의 의견에 따라 측정 도구를 수정해야합니다.

테스트에는 포함 할 항목을 신중하게 선택하여 콘텐츠 유효성이 내장되어 있습니다 (Anastasi & Urbina, 1997). 항목은 주제 영역에 대한 철저한 조사를 통해 작성된 테스트 사양을 준수하도록 선택됩니다. Foxcroft, Paterson, le Roux & Herbst (2004, p. 49) ^[8] 전문가 패널을 사용하여 테스트 사양 및 항목 선택을 검토하면 테스트의 내용 유효성이 향상 될 수 있습니다. 전문가는 항목을 검토하고 항목이 행동 영역의 대표적인 샘플을 포함하는지 여부에 대해 의견을 제시 할 수 있습니다.

얼굴 유효성

얼굴 유효성 은 테스트가 특정 기준을 측정하는 것으로 보이는지 여부를 추정 한 것입니다. 테스트가 실제로 해당 영역의 현상을 측정한다는 보장은 없습니다. 측정은 높은 타당성을 가질 수 있지만 테스트가 그것이 무엇인지 측정하는 것처럼 보이지 않으면 얼굴 타당성이 낮습니다. 실제로 테스트가 위조 (악화)의 대상이 될 때 얼굴 유효성이 낮 으면 테스트가 더 유효해질 수 있습니다. 얼굴 타당성이 더 낮은 정직한 답변을 얻을 수 있다는 점을 고려할 때, 조치를 관리하는 동안 얼굴 타당성이 낮은 것처럼 보이게하는 것이 때때로 중요합니다.

얼굴 유효성은 콘텐츠 유효성과 매우 밀접한 관련이 있습니다. 내용의 유효성은 테스트가 특정 기준의 모든 영역을 평가하는지 가정하기위한 이론적 근거에 따라 달라 지지만 (예 : 덧셈 기술 평가가 수학적 기술에 대한 좋은 척도가 되는가? 이에 답하려면 어떤 종류의 산술 기술이 있는지 알아야합니다. 수학적 능력은 다음을 포함합니다) 얼굴 타당성은 시험이 좋은 척도인지 아닌지와 관련이 있습니다. 이 판단은 테스트의 "얼굴"에서 이루어 지므로 아마추어도 판단 할 수 있습니다.

얼굴 타당성은 시작점이지만 "전문가"가 이전에 틀 렸기 때문에 주어진 목적에 대해 타당하다고 가정해서는 안됩니다. Malleus Malificarum (마녀의 망치)은 자기 자신 외에 다른 결론을지지하지 않았습니다. "마법 탐지"에서 두 "전문가"의 능력을 상상했지만 수만 명의 남성과 여성을 "마녀"로 비난하고 불 태우기위한 "테스트"로 사용되었습니다. ^[9]

기준 유효성

기준 타당성 증거는 테스트와 구성을 대표하는 기준 변수 (또는 변수) 간의 상관 관계를 포함합니다. 즉, 이미 유효하다고 판단되는 다른 측정 또는 결과 (기준)와 테스트를 비교합니다. 예를 들어, 직원 선택 테스트는 종종 직무 수행 척도 (기준)에 대해 검증되고 IQ 테스트는 종종 학업 수행 척도 (기준)에 대해 검증됩니다.

테스트 데이터와 기준 데이터가 동시에 수집되는 경우이를 동시 유효성 증거라고합니다. 나중에 수집되는 기준 데이터를 예측하기 위해 테스트 데이터를 먼저 수집하는 경우이를 예측 타당성 증거라고합니다.

동시 타당도

동시 타당성 은 운영 화가 동시에 측정되는 동일한 구성의 다른 측정과 상호 연관되는 정도를 나타냅니다. 측정 값이 동일한 유형의 다른 측정 값과 비교되면 관련되거나 상관됩니다. 선택 테스트 예제로 돌아 가면 이는 테스트가 현재 직원에게 시행 된 다음 성과 평가 점수와 상호 연관됨을 의미합니다.

예측 유효성

예측 유효성 은 운영 화가 미래에 측정되는 동일한 구성의 다른 측정을 예측 (또는 상호 연관) 할 수있는 정도를 나타냅니다. 다시 말하지만, 선택 테스트 예를 사용하면 테스트가 지원자에게 시행되고 모든 지원자가 고용되고 나중에 성과가 검토 된 다음 두 측정 값에 대한 점수가 상호 연관됨을 의미합니다.

이것은 측정이 측정 된 것과 다른 것 사이의 관계를 예측할 때도 마찬가지입니다. 미래에 다른 일이 일어날 지 여부를 예측합니다. 사전 예측 및 사후 실제 결과 간의 높은 상관 관계는 가장 강력한 유효성 증명입니다.

실험 조사 연구의 설계의 타당성은의 기본적인 부분입니다 과학적인 방법 , ^[10] 과의 관계 연구 윤리 . 유효한 디자인 없이는 유효한 과학적 결론을 도출 할 수 없습니다.

통계적 결론 타당성

통계적 결론 타당성 은 데이터를 기반으로 한 변수 간의 관계에 대한 결론 이 정확하거나 '합리적'인 정도입니다. 이것은 변수의 관계에 대한 통계적 결론이 올바른지 여부에 대한 것으로 시작되었지만 이제는 양적, 통계적 및 정 성적 데이터를 사용하는 '합리적인'결론으로 이동하는 움직임이 있습니다. ^[11]

통계적 결론 타당성은 적절한 샘플링 절차, 적절한 통계 테스트 및 신뢰할 수있는 측정 절차의 사용을 보장하는 것을 포함합니다. ^[12] 유효성 이러한 유형의 변수 중 발견 된 관계만을 관한 한 관계는 전적으로 상관 될 수있다.

내부 유효성

내부 타당성 은 사용 된 측정, 연구 설정 및 전체 연구 설계를 기반으로 인과 관계 에 대한 결론을 내릴 수있는 정도 (예 : 원인 및 결과)에 대한 귀납적 추정치입니다 . 종속 변수 에 대한 독립 변수 의 효과를 고도로 통제 된 조건에서 연구 하는 좋은 실험 기법 은 일반적으로 단일 케이스 설계보다 높은 수준의 내부 타당성을 허용합니다.

8 가지 종류의 교란 변수는 내부 타당성을 방해 할 수 있습니다 (예 : 인과 관계를 분리하려는 시도).

1. History , 실험 변수 외에도 첫 번째와 두 번째 측정 사이에 발생하는 특정 이벤트
2. 성숙 , 시간의 경과에 따른 참여자 내부의 과정 (특정 이벤트에만 국한되지 않음), 예를 들어, 나이가 들어감, 배고픔, 더 피곤함 등.
3. 테스트 , 두 번째 테스트의 점수에 대한 테스트의 효과.
4. 계측 , 측정 도구의 보정 변경 또는 관찰자 또는 채점자의 변경으로 얻은 측정 값이 변경 될 수 있습니다.
5. 통계적 회귀 , 극단적 인 점수를 기준으로 그룹이 선택된 곳에서 작동합니다.
6. 선택 , 비교 그룹에 대한 응답자의 차등 선택으로 인한 편견.
7. 실험적 사망률 또는 비교 그룹에서 응답자의 차별적 손실.
8. 선택-성숙 상호 작용 등 (예 : 다중 그룹 준 실험 설계)

외부 유효성

외부 타당성 은 연구의 (내부적으로 유효한) 결과가 다른 경우, 예를 들어 다른 사람, 장소 또는 시간에 대해 참이라고 유지할 수있는 정도와 관련이 있습니다. 즉, 결과를 유효하게 일반화 할 수 있는지 여부입니다. 다른 경우에도 동일한 연구를 수행하면 동일한 결과를 얻을 수 있습니까?

이에 대한 주요 요인은 연구 샘플 (예 : 연구 참가자)이 관련 차원에 따라 일반 인구를 대표하는지 여부입니다. 외부 타당성을 위협하는 다른 요소는 다음과 같습니다.

1. 테스트의 반응 또는 상호 작용 효과 , 사전 테스트는 사후 테스트의 점수를 높일 수 있습니다.
2. 선택 편향과 실험 변수의 상호 작용 효과 .
3. 실험적 배치의 반응 적 효과 . 실험 변수가 실험적이지 않은 환경에서 노출 된 사람에게 미치는 영향에 대한 일반화를 배제합니다.
4. 이전 치료의 효과를 지울 수없는 다중 치료 간섭 .

생태 타당성

생태 학적 타당성 은 연구 결과가 연구 환경 외부의 실제 상황에 적용될 수있는 정도입니다. 이 문제는 외부 타당성과 밀접한 관련이 있지만 실험 결과가 현실 세계에서 관찰 될 수있는 것을 어느 정도 반영하는지에 대한 질문을 다룹니다 (생태학 = 유기체와 환경 간의 상호 작용 과학). 생태 학적으로 유효하려면 연구의 방법, 재료 및 설정이 조사중인 실제 상황과 비슷해야합니다.

생태 학적 타당성은 부분적으로 실험 대 관찰 문제와 관련이 있습니다. 일반적으로 과학에는 관찰 (수동)과 실험 (능동)의 두 가지 연구 영역이 있습니다. 실험 설계의 목적은 인과 관계를 테스트하는 것이므로 A 원인 B 또는 B 원인 A를 추론 할 수 있습니다. 그러나 때때로 윤리적 및 / 또는 방법 론적 제한으로 인해 실험을 수행 할 수 없습니다 (예 : 격리가 아동의인지 기능에 어떤 영향을 미치는가?). . 그러면 여전히 연구를 할 수 있지만 인과 관계가 아닙니다. A는 B와 함께 발생한다는 결론 만 내릴 수 있습니다. 두 기술 모두 장점과 단점이 있습니다.

내부 유효성과의 관계

언뜻보기에 내부 및 외부 타당성이 서로 모순되는 것처럼 보입니다. 실험 설계를 얻으려면 모든 간섭 변수를 제어해야합니다. 그렇기 때문에 종종 실험실 환경에서 실험을 수행합니다. 내부 타당성을 얻는 동안 (간섭 변수를 일정하게 유지하여 제외) 인공 실험실 환경을 설정하기 때문에 생태 학적 또는 외부 타당성을 상실합니다. 반면 관찰 연구에서는 간섭 변수 (낮은 내부 타당성)를 제어 할 수 없지만 행동이 정상적으로 발생하는 자연 (생태) 환경에서 측정 할 수 있습니다. 그러나 그렇게하면 내부 타당성을 희생하게됩니다.

그러나 내적 타당성과 외적 타당성의 명백한 모순은 표면적 일뿐입니다. 특정 연구의 결과가 다른 사람, 장소 또는 시간에 일반화되는지 여부에 대한 질문은 귀납주의 연구 전략을 따를 때만 발생합니다 . 연구의 목표가 이론 을 연역적으로 테스트 하는 것이라면 연구 의 엄격 성을 저해 할 수있는 요소, 즉 내부 타당성에 대한 위협에만 관심이 있습니다. 즉, 연구 연구에 대한 외부 및 내부 타당성의 관련성은 연구의 목표에 달려 있습니다. 또한 연구 목표와 타당성 문제를 결합하면 이론이 인공 실험실 환경의 현상 만 설명 할 수 있지만 현실 세계는 설명 할 수없는 상호 내부 타당성 문제가 발생할 수 있습니다. ^{[13] [14]}

정신과 에서는 진단 범주 자체 의 타당성을 평가하는 데 특별한 문제가 있습니다. 이 맥락에서 : ^[15]

• 콘텐츠 유효성은 증상 및 진단 기준을 참조 할 수 있습니다.
• 동시 타당성은 다양한 상관 관계 또는 마커 및 아마도 치료 반응에 의해 정의 될 수 있습니다.
• 예측 타당성은 주로 시간 경과에 따른 진단 안정성을 나타낼 수 있습니다.
• 차별적 타당성은 다른 장애와의 구분을 포함 할 수 있습니다.

Robins와 Guze는 1970 년에 정신과 적 진단의 타당성을 확립하기위한 영향력있는 공식 기준이 될 것을 제안했습니다. 다섯 가지 기준을 나열했습니다. ^[15]

• 뚜렷한 임상 설명 (증상 프로필, 인구 통계 학적 특성 및 전형적인 침전물 포함)
• 실험실 연구 (심리 검사, 방사선과 및 사후 조사 결과 포함)
• 다른 장애와의 구분 (제외 기준 사용)
• 특징적인 과정을 보여주는 후속 연구 (진단 안정성 증거 포함)
• 가족 클러스터링을 보여주는 가족 연구

이들은 이후 DSM 및 ICD 분류 시스템의 기반을 형성 한 Feighner Criteria 및 Research Diagnostic Criteria 에 통합되었습니다 .

1980 년에 Kendler는 다음과 같이 구분했습니다. ^[15]

• 선행 검증 자 (가족 집합, 병전 성격 및 촉진 요인)
• 동시 검증 자 (심리 테스트 포함)
• 예측 검증 자 (시간 경과에 따른 진단 일관성, 재발 및 회복률, 치료에 대한 반응)

Nancy Andreasen (1995)은 분자 유전학 및 분자 생물학 , 신경 화학 , 신경 해부학 , 신경 생리학 및 인지 신경 과학과 같은 몇 가지 추가 검증 인을 나열했습니다. 이들은 모두 증상과 진단을 신경 기질 에 연결할 수 있습니다. ^[15]

Kendell과 Jablinsky (2003)는 타당성과 유용성 을 구별하는 것의 중요성을 강조하고 , 다른 장애와 구분하는 자연적 경계를 가진 별개의 독립 체로 입증 된 경우에만 해당 증후군에 의해 정의 된 진단 범주가 유효한 것으로 간주되어야한다고 주장했습니다. ^[15]

Kendler (2006)는 유용하려면 검증 기준이 실제 장애인 대부분의 증후군을 검증 할 수있을만큼 민감해야하며 실제 장애가 아닌 대부분의 증후군을 무효화 할 수있을만큼 구체적이어야한다고 강조했습니다. 이를 바탕으로 그는 대부분의 인간의 심리적, 육체적 특성이 자격이되기 때문에 Robins and Guze의 "가족 속 달리기"기준이 적절하지 않다고 주장합니다. 예를 들어, "6 피트가 넘는 키, 붉은 머리카락이 혼합 된 임의의 증후군" , 그리고 큰 코 "는"가족에서 뛰고 "" 유전성 " 으로 발견 될 것입니다 . 그러나 이것은 그것이 장애라는 증거로 간주되어서는 안됩니다. Kendler는 또한 정신 질환의 " 본질 주의적 " 유전자 모델과 유전자 발견의 결과로만 "관절에 자연을 조각"함으로써 범주 적 정신 진단을 검증 할 수 있다는 희망 은 믿을 수 없다고 제안했습니다 . ^[16]

미국 연방 법원 시스템에서 증거의 유효성과 신뢰성은 Daubert 표준을 사용하여 평가됩니다 . Daubert v. Merrell Dow Pharmaceuticals 참조 . Perri와 Lichtenwald (2010)는 부당 살인 유죄 판결을 분석 할 때 광범위한 신뢰성 및 타당성 주제에 대한 토론의 출발점을 제공합니다. ^[17]

• Cronbach, LJ; Meehl, PE (1955), "심리 테스트의 유효성 구성" , Psychological Bulletin , 52 (4) : 281–302, doi : 10.1037 / h0040957 , hdl : 11299/184279 , PMID  13245896
• Rupp, AA; Pant, HA (2007), "타당성 이론", Salkind, Neil J. (ed.), 측정 및 통계 백과 사전 , SAGE 출판