Fleiss 카파(κ)는 우연히 일치할 가능성을 보정한 합치도입니다. 여러 평가자의 판정 또는 반복 평가가 얼마나 일치하는지 나타내며, 값이 클수록 합치도가 높습니다.
κ = (관측 일치율 − 우연 기대 일치율) ÷ (1 − 우연 기대 일치율)
음수는 실제 일치도가 우연히 기대되는 일치도보다 낮다는 뜻입니다. 판정 기준 차이·입력 오류 등을 확인하되, 표본 변동으로도 발생할 수 있어 원인을 단정하지 않습니다.
AIAG는 카파 0.75 이상을 양호한 합치도로 보며, 0.90처럼 더 높은 값을 권장합니다.
기준: AIAG(Automotive Industry Action Group)의 측정시스템 분석(MSA) 지침.