Cohen's kappa와 Quadratic Weighted Kappa의 차이점

채점자간 일관성 - 분류일치도와 카파계수

채점의 정확성
 - 채점 기준 작성의 정교화 및 숙지
 - 간주관성(inter-subjectivity)에 기초한 객관성 확보

채점 기준 숙지 후 채점 일관성 검토
 - 채점자간/채점자내 일치도 확인
 - 상관 vs 분류일치도

분류일치도(Percent agreement) 
 - 전체 결정 중에서 두번의 측정에서(또는 두 채점자가) 일관되게 분류한 비율 

Kappa 계수
 - 분류일치도를 계산하는데 있어서 우연히 두번의 측정에서(도는 두 채점자가)
동일한 결정을 하게 되었을 확률을 보정하여 일치도 계산
- 분류일치도를 계산한 다음에 보정하는 것.

분류일치도 단점
 - 분류일치도 우연히 일치할 확률이 있음
 - 채점자 노력만으로 일관된 비율의 계수가 필요하지 않나? => kappa 계수

Cohen's kappa와 Quadratic Weighted Kappa의 차이점 
 - Cohen's kappa는 nomial variable, 클래스간에 구별만 가능하고 순서 관계를 고려하지 않음 (only distinguished)
 - Quadratic Weighted Kappa는 ordinal variable, 클래스간에 구별 가능하고 순서 관계를 고려할 수 있음 (distinguished and can be sorted) 

참고문헌 : 
1) https://www.youtube.com/watch?v=xq8qFB_B_oU 
2) https://www.youtube.com/watch?v=VlkTX3_aS1c