평가자가 제출한 원점수를 조정할 때 선택할 수 있는 통계 방식은 총 3가지가 있습니다.
점수 조정 공통사항
- 조정한 점수가 100점을 초과하면 100점으로 처리합니다.
- 조정한 점수가 0점 미만이면 0점으로 처리합니다.
- 조정은 종합 점수 조정 그룹 단위로 이뤄집니다. 같은 그룹에 묶인 하위 리뷰 점수는 한 묶음으로 함께 조정됩니다.
방식1. 평균/표준편차 일치법
<aside>
📘 평균/표준편차 일치법이란?
평가자 간 평균 점수와 **점수 분포의 폭(표준편차)**을 '표준정규분포'를 이용해 일정하게 맞춰주는 조정 방식입니다.
</aside>
<aside>
[평균/표준편차 일치법] 언제 사용하면 좋은가요?
- 평가자가 여러 명이고, 평가자별 채점 스타일(평균 및 점수 분포)의 차이가 큰 경우
- 예) 평가자 A는 60~100점 범위에 넓게 분포시켜 점수를 부여하고, 평가자 B는 75~85점 범위에 점수가 몰려 있는 경우
- 평균만 일치시키는 것으로는 부족하여, 점수 분포의 폭까지 동일하게 보정하고자 하는 경우
- 평가자별 관대화·가혹화의 영향을 가장 완전하게 제거하고자 하는 경우
</aside>
<aside>
[평균/표준편차 일치법] 유의사항
- 평가자가 담당하는 구성원 수가 매우 적은 경우(2~3명)에는 표준편차가 불안정해져 조정 결과가 왜곡될 수 있습니다.
- 피평가자에게 배정된 평가자가 1명일 경우, 기본 공식 대신 별도의 '1:1 평가자 예외 공식'이 자동 적용됩니다. (아래 [ 1:1 평가자 예외 조정법 ] 참고)
</aside>
<aside>
1️⃣ 조정 평균, 조정표준편차 설정 방식
화면에서 아래 두 가지 방식 중 하나를 선택할 수 있습니다.
(1) ‘평가자전체평균, 평가자전체표준편차로 계산’을 선택한 경우
- 시스템이 자동으로 조정평균과 조정표준편차를 계산하여 적용합니다.
- 별도 입력 없이 가장 보편적인 기준으로 점수를 조정하고 싶을 때 권장합니다.
(2) ‘사용자 맞춤’을 선택한 경우
- 운영자가 회사의 평가 정책에 따라 원하는 조정평균과 조정표준편차를 직접 입력합니다.
- 예를 들어 "이번 평가는 평균 80점, 표준편차 10으로 맞추겠다"는 정책이 있는 경우, 조직의 평가 기준에 따라 평균/표준편차를 의도적으로 설정하고 싶을 때 사용합니다.
- 조정평균 : 기준이 될 평균 점수 (기본 80점, 0 초과 ~ 100 미만, 소수점 둘째 자리까지 입력 가능)
- 조정표준편차 : 기준이 될 표준편차 (기본 10, 0 초과 ~ 100 미만, 소수점 둘째 자리까지 입력 가능)
[ 계산 공식 ]
<aside>
조정점수 = 조정평균 + 편차비율 × 조정표준편차
</aside>
<aside>
편차비율 = (평가자원평가점수 − 평가자평균) / 평가자표준편차
</aside>
- 평가자원평가점수 : 평가자가 하위 리뷰에서 각 피평가자에게 부여한 점수 (조정 전)
- 평가자평균 : 그 평가자가 매긴 모든 점수의 평균값
- 평가자표준편차 : 그 평가자가 매긴 모든 점수의 표준편차
- 조정평균 : 점수 조정 시 기준이 되는 평균값. '조정 평균, 조정표준편차 설정 방식'에서 선택한 옵션에 따라, 시스템이 자동 계산한 값 또는 운영자가 입력한 값이 적용됩니다.
- 조정표준편차 : 점수 조정 시 기준이 되는 표준편차 값. 위 '조정 평균, 조정표준편차 설정 방식'에서 선택한 옵션에 따라, 시스템이 자동 계산한 값 또는 운영자가 입력한 값이 적용됩니다.
</aside>
<aside>
2️⃣ 1:1 평가자 예외 조정법
- 피평가자에게 배정된 평가자가 1명뿐일 때는 표준편차 계산이 불안정해지기 때문에, 기본 공식 대신 아래 예외 공식을 적용합니다.
(1) ‘평가자전체평균으로 계산’을 선택한 경우
- 평가자원평가점수 : 평가자가 하위 리뷰에서 각 피평가자에게 부여한 점수
- 조정평균 : 모든 평가자의 평균 점수를 더한 뒤 평가자 수로 나눈 값이 자동으로 반영됨
- 전체그룹평균 : 피평가자의 평균 점수를 모두 더한 뒤 피평가자 수로 나눈 값
(2) ‘사용자 맞춤’을 선택한 경우
- 평가자원평가점수 : 평가자가 하위 리뷰에서 각 피평가자에게 부여한 점수
- 조정평균 : 운영자가 '조정 공식' 화면에 직접 입력한 평균 값
- 전체그룹평균 : 피평가자의 평균 점수를 모두 더한 뒤 피평가자 수로 나눈 값
[ 계산 공식 ]
<aside>
조정점수 = 평가자원평가점수 × (조정평균 / 전체그룹평균)
</aside>
</aside>
방식2. 평균 일치법
<aside>
📘 평균 일치법이란?
- 평가자 간 평균 점수를 동일하게 맞춰 주는 조정 방식입니다.
- 평가자별 점수 평균 차이를 보정하여 평가 기준을 일정하게 맞추는 방식입니다.
</aside>
<aside>
[평균 일치법] 언제 사용하면 좋은가요?
- 평가자별 관대화·가혹화 경향에 따른 평균 점수 차이를 보정하고자 할 때
- 평가자별 채점 순위(피평가자 간 상대적 평가 결과)는 그대로 유지하면서 평균만 맞추고자 할 때
</aside>
<aside>
[평균 일치법] 유의사항
- 평가자가 점수를 좁은 범위에 몰아 부여한 경우와 넓은 범위에 분포시킨 경우의 차이는 보정되지 않습니다.
- 예) 평가자 A가 78~82점 범위에 모든 점수를 부여하고, 평가자 B가 60~100점 범위에 넓게 부여한 경우, 평균을 일치시키더라도 평가자 A의 피평가자들 간의 점수 차이는 평가자 B 대비 작게 유지됩니다.
- 피평가자에게 배정된 평가자가 1명일 경우, 기본 공식 대신 별도의 '1:1 평가자 예외 공식'이 자동 적용됩니다.
</aside>
<aside>
1️⃣ 조정 평균 설정 방식
‘조정 공식’ 화면에서 아래 두 가지 방식 중 하나를 선택할 수 있습니다.
(1) ‘평가자전체평균으로 계산’을 선택한 경우
- 시스템이 자동으로 전체 평가자의 평균 점수를 계산해 조정평균으로 사용합니다.
(2) ‘사용자 맞춤’을 선택한 경우
- 운영자가 회사의 평가 정책에 따라 원하는 조정평균을 직접 입력합니다.
[ 계산 공식 ]
<aside>
</aside>
- 조정평균 : 점수 조정 시 기준이 되는 평균값. 위 '조정 평균 설정 방식'에서 선택한 옵션에 따라, 시스템이 자동 계산한 값 또는 운영자가 입력한 값이 적용됩니다.
- 평가자원평가점수 : 평가자가 하위 리뷰에서 각 피평가자에게 부여한 점수
- 평가자평균 : 평가자가 하위 리뷰에서 각 피평가자에게 부여한 점수의 평균 값
</aside>
<aside>
</aside>
방식3. 최대/최소 점수 제외법
<aside>
</aside>