점수보다 중요한 것은 '왜'입니다: CoT 루브릭으로 구현하는 설명 가능한 AI 채점

AI 채용 도입의 가장 큰 장벽은 '결과의 불투명성(Black Box)'입니다. 인사 리더들은 AI가 내놓은 점수를 신뢰하면서도, 정작 "왜 이 점수인가?"라는 질문에는 답하지 못하는 모순에 직면해 있습니다. 본 글은 Chain-of-Thought(CoT) 기술을 루브릭 평가에 결합하여 채점의 전 과정을 데이터로 증명하는 기술적 해법을 제시합니다. 이는 2026년부터 본격 시행되는 EU AI Act의 투명성 요건을 충족하는 동시에, 인사 선발의 타당성을 극대화하는 전략적 선택입니다.

---

1. 블랙박스 채점의 위기: "설명할 수 없는 점수는 데이터가 아닙니다"

기존의 AI 채점 방식은 지원자의 답변을 입력하면 결과값(Score)이 즉시 도출되는 구조입니다. 편리하지만 치명적인 약점이 있습니다. AI가 어떤 문장에 주목했는지, 루브릭의 특정 항목을 어떻게 해석했는지가 베일에 싸여 있다는 점입니다.

• 리스크의 현실화: 평가 근거가 불분명하면 피드백이 불가능하며, 이는 채용 공정성 시비나 법적 리스크로 이어질 수 있습니다.
• 해결의 실마리: 단순히 '무엇(What)'을 맞췄느냐가 아니라, AI가 '어떻게(How)' 그 결론에 도달했는지 그 사고의 궤적을 기록해야 합니다.

---

2. Chain-of-Thought(CoT): AI에게 '풀이 과정'을 요구하다

Chain-of-Thought(사고의 사슬)는 AI에게 질문을 던졌을 때 바로 답을 내놓게 하는 것이 아니라, "단계별로 생각하며(Step-by-step) 추론 과정을 먼저 서술하게 하는 기술"입니다.

학술적 연구에 따르면, AI는 바로 정답을 낼 때보다 단계별 추론을 거칠 때 복잡한 문제 해결 능력이 비약적으로 향상됩니다. Wei et al. (2022)의 연구는 CoT 프롬프팅이 거대언어모델(LLM)의 논리적 추론 능력을 극대화하는 핵심 기제임을 증명했습니다.[1]

---

3. CoT 루브릭의 작동 원리: 3단계 추론 아키텍처

역량 평가에 CoT를 도입하면, AI 채점은 단순한 결과 산출이 아닌 '논리적 분석 보고서 작성'으로 진화합니다.

• 증거 추출 (Evidence Extraction): AI는 점수를 매기기 전, 지원자의 답변 원문에서 루브릭 항목별 근거가 되는 핵심 문장들을 먼저 발췌합니다.
• 루브릭 대조 및 추론 (Reasoning & Alignment): 발췌된 문장이 루브릭의 성과 지표(예: BARS)에 부합하는지 논리적으로 대조합니다. 이 과정에서 AI는 "지원자가 구체적 수치를 제시했으므로 4점 기준을 충족한다"와 같은 중간 추론을 기록합니다.
• 최종 점수 산출 (Final Scoring): 앞선 단계별 추론의 합(Sum)으로 최종 점수를 산출합니다.

---

4. 왜 지금 '설명 가능한 채점'인가? (Legal & Academic Defense)

① 글로벌 규제의 요구: EU AI Act (2026 Enforcement)

2026년 8월부터 본격 시행되는 EU AI Act는 채용 AI를 '고위험군'으로 분류하며, 시스템의 투명성과 함께 AI의 결정에 대한 '설명 요구권(Right to Explanation)'을 법적으로 명시하고 있습니다.[2] CoT 루브릭은 이러한 법적 요구사항을 기술적으로 구현하는 대안이 될 수 있습니다.

② 인사 심리학의 정당성: 구조화된 평가 (Sackett et al., 2023)

인사 선발 분야의 최신 메타 분석 연구인 Sackett et al. (2023)은 '구조화된 평가'가 성과 예측 타당도가 가장 높음을 재확인했습니다.[3] AI가 루브릭에 따라 사고 과정을 구조화하여 채점하는 것은, 인사 학계가 권장하는 과학적인 평가 방식입니다.

③ 신뢰 기반의 채용 브랜딩

AI가 생성한 정교한 채점 근거는 탈락한 지원자에게도 납득 가능한 피드백을 제공합니다. 이는 기업의 공정성을 입증하는 가장 강력한 증거가 되어 채용 브랜딩을 한 차원 높여줍니다.

---

5. 결론: 신뢰는 기술의 '투명성'에서 나옵니다

AI 채용 시대, 이제 중요한 것은 "AI를 쓰느냐 마느냐"가 아닙니다. "그 AI가 얼마나 설명 가능한 논리 구조를 가지고 있는가"입니다.

CoT 루브릭은 AI의 블랙박스 안에 담긴 논리적 경로를 데이터로 증명하는 기술입니다. 이 기술적 장치가 뒷받침될 때 비로소 HR은 AI의 효율성을 온전히 누리면서도, 평가의 공정성과 신뢰성이라는 두 마리 토끼를 잡을 수 있을 것입니다.

---

[참고 문헌]

[1]: Wei, J., et al. (2022). "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models." NeurIPS 2022.

[2]: European Parliament (2024). The EU Artificial Intelligence Act. (Enforced for High-risk AI from Aug 2026).

[3]: Sackett, P. R., et al. (2023). "Revisiting the design of selection systems in light of new findings regarding the validity of widely used predictors." Journal of Applied Psychology.