정확도보다 먼저 볼 지표 3가지
AI 모델 평가할 때 “정답률이 몇 %냐”부터 보는 순간, 실제 서비스에서 터지는 문제를 놓치기 쉬워요. 특히 환각과 지연은 사용자가 체감하는 품질을 바로 흔드는 축입니다.
그래서 기본은 이 3개로 잡는 게 좋아요. 환각(틀린 답의 비율), 지연(응답 속도), 그리고 과업 성공률(진짜 업무를 끝내는지).
- 환각: “틀렸는데 그럴듯한가”를 숫자로 관리하기
- 지연: 평균보다 꼬리지연(p95)까지 봐야 체감이 맞음
- 과업 성공률: 정확도와 달리 “업무 완료” 기준으로 평가
환각: “틀렸는데 자신 있게 말하는지”부터
환각 평가는 단순히 정답을 맞혔는지보다, 근거 없이 단정하는지에 초점을 맞추는 게 좋아요. 같은 정답률이라도 환각이 높으면 현업에선 바로 신뢰가 깨집니다.
- 근거/참조 기반 체크: 답변에 포함된 사실이 “문서·지식원”과 일치하는지 확인
- 검증 필요 항목 태깅: “확실/추정/모름” 중 어디에 해당하는지 라벨링
- “정답/오답” 이분법만 쓰지 말고, 단정형 오류(근거 없이 말함)와 유보형 오류(모르면 모른다고 함)를 나눠요.
- 가능하면 도메인별로 환각을 따로 봐요. 예: 고객응대 스크립트는 환각 비용이 다르고, 기술문서 요약은 또 다릅니다.
환각 지표를 만들 때 “검수자 감”에만 의존하면 비교가 무너져요. 최소한 라벨 기준(무엇을 환각으로 볼지)을 문서로 고정해두는 게 좋아요.
환각을 낮추려면 모델만 만지기보다 RAG의 데이터 품질부터 잡는 경우가 많아요. RAG 데이터 품질: 구축 전 점검, 성능을 좌우하는 7가지 이유도 같이 확인해보세요.
지연: 평균 말고 p95(꼬리지연)로 보세요
지연은 “생각보다 느리네?” 수준을 넘어서, 상담·검색·에이전트 실행에서 작업 흐름을 끊습니다. 그래서 평균 지연만 보면 개선이 숫자상으로만 좋아질 때가 있어요.
- TTFT(첫 토큰까지 시간): 답이 ‘시작’되는 속도
- 총 응답 시간: 사용자 체감 끝나는 시간
- p95 지연: 대부분의 사용자 대신 “느린 사용자” 기준을 잡아줌
- 샘플이 적어서 운 좋게 평균이 낮게 나오는 경우
- 스트리밍 여부를 섞어 비교하는 경우(체감이 달라져요)
- 동일 조건이 아닌 프롬프트/컨텍스트 길이를 섞는 경우(토큰이 늘면 지연도 늘어요)
에이전트처럼 여러 번 호출하는 흐름은 “단일 호출 지연”보다 “전체 워크플로 완료 시간”이 더 중요해요. 호출 수가 늘면 지연이 누적되거든요.
비용 최적화와 지연은 같이 움직이는 경우가 많아서, 실무에선 생성형 AI 비용 폭증 막는 방법, 토큰 계산 없이 실수하기 쉬운 5가지 기준처럼 토큰/호출 설계를 점검해보는 편이 도움이 됩니다.
과업 성공률: “정확도”와 다르게 정의해야 합니다
정확도는 정답 맞히기라면, 과업 성공률은 “사용자가 하려던 일을 끝냈는가”예요. 예를 들어 요약이라면 ‘내용이 맞나’도 중요하지만, ‘형식/요지/추출 항목을 채웠나’가 더 실사용 기준이 되기도 합니다.
- 입력: 사용자 질문/문서
- 출력: 모델이 내야 하는 산출물(형식 포함)
- 검증: 항목별 체크(필수 항목 누락 여부, 금지 사항 위반 여부, 근거 일치 여부 등)
- 완수율: 요청한 결과물이 끝까지 생성됐는지
- 형식 충족률: 표/항목/길이 제한 등 요구 조건을 지켰는지
- 행동 가능성: 사용자가 다음 액션을 할 수 있을 정도로 구체적인지
환각을 줄이려다 “너무 유보”만 늘어나면 완수율이 떨어질 수 있어요. 그래서 과업 성공률을 함께 보는 게 균형을 잡아줍니다.
이 3가지를 함께 쓰면 평가가 “현실”이 됩니다
정리하면, 환각은 “신뢰가 깨지는 이유”를, 지연은 “흐름이 끊기는 이유”를, 과업 성공률은 “결과가 실제로 쓰이는지”를 보여줘요.
즉, 정확도 하나만 보면 ‘수학 문제는 잘 풀지만 현업 업무는 못 끝내는 모델’이나, ‘맞는 말인데 너무 늦게 오는 모델’을 걸러내기 어렵습니다.
간단 체크리스트
- 평가 데이터는 테스트 시나리오(고객응대/기술문서/요약 등)별로 분리했나요?
- 환각 라벨 기준(근거/단정/유보)을 문서로 고정했나요?
- 지연은 평균이 아니라 p95까지 봤나요? 스트리밍 조건도 동일했나요?
- 과업 성공률은 “정답 여부”가 아니라 “산출물 완성” 기준으로 설계했나요?
정답률은 참고, 서비스 품질은 환각·지연·과업 성공률로 판단하는 게 안전해요.
자주 쓰는 용어 2개(더 알고 싶다면)
자주 묻는 질문
환각 평가는 무조건 사람 검수가 필요한가요?
항상 사람 검수가 “필수”는 아니지만, 초기 설계 단계에서는 기준을 만들기 위해 사람이 라벨링해 검증 데이터를 확보하는 경우가 많아요. 이후에는 규칙 기반/모델 기반 보조 채점으로 점진적으로 자동화를 섞는 방식이 현실적입니다.
지연(p95)을 볼 때 환경이 바뀌면 비교가 어렵지 않나요?
맞아요. 모델 버전, 프롬프트 길이, 컨텍스트 크기, 스트리밍 설정, 호출 방식(단일/다중) 등이 달라지면 지연이 같이 변합니다. 비교 실험은 가능한 한 조건을 고정해야 해요.
과업 성공률을 만들면 정확도는 버려도 되나요?
버릴 필요는 없어요. 다만 “우선순위”를 바꾸자는 뜻에 가깝습니다. 정확도는 여전히 유용하지만, 사용자 체감과 직접 연결되는 환각·지연·완수 기준을 먼저 잡으면 실패 유형이 줄어듭니다.
