한 줄씩 읽던 후기 수천 건, 엑셀 셀 하나가 분류합니다

"후기가 좋다는 건 아는데, 그게 얼마나 좋은 건지를 못 말하겠어요."

마케팅팀 담당자분이 사전 조사 첫날에 하신 말씀입니다. 신간 회의에서 "반응이 좋습니다"라고 보고하면 늘 같은 질문이 돌아온다고 하셨습니다. 얼마나 좋은가, 지난 시리즈보다 나은가. 답할 수 있는 근거가 없었습니다.

사전 조사에서 확인한 것

교육 3주 전에 방문해 실제로 후기를 다루는 과정을 지켜봤습니다. 담당자 두 분이 온라인 서점·자사몰·교사 커뮤니티에서 후기를 긁어와 엑셀에 붙이는 것까지는 하고 계셨습니다. 문제는 그다음이었습니다.

① 한 건당 1~2분 — 읽고, 긍정인지 부정인지 판단하고, 어떤 점을 칭찬했는지 적습니다. 300건이면 하루가 갑니다. 그래서 분기에 한 번, 그것도 표본만 봤습니다.

② 사람마다 기준이 달랐다 — "좋은데 분량이 많다" 같은 혼합 후기를 누가 분류하느냐에 따라 긍정이 되기도 하고 부정이 되기도 했습니다. 담당자가 바뀌면 지난 분기와 비교가 불가능해졌습니다.

③ 정량 지표가 없었다 — "호평이 많다"는 인상은 있는데 "8.7점 대 6.2점"처럼 시리즈를 비교할 수 있는 숫자가 없었습니다. 그래서 마케팅 예산 배분이 감으로 갔습니다.

담당자분들이 원한 건 새 분석 도구가 아니라 "이 시리즈가 저 시리즈보다 낫다고 말할 수 있는 근거" 였습니다. 그래서 교육 목표를 "AI로 텍스트 분석하기"가 아니라 "우리 도서 목록 전체에 점수를 붙여 놓기" 로 잡았습니다.

왜 엑셀 안에서 끝냈나

파이썬으로도 됩니다. 사전 조사에서 다른 조건이 나왔습니다 — 결과를 볼 사람이 마케팅팀만이 아니었습니다. 편집팀·영업팀도 같은 표를 보게 될 텐데, 그분들에게 파이썬 환경을 깔게 할 수는 없었습니다.

엑셀 셀에서 AI를 부르는 방식이면 결과 파일을 그대로 주고받을 수 있습니다. 받는 사람은 그냥 엑셀을 열면 됩니다.

분류 기준을 프롬프트에 못 박는 것이 이 교육의 핵심이었습니다. 사람마다 다르던 판단을 글로 적어 고정하면, 누가 실행해도 같은 결과가 나옵니다.

진행 — 기준을 만드는 데 절반을 썼다

7시간 중 앞의 3시간을 분류 기준을 다듬는 데 썼습니다. 함수를 넣는 건 30분이면 됩니다.

1단계 — 애매한 후기부터 모았다

먼저 참가자들에게 판단이 갈렸던 후기 30건을 가져오시게 했습니다. "재미있는데 아이가 어려워한다", "내용은 좋으나 배송이 늦었다" 같은 것들입니다.

이 30건을 놓고 조별로 분류해 봤더니 예상대로 결과가 갈렸습니다. 여기서 참가자분들이 먼저 말씀하셨습니다 — "기준을 정하지 않으면 AI를 써도 똑같겠네요."

2단계 — 기준을 문장으로

갈린 지점을 하나씩 정하며 분류 기준을 썼습니다. 혼합 후기를 어떻게 볼지, 배송·포장 불만을 도서 평가에 넣을지, 점수 척도의 기준선을 무엇으로 할지.

# 감성 분류 — 긍정 / 부정 / 혼합 / 중립
- 혼합: 도서 내용에 대한 칭찬과 불만이 함께 있는 경우
- 배송·포장 관련 불만만 있으면 도서 평가에서 제외하고 '중립'

# 점수 — 1~10
9~10  재구매·추천 의사가 명시된 강한 호평
7~8   만족하나 아쉬운 점을 함께 언급
5~6   무난 / 기대와 비슷
3~4   불만이 주되나 일부 인정
1~2   환불·반품 언급이 있는 강한 불만

기준선에 예시를 붙인 것이 효과가 컸습니다. "7~8점"만 적으면 모델마다 후하게도 박하게도 매기는데, 어떤 후기가 8점인지를 보여주면 흔들리지 않습니다.

3단계 — 30건으로 먼저 맞춰 보기

수천 건을 돌리기 전에 1단계의 애매한 30건에 먼저 함수를 적용했습니다. 사람 판단과 어긋난 건을 골라 기준을 다시 손봤습니다.

이 과정을 세 바퀴 돌자 어긋나는 건이 30건 중 2건까지 줄었습니다. 그 시점에 전체를 돌렸습니다.

먼저 소량으로 맞추고 나서 대량으로 가는 순서가 중요합니다. 수천 건을 돌린 뒤에 기준이 잘못됐다는 걸 알면 비용도 시간도 두 배가 됩니다.

4단계 — 점수 옆에 이유를 남기기

여기까지 하고 나서 담당자분이 물으셨습니다. "이 후기가 왜 6점인지 나중에 물어보면 어떻게 답하죠."

맞는 지적이었습니다. 숫자만 있으면 회의에서 근거를 대기 어렵습니다. 그래서 출력에 열을 하나 더 넣었습니다 — 판단의 근거가 된 표현을 후기 원문에서 그대로 뽑게 했습니다.

이 한 열이 실제로는 가장 많이 쓰였습니다. "불만이 많다"가 아니라 "‘글씨가 작다’는 언급이 47건" 이라고 말할 수 있게 됐기 때문입니다. 개정판 판형을 정할 때 그 표가 그대로 근거로 올라갔습니다.

운영 준비 — 교육 전에 정한 것

실습 데이터가 고객 후기라 사전 협의가 필요했습니다. 교육 2주 전에 세 가지를 정했습니다.

작성자 정보는 빼고 가져오시게 했습니다. 후기 본문만 있으면 분류에는 충분합니다. 닉네임·구매자 ID를 빼는 것만으로 반입 검토가 훨씬 수월해졌습니다.

API 키는 회사 계정으로 발급받아 교육 중에는 그것만 쓰게 했습니다. 개인 계정으로 각자 발급하면 교육이 끝난 뒤 비용 관리가 안 됩니다.

참가자별 데이터 규모를 미리 받아 예상 비용을 계산해 드렸습니다. 14명이 각자 수백 건씩 돌리면 얼마가 나오는지를 숫자로 보여 드리는 편이, 교육이 끝난 뒤 "이거 계속 써도 되나" 하는 질문을 줄입니다.

진행 중에 나온 질문

가장 많이 나온 질문은 "AI가 매긴 점수를 회의에서 그대로 말해도 되나요" 였습니다.

정직하게 답했습니다. 개별 후기 한 건의 점수는 틀릴 수 있습니다. 다만 수백 건의 평균은 흔들리지 않습니다. 한두 건이 1점씩 어긋나도 시리즈 평균 8.7과 6.2의 차이는 그대로입니다. 그래서 "이 후기는 8점입니다"가 아니라 "이 시리즈 평균이 8.7입니다"로 쓰시라고 말씀드렸습니다.

두 번째로 많았던 질문은 "저희가 붙인 점수랑 다르면요" 였습니다. 실제로 2단계에서 그런 일이 있었습니다. 확인해 보면 대개 기준이 덜 구체적인 쪽이 원인이었습니다. 어긋나는 건이 나올 때마다 그 건을 기준 문서에 예시로 추가했더니, 세 바퀴 만에 거의 맞아졌습니다.

어긋나는 것 자체가 문제가 아니라 어긋난 뒤에 기준을 안 고치는 것이 문제라고 정리하고 넘어갔습니다.

이 방식으로 안 되는 것

발주 검토 단계에서 미리 말씀드린 한계입니다.

• 비용이 건당 붙습니다. 수만 건 단위로 매달 돌린다면 파이썬으로 옮기는 편이 낫습니다. 이 팀은 분기 수천 건이라 엑셀로 충분했습니다
• 긴 후기는 잘립니다. 한 건이 아주 길면 앞부분만 읽고 판단합니다. 대부분의 후기는 짧아 문제가 없었지만, 블로그 리뷰처럼 긴 글은 별도 처리가 필요합니다
• 비꼬는 표현을 놓칩니다. "정말 대단하네요"가 칭찬인지 비아냥인지는 여전히 어렵습니다. 점수가 애매한 구간은 사람이 확인하는 절차를 남겼습니다
• API 키 반입이 필요합니다. 외부 전송이 막힌 조직이면 이 방식을 못 씁니다. 사전 조사에서 먼저 확인합니다

교육이 끝났을 때 남은 것

참가자 14명 전원이 자기 담당 도서군의 후기에 점수가 채워진 시트를 완성해 돌아가셨습니다. 예제가 아니라 실제 데이터라 그다음 주 회의 자료로 바로 쓰였습니다.

가장 반응이 좋았던 건 점수 자체가 아니라 시리즈별 비교표였습니다. 세 시리즈의 평균 점수와 불만 유형 분포를 나란히 놓자, 그동안 "느낌상 그런 것 같다"고 하던 이야기가 표로 확인됐습니다.

석 달 뒤 확인했을 때 이 시트는 월간 회의 고정 자료가 돼 있었습니다. 처음 만든 함수를 복사해 문의 게시판 글과 설문 자유응답에도 쓰고 계셨습니다.

다룬 도구

• 엑셀 VBA + GPT API — 셀 안에서 AI를 호출하는 사용자 정의 함수를 만듭니다. 수식처럼 끌어 채우면 됩니다
• ChatGPT — 분류 기준을 다듬는 대화에 씁니다. 기준을 사람이 쓰고 AI가 검토하는 순서입니다

비슷한 교육을 검토 중이시라면

이 과정은 7시간이었지만 다루는 텍스트 종류와 건수에 따라 4~14시간으로 조정합니다. 사전 조사에서 확인하는 것은 세 가지입니다.

• 사람이 읽고 분류하던 텍스트가 쌓여 있는가 — 후기·문의·설문 자유응답 무엇이든 됩니다
• 판단 기준이 사람마다 다른 지점이 있는가 — 있을수록 효과가 큽니다
• 외부 API 반입이 가능한가 — 여기서 엑셀이냐 사내 방식이냐가 갈립니다

다루고 계신 텍스트 종류와 월 건수만 알려주시면 커리큘럼 초안과 예상 비용을 함께 보내 드립니다.