하루 스무 건씩 오던 규정 문의, 챗봇이 먼저 답합니다

"경조휴가 며칠이냐는 질문을, 저는 올해만 200번쯤 답한 것 같습니다."

인사팀 대리님이 사전 조사에서 하신 말씀입니다. 규정집에 다 적혀 있는 내용인데도 사람들이 담당자에게 묻습니다. 규정집이 어디 있는지 모르고, 찾아도 어느 조항인지 모르기 때문입니다.

사전 조사에서 확인한 것

일주일 동안 들어온 문의를 유형별로 세어 봤습니다. 총 94건 중 68건이 규정에 명시된 내용이었습니다.

① 같은 질문이 반복된다 — 경조휴가·연차 사용 기한·출장 여비·재택근무 신청 절차. 이 넷이 절반이었습니다.

② 답변이 사람마다 조금씩 다르다 — 담당자에 따라 설명하는 범위가 달랐습니다. 예외 조항을 언급하는 사람과 안 하는 사람이 갈렸습니다.

③ 문서 상태가 제각각이었다 — 여기서 진짜 문제가 나왔습니다. 규정 다섯 종 중 바로 쓸 수 있는 건 하나뿐이었습니다.

문서를 열어 보니 스캔본이라 텍스트가 아예 없는 것, 개정 전후 버전이 섞여 있는 것, 별표가 이미지로만 들어 있는 것이 있었습니다. 이 상태로 챗봇을 만들면 반드시 실패합니다.

왜 14시간이었나

문서 정비에 시간이 필요했기 때문입니다. 7시간 과정으로 제안하면 챗봇은 만들어지지만 답변 품질이 안 나옵니다.

담당자분께 이렇게 말씀드렸습니다 — "챗봇 품질의 절반은 도구가 아니라 문서 상태에서 결정됩니다." 첫날을 문서 정비에 쓰고 둘째 날에 만들기로 합의했습니다.

이 제안을 드릴 때 걱정하신 부분이 있었습니다. "이틀치 예산을 문서 정리에 쓰는 걸로 보이지 않을까요." 그래서 정비 작업의 결과물을 챗봇과 별개로도 쓸 수 있게 잡았습니다 — 정비된 규정 문서 자체가 사내 포털에 올라가는 최신본이 되도록 했습니다. 챗봇을 안 만들어도 남는 것이 있어야 첫날의 가치가 설명됩니다.

진행 — 첫날은 문서만 만졌다

1단계 — 지금 상태로 먼저 부딪혀 보기

설명을 듣기 전에 가공하지 않은 규정 PDF를 그대로 올려 자주 받는 질문 다섯 개를 던지게 했습니다.

결과가 좋지 않았습니다. 스캔본은 아무것도 못 읽었고, 개정 전후가 섞인 문서는 옛 조항을 답했습니다. 참가자분들이 여기서 먼저 말씀하셨습니다 — "문서부터 정리해야겠네요."

설명으로 납득시키는 것보다 한 번 겪게 하는 편이 빨랐습니다.

2단계 — 정비하고 다시

전부 다시 쓰는 게 아닙니다. 세 가지만 손봤습니다.

• 스캔본을 텍스트로 변환하고 숫자·표가 제대로 나왔는지 확인
• 조항 번호와 제목 수준이 남게 정리
• 폐기된 개정 전 버전 제외

같은 질문을 다시 던졌더니 답변이 달라졌습니다. 조항 번호까지 붙어 나왔습니다. 정비 전후를 나란히 놓고 본 것이 이날의 가장 큰 수확이었습니다.

3단계 — 지어내지 않게 만들기

둘째 날 오전입니다. 담당자분들이 가장 걱정하신 부분이었습니다 — "틀린 답을 하면 안 쓰느니만 못합니다."

맞는 말씀입니다. 그래서 프롬프트로 막지 않고 구조로 막는 세 가지를 걸었습니다.

① 근거를 못 찾으면 답하지 않습니다. 검색 점수가 기준에 못 미치면 "규정에서 확인되지 않습니다"라고 하고 담당 부서를 안내합니다.

② 답변마다 조항을 붙입니다. 문의자가 스스로 원문을 확인할 수 있어야 신뢰가 생깁니다.

③ 검색 대상을 제한합니다. 관리자 전용 문서는 답변에서 빼는 게 아니라 검색 단계에서 아예 제외합니다.

4단계 — 12개 시나리오로 채점

만들었다에서 끝내지 않았습니다. 세 종류로 나눠 시나리오를 만들고 통과 여부를 표로 기록했습니다.

규정에 명확히 있는 질문 5건, 규정에 없는 질문 4건, 애매하게 걸치는 질문 3건. 앞의 둘은 전부 통과했는데 마지막 셋에서 갈렸습니다. 확인해 보니 두 건 모두 별표가 이미지라 검색이 못 찾은 경우였습니다.

별표를 텍스트 표로 옮기고 다시 돌려 통과시켰습니다. 검증을 안 했으면 배포 다음 주에 발견됐을 문제입니다.

시나리오를 만드는 방법도 함께 다뤘습니다. 상상해서 쓰지 않고 실제로 받았던 문의에서 고릅니다. 그래야 진짜로 들어올 질문을 검증하게 됩니다. 사전 조사에서 세어 둔 94건이 여기서 다시 쓰였습니다.

운영 준비 — 배포 전에 정한 것

만드는 것보다 배포하고 유지하는 쪽이 더 자주 실패합니다. 마지막 반나절을 여기에 썼습니다.

공개 범위를 세 단계로 나눴습니다. 전 직원 · 부서 한정 · 관리자 한정. 임금 관련 조항처럼 민감한 문서는 관리자용에만 넣고, 전 직원용에서는 검색 단계부터 제외했습니다. 답변에서 걸러내는 방식은 위험합니다 — 걸러지지 않는 경우가 반드시 생깁니다.

갱신 담당자와 주기를 문서로 정했습니다. 규정이 개정되면 누가 언제 파일을 교체할지. 이걸 안 정하면 반년 만에 낡습니다. 이 회사는 개정 결재 라인에 "챗봇 지식 갱신"을 한 줄 추가하는 방식으로 해결했습니다.

무엇을 물어봐도 되는지 함께 안내했습니다. 사내 공지에 "규정에 있는 내용은 챗봇이, 판단이 필요한 건 담당자가"라고 명시했습니다. 기대치가 맞아야 신뢰가 유지됩니다.

진행 중에 나온 질문

가장 많이 나온 질문은 "틀린 답을 하면 누가 책임지나요" 였습니다.

솔직하게 답했습니다. 챗봇 답변은 안내이지 결정이 아닙니다. 그래서 답변마다 조항을 붙이는 것이 중요합니다 — 문의자가 원문을 확인할 수 있으면 그 답변은 참고자료가 되고, 확인할 수 없으면 결정이 됩니다.

실제로 배포 안내문에도 "최종 확인은 규정 원문과 담당 부서"라고 명시했습니다. 이 한 줄이 있고 없고가 운영 부담을 크게 바꿉니다.

이 방식으로 안 되는 것

• 문서에 없는 건 여전히 답 못 합니다. 성과급 지급률처럼 규정집 밖에 있는 것은 담당자에게 갑니다. 그게 맞습니다
• 개정하면 반영해야 합니다. 규정이 바뀌었는데 파일을 안 바꾸면 챗봇이 옛 답을 합니다. 갱신 담당자와 주기를 정해 두는 것이 필수입니다
• 100%는 안 나옵니다. 그래서 근거를 붙이고 모를 때는 사람에게 넘기는 구조로 만듭니다
• 문서가 정리 안 된 조직은 순서를 바꿔야 합니다. 챗봇보다 문서 정비가 먼저입니다

교육이 끝났을 때 남은 것

참가자 12명이 각자 담당 영역의 문의 응대 챗봇을 만들어 돌아가셨습니다. 인사·총무·법무 세 영역으로 나눠 각각 배포했습니다.

두 달 뒤 확인했을 때 담당자에게 직접 오는 문의가 눈에 띄게 줄었습니다. 정확히 세지는 않았지만 대리님 표현으로는 "하루에 한두 번쯤"이었습니다.

줄어든 시간이 어디로 갔는지도 물어봤습니다. 인사팀은 그 시간을 평가 제도 개편 준비에 쓰고 있었습니다. 반복 응대에 묶여 미뤄 두던 일입니다. 자동화의 효과를 시간 절감으로만 보면 "그래서 인력을 줄이나"라는 오해가 생기는데, 실제로는 미뤄 뒀던 일이 앞으로 당겨집니다.

예상 못 한 효과도 있었습니다. 챗봇에 들어온 질문 중 답을 못 한 것을 모아 보니, 규정 자체가 애매한 지점이 드러났습니다. 그 목록이 다음 규정 개정 안건이 됐습니다.

다룬 도구

• GPTs — 코드 없이 사내 문서를 지식으로 올려 챗봇을 만듭니다
• NotebookLM — 정비 전후 문서 품질을 비교하는 데 씁니다
• ChatGPT — 문서 정리와 지시문 작성에 씁니다

비슷한 교육을 검토 중이시라면

이 과정은 14시간(2일)이었습니다. 문서 상태에 따라 7~21시간으로 조정합니다. 사전 조사에서 문서를 먼저 받아 보고 필요한 시간을 말씀드립니다.

• 반복 문의가 하루 몇 건인가 — 열 건이 넘으면 효과가 분명합니다
• 규정 문서에 조항 번호와 목차가 살아 있는가
• 스캔본이나 이미지 표가 섞여 있는가 — 있으면 정비 시간이 늘어납니다

문서 몇 종만 보내 주시면 정비 범위와 필요한 시간을 먼저 확인해 드립니다. 이 확인 없이 시작하면 대부분 실패합니다.