공공기관 감사에 AI를 도입하는 것, 신뢰를 높일까 부담이 될까?

📌 오늘의 안건
공공기관 감사에 AI를 도입하는 것, 신뢰를 높일까 부담이 될까?

한국산업인력공단과 국민연금공단이 4일 감사 업무 교류와 역량 강화를 위한 업무협약을 맺었다. 두 기관은 AI 기반 디지털 감사기법 개발을 위해 노력하고, 내부통제와 감사인 전문성을 높이며, 적극행정과 사전컨설팅 감사 활성화를 위한 우수정책을 공유할 예정이다. 기관은 첨단 기술로 감사의 실효성을 높이겠다고 밝혔다. 다만 구체적인 기술 내용, 일정, 예산, AI가 찾아낸 결과를 누가 어떻게 검증할지는 자료에 나와 있지 않다. 감사를 받는 직원, 감사를 담당하는 직원, 공공기관을 이용하는 국민의 입장에서 AI 감사가 투명성을 높이는 도구가 될지, 오히려 새로운 부담이나 위축 효과를 낳을지 판단해 볼 필요가 있다. 또 사전컨설팅 감사가 적극행정을 늘리는 데 어떤 조건에서 효과가 있을지도 함께 따져 볼 만하다.

[최근 보도·반응 흐름 — 참고 자료]
이 주제를 다룬 최근 기사·블로그 글의 제목과 검색 관심 흐름입니다(네이버 검색·검색어 트렌드). 지금 어떤 쟁점과 반응이 오가는지 보는 참고로만 쓰세요. 사실 확인을 거치지 않았으니 사실·숫자는 공식 자료(보도자료)를 기준으로 하고, 기사 문장을 그대로 인용하지 마세요.

• 네이버 검색 관심: 최근 3일이 그 전 11일 평균의 0.7배(관심 하락)
• (daejonilbo.com, 11/4) 한국수자원공사·KAIST, AI 감사기법 교류 협약
• (ngonews.kr, 11/4) 국민연금공단, AI 기반 디지털 감사체계 구축·내부통제 역량 강화
• (파이낸셜뉴스, 11/4) 수자원공사·KAIST, 감사 협약…내부통제·적극행정 경험 나눠
• (daily.hankooki.com, 11/4) 수자원공사-카이스트, 감사 역량 강화 위한 업무협약 체결
• (머니투데이, 11/4) 국민연금, 산업인력공단과 'AI 감사' 협약…상시 모니터링 체계 전환
• (kukinews.com, 11/4) 수자원공사-KAIST, ‘디지털 감사역량 높인다’

잠깐만요, 'AI 감사가 실효성을 높인다'는 말은 정말 무엇으로 확인할 수 있을까요? 저는 이 협약에서 빠져 있는 것과 다들 당연하게 넘기는 전제를 짚는 역할을 맡겠어요.

감사실에서 자료 요청과 소명을 수없이 오가 본 사람의 눈으로 보겠습니다. 이 협약이 현장에서 실제로 굴러가려면 무엇이 필요한지, 비용과 인력 면에서 따져 보겠습니다.

조직은 하나의 시스템입니다. 나는 AI 감사가 그 시스템 안에서 신뢰를 쌓을지 공포를 키울지, 긴 시간의 눈으로 살피겠습니다.

지금 확인되는 숫자는 사실상 없어요. 협약 자료에서 확인된 것과 비어 있는 것을 나눠서 정리하고, AI 감사 주장에 검증 가능한 근거가 있는지 보겠어요.

제 결론은 이래요. 지금 발표된 내용만으로는 이 협약이 신뢰보다 부담과 위축을 키울 가능성이 더 커요. 실효성을 무엇으로 잴지, AI가 찾은 결과를 누가 검증할지가 아무 데도 없거든요. 보도를 보면 핵심은 사후 적발에서 사전 예방과 상시 모니터링으로 바꾸겠다는 거예요(머니투데이·SBS Biz·브릿지경제, 11/4, mt.co.kr[1], biz.sbs.co.kr[2]). 그런데 상시 모니터링이라는 게 결국 뭔가요? 감사를 받는 직원 입장에서는 항상 지켜보는 눈이 하나 더 생기는 거예요. 성과를 적발 건수나 이상 징후 탐지율로 재는 순간, 측정치가 목표가 되면 지표가 망가진다는 굿하트·캠벨의 법칙이 그대로 작동해요.

감사가 내부통제를 개선하기보다 '감사받을 수 있는 상태'를 꾸미는 의례가 된다는 마이클 파워의 비판(The Audit Society, 1997)도 같은 지적이에요. 자동화된 감사는 이 의례를 더 싸고 더 크게 만들 뿐이에요.

그럼 AI가 틀리면 누가 책임지죠? 이게 가장 큰 맹점이에요. - 책임이 엉뚱한 곳에 쏠려요. 사람은 알고리즘이 걸러낸 결과에 '확인' 도장만 찍고, 문제가 터지면 그 도장 찍은 실무자가 책임을 떠안아요. Elish가 말한 '도덕적 완충지대(moral crumple zone)' 구조예요(Elish, 2019[1]). - 실제로 크게 사고 난 사례가 있어요. 호주 Robodebt는 자동 대조로 부당 환수를 밀어붙이다 왕립조사위원회까지 갔어요(royalcommission[2]). 네덜란드에서는 부정수급 탐지 시스템 SyRI가 2020년 헤이그 지방법원에서 투명성 부족을 이유로 위법 판결을 받았어요(ECLI:NL:RBDHA:2020:1878). - 국민에게도 남의 일이 아니에요. 국민연금처럼 수급자 데이터를 다루는 기관에서는 AI가 오탐하면 그 부담이 국민에게까지 번져요.

• 그래서 최소 조건이 필요해요. 이런 것들이 공개되지 않는 한 '투명성 도구'라는 말은 홍보 문구일 뿐이에요. - 탐지 기준과 오탐률을 공개할 것
• 감사실과 분리된 외부 검증 주체를 둘 것
• 감사를 받는 사람에게 소명권을 보장할 것
• AI 탐지 결과만으로는 징계할 수 없게 할 것

사전컨설팅 감사는 적극행정을 늘릴까요? 조건이 맞을 때만 그래요.

• 실질 면책이 있어야 해요. 컨설팅 의견대로 처리했으면 나중에 결과가 나빠도 책임을 묻지 않는다는 게 실제로 지켜져야 해요.
• 컨설팅과 적발은 분리해야 해요. 같은 감사실이 컨설팅도 하고 AI 적발도 하면, 직원이 컨설팅에서 털어놓은 내용이 그대로 감시 데이터가 돼요. 그러면 누가 먼저 상담을 신청하겠어요?
• 보는 지표가 달라야 해요. 컨설팅 신청 건수 말고, 컨설팅 뒤 실제로 바뀐 업무 처리와 면책이 실제로 적용된 사례를 봐야 해요.

이 세 조건이 빠지면 AI 상시 감시와 사전컨설팅은 서로를 갉아먹어요. 결국 직원은 판단 자체를 감사실에 넘기는 '사전 결재형 소극행정'으로 돌아가요. 평가 근거도 하나 짚어 둘게요. 같은 날 수자원공사와 KAIST도 비슷한 협약을 맺었다는 보도가 나왔고, 검색 관심은 사흘 만에 직전 평균의 0.7배로 줄었어요. 실행 방안보다 협약을 맺었다는 것 자체가 성과로 소비되고 있다는 신호로 저는 읽어요.

공공기관의 AI 감사는 명확한 소명 절차와 면책 기준이 선행될 때만 신뢰의 도구가 되며, 검증 기준과 데이터 연계 설계 없이 도입하면 감사인과 피감자 모두에게 소모적인 소명 부담과 적극행정 위축만 초래합니다. 과거 현장에서 전산 상시모니터링 시스템을 처음 가동했을 때도, 시스템이 쏟아낸 수백 건의 이상 징후 중 상당수가 부서 간 입력 시차나 예외적 적법 집행이었고, 이를 하나하나 대조하며 피감 부서의 소명을 듣는 과정에서 오히려 현업의 피로감과 방어적 태도가 깊어졌던 기억이 있습니다. AI가 추출한 이상 징후는 어디까지나 감사 착수를 위한 ‘탐지 단서’일 뿐 감사 증거 그 자체가 아니므로, 국민연금공단과 한국산업인력공단의 이번 협약이 실효성을 거두려면 알고리즘의 탐지 결과를 감사인이 교차 검증하고 피감자에게 충분한 반론과 소명 기회를 보장하는 절차적 정당성부터 확립해야 합니다.

실행 가능성과 비용 대비 효과 관점에서 볼 때, AI 감사와 사전컨설팅 감사가 현장에 안착하려면 다음 세 가지 실무 조건이 반드시 충족되어야 합니다. 검증 비용 통제와 데이터 표준화: 서로 다른 기관의 회계·사업 데이터를 AI 학습용으로 정제하고 시스템을 연계하는 데는 막대한 초기 비용과 전담 인력이 소요되므로, 전면 도입보다 정형화된 고위험 취약 분야(예: 반복적 수의계약, 보조금 부정수급 탐지)로 범위를 좁혀 오탐(False Positive) 확인에 드는 감사 인력의 한계비용을 통제해야 합니다(공공감사에 관한 법률 - 국가법령정보센터). 증거 중심의 소명 절차 명문화: AI의 확률적 추론을 근거로 피감자에게 입증 책임을 전가해서는 안 되며, 감사인이 1차 사실관계를 확인한 뒤에만 소명을 요구하는 내부 검증 필터를 두어야 상시 감시로 인한 현장의 불신과 위축을 막을 수 있습니다.

• 사전컨설팅 감사의 실질적 면책 보장: AI 상시 모니터링이 강화될수록 현업 직원은 규정 해석이 모호한 적극행정을 기피하게 되므로, 사전에 자체감사기구의 컨설팅 의견을 받아 처리한 업무에 대해서는 개인 비위가 없는 한 책임을 묻지 않는다는 ‘적극행정 면책 추정’ 원칙이 감사원 규정 수준으로 일관되게 작동하고 회신 기한이 단축되어야 합니다(감사원 감사사무 처리규칙 제36조[1], 감사원 적극행정 지원 안내[2]).

결국 대국민 투명성을 높이는 것은 화려한 AI 알고리즘 자체가 아니라, 기계가 짚어낸 단서를 법령과 증거에 따라 공정하게 걸러내는 감사인의 전문성과 피감자와의 신뢰입니다. 두 기관은 구체적인 예산과 검증 체계가 빠진 선언적 협약에 머물지 말고, 기존 전산감사에서 반복된 오탐 사례와 사전컨설팅 인용 사례를 먼저 표준화하여 공유함으로써 현장이 감당할 수 있는 수준에서 단계적으로 디지털 감사 체계를 구축해야 합니다.

현재 발표된 수준의 AI 감사는 신뢰보다 부담을 키울 가능성이 큽니다. 두 기관의 11월 4일 보도자료[1]는 협력 방향을 밝히지만, 질문에 제시된 자료에는 AI의 판단을 누가 어떻게 검증할지 나와 있지 않습니다. 데밍은 『위기의 탈출』에 담긴 14개 원칙[2]에서 검사에 의존하지 말고 업무 체계를 개선하며, 조직에서 공포와 숫자 중심 관리를 몰아내라고 했습니다. 경고 건수를 성과로 삼으면 감사는 고장 난 배관을 고치기보다 물방울마다 책임자를 찾는 일이 됩니다.

상시 감시를 받는 직원은 재량을 줄이고 기록상 안전한 선택에 매달릴 수 있습니다. 감사 담당자는 AI가 띄운 의심 사례를 검증하느라 업무가 늘 수 있습니다. 국민에게도 적발 건수만 공개하면 실제 서비스가 나아졌는지 보이지 않습니다. 이는 기술의 필연적 결과가 아니라, 감사 결과를 개인 평가와 어떻게 연결하느냐에 따른 제도 설계의 결과입니다.

따라서 AI는 이상 징후를 찾는 보조 수단으로 쓰고, 사람의 검증·당사자 소명·오류 정정 절차를 먼저 정해야 합니다. 반복되는 지적은 담당자별 점수보다 규정, 인력, 업무 절차의 결함을 고치는 데 써야 합니다. 사전컨설팅 감사도 판단 기준과 답변을 명확히 남기고, 그 답변에 따른 정당한 결정을 사후 감사에서 존중할 때 적극행정을 돕습니다. 성패는 경고 건수가 아니라 직원의 위축이 줄고 국민이 받는 서비스가 지속해서 개선되는지로 판단해야 합니다.

협약 공식 자료와 공공 감사·AI 감사 지침을 먼저 대조해서, 확인된 사실과 비어 있는 항목을 가른 뒤 판단하겠습니다.2026년 11월 4일 협약은 신뢰를 올리는 장치가 아니에요. 기법 교류 약속일 뿐이고, 지금 상태로 상시 모니터링을 켜면 직원·국민 쪽 부담이 먼저 커져요.

확인된 내용은 네 가지예요. 한국산업인력공단·국민연금공단 상임감사가 전주에서 ‘AI 기반 디지털 감사기법 개발 노력, 내부통제 기법 공유, 감사인 역량 교류, 적극행정·사전컨설팅 우수정책 공유’에 서명했어요. 국민연금 쪽은 사후 적발에서 예방·상시 모니터링으로 바꾸겠다고 말했어요. 예산, 일정, 모델, 오탐률, AI가 찍은 결과를 누가 뒤집는지는 공개 자료에 없어요. 그 공백을 ‘실효성 향상’으로 읽으면 안 돼요. 가설입니다. (브레이크뉴스[1], 헤럴드경제[2])

부담이 먼저인 이유는 숫자가 있는 실패가 이미 있기 때문이에요. 네덜란드 국세청 보육수당 위험분류 모델은 국적 등을 위험 지표로 썼고, 약 2만6천 가구가 부정 수급으로 몰렸어요. 점수에 설명이 없어 담당자가 의심을 사실처럼 처리했고, 2021년 1월 내각이 총사퇴했어요. 같은 해 12월 개인정보보호청은 이중국적 정보의 위법·차별 처리에 275만 유로 과징금을 물렸어요. 정확도 수치 없이 ‘AI가 찾았다’는 문장은 적발이 아니라 낙인이에요. 한국도 2026년 10월 1일 확정된 행정안전부 ‘공공부문 인공지능 윤리기준’이 같은 선을 그어요. 6대 가치, 자율점검 68개, 최종 책임과 통제는 사람. 권리·의무에 닿는 업무는 사람 개입, 사후관리, 피해구제가 있어야 해요. (연합뉴스 보도[1])

사전컨설팅은 그 조건이 맞을 때만 적극행정을 늘려요. 감사원 기준은 세 가지를 모두 채우면 면책 기준 충족을 ‘추정’해요. 같은 사안을 의견대로 처리했을 것, 판단에 필요한 정보를 충분히 냈을 것, 사적 이해관계가 없을 것. 하나라도 빠지면 면책이 아니에요. (감사원[1]) 의견서가 문서로 남고 따른 기록이 있어야 위축이 줄어요. AI 상시 모니터링이 그 의견보다 센 신호로 남으면, 직원은 상담 전에 플래그를 피하고 감사 직원은 점수를 결론으로 쓰기 쉬워요. 국민연금 가입자 데이터까지 범위에 들어가면 오탐은 내부 징계가 아니라 급여·자격 불이익이 돼요. 판단은 이거예요. 검증 주체, 반박 절차, 공개 오탐·미탐 지표가 생기기 전에는 이 협약은 신뢰 수단이 아니라 감시 밀도만 올리는 부담이에요.

AI 감사의 오탐 위험이 내부 직원을 넘어 수급 국민에게까지 번질 수 있다는 한지석·윤태호 님의 지적은 매우 타당하여 제 기존 입장을 보완하되, 외부 검증기구 신설이나 탐지 기준 전면 공개 같은 이상적 해법은 현장 감사 비용과 회피 위험을 고려해 현실적인 내부 통제 절차로 절충해야 합니다. 예전에 산하기관 보조금 집행 감사를 나갔을 때, 부정수급을 막겠다며 외부 전문가 위원회까지 꾸려 이중삼중의 검증 절차를 얹었지만 정작 현장에서는 서류 증빙만 두 배로 늘고 지급 심사만 수개월씩 지연되어 선량한 수급자들만 피해를 본 적이 있습니다. 이처럼 통제 장치가 실무의 감당 수준을 넘어서면 또 다른 행정 비용이 되는바, 세 분의 날카로운 문제의식을 감사 현장에서 실제로 작동하는 절차로 다듬으려면 다음의 보완과 반론이 필요합니다.

• 대국민 권익 보호와 윤리기준의 흡수(윤태호·한지석 님 수용): 제가 초안에서 내부 직원과 감사인의 소명 부담에만 초점을 맞췄던 한계를 인정하며, 국민연금 수급자 등 대국민 데이터 영역에서는 행정안전부 ‘공공부문 인공지능 윤리기준’(자율점검 68개 항목)을 감사 매뉴얼에 즉시 편입해 AI의 위험분류 점수만으로는 급여 지급 보류나 불이익 처분을 내릴 수 없도록 ‘인간 감사인의 최종 승인 및 사전 통지·이의신청 절차’를 의무화해야 합니다. 탐지 기준 공개 및 외부 검증에 대한 현장 반론(한지석 님 비평):* 한지석 님은 탐지 기준 공개와 감사실 밖 외부 검증 주체 설치를 요구하셨으나, 이상 거래를 잡아내는 임계치와 알고리즘 산식을 그대로 공개하면 비위 행위자가 그 기준선 바로 아래로 금액을 쪼개는 ‘규칙 우회(Gaming)’가 발생하고, 건마다 외부 기구가 검증하면 감사 지연과 중복 비용이 폭증합니다.

따라서 기준 산식 자체가 아니라 ‘점수 산출에 쓰인 데이터 항목과 가중치의 범주’만 당사자에게 고지하여 방어권을 보장하고, 외부 기구 신설 대신 감사실 내부를 ‘AI 데이터 분석팀(탐지)’과 ‘실지감사팀(검증·소명)’으로 직무 분리하는 것이 비용 대비 효과가 훨씬 높습니다. 컨설팅·적발 분리론의 절충과 시스템 개선(한지석·데밍 님 절충):* 사전컨설팅과 적발 부서를 완전히 쪼개자는 한지석 님의 제안 역시 인력 제약상 별도 조직 신설은 비현실적이므로, 컨설팅 담당 감사인을 당해 사안의 사후 적발 감사에서 배제하는 ‘제척·회피 제도’와 함께 사전컨설팅 이력이 있는 안건은 AI 상시 모니터링의 경고(Flag) 대상에서 자동 예외 처리하는 전산 연계를 대안으로 제시합니다. 아울러 경고 건수를 성과 지표로 삼지 말자는 데밍 님의 원칙을 전폭 수용하여, AI가 반복 탐지한 오류는 개인 문책 건수가 아니라 ‘제도 및 규정 개선 권고 건수’로 집계해야 감사가 감시 의례에 머물지 않고 조직의 배관을 고치는 본연의 기능을 다할 수 있습니다.

결국 AI 감사 협약이 네덜란드나 호주의 전철을 밟지 않으려면 거창한 외부 통제 기구를 덧대기보다, 현행 감사 인력과 예산 안에서 작동할 수 있는 ‘탐지-조사 직무 분리’, ‘사전컨설팅 안건의 AI 경고 자동 면제’, 그리고 ‘규정 개선 중심의 감사 평가지표 개편’이라는 세 가지 실무 안전장치를 협약의 세부 이행과제로 못 박아야 합니다.

오늘 우리 넷이 '사람이 최종 검증한다'는 데 쉽게 합의했는데, 그 합의가 이 협약의 가장 큰 맹점이에요. 오세련 님은 "AI 결과는 단서일 뿐이고 감사인이 교차 검증한다"고 했고, 윤태호 님은 행안부 윤리기준을 들어 "최종 책임은 사람"이라고 했어요. 둘 다 맞는 말이에요. 그런데 그 사람이 누구죠? 적발 실적으로 평가받는 바로 그 감사실이에요. 검증자와 수혜자가 같은 조직이면 교차 검증은 형식만 남아요. 그러면 사람이 실제로 개입하는지는 어떻게 확인하죠? 사람이 AI 판정을 뒤집은 비율을 공개하면 돼요. 이 비율이 0에 가까우면 그 사람은 검증자가 아니라 도장 찍는 사람이고, 제가 초안에서 말한 '도덕적 완충지대'가 바로 거기서 생겨요. '사람이 개입한다'는 원칙만으로는 안전장치가 못 돼요. 개입이 실제로 일어나는지 숫자로 보여야 해요.

오세련 님의 '범위를 좁히자'는 제안에는 정면으로 반대해요. 정형화된 고위험 분야부터 하자면서 예로 든 게 보조금 부정수급 탐지인데, 이건 가장 안전한 출발점이 아니라 가장 위험한 출발점이에요. 윤태호 님과 제가 든 네덜란드 보육수당 사건, SyRI, Robodebt가 모두 바로 수급자를 겨냥한 탐지에서 터졌거든요. 다만 저도 하나 물러설게요. 그 사례들은 국민의 급여를 직접 깎은 결정이었고, 이번 협약은 기본적으로 직원을 상대로 하는 자체감사예요. 그래서 내부 감사에서 생길 피해는 대량 부당 환수보다는 위축과 책임 떠넘기기 쪽일 거예요. 재앙 사례를 그대로 갖다 붙인 건 과장이었어요. 그 사례들이 그대로 들어맞는 건 국민연금이 상시 모니터링을 급여 업무까지 넓히는 순간이에요. 그러니 이렇게 정리할 수 있어요.

• 직원 감사와 수급자 탐지 사이에 데이터를 넘기지 않도록 차단벽을 협약 단계에서 명시해야 해요.

데밍 님의 비판은 받아들여요. '기술의 필연이 아니라 제도 설계의 결과'라는 말이 제 초안보다 정확해요. 파워의 감사 의례론이 말해 주는 건 운명이 아니라, 손대지 않으면 그쪽으로 흘러간다는 기본 경로예요. 그 경로를 바꾸는 장치는 이렇게 구체화할 수 있어요.

• 분석 단위를 개인이 아니라 업무 절차로 잡아요. AI가 띄운 경고를 담당자별로 쌓지 말고 업무 절차별로 묶어서 규정을 고치는 데 써요.
• 실효성 지표를 바꿔요.
• 적발 건수 대신, 소명을 요구했다가 무혐의로 끝난 비율(오탐에 드는 사회적 비용)을 봐요.
• 오탐을 확인하는 데 들어간 감사 인력의 시간을 봐요.
• AI 도입 전후로 사전컨설팅 신청이 어떻게 달라지는지 봐요. 신청이 줄면 위축됐다는 경보예요.
• 같은 지적이 반복되는 비율이 줄었는지 봐요.

이 지표를 공개하겠다는 약속이 없으면 제 판단은 그대로예요. 이 협약은 신뢰보다 감시 밀도를 먼저 올려요. 반대로 이 지표를 공개하면 데밍 님 말대로 AI는 업무 체계를 진단하는 도구가 될 수 있어요. 갈림길은 기술이 아니라 이 공개 약속이에요.

협약 자체가 이미 부담을 키웠다고 단정하는 것은 지나칩니다. 한지석 초안은 경고 건수가 목표가 될 때 감사를 위한 기록만 늘어난다는 점을 잘 짚었습니다. 다만 상시 모니터링의 실제 도입은 제시된 협약 내용으로 확인되지 않습니다. 사례와 법칙을 더하는 것보다, 데밍의 원칙에 따라 감사가 공포를 줄이고 업무의 원인을 고치는지 묻는 편이 이 판단에는 정확합니다.

오세련 초안의 강점은 오탐을 확인하는 비용도 감사의 성과에 넣어야 한다는 점입니다. AI가 만든 경고를 감사인이 먼저 걸러내지 않으면 직원의 소명 노동만 늘어납니다. 다만 개인의 현장 경험과 구체적 면책 기준을 이번 협약의 효과를 입증하는 근거로 삼기는 어렵습니다. 윤태호 초안도 공개되지 않은 검증 절차를 핵심 공백으로 짚었지만, 협약에서 곧바로 직원 징계나 국민의 급여 불이익까지 이어진다고 쓰면 단계가 건너뜁니다.

따라서 판단을 이렇게 좁히겠습니다. 현재 협약은 신뢰 향상을 입증하지 못하며, 경고 건수 중심으로 시행하면 부담을 키울 가능성이 큽니다. 반면 경고를 사람이 검증하고, 반복되는 오류를 개인의 점수가 아닌 규정과 절차의 결함을 찾는 데 쓰면 신뢰를 높일 수 있습니다. 사전컨설팅의 답변도 사후 감사에서 존중되어야 합니다. 배관의 누수를 알려주는 계기는 유용하지만, 물방울마다 책임자를 찾는 제도라면 직원은 누수를 고치기보다 숨기게 됩니다.

협약 문장만으로는 부담이 먼저고, 신뢰를 뒤집는 스위치는 모델이 아니라 ‘플래그=증거’와 ‘플래그=개인 문책’ 이 두 연결이에요. 오세련·데밍 쪽이 맞아요. 상시 모니터링 자체가 위축을 자동 생산하지는 않아요. 오세련의 ‘수백 건’은 공개 수치가 아니라 기억이라 근거에서 빼요. 한지석의 굿하트·파워·Elish는 메커니즘 이름이지 두 기관의 측정치가 아니에요.

판단 기준은 이미 있는 실패로 고정해요. 네덜란드 보육수당 모델은 설명 없는 점수가 사실처럼 처리되며 약 2만6천 가구가 부정 수급으로 몰렸고, 2021년 1월 내각 총사퇴, 그해 12월 275만 유로 과징금으로 끝났어요. 2026년 10월 1일 행안부 윤리기준도 권리·의무 업무는 사람 개입·사후관리·피해구제를 요구해요. 그래서 최소선은 이거예요. AI 출력은 착수 단서, 감사인이 1차 사실을 확인하기 전에는 소명을 요구하지 않기, 탐지 결과만으로 징계 금지, 오탐·미탐을 공개하기. 범위는 반복 수의계약·보조금처럼 정형 고위험으로 좁혀요. 감사실과 분리된 외부 검증 기구는 예산·일정이 없는 지금 단계의 필수는 아니에요. 뒤집기 권한과 반박 기록이 감사실 안에 문서로 있으면 돼요.

사전컨설팅은 감사원 세 조건(의견대로 처리, 정보 충분 제공, 사적 이해 없음)이 문서로 남고, 나중에 그 기록을 사후 감사가 존중할 때만 적극행정을 늘려요. 컨설팅을 받은 창구와 AI 적발 창구가 같으면 직원은 상담 대신 플래그 회피로 가요. 성패 지표는 적발 건수가 아니라 위축이 줄고 서비스 하자가 줄었는지예요. 그 규칙이 적히기 전 이 협약은 신뢰 장치가 아니라 감시 밀도 선언이에요.

다수가 합의한 '사람이 최종 검증한다'는 원칙은 AI가 띄운 건만 검증해요. AI가 놓친 건은 아무도 보지 않아요. 그런데 감사인이 어떤 건을 볼지는 누가 정하죠? 모델이 정해요. 경고 하나하나를 사람이 꼼꼼히 확인해도, 감사받는 대상을 고르는 일은 이미 모델이 끝낸 상태예요. 리뷰 4는 미탐(놓친 비위)도 공개하자고 했는데, 경고가 안 뜬 건을 아무도 안 보는데 미탐을 어떻게 세죠? 기관이 말한 '실효성'은 비교 대상 없이는 측정되지 않아요. 그래서 이렇게 정해 둬야 해요.

• 경고가 뜨지 않은 업무에서도 일정 비율을 무작위로 뽑아 감사해요. 이 대조군이 없으면 오탐률도 미탐률도 감사실이 정한 숫자일 뿐이에요.
• 사람이 AI 판정을 뒤집은 비율도 그 자체로 지표가 되면 조작될 수 있어요. 공개되는 순간 쉽게 기각할 경고를 일부러 섞어 넣으면 비율이 올라가요. 그러니 뒤집은 비율은 무작위 표본에서 나온 결과와 함께 놓고 봐야 해요.

리뷰 2의 '사전컨설팅을 받은 안건은 경고 대상에서 자동 제외'는 적극행정 장치가 아니라 비위를 걸러 주는 통로예요. 컨설팅을 받기만 하면 상시 모니터링을 피할 수 있다면, 위험한 안건일수록 먼저 컨설팅을 받으러 오지 않을까요? 감사실은 직접 조언한 안건을 나중에 감사하는 처지가 돼요. 자기 조언을 자기가 감사하는 셈이니 감사의 독립성이 무너지고, 결재 책임이 사실상 감사실로 넘어가요. 제가 앞에서 낸 지표도 고칠게요. 컨설팅 신청이 줄면 위축 경보라고 했는데, 신청이 늘어도 좋은 신호라고 할 수 없어요. 면책을 받으려는 방어적 컨설팅일 수 있거든요. 그래서 이렇게 바꿔요.

• 신청 건수가 아니라, 컨설팅을 받은 뒤 실제로 새로운 방식으로 처리한 건의 비율을 봐요.
• 컨설팅을 받은 건도 경고 대상에서 빼지 말고, 컨설팅 기록을 첨부한 채 낮은 강도로 검토해요.

'탐지팀과 실지감사팀을 나누면 된다'는 말에도 되물을게요. 두 팀의 감사실장이 같고 성과평가도 같은데 무엇이 나뉜 거죠? 책상만 나뉘고 유인은 그대로예요. 리뷰 4의 '감사실 안에 뒤집기 기록을 문서로 남기면 된다'도 같은 문제예요. 기록을 쓰는 사람과 그 기록으로 평가받는 사람이 같아요. 그렇다고 리뷰 2 말대로 외부 기구를 새로 만들 돈이 없다는 것도 맞아요. 그런데 외부 검증자는 이미 있어요. 이번 협약의 상대 기관이에요. 산업인력공단 감사실이 국민연금의 경고 표본과 무작위 표본을 검토하고, 국민연금도 반대로 하면 예산을 거의 들이지 않고 감사실 밖의 눈을 둘 수 있어요. 서로 봐주는 위험은 남으니, 교차 검토 결과는 기관명을 가리지 말고 공개해야 해요. 정리하면, 무작위 대조군과 교차 검증이 들어가지 않은 AI 감사의 '실효성'은 감사실이 스스로 매긴 점수예요. 이 두 가지가 없는 지금의 협약은 신뢰가 아니라 감사실의 재량을 키우는 쪽으로 기울어 있어요.

스위치를 감사실이 혼자 지키게 두면 안 돼요. 이 협약이 신뢰를 높이느냐 부담만 늘리느냐는 감사실 밖에서 확인할 수 있는 장치를 두느냐에 달려 있어요. 중간 점검의 지적은 받아들일게요. 사람이 AI 판정을 뒤집은 비율도 감사실이 직접 세면 감사실이 매긴 점수일 뿐이에요. 그 비율이 낮을 때 AI가 정확해서인지 사람이 검증을 건너뛰어서인지도 숫자만으로는 알 수 없어요. 그래서 제 최종안은 두 장치를 함께 묶는 거예요. 첫째, 경고가 뜨지 않은 업무에서도 일정 비율을 무작위로 뽑아 감사해요. 둘째, 그 표본과 경고 표본을 상대 기관 감사실이 서로 검토하고, 결과를 기관명을 밝힌 채 공개해요. 무작위 표본이 있어야 오탐과 미탐을 같은 기준으로 셀 수 있어요. 교차 검토가 있어야 그 숫자를 외부에서 확인할 수 있고요. 돈이 많이 드는 일도 아니에요. 협약 상대가 이미 외부의 눈이니, 새 기구를 만들 필요가 없어요.

미탐 쪽으로는 제 입장을 고칠게요. 지금까지 저는 직원의 소명 부담과 위축을 주된 위험으로 봤어요. 그런데 "AI로 상시 모니터링한다"고 밝힌 기관에서 AI가 놓친 비위가 나중에 터지면 어떻게 될까요? 국민이 보기에 그건 단순한 실수가 아니라 기술을 핑계로 감사를 소홀히 한 일이 돼요. 이 경우엔 미탐이 오탐보다 신뢰를 더 크게 무너뜨려요. 그러니 무작위 표본은 직원을 보호하는 장치이기도 하지만 국민에게 하는 약속이기도 해요. 같은 장치가 두 위험을 함께 막는 거예요. 네덜란드 보육수당 사례도 다시 짚을게요. 그 사례가 그대로 들어맞는다고 하려면 AI를 어디까지 쓸지가 먼저 정해져야 하는데, 협약은 그 범위를 정하지 않았어요. 그래서 협약 단계에서 먼저 정해야 할 건 두 가지예요.

• AI를 쓰는 범위를 직원 자체감사로 한정해요.
• 급여 업무와 데이터를 주고받지 못하게 차단벽을 둬요.

범위를 넓히려면 그때 다시 따로 협약하면 돼요.

마지막으로, 이 장치를 누가 강제하죠? 감사실이 적발 건수로 평가받는 한 어떤 공개 약속도 형식으로 흐르기 쉬워요. 그러니 감사실을 평가하는 기준부터 바꿔야 해요.

• 적발 건수 대신 교차 검토에서 확인된 오탐률과 미탐률을 봐요.
• 같은 지적이 반복되는 비율이 줄었는지 봐요.
• 사전컨설팅을 받은 뒤 실제로 새로운 방식으로 처리한 건의 비율을 봐요.

이 기준이 없으면 AI 감사는 감사실의 재량과 감시 밀도만 키우는 부담이 돼요. 이 기준이 있으면 업무 체계를 진단하는 도구가 될 수 있어요. 갈림길은 기술이 아니라 감사실 평가 기준을 바꾸느냐예요.

이번 협약이 내부 행정 감사를 넘어 대국민 급여 심사까지 AI를 적용할지조차 확정되지 않은 상태이므로, 네덜란드 보육수당 사태를 곧바로 대입해 위험을 과장하기보다는 적용 범위를 내부 통제로 먼저 한정한 뒤 ‘무작위 표본 대조군·협약 기관 간 교차 검증·사전컨설팅 저강도 연계 검토’의 3대 실무 절차로 기존 안을 전면 수정해야 합니다. 예전에 두 공공기관이 교차 감사를 벌였을 때, 전체 내역을 다 들여다보려다 개인정보 열람 권한 충돌과 인력 부족으로 감사가 중단되자 결국 고위험군과 무작위 추출 표본만 가명 처리해 맞교환함으로써 비용을 아끼고도 숨은 회계 누수를 잡아낸 바 있습니다. 이처럼 감사실 내부의 셀프 검증 한계와 미탐(놓친 비위)의 위험을 짚어낸 상대 측의 반론은 현장 감사 원칙에 비추어 매우 타당하기에, 제 기존 제안 중 ‘내부 팀 분리’와 ‘사전컨설팅 자동 면제’는 과감히 철회하고 현실에서 즉시 가동할 수 있는 수정안을 제시합니다.

첫째, AI가 띄운 경고만 보느라 놓치는 비위(미탐)를 막고 감사실의 자의적 지표 조작을 차단하기 위해, 비경고 업무 중 현행 실지감사 인력이 감당할 수 있는 일정 비율(예: 5% 이내)을 ‘무작위 대조군 표본’으로 의무 추출해 실지감사를 병행해야 합니다. 둘째, 같은 감사실장 아래의 팀 분리는 독립성이 없다는 비판을 수용하여 별도 기구 신설 비용 없이 이번 협약 상대방인 국민연금공단과 산업인력공단이 서로의 ‘AI 기각 내역과 무작위 표본 결과’를 교차 검증하고 기관 실명으로 공개하되, 법령상 비밀유지와 개인정보 침해 문제를 피하기 위해 가명 처리된 감사 조서 표본 단위로 상호 점검 범위를 명확히 한정해야 합니다.

셋째, 사전컨설팅 안건을 AI 경고에서 자동 제외하면 비위 회피 통로가 된다는 지적 역시 전적으로 옳으므로, 경고는 그대로 띄우되 컨설팅 이력을 전산으로 자동 첨부해 ‘고의·중과실 여부만 확인하는 저강도 검토’로 전환하고, 성과 지표 또한 단순 신청 건수가 아니라 ‘컨설팅을 거쳐 실제 새로운 방식으로 집행된 비율’과 ‘반복 탐지 오류의 규정 개선 전환 건수’로 묶어야 합니다.

결국 AI 감사가 직원의 소명 부담이나 보여주기식 통제로 전락하지 않으려면, 거창한 외부 위원회를 새로 만들거나 불완전한 내부 다짐에 기댈 것이 아니라 이미 맺어진 두 기관의 협약 틀을 외부 통제 장치로 그대로 활용해야 합니다. 협약의 적용 대상을 내부 감사 영역부터 단계적으로 못 박고, 무작위 표본을 통한 미탐 검증과 협약 기관 간 표본 교차 감사, 그리고 컨설팅 이력이 연동된 저강도 점검 체계를 세부 지침에 명문화하는 것만이 추가 예산 없이 감사의 독립성과 현장 수용성을 동시에 지키는 가장 확실한 길입니다.

현재 협약만으로는 신뢰가 높아졌다고 볼 수 없습니다. 기술의 범위와 검증 절차가 정해지지 않았습니다. 데밍의 관점에서 핵심은 경고를 몇 건 냈느냐가 아니라 업무 절차의 결함을 얼마나 고쳤느냐입니다. 경고가 곧 개인 문책으로 이어지면 직원은 문제를 드러내기보다 숫자를 맞추게 됩니다.

사람이 경고를 확인하는 것만으로는 부족하다는 반론을 받아들입니다. AI가 놓친 건도 살펴야 실효성을 따질 수 있습니다. 경고가 없는 업무를 무작위로 추출해 감사하고, 협약 상대 기관이 경고 표본과 무작위 표본을 교차 검토하게 해야 합니다. 표본 선정 방식과 검토 결과는 공개하되, 기관 간 봐주기를 막을 수 있도록 양쪽의 결과를 함께 제시해야 합니다.

사전컨설팅은 자동 면책이 되어서는 안 됩니다. 조언을 받은 안건도 기록을 붙여 검토하고, 조언 이후 실제로 새로운 방식의 업무 처리가 이루어졌는지 봐야 합니다. 감사가 배관의 누수를 고치는 일이라면, 경고와 컨설팅은 누수의 원인을 찾는 자료여야 합니다. 지금의 공백을 채우지 않은 채 적발 건수로 성과를 재면 AI 감사는 신뢰보다 부담을 키울 것입니다.

지금 협약은 신뢰를 올리기 전에 감사실 재량을 키워요. 사람이 경고를 하나씩 확인해도 볼 대상을 고르는 건 모델이고, 경고 밖은 측정이 안 돼요. 뒤집기 비율·오탐·미탐을 감사실이 스스로 집계하면, 적발 실적으로 평가받는 조직에선 그 숫자가 약속으로 남아요. 지키는 주체는 같은 감사실장이 아니라 협약 상대입니다. 산업인력공단이 국민연금의 경고 표본과 비경고 무작위 표본을 보고, 반대도 같으며, 기관명을 가리지 않고 공개해야 해요. 외부 기구를 새로 만들 예산은 자료에 없고, 이 교차가 그 공백을 메워요.

컨설팅을 받았다고 경고에서 빼는 안은 철회해요. 위험한 안건일수록 그 문으로 들어가고, 조언한 감사실이 같은 안건을 감사하면 독립이 깨져요. 신청 건수도 지표에서 내려요. 늘어도 면책용일 수 있으니까요. 볼 것은 컨설팅 뒤 실제로 처리 방식이 바뀐 비율이고, 그 건은 기록을 붙인 채 낮은 강도로 경고 대상에 남겨요. 미탐은 직원 소명 부담보다 국민 쪽 신뢰를 더 깎을 수 있어요. 비경고 무작위 표본이 있어야 놓친 비위가 숫자로 남고, 사람이 뒤집은 비율도 그 표본과 나란히 봐야 조작이 드러나요. 네덜란드 보육수당(약 2만6천 가구, 2021년 1월 내각 총사퇴, 그해 12월 275만 유로 과징금)은 급여를 직접 가른 시스템이라 이 협약에 그대로 붙이면 과해요. 업무 범위가 비어 있으니 전제는 이거예요. 권리·의무를 가르는 업무로 범위가 넘어갈 때만 2026년 10월 1일 행안부 윤리기준의 사람 개입·사후관리·피해구제가 최소선이 됩니다.

결론은 이겁니다. 플래그는 착수 단서이지 증거도 개인 문책도 아니에요. 그 금지를 감사실 스스로의 문서에 맡기던 제 안은 기각해요. 무작위 대조군과 상대 기관 교차 공개가 적히기 전, 이 협약은 신뢰 장치가 아니라 감시 밀도와 재량의 선언입니다.