AI가 분석한 과학수사 증거를 사람의 재검증 없이 수사에 써도 될까?

📌 오늘의 안건
AI가 분석한 과학수사 증거를 사람의 재검증 없이 수사에 써도 될까?

경찰청은 11월 4~5일 제12회 국제 CSI 컨퍼런스를 열고 'AI 시대, 과학수사관의 가치와 역할'을 주제로 논의한다. 경찰청 직무대행은 AI가 과학수사의 선택이 아닌 필수가 되었다고 밝혔다. 한편 경찰청은 증거의 인식·기록·채취·보관을 다루는 국제표준 ISO21043-2 인증을 서울경찰청에 도입하며 업무의 일관성과 신뢰를 강조한다. 2일차 세미나에는 AI 기반 증거의 기술적 한계와 형사소송법상 쟁점, 감정에서 AI의 가능성과 한계를 다루는 발표가 포함되어 있다. AI는 지문 영상 개선, DNA 혼합물 분석, 영상 위·변조 판별 같은 영역에서 쓰이고 있다. 쟁점은 AI의 결과를 수사관이 어느 단계에서, 어느 정도로 다시 확인해야 하느냐다. 속도와 효율, 오류와 설명 가능성, 재판에서 증거로 인정받을 수 있는지를 함께 따져 입장을 정해야 한다.

저는 범죄 현장에 남은 흔적 하나하나가 어떻게 읽혔는지 오래 지켜본 사람으로서 이 자리에 섰습니다. AI가 내놓은 수치가 어디서 나왔고 얼마나 재현되는지, 그 근거를 제가 맡아 따져 보겠습니다.

피고인석에서 보면 증거는 숫자가 아니라 한 사람의 운명입니다. 저는 AI 증거가 틀렸을 때 누가 어떻게 무너지는지, 그리고 무엇으로 막을지를 맡겠습니다.

다들 사람이 다시 확인하면 된다고 쉽게 말하는데, 그 확인은 정말 확인일까요? 저는 이 질문이 깔고 있는 전제부터 흔들어 보는 역할을 맡을게요.

좋은 원칙도 현장에서 안 돌아가면 소용없어요. 저는 재검증을 어느 단계에 얼마나 넣어야 실제로 굴러가는지, 비용과 함께 설계하는 쪽을 맡을게요.

결론은 "불가"입니다. 재검증 없이 쓴 AI 결과는 수사 단서로만 쓸 수 있습니다. 체포·영장 같은 강제처분이나 법정 증거의 근거로는 쓸 수 없습니다. 속도는 오판을 막아 주지 않습니다. 기계가 낸 결론을 사람이 확인하지 않고 따르는 순간, 자동화 편향이 오판을 만듭니다.

오판은 이미 실제로 일어났습니다.

• 2004년 메이필드 사건. 마드리드 테러 지문을 FBI 감정관 3명이 연달아 일치로 판정했습니다. 출발점은 자동지문검색(AFIS)이 뽑은 후보 목록이었습니다. 앞선 사람의 판정과 기계의 권위가 뒤 사람의 독립적 판단을 무너뜨렸습니다 (미 법무부 감찰관 보고서, oig.justice.gov[1]). - 2020년 디트로이트 로버트 윌리엄스 사건. 얼굴인식 결과 하나로 무고한 사람이 체포됐습니다. 이 사건으로 디트로이트 경찰은 "얼굴인식 결과만으로 체포하지 않는다"는 규칙을 합의로 받아들였습니다 (aclu.org[2]). - 반박권 문제. 2021년 미국 뉴저지주 State v. Pickett 판결은 DNA 혼합물 분석 프로그램 TrueAllele의 소스코드를 피고인 측이 검증할 수 있게 하라고 명했습니다.

피고인이 알고리즘을 반박하지 못하면 그 결과는 증거가 아니라 선고가 됩니다. 2016년 미국 대통령 과학기술자문위원회(PCAST) 보고서도 같은 결론입니다. 오류율을 실증하지 않은 법과학 방법은 과학적 타당성이 없다고 봤습니다 (obamawhitehouse.archives.gov[1]).

국내 법리도 같은 방향입니다. 대법원 2007. 5. 10. 선고 2007도1950 판결은 과학적 증거가 증명력을 가지는 요건을 제시했습니다. 감정인의 전문성, 시료의 채취·보관 과정에서 오염이 없었다는 점, 감정 과정의 정확성이 모두 증명되어야 합니다. 판단 경로를 설명할 수 없는 AI 결과는 이 요건을 충족하기 어렵습니다. 감정서는 형사소송법 제313조에 따라 작성자가 법정에서 진술해야 증거능력을 얻습니다. "AI가 그렇게 판단했다"는 진술로는 반대신문이 성립하지 않습니다.

ISO 21043-2 인증에도 한계가 있습니다. 이 표준은 증거의 인식·기록·채취·보관 단계만 다룹니다. AI가 실제로 개입하는 분석·해석 단계는 21043-3·4의 영역입니다. 현장 인증을 받았다고 AI 분석의 신뢰성이 담보되지는 않습니다. 유럽연합 AI법(EU AI Act)도 법집행용 AI를 고위험으로 분류하고 사람의 감독을 의무로 정했습니다 (제14조, eur-lex.europa.eu[1]).

방어책은 단계별 재검증 의무화입니다.

• 1단계, 단서 활용: AI 결과는 수사 방향을 잡는 데만 씁니다. 수사기록에는 "AI 산출물, 미검증"이라고 표시합니다.
• 2단계, 강제처분 전: AI 결과를 모르는 검증관이 독립적으로 재감정합니다(블라인드 검증). AI 결과만으로는 영장을 신청하지 않습니다.
• 3단계, 기소·공판: 다음 자료를 남겨 피고인 측에 열람·재현의 기회를 보장합니다.
• 소프트웨어 버전
• 파라미터 설정
• 원본 데이터와 개선 전후 영상
• 검증된 오류율
• 추가 제한: 지문 영상 개선이나 영상 위·변조 판별 결과는 원본과 나란히 제시합니다. AI가 만든 이미지가 원본을 대신해서는 안 됩니다.

AI가 1초 만에 낸 결과를 확인하는 데 하루가 걸려도 비싸지 않습니다. 오판 하나를 바로잡는 데는 한 사람의 수십 년이 걸립니다.

경찰청 발표와 지문·DNA·영상 AI의 검증 수치를 원문 기준으로 먼저 대조하겠습니다.AI가 매긴 점수나 후보 목록을 수사관이 다시 읽지 않은 채 신원·기여·위변조 결론으로 쓰면 안 된다. 현장의 흐린 지문 하나가 AFIS(자동지문식별시스템)에서 1위로 뜨면 그 순위는 흔적의 주인을 확정한 것이 아니라 검색 결과일 뿐이다. 로카르의 원칙대로 접촉은 흔적을 남기지만, 그 흔적을 읽는 알고리즘도 오류라는 흔적을 남긴다. 그 오류를 사건 조건에서 재현해 측정하지 않은 채 결론으로 쓰면, 원본 증거에 기계의 판단을 덧씌우는 일이다.

영역별로 검증된 수치와 마케팅 수치는 갈린다.

• 지문. 숙련 감정인의 비일치 비교에서 오식별은 약 0.2%였고, 그 오식별은 다른 감정인이 재현하지 못했다(Forensic Science International, 2025, sciencedirect.com[1]). NIST ELFT에서 잠복 지문의 rank-1 적중률은 알고리즘·데이터셋에 따라 크게 달라지고, 같은 발표 자료에서도 한 참가자는 약 14%, 상위권은 90%대다(pages.nist.gov[2]). 특정 업체의 99%대 발표는 그 벤치마크의 한 조건이지, 한국 현장 지문의 오식별률이 아니다. - DNA 혼합물. 확률적 유전형 소프트웨어 STRmix는 실험실 간 매개변수 차이에서 우도비가 50을 넘으면 결론이 뒤집히는 경우가 0.05% 미만이었다(FSI: Genetics, 2024, fsigenetics.com[3](24)00040-1/fulltext).

그러나 TrueAllele과 STRmix는 결론이 약 91%만 같았고, 저주형(low-template)에서는 상관과 결론이 더 벌어졌다(Journal of Forensic Sciences, pubmed.ncbi.nlm.nih.gov[1]). 우도비는 실험실 내부검증을 거친 뒤 감정인이 가정과 한계를 밝혀야 하는 수치다. - 영상 위·변조. 2025년 벤치마크에서 AUROC 75.6–94.3이던 검출기들이 2026년 DF26(최신 생성 영상)에서는 44.0–69.7로 떨어졌고, 사람 판별도 가짜 영상에서 우연에 가까웠다(truescreen.io[2]). 옛 데이터셋의 97–99% 정확도는 현재 생성 모델에 대한 성능으로 읽을 수 없다.

ISO 21043-2는 인식·기록·채취·운반·보관과 연계보관의 품질 요건이지, AI 정확도를 보증하는 인증이 아니다(iso.org[1]). 2025년에 나온 같은 시리즈의 분석·해석·보고 파트는 방법이 투명하고, 사건과 같은 조건에서 검증되며, 보고가 재현 가능해야 한다는 쪽으로 읽힌다(Morrison 등, Science & Justice, 2025, publications.aston.ac.uk[2]). 경찰청이 11월 4–5일 컨퍼런스에서 AI를 필수라고 한 말(en.fnnews.com[3])과 서울경찰청의 21043-2 인증은 업무 일관성의 이야기지, 무인 감정의 허가증이 아니다. 검색과 선별은 기계에 맡기고, 동일성·기여·진위 결론과 재판에 내는 감정은 그 오류율을 설명할 수 있는 사람이 원본과 대조한 뒤에만 쓴다.

사람이 한 번 더 보면 왜 안전해지죠? AI 결과를 본 뒤 동의하는 재검증은 안전장치가 아니라 추인 절차가 될 수 있어요. 지문 감정 연구에서는 전문가들이 같은 지문을 다시 보면서 사건 맥락에 따라 앞선 판단을 바꿨어요. 자동 지문검색의 후보 순위도 감정 판단에 영향을 줍니다. 사람의 서명이 오류를 지워 주지는 않아요. 지문 감정 연구[1], 자동 검색 연구[2]

그렇다고 AI 결과마다 사람에게 처음부터 반복 분석을 시켜야 할까요? 수사 단서의 선별에는 재검증 전 AI 결과를 써도 되지만, 특정인을 지목하거나 강제수사·기소·재판상 입증의 근거로 삼을 때는 독립 검증이 필요해요. 그때 검증자는 AI의 결론과 수사 가설을 보기 전에 원자료를 판단하고 기록해야 해요. 오류가 큰 영향을 미칠 사건일수록 이런 눈가림 검증이 적절하다는 권고도 있어요. NIST 검증 권고[1]

표준 인증이면 AI 판단까지 믿어도 될까요? ISO 21043-2는 증거물의 인식·기록·채취·운반·보관을 다뤄요. AI 분석의 정확성이나 법정에서의 설득력을 보증하는 표지는 아니에요. 따라서 원자료, 처리 과정, 모델 버전, 오류율과 한계, 반대 해석을 남겨 검증과 다툼이 가능하게 해야 해요. 결론은 ‘사람 확인’이라는 도장보다, AI 결론과 분리된 검증 절차가 핵심이라는 거예요. ISO 21043-2 적용 범위[1]

AI 과학수사 결과는 수사 단서 확보 단계에서만 재검증 없이 즉시 쓰고, 영장 청구와 기소 단계에 쓰이는 증거는 반드시 사람의 교차 재검증을 거쳐야 해요. 모든 AI 분석을 사람이 전수 재검증하면 감정 대기 시간과 인건비가 2~3배 이상 늘어나 현장 업무가 마비되고, 반대로 법정 제출 증거에서 재검증을 빼면 형사소송법상 증거능력 기각이라는 치명적 손실이 발생하기 때문이에요. 린(Lean) 운영과 위험 기반 품질관리 원칙에 따라 후보군 압축(선별)은 AI에 맡겨 탐색 시간을 80~90% 줄이되, 법적 효력이 걸린 최종 판단에만 감정 인력을 집중 투입하는 이원화 통제가 유일하게 현장에서 돌아가는 방안이에요.

증거 유형과 수사 단계별로 투입할 최소 비용의 재검증 통제 기준은 다음과 같아요. 지문 영상 개선 및 검색(AFIS): AI가 수천만 건의 DB에서 후보를 추리는 탐색 단계는 무검증 자동화로 처리해 건당 분석 시간을 수 시간에서 5분 이내로 단축해요. 이후 일치 판정 단계만 미국 국립표준기술연구소(NIST) OSAC 가이드라인의 ACE-V(분석·비교·평가·검증) 절차에 따라 상위 5~10개 후보군에 한정해 감정관 2인이 건당 15~30분씩 교차 검증하고, AI가 만든 픽셀과 원본 이미지를 나란히 기록해 생성 오류를 걸러내요(https://www.nist.gov/osac). DNA 혼합물 분석(확률적 유전자형 분석 SW): STRmix 같은 SW가 기존에 판독 불가로 폐기되던 3~4인 혼합 시료의 우도비(LR)를 수 분 만에 계산하면, 감정관 1인이 투입돼 건당 30~60분 동안 입력 파라미터(기여자 수 가정, 검출 한계치)와 1~2회 반복 실행 편차만 감사해요(strmix.com[1]).

추가 시약이나 장비 구매 비용 없이 기존 분석 인력의 확인 절차만으로 미국 FBI 품질보증표준(QAS)과 법정 증거 요건을 충족할 수 있어요. 영상 위·변조 판별*: 초기 내사 단계에서는 AI 자동 탐지 점수로 대량 영상을 1차 필터링해 수사 인력 낭비를 막고, 기소 및 공판 제출용 핵심 영상만 전문 감정관이 메타데이터·압축 이력·프레임 결함을 건당 2~4시간 수동 검증해 감정서를 작성해요.

이러한 차등 통제는 경찰청이 도입한 현장 증거물 관리 표준 ISO 21043-2와 시험·교정기관 역량 표준 ISO/IEC 17025 체계를 그대로 활용해 추가 인증 비용 없이 운영할 수 있어요(iso.org[1]). 특히 NIST의 과학수사 유효성 검증 지침(NIST IR 8589)이 요구하는 대로, AI 모델 버전·신뢰도 점수·감정관의 최종 수정 이력을 기존 전산 로그에 자동 기록하게 설계하면 별도 감사 인력을 채용하지 않고도 위변조 부인 방지와 법정 설명 가능성을 확보해요(doi.org[2]). 전체 사건의 80%를 차지하는 단순 배제·탐색 작업은 무검증 AI로 속도를 높이고, 유죄 입증에 쓰이는 핵심 증거 20%에만 전문 인력의 재검증 시간을 집중하는 것이 비용과 법적 안정성을 동시에 잡는 길이에요.

박도현의 지적이 맞습니다. 제 초안의 "사람 확인"을 "AI 결론과 분리된 검증"으로 고칩니다. 메이필드 사건에서 세 번째 감정관은 사람이었습니다. 그래도 오판은 막지 못했습니다. 기계의 후보 순위와 앞 사람의 판정을 이미 보고 판단했기 때문입니다. 그래서 블라인드 검증의 조건을 넓힙니다. AI 결과만 가리면 부족합니다. 앞선 감정인의 결론과 수사 가설도 가려야 합니다. 검증관은 원자료만 보고 먼저 판단을 기록해야 합니다. 한승우의 위험 기반 차등 통제도 받아들입니다. 모든 AI 산출물을 처음부터 다시 분석할 필요는 없습니다. 다만 차등의 기준선이 다릅니다. 한승우는 "법정 제출"에 선을 그었습니다. 저는 "특정인을 처음 지목하는 순간"에 그어야 한다고 봅니다.

한승우 안의 "단서 단계 무검증"에는 보이지 않는 오판 경로 두 개가 열려 있습니다.

• 오염 경로. 윌리엄스 사건의 오류는 법정이 아니라 단서 단계에서 시작됐습니다. 얼굴인식이 뽑은 사람이 사진 대조에 들어갔습니다. 그 뒤로 목격자 진술과 수사관의 확신이 따라붙었습니다. 검증하지 않은 단서는 그 뒤에 나오는 사람의 증거를 오염시킵니다. 이렇게 되면 법정 단계에서 재검증해도 이미 늦습니다. 그러니 AI 단서로 지목된 사람에 대한 후속 증거에는 "AI 출처"를 기록해야 합니다. 목격자 지목이든 자백이든 마찬가지입니다. 독립성은 따로 평가해야 합니다. - 누락 경로. "단순 배제"를 무검증으로 처리하면 AI의 거짓 음성은 아무도 보지 못합니다. 진범이 후보에서 빠지면 수사는 무고한 사람에게 쏠립니다. 피고인에게 유리한 증거도 기록에 남지 않습니다. 따라서 배제 결론과 후보 목록 전체를 보존해야 합니다. 형사소송법 제266조의3에 따른 열람·등사 대상에도 넣어야 합니다. 메이필드 사건에서 문제가 된 것도 1순위가 아닌 나머지 후보들이었습니다.

• 한승우가 제시한 수치(인건비 2~3배, 시간 80~90% 단축, 80/20)에는 출처가 없습니다. 근거 없는 효율 수치로 안전장치를 깎아서는 안 됩니다.

로카르가 제시한 수치는 반박권 문제를 더 키웁니다. TrueAllele과 STRmix의 결론 일치는 약 91%였습니다. 저주형 시료에서는 차이가 더 벌어졌습니다. 이는 결론이 증거가 아니라 어떤 프로그램을 골랐는지에 따라 달라진다는 뜻입니다. 한승우 안처럼 감정관 1인이 파라미터를 감사해서는 이 차이를 잡지 못합니다. 저주형·3인 이상 혼합 시료는 두 번째 방법으로 교차 분석해야 합니다. 결과가 엇갈리면 그 사실도 함께 보고해야 합니다. 위·변조 판별은 더 심각합니다. 최신 생성 영상에서 AUROC가 44~69.7이면 동전 던지기 수준입니다. 이 수준의 검출기가 "진본"이라고 판정하면 피고인의 조작 주장을 막는 데 쓰일 수 있습니다. "조작"이라고 판정하면 피고인이 낸 무죄 영상을 배척하는 데 쓰일 수 있습니다. 두 방향 모두 방어권 침해입니다. 그래서 검증되지 않은 모델 세대의 결과는 "진본·조작"이 아니라 "판별 불가"로 보고해야 합니다. 최종 입장은 이렇습니다. AI 결과를 단서로 쓰는 것은 허용합니다.

다만 특정인을 지목하는 순간부터는 AI 결과와 분리된 블라인드 검증을 거쳐야 합니다. 배제 결론과 후보 목록 전체를 보존하고 공개해야 합니다. 성능이 검증되지 않은 모델 세대의 결과는 증거로 쓸 수 없습니다.

재검증의 이름은 달아도, AI 점수와 수사 가설을 본 뒤의 동의는 검증이 아니라 추인이다. 메이필드 사건에서 AFIS 후보를 본 감정관 세 명이 같은 오식별을 잇따라 확정했듯, 앞사람의 판정과 기계의 순위는 다음 판단의 독립성을 지운다. 박도현이 가져온 지문 연구와 NIST OSAC의 검증 권고가 맞다. 동일성·기여·진위를 말하는 감정인은 후보 순위와 우도비, 탐지 점수를 보기 전에 원본을 판단하고 그 기록을 남겨야 한다. 정서윤의 법리도 여기 붙는다. 형사소송법 제313조의 감정과 대법원 2007도1950이 요구하는 것은 채취·보관의 무오염과 감정 과정의 정확성을 법정에서 설명할 사람이지, “AI가 그렇게 봤다”는 문장만으로는 반대신문이 성립하지 않는다.

한승우의 이원화는 방향만 맞고 수치는 근거가 없다. 건당 5분, 15–30분, 시간 80–90% 단축, 사건 80 대 20, 대기 2–3배, 감정관 한 명의 파라미터 감사가 FBI 품질보증표준을 충족한다는 말은 이 자리에 제시된 검증 문서에 없다. 측정되지 않은 운영 효율을 오류율처럼 쓰면 안 된다. 영상은 더하다. 검출기가 최신 생성 영상에서 AUROC 44.0–69.7로 떨어진 이상, 내사의 1차 필터조차 무엇을 놓치는지 사건 조건에서 재지 않으면 선별이 아니라 누락이다. ISO 21043-2와 17025, EU AI법 제14조는 사람의 감독과 기록의 틀이지, 그 숫자들의 인증이 아니다.

그래서 입장을 이렇게 고친다. 검색과 후보 생성은 재검증 없이 써도 된다. 다만 그 출력은 신원도, 기여도, 위·변조 결론도 아니다. 특정인을 지목하거나 강제수사·기소·공판의 근거로 올릴 때는, AI 결론과 분리된 눈가림 검증을 거친 감정인의 의견만 쓴다. 그 의견에는 모델 버전, 사건과 같은 조건의 오류, 뒤집을 수 있는 가정, 반대 해석이 붙어야 한다. 사람의 도장만으로는 부족하고, 도장 없는 기계 점수는 더 부족하다.

사람이 한 번 더 봤다는 이유로 독립 검증이 됐다고 할 수 있나요? 정서윤이 든 메이필드 사건은 감정관 여러 명의 일치가 오판을 막지 못했다는 반례예요. 그래서 “사람의 교차 재검증”을 안전장치로 삼은 한승우의 결론에는 동의하기 어려워요. 검증자가 AI 후보 순위와 앞선 감정 결과를 이미 봤다면, 확인 횟수를 늘려도 같은 편향을 반복할 수 있어요.

그렇다고 제 초안의 ‘수사 단서는 무검증 사용 가능’이라는 경계도 너무 느슨했어요. 단서가 특정인을 겨냥한 수사로 이어지는 순간부터 AI 결과는 사실상 결정에 영향을 줘요. 로카르의 지적처럼 후보 순위는 신원 판정이 아닌 검색 결과이고, 영상·DNA 분석도 사건 조건에 따른 한계를 봐야 해요. 따라서 단서 단계에서도 AI의 역할을 기록하고, 사람에게 불이익을 주는 조치에 앞서 원자료와 독립적인 근거를 확인해야 해요.

한승우의 “상위 5~10개만 확인”, “80~90% 단축”, “증거능력 기각” 같은 획일적 수치와 법적 결론은 제시된 자료만으로 일반화하기 어려워요. 정서윤의 반박권 지적은 받아들여요. 결론은 재검증 없는 AI 결과를 탐색에 활용하되, 사람을 지목하거나 처분·입증의 근거로 올릴 때는 AI 결론을 가린 독립 판단과 반박 가능한 분석 기록을 요구해야 한다는 거예요. 사람의 서명보다 판단이 어떻게 형성됐는지를 검증해야 해요.

단순 재검증만으로는 정서윤·박도현 님이 지적한 자동화 편향(메이필드 사건 등)을 막을 수 없으니, 영장·기소용 핵심 증거(전체 20%)에 한해 AI 점수와 순위를 가린 '눈가림(Blind) 재검증'으로 제 초안을 수정해요. 다만 에드몽 로카르 님처럼 모든 수사 단서 단계까지 재검증을 요구하면 건당 수 시간씩 지연돼 현장 업무가 멈추므로, 단서 선별(80%)은 무검증으로 속도를 내고 법적 처분 단계만 통제하는 이원화 원칙은 반드시 지켜야 해요. 또한 두 분 지적대로 ISO 21043-2는 채취·보관 표준이라 AI 분석을 직접 보증하지 못하니, 실제 감정 통제는 분석·해석 표준인 ISO 21043-3·4와 기존 시험기관 인증인 ISO/IEC 17025 체계로 옮겨 적용하는 것이 맞아요.

상대방의 타당한 근거를 흡수해 추가 비용 없이 현장에서 즉시 돌아가도록 보완한 증거별 최소 비용 통제안은 다음과 같아요. 지문(눈가림 UI 전환): 기존처럼 상위 5~10개 후보만 감정관 2인이 건당 15~30분 검증하되, 전산 화면에서 AFIS의 순위와 유사도 점수를 숨기고 무작위 순서로 띄우는 UI 패치만 적용해요. 인력이나 시간 추가 없이(0원) NIST OSAC 권고 수준의 독립 검증을 구현해 0.2%의 오식별과 확증 편향을 동시에 차단할 수 있어요. DNA 혼합물(저주형 교차 검증): 우도비(LR) 50 이상 고품질 시료는 편차가 0.05% 미만이므로 기존대로 1인이 30~60분간 파라미터만 감사해요. 단, 로카르 님이 제시한 저주형(Low-template) 시료는 SW 간 일치율이 91%에 불과하므로, 이 경우에만 오픈소스 기반 보조 도구로 15분간 교차 실행해 State v. Pickett 판결이 요구한 피고인 측 반박권과 형사소송법 제313조의 법정 진술 요건을 방어해요.

• 영상 위·변조(탐지 AI 배제): 최신 생성 영상(DF26)에서 AI 탐지 정확도가 44.0~69.7%로 폭락했다는 로카르 님의 근거를 수용해, 영상 판별에서는 AI 점수를 법정 증거에서 완전히 빼요. AI는 내사 단계에서 2~4시간 걸리는 메타데이터·압축 이력·코덱 이상치를 5분 만에 자동 추출하는 보조 도구로만 쓰고, 최종 위변조 판정은 감정관이 직접 내려 오판 위험과 인건비를 함께 줄여요.

눈가림 검증은 독립이 아니라, 기계가 이미 걸러 낸 표본 위에서 도장을 찍는 의식이다. 메이필드에서 감정관이 틀린 것은 점수를 봐서만이 아니다. AFIS가 올려 준 짧은 목록 안에서만 원본을 읽었기 때문이다. 순위를 가려도 목록 밖 지문은 감정인의 책상까지 오지 않는다. 윌리엄스도 같다. 얼굴인식이 뽑은 얼굴이 목격자 기억에 옮긴 뒤의 “AI 출처” 꼬리표는 오염의 기록일 뿐, 기억을 다시 채취하지 못한다. 로카르의 흔적은 이미 다음 증거로 옮겨 갔다. 후보 전체와 배제를 형사소송법 제266조의3 열람 대상에 넣어도, 열람은 수사가 한 사람에게 쏠린 다음의 일이다.

TrueAllele과 STRmix의 약 91% 일치는 정확도가 아니라 프로그램끼리의 동의다. 저주형에서 그 간격이 더 벌어졌다면, 두 결과를 나란히 보고하는 일은 반박 자료를 늘릴 뿐 어느 우도비가 사건 시료의 참값에 가까운지는 말해주지 않는다. 감정인 한 사람의 파라미터 감사가 그 차이를 못 잡는 것은 맞다. 그러나 두 번째 소프트웨어를 15분이든 얼마든 돌려 불일치를 첨부하는 절차 역시, 이 자리에 제시된 문서만으로는 검증된 교차검증이 아니다. 영상도 같은 과잉이다. 최신 생성 영상에서 검출기 AUROC가 44.0–69.7로 떨어진 수치는 “그 시험 조건의 그 검출기”에 대한 붕괴다. 배치된 모델이 그 시험 집합에 들어 있었는지는 제시된 자료에 없다. 그 대역을 모든 사건 영상의 “판별 불가” 규칙으로 승격하면, 한승우의 출처 없는 효율 수치와 방향만 반대인 같은 실수가 된다. 측정되지 않은 일반화를 오류율처럼 쓰는 일이다.

“사건과 같은 조건의 오류”를 감정 의견에 붙이라는 요구는, 그 조건의 검증 집합이 없을 때 다른 조건의 숫자를 빌려 오게 만든다. 저주형·3인 이상 혼합물과 새 생성 영상은 바로 그 공백이다. 빈칸은 현장 감정서에서 비슷한 논문의 수치로 메워지고, 법정은 그 문장을 재현 가능한 오류율로 읽는다. 약점 공략의 결론은 이렇다. 검색 로그는 검색 로그로만 남긴다. 모델 버전·임계값·걸러지기 전 출력 전체를 그 사건 파일에 동결하지 않은 채 사람을 지목하는 문장을 쓰면, 눈가림이든 교차 실행이든 재검증이 아니다. 조건이 맞은 오류율이 그 파일에 없으면 신원·기여·진위는 의견으로 올리지 않는다.

최종 입장을 고칩니다. 블라인드 검증은 재검증의 출발점일 뿐이며, 그것만으로 재검증이 완성되지는 않습니다. 약점 공략의 지적이 맞습니다. 메이필드 사건의 감정관은 AFIS가 올려 준 짧은 목록 안에서만 판단했습니다. 순위를 가려도 목록 밖의 지문은 책상까지 오지 않습니다. 그래서 순서를 바꿉니다. 특정인을 지목하는 문장을 쓰기 전에 그 사건 파일에 다음을 먼저 동결해야 합니다. 모델 버전, 임계값, 걸러지기 전 출력 전체입니다. 동결이 없으면 블라인드 검증도, 교차 실행도 재검증으로 인정하지 않습니다. 선을 긋는 지점은 그대로 "특정인을 처음 지목하는 순간"입니다. 윌리엄스 사건이 보여 주듯 단서 단계에서 오염된 기억은 다시 채취할 수 없습니다. "AI 출처" 꼬리표는 오염을 막지 못하고 기록할 뿐입니다. 그래서 통제를 사후 기록에서 사전 차단으로 옮깁니다. AI가 지목한 사람만으로는 목격자 사진 대조나 신문을 시작하지 않습니다. AI와 무관한 독립 근거가 하나 이상 있어야 합니다.

교차 분석과 "판별 불가" 규칙은 철회하고, 조건이 맞는 검증이 없으면 의견을 내지 않는다는 규칙으로 바꿉니다. TrueAllele과 STRmix의 약 91% 일치는 정확도가 아니라 두 프로그램이 서로 동의한 비율입니다. 결과를 나란히 첨부해도 어느 우도비가 참값에 가까운지는 알 수 없습니다. 영상 AUROC 44.0~69.7도 그 시험 조건에서 그 검출기가 무너졌다는 수치입니다. 배치된 모델에 그대로 옮길 수 없습니다. 이 수치를 일반 규칙으로 올린 것은 한승우의 출처 없는 효율 수치와 같은 실수였습니다. 인정합니다. 고친 규칙은 이렇습니다. 사건과 같은 조건의 검증 집합에서 나온 오류율이 그 파일에 없으면, 신원·기여도·진위를 감정 의견으로 올리지 않습니다. 저주형·3인 이상 혼합물과 신세대 생성 영상이 바로 이 공백에 해당합니다. 두 프로그램의 결과가 엇갈리면 이를 결론을 미룰 신호로 다룹니다. 반박 자료를 쌓는 데 쓰지 않습니다.

다만 한 가지는 양보하지 않습니다. 배제 결론과 후보 목록 전체는 보존해야 하고 피고인에게 공개해야 합니다. 약점 공략의 말대로 열람은 수사가 한 사람에게 쏠린 다음의 일입니다. 그래도 사후 구제의 유일한 통로입니다. 동결된 전체 출력이 없으면 형사소송법 제266조의3의 열람·등사권은 빈 서류철을 받는 권리로 전락합니다. 피고인이 알고리즘을 반박하려면 무엇이 걸러졌는지부터 볼 수 있어야 합니다. 정리합니다. AI는 단서로 씁니다. 지목하기 전에 출력을 동결합니다. 지목된 사람에게는 AI와 무관한 독립 근거를 요구합니다. 조건이 맞는 오류율이 없으면 의견을 내지 않습니다. 걸러진 것까지 전부 공개합니다.

사람이 AI 결과를 못 본 채 확인하면 독립 검증이 되나요? 기계가 먼저 후보를 걸렀다면 그렇지 않아요. 메이필드 사례처럼 감정인이 원본을 읽더라도 목록 밖 후보는 검토 대상에 오르지 않아요. 더구나 얼굴인식 결과가 목격자 기억에 섞인 뒤에는 출처를 기록해도 그 기억을 되돌릴 수 없어요. 그래서 제 기존 결론을 고쳐요. 사람을 지목하기 전에 모델 버전·임계값·걸러지기 전 출력 전체를 보존하고, AI가 고른 후보와 별개인 근거를 확인해야 해요.

재검증 횟수나 프로그램 간 일치율을 정확도로 취급할 수 있나요? TrueAllele과 STRmix의 일치는 참값을 알려주지 않고, 영상 검출기의 성능 수치도 시험 조건을 벗어난 사건에 그대로 옮길 수 없어요. AI 결과는 탐색에 쓸 수 있지만, 사람을 겨냥한 조치에는 보존된 전체 검색 과정과 독립 근거가 필요해요. 사건 조건에 맞는 검증 근거가 없다면 AI에 기대어 신원·기여·진위를 감정 의견으로 단정하지 않아야 해요. 사람의 서명보다 후보가 어떻게 추려졌고 무엇이 배제됐는지를 따져야 해요.

영장·기소용 핵심 증거(20%)에 한해 AI 모델 버전·임계값·필터링 전 전체 출력을 사건 파일에 자동 동결하고, 검증된 오류율이 없는 조건에서는 감정 의견을 아예 내지 않는 '조건부 판단 유보'로 최종안을 확정해요. 내사 단서(80%)를 0원·0초의 무검증으로 흘려보내 현장 마비를 막는 이원화 틀은 유지하되, 법정으로 가는 20% 구간에서는 불완전한 교차 실행이나 눈가림 대신 기록 동결과 의견 제한으로 오판을 원천 차단하는 것이 가장 값싸고 확실한 통제예요.

증거별 통제는 인력과 시간 낭비를 줄이면서 법적 방어력을 높이는 세 가지 규칙으로 압축해요. 첫째, 지문·얼굴인식은 감정관 2인이 15~30분간 눈가림 검증을 하기 전에 AI의 필터링 전 후보군 로그를 1초 만에 자동 박제해 형사소송법 제266조의3 열람 대상에 포함시키고, 윌리엄스 사건처럼 목격자 진술이 오염되지 않도록 AI 단서 접촉 전 진술을 먼저 녹취해요. 둘째, DNA 혼합물은 SW 간 91% 일치율이 참값을 보증하지 못한다는 비판을 수용해, 어설픈 15분 교차 실행을 빼는 대신 고품질 시료만 1인이 30~60분간 파라미터를 감사하고 검증 기준을 벗어난 저주형·3인 이상 시료는 우도비 산출을 멈춰요. 셋째, 영상 판별도 특정 시험(AUROC 44.0~69.7%) 수치를 섣불리 일반화하지 않고, ISO/IEC 17025 기관이 해당 모델 조건의 오류율을 실측하지 못했다면 AI는 5분짜리 메타데이터·코덱 추출기로만 쓰고 진위 의견은 감정서에서 제외해요.

결국 현장이 멈추지 않으려면, 확인되지 않은 AI 추론을 억지로 재검증하느라 시간을 쓰기보다 기준 미달 결과를 과감히 '검색 로그'로만 격하해야 해요. 이 방식은 추가 장비나 인력 없이(0원) ISO 21043-3·4의 분석 통제와 형사소송법 제313조의 진술 요건을 동시에 충족하는 가장 현실적인 타협안이에요.

검색이 잘라 낸 목록 위에서 눈을 가리는 절차는 재검증이 아니므로, 그 상태로 신원을 지목하는 감정 의견은 수사와 공판에 올리지 않는다. 마드리드 열차 사건에서 틀린 지문은, 감정관이 점수판을 본 뒤에야 비로소 틀린 것이 아니었다. 기계가 책상 밖으로 밀어 낸 지문은 처음부터 비교 대상이 아니었고, 윌리엄스 사건에서 얼굴인식이 건넨 얼굴은 목격자 기억에 이미 새겨진 뒤였다. 순위를 가리는 의식은 다음 증거로 옮겨 간 흔적을 다시 채취하지 못한다. 후보 전체의 열람도 수사가 한 사람에게 쏠린 다음의 일이다.

앞서 넓혀 둔 두 수치는 여기서 거둔다. AUROC 44.0–69.7은 그 검출기와 그 시험 집합에 묶인 붕괴이고, 배치된 모델이 그 집합에 들어 있었는지는 제시된 자료에 없다. 모든 사건 영상에 판별 불가를 씌우는 일은, 측정되지 않은 일반화를 오류율로 읽는 실수다. TrueAllele과 STRmix의 약 91% 일치는 프로그램끼리의 동의이며, 저주형에서 간격이 더 벌어져도 두 출력을 나란히 붙이는 절차는 이 자리의 문서로는 검증된 교차검증이 아니다. 사건과 같은 조건의 오류가 파일에 없을 때 다른 논문의 숫자를 빌려 적으면, 법정은 그 문장을 재현 가능한 오류로 읽는다. 저주형, 세 사람 이상 혼합물, 새 생성 영상은 그 빈칸이다.

수정안은 이것이다. 모델 버전, 임계값, 걸러지기 전 출력 전체가 그 사건 파일에 동결되어 있고, 그 시료와 같은 조건에서 잰 오류가 같은 파일에 있을 때만 동일성·기여·진위를 의견으로 올린다. 둘 중 하나라도 없으면 검색 기록은 검색 기록으로 남기고 사람을 지목하지 않는다. 감정인은 그 동결이 빠졌음을 법정에서 말하는 사람이며, 사람의 도장만으로 빈칸을 메우지 않는다.