AI 탐지기는 정확한가? 오탐지와 편향

Turnitin은 자사의 오탐지율이 1% 미만이라고 주장한다. 한 독립 연구자 집단은 비원어민 영어 화자의 글쓰기 표본을 더 넓은 범위로 하여 여러 탐지기를 시험했다. 그들은 같은 유형의 글쓰기에서 평균 오탐지율이 60%를 넘는다는 사실을 발견했다. 이 두 수치는 모두 실제이며, 모두 출판되었고, 모두 같은 시장에 판매되는 탐지기와 관련된다. AI 탐지기는 정확한가? 그것은 어떤 집단을 시험했는지, 어떤 탐지기를 사용했는지, 그리고 공급업체가 애초에 그것을 어떻게 정의했는지에 달려 있다.

이 글은 탐지기가 그 점수를 어떻게 계산하는지 다시 설명하지 않는다. 그 메커니즘, perplexity, 토큰 확률, 분류기가 어떻게 학습되는지는 다른 곳에서 자세히 다루고 있다, 그리고 아직 읽지 않았다면 먼저 읽어볼 가치가 있다. 여기서 중요한 것은 점수가 나온 뒤에 무엇이 일어나는가이다. 얼마나 자주 틀리는지, 누구의 글에 대해 가장 자주 틀리는지, 그리고 실제로 아무 잘못도 하지 않은 사람에게 거짓 비난이 어떤 대가를 치르게 하는지이다.

AI 탐지기는 정확한가?

일관되게 정확하지 않으며, 마케팅 주장과 독립적 시험 사이의 간극은 잘 문서화되어 있다. Debora Weber-Wulff가 이끄는 한 연구 집단은 2023년에 인간이 쓴 텍스트와 ChatGPT 텍스트가 섞인 자료를 대상으로 시험한 14개의 탐지 도구, 그중 12개의 무료 도구와 2개의 상용 도구에 대한 결과를 발표했다. 그들은 이 도구들 가운데 어느 것도 정확하거나 신뢰할 수 없으며, 기계가 쓴 텍스트를 인간이 쓴 것으로 표시하는 편향이 내장되어 있고, 그 반대는 그렇지 않다고 밝혔다. 이 시험에 포함된 상용 도구 두 개는 Turnitin과 PlagiarismCheck였다. 이 시험의 모든 도구는 텍스트가 패러프레이즈되었을 때 더 나쁜 성능을 보였다.

그러나 2년이 지난 지금, 상황은 정체되어 있지 않다. University of Chicago의 Booth School에서 Brian Jabarian과 Alex Imas가 작성한 working paper는 Pangram, GPTZero, Originality.ai라는 세 개의 신참과 하나의 오픈소스 경쟁 도구를 대상으로, 블로그, 뉴스, 리뷰, 픽션에서 가져온 거의 2,000개의 인간 작성 글을 사용해 성능을 시험했다. 통제된 시험 조건에서, 이들 도구 가운데 가장 우수한 도구는 정확도가 99.8 percent 아래로 떨어진 적이 없었고, 위양성률도 낮은 수준을 유지했다. 오픈소스 모델은 무작위 추측자와 같은 수준의 성능을 보였다. 상황은 실제로 더 나아졌다. 어느 정도는 그렇다. 조금은 그렇다.

그러나 핵심은 controlled라는 단어이다. 벤치마크 구절은 깨끗하고, 완전하며, 알려진 조건에서 생성된다. 제출된 에세이는 이 세 가지에 안정적으로 해당하지 않는다. Turnitin의 최고 제품 책임자도 공개적으로 말했듯이, 실제 세계의 결과는 실험실 결과와 동일하지 않을 수 있다. 다만 이는 공급업체로부터 나온 드물고 유용한 인정이다. 다음 절에서는 공급업체 수치와 독립적 수치를 나란히 제시하여, 그 격차가 주장되는 것이 아니라 보이도록 한다.

공급업체의 주장과 독립적 시험

아래 표는 네 개 탐지기가 스스로 주장하는 바를, 독립 연구자들이 도구를 직접 시험했을 때 측정한 결과와 나란히 배치한다. 공급업체 열만 보지 말고, 가운데 두 열을 함께 읽어야 한다.

Detector	Vendor-claimed accuracy	Independently observed	What the vendor says about false positives
Turnitin	98% 신뢰 임계값을 넘은 뒤에 표시함, 문서 수준의 거짓 양성은 1% 미만	약 80% 정확도, 2023년 비교에서 12개 도구 중 가장 우수했으며, 이는 도구의 이전 버전을 대상으로 한 결과임	20% AI-written 임계값을 넘는 문서 수준에서는 1% 미만, 문장 수준에서는 약 4%
GPTZero	독립적인 RAID 벤치마크에서 1% 거짓 양성률로 95.7%의 AI-text 탐지	짧은 구절에서 96% 정확도, 2025년 University of Chicago Booth 연구에서 거짓 양성률 1% 미만	RAID 벤치마크에서 1% 거짓 양성률을 보고함
Originality.ai	99% 정확도, 0.5% 거짓 양성률(Lite model), 1.5%(Turbo model)	거짓 양성률은 1% 미만이었으나, 같은 Booth 연구에서 AI-written 텍스트의 10%에서 40%를 놓침	model tier별로 별도의 거짓 양성 수치를 공개함
Pangram	경쟁 도구보다 38배 이상 낮다고 밝히는 오류율, 비원어민 영어 사용자에 대한 편향이 없다고 주장함	Booth 연구에서 정확도는 99.8% 아래로 내려가지 않았고, 거짓 양성률은 거의 0에 가까웠음	10개 텍스트 도메인과 8개 language models 전반에서 거의 0에 가까운 거짓 양성률을 주장함

두 가지가 두드러진다. 첫째, 모든 vendor 수치는 vendor가 통제하는 실험실에서 나온 것이고 Booth 수치는 아무것도 판매하지 않는 연구자들의 결과이다. 둘째, Turnitin은 2025년 연구에서 이를 테스트하지 않았기 때문에 그 가운데 열에 전혀 나타나지 않는다. 표에서 그 독립적 수치는 2023년의 이전 비교에 근거하지만, 도구의 더 오래된 버전을 대상으로 수행된 것이므로, 이 표를 동일 조건 비교로 볼 때는 이를 기억해야 한다.

Turnitin의 AI detection은 얼마나 정확한가?

Turnitin은 하나의 정확도 수치를 공개하지 않는다. 대신 임계값과 그에 따른 절충을 공개한다. 회사는 표시된 부분이 AI가 작성한 것이라고 98퍼센트 확신할 때만 문서를 표시한다고 밝혔으며, 이 임계값이 문서 수준의 거짓 양성률을 1퍼센트 미만으로 유지하는 기준이라고 설명했다. Turnitin은 AI의 도움을 받은 글쓰기의 약 85퍼센트를 찾아낸다고 추정하며, 잘못된 비난의 위험을 감수하기보다 나머지는 의도적으로 통과시킨다.

문장 수준에서 Turnitin이 반환하는 거짓 양성의 실제 비율, 즉 인터페이스가 전체 문서가 아니라 특정 행을 강조 표시하는 경우의 비율은 실제로 약 4퍼센트에 더 가깝다. 교수자가 전체 문서 점수보다 표시된 단락 하나를 캡처해 보여줄 때 알아둘 만한 수치는 바로 이것이다. 강조 표시된 문장은 옆의 문서 점수보다 의미 있게 더 높은 오류 가능성을 지니기 때문이다.

또한 Turnitin이 이 격차를 직접 인정했다는 점도 주목할 만하다. 그들은 실제 환경에서의 첫 결과, 특히 더 짧은 문서에서, 실험실 테스트를 바탕으로 예상했던 것보다 거짓 양성률이 더 높다는 사실을 발견했다. 그래서 채점 대상이 되는 최소 문서 길이를 150에서 300단어로 조정했다. 이는 공개된 수치가 실험실 밖에서는 그대로 유지되지 않았기 때문에 공급업체가 자사 제품을 조정한 사례이며, 이는 어떤 독립 연구 못지않게 많은 것을 말해 준다.

거짓 양성이 학생에게 실제로 치르는 비용

이 일은 Yale의 School of Management에 재학 중이던 경영학 석사 과정 학생에게 일어났다. 그 학생은 가능한 가장 문자 그대로의 의미에서 위반 혐의를 받았다. 사용된 탐지기는 GPTZero였다. 재무 과목의 기말시험 답안은 한 조교에 의해 표시되었는데, 그 조교는 글이 길고 장황하며 구두점과 문법이 거의 완벽하다고 생각했다. 그리고 이 특정 교수는 이를 GPTZero에 돌렸고, GPTZero는 답안을 AI가 생성했을 가능성이 높다고 평가했다.

그는 과목에 낙제했고 1년간 정학 처분을 받았다. 2025년 2월 연방법원에 제기된 그의 소송은 Yale의 자체 정책이 바로 이러한 이유로 GPTZero 같은 도구의 사용을 제한하며, 비원어민 영어 화자에 대한 문서화된 거짓 양성률을 근거로 들고 있고, 그가 그 정책을 위반하여 이를 사용했다고 주장한다. 그의 제출서류는 또한 GPTZero가 Yale의 전직 총장과 경영대학 학장의 학술 글에 대해 100 percent AI-generated 점수를 반환했다고 인용한다.

판사는 2025년 5월에 조기 금지명령 발령을 거부했다. 이 사건은 아직 해결되지 않았다, 내가 글을 쓰는 시점 기준으로. 원고인 프랑스 국적자는 비원어민 영어 화자에 대한 동일한 알려진 편향이 자신의 글이 그렇게 평가되게 만든 원인이라고 주장한다. 다음 절에서 이를 살펴본다. 논쟁의 여지가 없는 것은 그 대가이다, 학위 과정에서 1년을 잃은 것, 낙제 성적, 법률 비용, 그리고 학위를 취득하는 대신 점수를 두고 몇 달을 다툰 것. 1 percent의 거짓 양성률은 큰 집단이 그것을 특정 개인의 문제로 만들기 전까지는 작게 들린다.

어떤 글쓰기 특성이 인간의 텍스트를 기계가 만든 것처럼 보이게 하는가

일상적인 글쓰기의 네 가지 유형은 가장 큰 위험을 지니며, 그 어느 것도 사람이 잘못을 저지르는 것과는 관련이 없다. 짧은 문서, 매우 공식화된 글쓰기, 인용되었거나 템플릿화된 자료, 그리고 강하게 교정된 글쓰기는 모두 자유롭게 작성된 산문보다 더 예측 가능하게 점수화되는 경향이 있으며, 이것이야말로 모든 탐지기가 실제로 측정하는 단 하나의 속성이다. free burstiness checker는 그 동일한 변동성을 직접 측정하며, 이는 그것에 대한 설명을 읽는 것보다 그 패턴을 더 빠르게 확인하는 방법이다.

일부 장르는 의도적으로 공식적이다. 방법 섹션, 실험 보고서, 표준 커버 레터, 문헌 검토는 모두 독창적인 표현보다 관습적인 표현을 더 높이 평가하는데, 이는 그 관습이야말로 문서를 독자가 사용할 수 있게 만드는 요소이기 때문이다. 연구자들은 이를 실제 글에서 직접 검증했다. 그들은 1980년부터 2023년 사이에 발표된 학술지 초록 14,400편을, 대규모 언어 모델이 존재하기 훨씬 전의 연도들까지 포함하여, 공개적으로 이용 가능한 탐지기에 넣었다. 최대 8퍼센트가 출판 연도와 무관하게 AI 생성으로 표시되었고, New England Journal of Medicine의 초록은 10.24퍼센트로 표시되어, 시험한 다섯 학술지 가운데 가장 높은 오탐률을 보였다.

이 시험은 ChatGPT에 관한 어떤 것도 탐지하고 있었을 수 없는데, ChatGPT는 표본으로 삼은 대부분의 연도에 존재하지 않았기 때문이다. 그것이 탐지한 것은 장르였다. 더 형식적으로 말하면, 2026년의 탐지 문제에 대한 통계 분석이 제시하듯, 소프트웨어가 작성했기 때문에 예측 가능한 문장과, 그런 장르의 글이기 때문에 예측 가능한 문장을 구별하는 탐지기를 만드는 방법은 없다. 외부에서 보기에는 둘이 정확히 똑같다.

강한 편집도 비슷한 방향으로 작용한다. 초고에는 글쓴이의 구체적인 불규칙성이 남아 있다. 어색한 어순, 생각이 길어져서 길어진 문장 같은 것들이다. 철저한 교정 과정, 특히 다른 도구를 거친 교정은 바로 그런 불규칙성을 매끈하게 지워 버리는 경향이 있다. 현재까지 가장 큰 독립적 비교 연구는 14개의 탐지 도구를 시험했고, 표본 텍스트가 바꿔쓰기되거나 기계 번역되었을 때 모든 도구에서 정확도가 더 떨어진다는 사실을 발견했다.

Writing trait	문서의 겉보기 예측 불가능성을 낮추는 이유	증거가 보여주는 것
짧은 제출물	텍스트가 짧을수록 인간의 리듬과 기계의 리듬을 구분하는 자연스러운 변동이 들어갈 여지가 줄어든다	짧은 문서의 점수는 몇 개의 특이한 문장의 영향에 따라 더 크게 흔들린다
공식적이거나 학문 분야 특유의 글쓰기	장르 관습은 창의적인 표현보다 예상 가능한 표현을 더 높이 평가한다	ChatGPT 이전의 저널 초록 14,400개, 1980 to 2023은 여전히 최대 8%의 오탐을 유발했으며, 한 저널의 초록은 10.24%에 이르렀다
강하게 편집되거나 바꿔쓴 초안	다듬기 과정은 탐지기가 인간적인 것으로 읽는 개인적 불규칙성을 매끈하게 없앤다	독립적인 14개 도구 비교에서는 바꿔쓰기나 기계 번역 후 정확도가 더 떨어진 것으로 나타났다
인용되거나 템플릿화된 자료	인용된 구절은 이를 인용한 작성자의 것이 아니라 원 출처의 통계적 특징을 지닌다	인용문을 제외하지 않는 탐지기는 주변 문서를 차용된 텍스트를 기준으로 점수화한다

AI 탐지기는 왜 비원어민 영어 화자를 오분류하는가?

매우 부정확하며, 그 정도도 매우 크다. 이것이 그 사실에 처음으로 수치를 부여한 연구의 결론이다. Stanford 연구자들은 널리 사용되는 GPT 탐지기 7개를 비원어민 영어 화자의 TOEFL 에세이 91편과 미국 8학년 학생의 에세이 88편에 적용했다. 탐지기들은 8학년 에세이는 거의 매번 정확하게 판독했다. 그러나 대학원 수준의 영어 시험을 치를 만큼 유창한 성인이 작성한 TOEFL 에세이의 경우, 탐지기들의 평균 오탐률은 61.3 percent였다. 91편 중 89편의 에세이는 7개 탐지기 중 적어도 하나에 의해 GPT가 생성한 것으로 표시되었고, 그중 18편은 7개 탐지기 모두에 의해 표시되었다.

이 메커니즘은 탐지의 나머지 부분을 지배하는 것과 같은 원리이다. 예측 가능한 어휘와 더 단순한 문장 구성은 낮은 perplexity로 읽히고, 낮은 perplexity는 누가 글을 쓰고 있든 기계가 만든 것으로 읽힌다. 제2언어로 작업하는 작성자는 유창성이 추가 언어에서 실제로 어떤 모습인지가 바로 그것이기 때문에, 잘 정립된 표현에 의존하는데, 탐지기는 바로 그 프로필을 표시하도록 만들어졌다.

그 위치에 있는 작성자에게는 단순히 더 자연스럽게 쓰라는 조언이 큰 도움이 되지 않는다. 자연스러운 것이 바로 표시된 것이기 때문이다. TextPulse의 ESL 학술 작성자를 위한 페이지는 그 위험 뒤에 있는 표현 패턴을 더 자세히 다루며, 문장의 의미를 바꾸지 않으면서 무엇이 그것을 변화시키는지도 포함한다.

이것은 고립된 사례가 아니었다. 2025년 12월, 이러한 탐지기에서의 편향을 평가하도록 명시적으로 설계된 새로운 벤치마크가 공개되었다. 여기에는 여러 인구통계와 언어에 걸친 200,000개가 넘는 샘플이 포함되었다. Stanford의 첫 번째 연구로부터 2년이 지난 시점이었고, 같은 탐지기의 서로 다른 많은 모델 버전을 포함했음에도, 이 벤치마크는 영어 학습자에 대한 편향이 여전히 존재함을 드러냈다.

이것이 모든 공급업체에 해당하는 것은 아니다. Pangram의 자체 기술 문서는 그 분류기가 비원어민 영어 화자에게 편향되어 있지 않다고 명시한다. Chicago Booth 연구자들은 이 주장을 독립적으로 검증하지는 않았지만, 이는 새로운 세대의 탐지기가 이 문제를 무시하는 대신 이를 염두에 두고 구축되고 있음을 보여준다.

다른 사람이 먼저 점수를 매기기 전에 자신의 글이 어디에 위치하는지 보고 싶다면, 무료 perplexity checker가 기관에 먼저 아무것도 제출하지 않고도 탐지기가 계산할 것과 같은 기저 수치를 제공한다.

누가 또 표시되며, 왜 그런가

비원어민 영어 화자는 문서화된 위험이 가장 크지만, 같은 통계적 논리는 다른 글에도 적용된다. Weber-Wulff의 팀은 자신들이 시험한 14개 도구 모두가 패러프레이즈된 텍스트에 적용했을 때 정확도가 더 낮아진다는 사실을 발견했다. 이는 누구든 탐지기를 돌리기 전에 교정자, 편집자, 또는 지도교수의 빨간 펜을 거친 학술 글의 상당 부분을 설명한다.

이 모든 것이 그 수치가 무의미하다는 뜻은 아니며, 다만 특정 개인에 대해 어떤 의미를 갖기 전에 반드시 보강 증거가 필요하다는 뜻이다. 만약 문장이 전반적으로 균일하고, 문장 길이가 비슷하며, 리듬이 전체적으로 유사한 텍스트가 있다면, 그것을 쓴 사람이 누구인지 또는 왜 썼는지와 무관하게 더 기계적인 것으로 점수가 매겨질 것이다. 이는 추측이 아니라 free burstiness checker를 사용해 직접 확인할 수 있다.

덜 논의되는 두 번째 집단도 관련된 문제에 직면한다. 연구자들은 약 60,000개의 Reddit 게시물을 비교했는데, 그중 일부는 자폐적 저자가 썼을 가능성이 있는 것으로 식별된 하위 집단이었고, 나머지는 일반 표본이었다. 그리고 두 집단 모두를 GPT-2 기반 탐지기에 통과시켰다. 전체적으로 두 집단 모두 2 percent 미만이 표시되었지만, 자폐적 저자일 가능성이 있는 하위 집단은 일반 표본보다 유의하게 더 높은 비율로 표시되었다. 문자 그대로의, 반복적인, 촘촘하게 패턴화된 표현으로 기우는 글은, 일부 자폐적 의사소통 양식의 문서화된 특징인데, 탐지기가 포착하도록 만들어진 바로 그 낮은 변이의 텍스트를 만들어낸다.

왜 높은 점수가 높은 수준의 비난을 뜻하지 않는가

오탐률이라는 말은 문제로 표시된 한 학생이 무고할 가능성을 가리키는 것처럼 들린다. 그러나 그렇지 않다. 그것은 검사를 받는 모든 사람에 대해 그 검사가 어떻게 작동하는지를 설명한다. 그리고 이는 의학이나 보안에서의 어떤 선별 검사와 마찬가지로, 서로 다른 답을 갖는 서로 다른 질문이다.

2026년 3월 Griffith University 연구자의 통계 분석은 그 기저 수학을 명시적으로 드러낸다. AI 탐지를 하나의 고립된 문서가 아니라 학생 저자 집단에 적용되는 검사로 간주하면, 절충이 나타난다. 그 집단의 일부가 전형적인 AI 출력과 자연스럽게 겹치는 방식으로, 장르 관습에 가깝게, 제2언어 학습자의 범위에 가깝게 글을 쓸 때마다, AI가 작성한 작업을 실제로 포착할 수 있는 힘을 지닌 어떤 탐지기라도 그 겹치는 일부에 대해서는 오탐을 일으켜야 한다. 이는 특정 탐지기가 제대로 만들어지지 않았다는 주장과는 다르다. 이는 다른 증거 없이 단일 문서만으로 다양한 집단을 검사할 때의 속성이다.

논문의 설명용 예시는 그 규모를 보여준다. 학생 집단의 10퍼센트가 전형적인 AI 출력과 충분히 가깝게 글을 쓰고, 탐지기가 실제 AI 작성 작업의 80퍼센트를 포착하도록 조정되어 있다고 가정하자. 그러면 수학적으로 그 집단 전체에서 평균 오탐률은 최소 7.5퍼센트가 되어야 한다. 이는 탐지기의 공학적 결함이 아니라, 그 집단의 글이 탐지 대상과 통계적으로 얼마나 많이 겹치는지에 대한 직접적인 결과이다.

10,000명의 학생이 있는 대학에 적용하면, 이 하한만으로도 집단 전체에서 대략 750건의 오탐 표시가 발생함을 뜻하며, 이는 다른 증거를 함께 고려하지 않고 단일 문서에 대해 다양한 집단을 검사할 때의 수학적 결과이다. 논문의 저자는 이러한 수치가 실제 기관에서 측정된 값이 아니라 설명을 위한 예시임을 분명히 밝힌다. 이 예시는 특정 캠퍼스에 대한 구체적 예측이 아니라 문제의 형태를 보여준다.

정당화 가능한 AI 탐지 정책의 모습

Yale은 이미 GPTZero 같은 도구를 제한하는 것으로 알려진 정책을 가지고 있었는데, 이는 이 글이 제시한 이유와 거의 같다. 문서화된 오탐률과 비원어민 영어 사용자에 대한 문서화된 편향이 그것이다. 따라서 이것은 한 명의 불운한 학생에 대한 이야기라기보다, 기존 규칙이 지켜지지 않은 사례에 가깝다. 정책이 점수와 판정을 구분하는 차이를 실제로 집행할 때, 점수는 판정이 아니라 하나의 입력이 된다.

• 점수를 하나의 입력으로만 취급하고, 위반 판정의 유일한 근거로 삼지 않는다
• 도구를 학생에게 불리하게 사용하기 전에, 공개된 오탐률을 학생에게 고지한다
• 짧은 제출물과 비원어민 영어 글쓰기에 대해서는 추가적인 주의를 기울인다, 이 둘은 모두 문서화된 약점이다
• 통계 하나를 반박할 필요가 없는 이의 제기 절차를 보장한다

이 중 어느 것도 이례적인 일이 아니다. 이는 다른 어떤 곳에서든 단일한 포렌식 증거를 다루는 방식에 더 가깝다, 유용하고, 검증 가능하며, 그 자체만으로는 결코 충분하지 않다.

개별 작성자에게도 같은 원칙이 적용되며, 점수가 나온 뒤가 아니라 나오기 전부터 적용된다. 어떤 도구에서든 단일 수치는 판정이 아니라 추정치이며, 이를 어느 방향에서든 확실한 것으로, 즉 안전하다고 보거나 적발되었다고 보는 것은 그 수치가 감당할 수 있는 것보다 더 많은 것을 요구하는 것이다.

TextPulse의 AI humanizer tool 자체도 같은 논리에 따라 Human Score를 보고한다. 이는 자신의 텍스트로부터 계산된 추정치이지, detector의 판정이 아니며, 특정 detector가 무엇이라고 말할지를 약속하는 것이 아니라 현재 초안이 어떻게 읽히는지에 대한 신호로서 유용하다.

정확성 문제는 더 좁은 쟁점들로 나뉘며, 각각은 별도의 페이지를 가진다. Turnitin의 오탐률과 ZeroGPT의 정확성에 관한 구체적 증거는 별도로 다룬다. 점수가 이미 당신에게 불리하게 사용되었다면, AI를 사용했다고 비난받았을 때 해야 할 일, AI를 사용하지 않았음을 입증하는 데 모을 수 있는 증거, 그리고 점수에 그 자체의 기준으로 답하는 이의 제기서 작성에 관한 실용적인 자료가 있다.

어떤 보고서의 수치도 공급업체가 모델을 재학습하고 연구자들이 더 어려운 사례에 대해 계속 시험하는 한 계속 변할 것이다. 그러나 변해서는 안 되는 것은 그 아래에 있는 습관이다. 점수를 여러 측정치 중 하나로 읽고, 그것이 어떤 모집단에서 검증되었는지 묻고, 공급업체가 여전히 잘못 판정하는 사례에 대해 무엇을 말하지 않는지 묻는 것이다.