AI 탐지기는 정확한가? 오탐과 편향

Turnitin은 오탐률이 1% 미만이라고 주장한다. 한 독립 연구자 집단은 영어가 모국어가 아닌 화자의 글쓰기 샘플을 더 넓은 범위로 수집하여 여러 탐지기를 시험했다. 그들은 같은 유형의 글쓰기에서 평균 오탐률이 60%를 넘는다는 사실을 발견했다. 이 두 수치는 모두 실제이며, 모두 발표되었고, 모두 같은 시장에 판매되는 탐지기와 관련된다. AI 탐지기는 정확한가? 이는 어떤 집단을 시험했는지, 어떤 탐지기를 사용했는지, 그리고 공급업체가 애초에 그것을 어떻게 정의했는지에 달려 있다.

이 글에서는 탐지기가 그 점수를 어떻게 계산하는지 다시 설명하지 않는다. 그 메커니즘, perplexity, 토큰 확률, 분류기가 어떻게 훈련되는지는 다른 곳에서 자세히 다루었다, 그리고 아직 읽지 않았다면 먼저 읽어볼 가치가 있다. 여기서 중요한 것은 점수가 산출된 뒤에 무엇이 일어나는가이다. 즉, 얼마나 자주 틀리는지, 누구의 글에 대해 가장 자주 틀리는지, 그리고 아무 잘못도 하지 않은 사람에게 허위 비난이 실제로 어떤 대가를 치르게 하는지이다.

AI 탐지기는 정확한가?

일관되게 그렇지는 않으며, 마케팅 주장과 독립적 시험 사이의 간극은 잘 문서화되어 있다. Debora Weber-Wulff가 이끄는 연구자 집단은 2023년에 인간이 쓴 텍스트와 ChatGPT 텍스트를 혼합한 자료를 대상으로 시험한 14개의 탐지 도구, 그중 12개의 무료 도구와 2개의 상용 도구에 대한 결과를 발표했다. 그들은 이 도구들 가운데 어느 것도 정확하거나 신뢰할 수 없으며, 기계 텍스트를 인간이 쓴 것으로 표시하는 내재적 편향이 있고, 그 반대 방향은 아니라고 밝혔다. 이 시험에 포함된 상용 도구 두 개는 Turnitin과 PlagiarismCheck였다. 이 시험의 모든 도구는 텍스트가 패러프레이즈되었을 때 더 나쁜 성능을 보였다.

그러나 2년이 지난 지금, 상황은 정체되어 있지 않다. Chicago 대학교 Booth School의 Brian Jabarian과 Alex Imas가 작성한 working paper는 블로그, 뉴스, 리뷰, 픽션에서 가져온 거의 2,000개의 인간 작성 글을 사용해, Pangram, GPTZero, Originality.ai라는 세 개의 신참과 하나의 오픈소스 경쟁자를 시험했다. 통제된 시험 조건에서, 이들 가운데 가장 우수한 도구는 정확도 99.8% 아래로 떨어진 적이 없었고, 위양성률도 낮은 수준을 유지했다. 오픈소스 모델은 무작위 추측자와 같은 수준으로 수행했다. 상황은 분명 더 나아졌다. 어느 정도는 그렇다. 조금은 그렇다.

그러나 핵심은 controlled라는 단어다. benchmark 구절은 깨끗하고, 완전하며, 알려진 조건에서 생성된다. 제출된 에세이는 이 셋 중 어느 것도 안정적으로 충족하지 않는다. Turnitin의 최고 제품 책임자 자신이 공개적으로 말했듯이, 실제 세계의 결과가 실험실 결과와 동일하지 않을 수 있다. 다만 이는 공급업체로부터 나온 드물고도 유용한 인정이다. 다음 절에서는 공급업체 수치와 독립적 수치를 나란히 제시하여, 그 차이가 주장되는 것이 아니라 보이도록 한다.

공급업체의 주장과 독립적 시험

아래 표는 네 개 탐지기가 스스로 주장하는 성능과, 독립 연구자들이 도구를 직접 시험했을 때 측정한 성능을 나란히 보여준다. 공급업체 열만 보지 말고, 가운데 두 열을 함께 읽어야 한다.

탐지기	제공업체가 주장하는 정확도	독립적으로 관찰된 결과	제공업체가 거짓 양성에 대해 말하는 내용
Turnitin	표시 전에 98% 신뢰 임계값, 문서 수준 거짓 양성은 1% 미만	약 80% 정확도, 2023년 비교에서 12개 도구 중 최고, 이는 도구의 이전 버전을 기준으로 함	20% AI 작성 임계값을 넘는 문서 수준에서는 1% 미만, 문장 수준에서는 약 4%
GPTZero	독립적인 RAID 벤치마크에서 1% 거짓 양성률로 95.7% AI 텍스트 탐지	짧은 구절에서 96% 정확도, 2025년 University of Chicago Booth 연구에서 거짓 양성률 1% 미만	RAID 벤치마크에서 1% 거짓 양성률을 보고함
Originality.ai	99% 정확도, 0.5% 거짓 양성률, Lite 모델, 1.5%, Turbo 모델	거짓 양성률은 1% 미만이었지만, 같은 Booth 연구에서 AI 작성 텍스트의 10%에서 40%를 놓침	모델 등급별로 별도의 거짓 양성 수치를 공개함
Pangram	경쟁 도구보다 38배 이상 낮다고 주장하는 오류율, 비원어민 영어 작성자에 대한 편향이 없다고 밝힘	Booth 연구에서 정확도는 99.8% 아래로 떨어진 적이 없고, 거짓 양성률은 거의 0에 가까움	10개 텍스트 도메인과 8개 언어 모델 전반에서 거의 0에 가까운 거짓 양성률을 밝힘

두 가지가 두드러진다. 첫째, 모든 제공업체 수치는 제공업체가 통제하는 실험실에서 나온 것이며, Booth 수치는 아무것도 판매하지 않는 연구자들로부터 나온 것이다. 둘째, 2025년 연구에서 Turnitin을 시험하지 않았기 때문에 그 중간 열에는 Turnitin이 전혀 나타나지 않는다. 표에서 그 독립적 수치는 2023년의 이전 비교에 근거하지만 도구의 더 오래된 버전을 사용해 수행되었으므로, 이 표를 동일 조건 비교로 볼 때는 이를 기억해야 한다.

Turnitin의 AI 탐지는 얼마나 정확한가?

Turnitin은 하나의 정확도 수치를 공개하지 않는다. 대신 임계값과 그에 따른 절충을 공개한다. 회사는 표시된 부분이 AI가 작성한 것이라고 98% 확신할 때만 문서를 표시한다고 밝혔으며, 이 임계값이 문서 수준의 false positive 비율을 1% 미만으로 유지하는 핵심이라고 설명했다. Turnitin은 AI의 도움을 받은 글쓰기의 약 85%를 잡아내며, 잘못된 비난의 위험을 피하기 위해 나머지는 의도적으로 통과시킨다고 추정해 왔다.

문장 수준에서 Turnitin이 반환하는 false positive의 실제 비율, 즉 인터페이스가 문서 전체가 아니라 특정 행을 강조 표시하는 경우의 비율은 실제로 4%에 더 가깝다. 교수가 문서 전체 점수 대신 표시된 단락 하나만 캡처해 두는 경우 알아둘 만한 수치는 바로 이것이다. 강조 표시된 문장은 옆의 문서 점수보다 의미 있게 더 높은 오류 가능성을 지니기 때문이다.

Turnitin이 이 격차를 직접 인정했다는 점도 주목할 만하다. 그들은 첫 실제 환경 결과, 특히 더 짧은 문서에서, 실험실 테스트에 근거해 예상했던 것보다 false positive 비율이 더 높다는 사실을 발견했다. 그래서 채점 대상이 되는 최소 문서 길이를 150에서 300 words로 조정했다. 이는 공개된 수치가 실험실 밖에서는 유지되지 않았기 때문에 공급업체가 자사 제품을 조정한 사례이며, 이는 어떤 독립 연구 못지않게 많은 것을 시사한다.

false positive가 학생에게 실제로 드는 비용

이 일은 Yale's School of Management의 executive MBA 학생에게서 발생했다. 가장 문자 그대로의 의미에서, 그 학생은 위반 혐의를 받았다. 관련된 탐지기는 GPTZero였다. 금융 과목의 그 학생 기말시험은 한 조교에 의해 표시되었는데, 그 조교는 글이 길고 정교하며 구두점과 문법이 거의 완벽하다고 생각했다. 그리고 이 특정 교수는 이를 GPTZero에 돌리고 있었고, GPTZero는 답안을 AI가 생성했을 가능성이 높다고 평가했다.

그는 과목에 낙제했고 1년간 정학 처분을 받았다. 2025년 2월 연방법원에 제기된 그의 소송은 Yale의 자체 정책이 바로 이런 이유로 GPTZero와 같은 도구의 사용을 제한하고 있으며, 비원어민 영어 화자에 대한 문서화된 오탐지율이 그 근거라고 주장하고, 그가 그 정책을 위반하여 이를 사용했다고 주장한다. 그의 제출서류는 또한 GPTZero가 Yale의 전직 총장과 경영대학 학장의 학술 글에 대해 100% AI-generated 점수를 반환했다고 인용한다.

판사는 2025년 5월 조기 금지명령을 내리기를 거부했다. 이 사건은 아직 해결되지 않았다, 내가 글을 쓰는 시점 기준으로. 원고인 프랑스 국적자는 비원어민 영어 화자에 대한 동일한 알려진 편향이 자신의 글이 그렇게 평가되게 만든 원인이라고 주장한다. 이것이 다음 절에서 살펴볼 내용이다. 논쟁의 여지가 없는 것은 그 대가이다, 학위 과정에서 1년을 잃은 것, 낙제 성적, 법률 비용, 그리고 학위를 취득하는 대신 점수 하나를 두고 수개월을 다툰 일이다. 1%의 오탐지율은 큰 집단이 그것을 특정 개인의 문제로 만들기 전까지는 작게 들린다.

AI 탐지기는 왜 비원어민 영어 화자를 잘못 분류하는가?

매우 부정확하며, 그 정도도 상당히 크다. 이것이 이를 처음 수치로 제시한 연구의 결론이다. Stanford 연구자들은 널리 사용되는 7개의 GPT 탐지기를 비원어민 영어 화자의 TOEFL 에세이 91편과 미국 8학년 학생들의 에세이 88편에 적용했다. 탐지기들은 8학년 에세이를 거의 매번 정확하게 읽어냈다. 그러나 대학원 수준의 영어 시험을 치를 만큼 유창한 성인들이 작성한 TOEFL 에세이의 경우, 탐지기들의 평균 오탐지율은 61.3%였다. 91편 중 89편이 7개 탐지기 가운데 적어도 하나에 의해 GPT가 생성한 것으로 표시되었고, 그중 18편은 7개 탐지기 모두에 의해 표시되었다.

이 메커니즘은 나머지 탐지 과정 전체를 지배하는 것과 같은 원리이다. 예측 가능한 어휘와 더 단순한 문장 구성은 낮은 perplexity로 읽히고, 낮은 perplexity는 누가 글을 쓰고 있든 기계가 만든 것으로 읽힌다. 제2언어로 글을 쓰는 작성자는 유창성이 실제로 추가 언어에서 어떤 모습으로 나타나는지에 해당하는, 잘 정착된 표현에 의존하는데, 바로 그것이 탐지기가 표시하도록 만들어진 전형이다.

그런 위치에 있는 작성자에게는 단순히 더 자연스럽게 쓰라는 조언이 큰 도움이 되지 않는다. 자연스러움이 바로 표시된 대상이기 때문이다. TextPulse의 ESL 학술 작성자를 위한 페이지는 이러한 위험의 배경이 되는 표현 패턴을 더 자세히 다루며, 문장의 의미를 바꾸지 않으면서 무엇이 그것을 변화시키는지도 포함한다.

이것은 고립된 사례가 아니었다. 2025년 12월, 이러한 탐지기의 편향을 평가하도록 명시적으로 설계된 새로운 벤치마크가 공개되었다. 여기에는 여러 인구통계와 언어에 걸친 200,000개가 넘는 샘플이 포함되었다. Stanford의 첫 번째 연구로부터 2년이 지난 시점의 결과였고, 같은 탐지기의 서로 다른 모델 버전들을 많이 포함했음에도, 이 벤치마크는 영어 학습자에 대한 편향이 여전히 존재함을 드러냈다.

모든 공급업체에 대해 이런 것은 아니다. Pangram의 자체 기술 문서는 그 분류기가 비원어민 영어 화자에게 편향되어 있지 않다고 밝힌다. Chicago Booth 연구자들은 이 주장을 독립적으로 검증하지는 않았지만, 더 새로운 세대의 탐지기가 이 문제를 무시하는 대신 이를 염두에 두고 구축되고 있음을 보여준다.

다른 사람이 점수를 매기기 전에 자신의 글이 어디에 위치하는지 보고 싶다면, 무료 perplexity 검사기가 기관에 먼저 제출하지 않고도 탐지기가 계산할 것과 같은 기저 수치를 제공한다.

누가 또 표시되며, 왜 그런가

비원어민 영어 화자가 가장 큰 문서화된 위험을 지니지만, 같은 통계적 논리는 다른 글에도 적용된다. Weber-Wulff의 팀은 자신들이 시험한 14개 도구 모두가 패러프레이즈된 텍스트에 적용했을 때 정확도가 더 낮아진다는 사실을 발견했다. 이는 누구든 탐지기를 적용하기 전에 교정자, 편집자, 또는 지도교수의 빨간 펜을 거친 학술 글의 상당 부분을 가리킨다.

이 모든 것이 그 수치가 무의미하다는 뜻은 아니다. 다만 특정 개인에 대해 그것이 무엇을 의미하는지 말하려면 먼저 보강 증거가 필요하다는 뜻이다. 문장이 전반적으로 균일하고, 문장 길이가 비슷하며, 리듬도 전체적으로 유사한 텍스트가 있다면, 누가 왜 썼는지와 무관하게 더 기계적인 것으로 점수가 매겨진다. 이는 추측이 아니라 무료 burstiness checker를 사용해 직접 확인할 수 있다.

방어 가능한 AI 탐지 정책은 어떤 모습인가

Yale에는 이미 GPTZero 같은 도구를 제한하는 것으로 알려진 정책이 있었는데, 이는 이 글이 제시한 이유와 거의 같다. 즉, 문서화된 오탐률과 비원어민 영어 화자에 대한 문서화된 편향이다. 따라서 이것은 한 불운한 학생의 이야기라기보다 기존 규정이 지켜지지 않은 사례에 가깝다. 정책이 실제로 점수와 판정의 차이를 집행할 때, 점수는 판정이 아니라 하나의 입력값이 된다.

• 점수를 하나의 입력값으로만 취급하고, 위반 판정의 유일한 근거로 삼지 않는다
• 도구의 공개된 오탐률을 학생들에게 사용 전에 고지한다
• 문서화된 약점인 짧은 제출물과 비원어민 영어 글쓰기에 추가적인 주의를 적용한다
• 통계를 반박할 것을 요구하지 않는 이의 제기 절차를 보장한다

이 중 어느 것도 특이한 일이 아니다. 이는 다른 어떤 곳에서든 단일한 포렌식 증거를 다루는 방식에 더 가깝다. 유용하고, 검증 가능하며, 그것만으로는 결코 충분하지 않다.

개별 작성자에게도 같은 원칙이 점수가 나온 뒤가 아니라 나오기 전부터 적용된다. 어떤 도구에서든 단일 수치는 판정이 아니라 추정치이며, 그것을 안전하다는 뜻이든 적발되었다는 뜻이든 어느 한쪽의 확실성으로 취급하는 것은 그 수치가 감당할 수 있는 것보다 더 많은 것을 요구하는 일이다.

TextPulse의 자체 AI humanizer 도구는 같은 논리에 따라 Human Score를 제시합니다. 이는 탐지기의 판정이 아니라 사용자의 텍스트 자체로부터 계산된 추정치이며, 특정 탐지기가 무엇이라고 말할지를 약속하는 것이 아니라 초안이 현재 어떻게 읽히는지를 보여 주는 신호로 유용합니다.

정확성 문제는 더 좁은 여러 질문으로 나뉘며, 각각은 별도의 페이지를 가집니다. 탐지기가 인간이 쓴 글을 잘못 표시하는 비율은 별도로 다루며, Turnitin의 오탐지율과 ZeroGPT의 정확도에 대한 구체적 증거도 따로 있습니다. 점수가 이미 사용자에게 불리하게 사용되었다면, AI를 사용했다고 आरोप받았을 때 무엇을 해야 하는지, AI를 사용하지 않았음을 입증하기 위해 수집할 수 있는 증거, 그리고 점수 자체에 그 논리로 답하는 이의 제기 서한 작성에 관한 실용적인 자료도 있습니다.

어떤 보고서의 수치도 공급업체가 모델을 재학습하고 연구자들이 더 어려운 사례들에 대해 계속 시험하는 만큼 계속 변할 것입니다. 그러나 변하지 말아야 할 것은 그 아래의 습관입니다. 점수를 여러 측정값 중 하나로 읽고, 어떤 모집단을 기준으로 검증되었는지 묻고, 공급업체가 여전히 잘못 판정하는 사례들에 대해 무엇을 말하지 않는지 묻는 것입니다.