AI 탐지기는 왜 비원어민 영어 작성자에게 편향되는가

AI 탐지기가 비원어민 화자에게 편향되어 있다는 것은 주관적인 불만이 아니다. 동료 심사를 거친 2023년 Stanford 연구가 이를 직접 측정했다. 연구자들은 비원어민 영어 화자가 작성한 실제 TOEFL 에세이 91편과 미국 8학년 학생이 작성한 에세이 88편에 대해 널리 사용되는 GPT 탐지기 7종을 적용한 뒤, 각 집단의 점수가 어떻게 나오는지 비교했다.

탐지기들은 8학년 에세이를 거의 매번 정확하게 판독했다. 이미 대학원 수준의 영어 능력 시험을 통과한 성인이 작성한 TOEFL 에세이에서는, 같은 7개 도구가 평균 61.22 percent의 오탐률을 보였다. 91편 중 89편, 거의 98 percent가 7개 도구 중 적어도 하나에서 AI 생성으로 표시되었다.

TextPulse의 AI 탐지 정확성에 관한 더 넓은 근거 개요는 이 핵심 결과와 그 이후 이를 바탕으로 제기된 소송을 다룬다. 그러나 이 연구가 인용될 때 거의 어디서나 생략되는 것은 그 메커니즘이다. 왜 대학원 수준의 영어 화자의 문장이 애초에 기계가 만든 것처럼 읽히는지, 그리고 그렇게 읽히지 않게 되면 무엇이 달라지는지이다.

비원어민 화자에게 편향된 AI 탐지기, 그 메커니즘

탐지기는 의미를 읽지 않는다. 앞선 단어들을 바탕으로 각 단어가 얼마나 예측 가능한지를 읽고, 모델이 그 대부분을 미리 추측할 수 있었을 때 한 구절에 낮은 점수를 준다. 어휘 다양성, 즉 글쓴이가 더 작은 수의 무난한 단어를 반복하기보다 얼마나 넓은 어휘를 사용하는지, 그리고 통사적 예측 가능성, 즉 문장 구조가 언어에서 가장 흔한 패턴을 얼마나 가깝게 따르며 얼마나 변화를 주는지, 이 두 가지는 언어 산출의 속성으로서 그 점수를 낮추는 요인이다.

이 구분은 중요하다, 두 경우가 페이지에서 서로 다르게 나타나기 때문이다. 어휘적 다양성은 단어 자체에 관한 것이다. 예를 들어, 세 개의 서로 다른 문장에서 'obtain,' 'acquire,' and 'secure'를 사용하는 글쓴이는, 문장이 그 밖에는 동일하더라도 'get'을 세 번 쓰는 글쓴이보다 더 다양한 것으로 읽힌다. 통사적 예측 가능성은 구조에 관한 것이다. 주어, 동사, 목적어가 반복해서 이어지는 문장, 또는 종속절로 시작하거나 예상치 못한 단어로 끝나는 문장과 대비된다. 시험 상황에서 작업하는 제2언어 글쓴이가 두 경우 모두에서 더 안전한 형태를 기본값으로 삼을 이유는 충분하다.

제2언어 글쓰기는 두 측면 모두에서 일관되게 더 적게 나타나며, 이는 결함이 아니라는 점이 중요하다. 추가 언어로 글을 쓰는 글쓴이는 정답일 가능성이 가장 높은 어휘와 문장 패턴에 의존한다. 언어가 아직 완전히 자동화되지 않은 상태에서는 잘못 추측했을 때의 비용이 더 크기 때문이다. 탐지기 편향을 문서화한 Stanford 논문은, AI 탐지기가 존재하기 훨씬 이전에 확립된 바로 이 패턴에 관한 응용언어학 연구들을 인용한다. 어휘적 풍부성 감소, 어휘적 다양성 감소, 더 단순한 문장 구조는 제2언어 글쓰기의 다른 무엇이 아니라 문서화되고 측정 가능한 특징이다.

원어민 글쓰기와 비원어민 글쓰기 사이의 그 차이는 perplexity 차이로 나타나며, 이는 탐지기가 한 구절이 기계 생성인지 판단할 때 사용하는 동일한 측정값이다. 낮은 perplexity는 누가 작성했는지와 무관하게 더 기계적인 것으로 읽히며, 비원어민 글쓰기는 chatbot과는 아무 관련이 없는 이유로 그 척도에서 더 낮은 위치에 놓인다. 그 차이가 정말로 탐지기를 움직이는 요인인지, 아니면 우연인지 여부는 검증 가능한 질문이다. Stanford 연구팀은 이를 직접 시험했다.

같은 에세이를 더 풍부한 어휘로 다시 썼을 때 무슨 일이 일어났는가

연구자들은 61.22 percent의 평균 오탐률을 유발했던 동일한 91개의 TOEFL 에세이를 가져와, ChatGPT에 단 하나의 지시만으로 수정을 요청했다. "원어민처럼 들리도록 어휘 선택을 향상시켜라." 내용, 논지, 문법은 어떤 방식으로도 바꾸라고 지시하지 않았다. 그 한 번의 수정 이후, 동일한 7개 탐지기에서의 평균 오탐률은 11.77 percent로 떨어졌고, 거의 50 percentage points에 이르는 감소가 나타났으며, 모든 탐지기가 일제히 표기한 에세이 수는 18개에서 1개로 줄었다.

연구자들은 이어서 실험을 거꾸로 진행했다. 그들은 탐지기들이 원래 거의 매번 정확하게 판정했던 88개의 원어민 8학년 에세이를 가져와, 비원어민이 쓴 것처럼 어휘 선택을 단순화해 달라고 ChatGPT에 요청했다. 동일한 원어민 작성 에세이들에서의 평균 오탐률은 5.19 percent에서 56.65 percent로 급증했다. 에세이의 저자는 바뀌지 않았다. 어휘만 바뀌었고, 탐지기들은 그 어휘를 따라갔다.

Perplexity는 양방향에서 오분류율과 정확히 같은 방향으로 움직였다. TOEFL 에세이가 풍부해졌을 때는 급격히 상승했고, 8학년 에세이가 단순화되었을 때는 급격히 하락했다. 저자들은 여기서 분명한 결론을 내린다. 탐지기들이 실제로 반응한 것은 결코 저자가 아니었다는 것이다. 그것은 어휘 선택이었고, 이는 영어를 어디서 배웠는지와 무관하게 어떤 작성자의 어휘에도 나타날 수 있는 속성이다.

이 편향은 서로 다른 탐지기들 사이에서 얼마나 일관적인가

7개의 탐지기는 오류가 어느 방향으로 발생하는지에 대해서만 대체로 일치했을 뿐, 그 외에는 거의 합의하지 못했다. 모든 탐지기가 TOEFL 에세이를 8학년 에세이보다 훨씬 더 자주 표기했지만, 그 차이는 탐지기마다 매우 달랐다.

탐지기	거짓 양성률, TOEFL 에세이	거짓 양성률, 원어민 에세이
Originality.ai	76%	1%
Quil.org	75%	9%
Sapling	68%	5%
OpenAI's detector	58%	9%
Crossplag	52%	12%
GPTZero	52%	0%
ZeroGPT	48%	0%

이 수치는 2023년의 것으로, 당시 존재하던 도구들을 대상으로 측정한 것이다. 그 이후 여러 도구는 완전히 달라졌다. OpenAI는 이 시험이 끝난 지 4개월 뒤인 2023년 7월에 자체 탐지기를 중단했는데, 실제 AI 작성 텍스트의 26%만 정확히 표시하면서도 인간이 쓴 글의 9%를 여전히 잘못 분류한다는 사실을 발견했기 때문이다. 변하지 않은 것은 격차의 방향이다. 인구통계학적 범주와 언어적 범주 전반에서 탐지기를 시험하기 위해 특별히 구축된 더 넓은 편향 벤치마크는 2025년 12월에 발표되었고, 4개의 더 새로운 오픈소스 도구에 대해 실행되었는데, 여전히 과소대표 집단의 작성자에 대해 일관되게 더 낮은 재현율을 보고했다.

이러한 편향은 더 새로운 탐지기에서도 여전히 나타나는가?

Stanford 연구는 이제 여러 AI 세대 전의 것이며, 저자들 자신도 한계를 지적했다. 소규모 파일럿 표본이라는 점, 그리고 탐지기가 주로 GPT-2에 기반해 구축되었다는 점이다. GPT-2는 오늘날 탐지를 구동하는 모델보다 훨씬 작고 오래된 모델이다. 이는 타당한 질문을 제기한다. 더 나은 기술이 이 격차를 해소했는가?

가장 최근의 전용 시험은 아직 그렇지 않다고 말한다. 2026년 2월 Sultan Qaboos University의 한 연구에서 연구자들은 현재 상용 탐지기 두 가지, Turnitin과 Originality를 대상으로, 진정한 ChatGPT 이전 EFL 학생 글쓰기, 전문적인 인간 글쓰기, AI 생성 텍스트, 그리고 인간과 AI가 결합된 혼합 텍스트를 섞은 192개의 텍스트를 시험했다. 결과는 두 도구의 전체 정확도가 각각 69 percent와 61 percent였음을 보여 주었고, 실제로 편집 과정을 거치면 생성되는 종류의 글쓰기인 혼합 범주에서는 정확도가 거의 zero에 가까워졌다. 같은 연구는 언어 편향과 나란히 작동하는 두 번째 편향도 드러냈다. 과학 글쓰기에 대한 정확도는 인문학 글쓰기에 대한 정확도보다 28 to 38 percentage points 낮았다.

이 두 발견은 하나의 결함 있는 제품에 관한 것이 아니다. 서로 다른 연구팀이 서로 다른 코퍼스에서 3년 간격으로 시험한 두 가지 서로 다른 탐지기 구조는, 장르 관습이나 제2언어의 영향을 받은 글쓰기가 둘 다 아닌 글쓰기보다 이들 도구가 기계가 만든 것이라고 부르는 것에 더 가깝다는 동일한 결과에 계속 도달하고 있다. TextPulse's free tools는 작성자가 기관의 탐지기에 도달하기 전에 바로 그 통계적 프로필을 확인할 수 있게 한다.

격차가 실제이며, 시험 산물이 아님을 보여 주는 독립적 증거

TOEFL 결과의 첫 번째 문제는 그것이 2023년의 작은 파일럿 연구에만 적용된다고 주장할 수 있다는 점이다. 이에 대해서는 같은 연구팀이 탐지기와는 전혀 관련이 없는 데이터로 또 다른 연구를 수행하여 답했다. 그들은 ChatGPT가 존재하기 전에 제출되고 심사된 초록으로 표본을 제한하여, 주요 머신 러닝 학술대회인 ICLR 2023에 채택된 1,574편의 논문을 검토했다.

영어가 주요 언어가 아닌 국가에 기반을 둔 저자들은 원어민 영어권 국가에 기반을 둔 저자들보다 현저히 낮은 perplexity를 가진 초록을 작성했으며, 이 차이는 각 논문이 심사자들로부터 얼마나 높게 평가되었는지를 통제한 뒤에도 유지되었다. 이 표본은 누군가가 ChatGPT처럼 보이거나 덜 보이도록 의도하여 형성한 것이 아니었다. ChatGPT는 투고 기간이 끝났을 때 공개까지 3개월이 남아 있었다. 원어민과 비원어민 학술 글쓰기 사이의 perplexity 격차는 탐지기가 만들어낸 것이 아니다. 그것은 탐지기가 물려받은 것이다.

AI 탐지를 검정 문제로 다룬 2026년의 통계 분석은 같은 결론을 형식적으로 제시한다. 어떤 집단의 저자들이 전체적으로 볼 때 전형적인 AI 출력과 겹치는 언어를 산출할 때마다, AI가 작성한 텍스트를 실제로 포착할 수 있는 모든 탐지기는 그 집단에 한정된 더 높은 위양성률을 부담해야 한다. 이는 개별 도구의 결함이 아니라 다양한 모집단을 검정하는 데 따르는 수학적 성질이다. 비원어민 영어 저자들은 바로 그러한 겹침이 문서화된 가장 분명한 사례이다.

이것이 제2언어로 글을 쓰는 저자에게 의미하는 것

이 모든 것은 자신답지 않게 덜 쓰라는 주장이 아니다. 점수가 나오기 전에 실제로 무엇이 측정되고 있는지 아는 것이 중요하다는 이유이다. 당신의 산문을 예측 가능하다고 판독하는 탐지기는 제2언어 글쓰기의 실제 통계적 성질을 포착하고 있는 것이지, 당신이 사용하지 않은 도구를 사용했다는 증거를 잡아내는 것이 아니다.

원래 연구를 수행한 Stanford 연구자들은 자신들의 발견이 지닌 불편한 함의를 지적한다. 위양성 위험을 낮추는 동일한 어휘 조정은, 탐지기와는 무관하게, 저자가 전혀 다른 이유로 원할 수 있는 수정이기도 하다. 더 분명한 표현, 더 정확한 단어가 그것이다. TextPulse의 ESL 학술 저자를 위한 페이지는 탐지 점수와는 별개로, 그러한 수정이 실제 문장에서 어떤 모습인지 다룬다.

더 최근의 탐지기들은 이 패턴을 명시적으로 고려하기 시작하고 있다. 비교적 최근에 시장에 진입한 상업적 도구인 Pangram은 자체 기술 문서에서 분류기가 비원어민 영어 화자에게 편향되어 있지 않다고 밝히지만, 그 주장은 독립적 검증이 아니라 공급업체의 주장에 근거한 것이다. 무료 perplexity checker는 초안을 먼저 어디에도 보내지 않고도, 이러한 도구들이 글의 한 부분에서 계산하는 동일한 기저 측정을 보여준다.

실용적인 보조 항목 두 가지가 같은 범주에 있다. a, an and the를 언제 사용하는가는 이 패턴의 단일한 가장 흔한 원인이고, 보다 일반적으로는 영어 학술 글쓰기에서 자연스럽게 들리는 방법이다.

연구는 2년이 지난 지금도 서로 다른 연구팀, 서로 다른 탐지기, 서로 다른 시험 설계를 거치며 같은 방향으로 계속 축적되고 있다. 그러나 그에 발맞추지 못한 것은 널리 채택된 제도적 대응이다. 특정 학생이 이미 비난을 받은 뒤가 아니라, 어떤 한 사람에게 의존하기 전에 다양한 작성자 집단에 대해 탐지기를 감사하는 일이다. 이것이 일상적 절차가 되기 전까지, 오탐을 반박해야 하는 부담은 바로 이 연구가 가장 그럴 가능성이 높다고 말하는 작성자들에게 돌아간다.