AI 탐지기는 왜 비원어민 영어 작성자에게 편향되는가

AI detectors biased against non-native speakers는 주관적인 불만이 아니다. 동료 심사를 거친 2023년 Stanford 연구가 이를 직접 측정했다. 연구자들은 널리 사용되는 GPT detectors 7개를 비원어민 영어 화자가 작성한 실제 TOEFL 에세이 91편과 미국 8학년 학생이 작성한 에세이 88편에 적용한 뒤, 각 집단의 점수가 어떻게 나오는지 비교했다.

detectors는 8학년 에세이를 거의 매번 정확하게 읽어냈다. 이미 대학원 수준의 영어 능력 시험에 합격한 성인이 작성한 TOEFL 에세이에서는, 같은 7개 도구가 평균 61.22 percent의 false positive rate를 반환했다. 91편 중 89편, 거의 98 percent가 7개 도구 중 적어도 하나에 의해 AI-generated로 표시되었다.

TextPulse의 AI detector 정확성에 관한 더 넓은 증거 개요는 이 핵심 발견과 그 이후 이어진 소송을 다룬다. 이 연구가 인용될 때 거의 어디서나 생략되는 것은 그 메커니즘이다. 왜 대학원 수준의 영어 화자의 산문이 애초에 기계가 만든 것처럼 읽히는가, 그리고 그렇게 읽히지 않게 되면 무엇이 달라지는가.

비원어민 화자에 대해 편향된 AI Detectors, 그 메커니즘

detector는 의미를 읽지 않는다. 앞선 단어들을 바탕으로 각 단어가 얼마나 예측 가능한지를 읽고, model이 그 대부분을 미리 추측할 수 있었을 때 해당 구절에 낮은 점수를 부여한다. 어휘 다양성, 즉 작성자가 더 작은 범위의 안전한 단어를 반복하기보다 얼마나 넓은 어휘를 사용하는지, 그리고 통사적 예측 가능성, 즉 문장 구조가 언어에서 가장 흔한 패턴을 얼마나 closely 따르며 그것을 얼마나 덜 변형하는지, 이 두 가지 언어 산출 특성은 그 점수를 낮추는 요인이다.

이 구분이 중요한 이유는 두 요소가 페이지에 서로 다르게 나타나기 때문이다. 어휘적 다양성은 단어 자체에 관한 것이다. 예를 들어, 한 글쓴이가 세 개의 서로 다른 문장에서 'obtain', 'acquire', 'secure'를 사용한다면, 문장이 그 밖의 점에서 동일하더라도 'get'을 세 번 쓰는 사람보다 더 다양한 글로 읽힌다. 통사적 예측 가능성은 구조에 관한 것이다. 주어, 동사, 목적어가 반복해서 이어지는 문장, 또는 종속절로 시작하거나 예상 밖의 단어로 끝나는 문장과 대비된다. 시험 상황에서 제2언어로 글을 쓰는 사람이라면, 두 경우 모두에서 더 안전한 형태를 택할 충분한 이유가 있다.

제2언어 글쓰기는 두 측면 모두에서 일관되게 더 낮은 수치를 보이며, 이는 결함이 아니라는 점이 중요하다. 추가 언어로 글을 쓰는 사람은 정답일 가능성이 가장 높은 어휘와 문장 패턴에 의존한다. 언어가 아직 완전히 자동화되지 않은 상태에서는 잘못 추측했을 때의 비용이 더 크기 때문이다. 탐지기 편향을 문서화한 Stanford 논문은, AI 탐지기가 등장하기 훨씬 전부터 확립되어 있던 바로 이 패턴에 관한 응용언어학 연구들을 인용한다. 어휘적 풍부성 감소, 어휘적 다양성 감소, 더 단순한 문장 구조는 제2언어 글쓰기의 다른 무엇인가를 뜻하는 신호가 아니라, 문서화되고 측정 가능한 특징이다.

원어민 글쓰기와 비원어민 글쓰기 사이의 그 간극은 perplexity 차이로 나타나며, 이는 탐지기가 한 구절이 기계 생성인지 판단할 때 사용하는 동일한 측정값이다. 낮은 perplexity는 누가 작성했는지와 무관하게 더 기계적인 것으로 읽히며, 비원어민 글쓰기는 chatbot과는 아무 관련이 없는 이유로 그 척도에서 더 낮은 위치에 놓인다. 그 간극이 정말로 탐지기를 움직이는 요인인지, 아니면 우연인지 여부는 검증 가능한 질문이다. Stanford 연구팀은 이를 직접 시험했다.

같은 에세이를 더 풍부한 어휘로 다시 썼을 때 무슨 일이 일어났는가

연구자들은 61.22 percent의 평균 오탐지율을 유발했던 동일한 91개의 TOEFL 에세이를 가져와, ChatGPT에 단 하나의 지시만으로 수정을 요청했다. "원어민처럼 들리도록 어휘 선택을 더 자연스럽게 다듬어라." 내용, 논지, 문법은 어떤 방식으로도 바꾸지 말라고 지시하지 않았다. 그 한 번의 수정 이후, 동일한 7개의 탐지기에서의 평균 오탐지율은 11.77 percent로 떨어졌고, 거의 50 percentage points에 이르는 감소가 나타났으며, 모든 탐지기가 일치하게 표시한 에세이 수는 18개에서 1개로 줄었다.

그다음 연구자들은 실험을 거꾸로 진행했다. 그들은 탐지기들이 원래 거의 매번 정확하게 판정했던 88개의 원어민 8학년 에세이를 가져와, 비원어민이 쓴 것처럼 어휘 선택을 단순화해 달라고 ChatGPT에 요청했다. 그 동일한 원어민 작성 에세이들에서의 평균 오탐지율은 5.19 percent에서 56.65 percent로 급증했다. 에세이의 저자는 바뀌지 않았다. 바뀐 것은 어휘뿐이었고, 탐지기들은 그 어휘를 따라갔다.

Perplexity는 양쪽 방향 모두에서 오분류율과 정확히 같은 방향으로 움직였다. TOEFL 에세이가 더 풍부한 어휘로 수정되었을 때는 급격히 상승했고, 8학년 에세이가 단순화되었을 때는 급격히 하락했다. 저자들은 여기서 분명한 결론을 이끌어낸다. 탐지기들이 실제로 반응하고 있던 것은 결코 저자성이 아니었다는 것이다. 그것은 어휘 선택이었고, 이는 영어를 어디서 배웠는지와 무관하게 어떤 작성자의 어휘에도 나타날 수 있는 속성이다.

이 편향은 서로 다른 탐지기들 사이에서 얼마나 일관적인가

7개의 탐지기는 오류가 어느 방향으로 발생하는지에 대해서만 예외적으로 대체로 일치했을 뿐, 그 밖의 많은 점에서는 의견이 같지 않았다. 모든 탐지기가 TOEFL 에세이를 8학년 에세이보다 훨씬 더 자주 표시했지만, 그 차이는 탐지기마다 매우 달랐다.

Detector	TOEFL 에세이의 오탐률	원어민 에세이의 오탐률
Originality.ai	76%	1%
Quil.org	75%	9%
Sapling	68%	5%
OpenAI's detector	58%	9%
Crossplag	52%	12%
GPTZero	52%	0%
ZeroGPT	48%	0%

이 수치는 2023년의 것으로, 당시 존재하던 도구를 기준으로 측정한 것이다. 이후 여러 도구는 완전히 달라졌다. OpenAI는 자체 detector를 2023년 7월에 중단했는데, 이는 이 시험이 있은 지 4개월 뒤의 일이다. 그 이유는 실제 AI 작성 텍스트를 올바르게 표시한 비율이 26퍼센트에 불과한 반면, 인간의 글을 9퍼센트나 잘못 분류했기 때문이다. 변하지 않은 것은 격차의 방향이다. 인구통계학적 범주와 언어적 범주 전반에서 detector를 시험하기 위해 특별히 구축된 더 넓은 편향 벤치마크는 2025년 12월에 발표되었고, 4개의 더 새로운 오픈소스 도구에 적용되었는데, 여전히 대표성이 낮은 집단의 작성자에 대해 일관되게 더 낮은 재현율을 보고했다.

이러한 편향은 더 새로운 detector에서도 여전히 나타나는가?

Stanford 연구는 이제 여러 AI 세대를 지난 것이며, 저자들 자신도 한계를 명시했다. 소규모 예비 표본이라는 점, 그리고 detector가 주로 GPT-2에 기반해 구축되었다는 점이다. GPT-2는 오늘날 detection을 구동하는 모델보다 훨씬 작고 오래된 모델이다. 이는 타당한 질문을 제기한다. 더 나은 기술이 이 격차를 좁혔는가?

가장 최근의 전용 시험은 아직 그렇지 않다고 말한다. 2026년 2월 Sultan Qaboos University의 한 연구에서 연구자들은 현재 상용 탐지기 두 가지, Turnitin과 Originality를 대상으로, 진짜 pre-ChatGPT EFL 학생 글쓰기, 전문적인 인간 글쓰기, AI 생성 텍스트, 그리고 인간과 AI가 결합된 하이브리드 텍스트를 섞은 192개 텍스트를 시험했다. 결과는 두 도구의 전체 정확도가 각각 69 percent와 61 percent였음을 보여 주었고, 실제로 편집 과정을 거치면 만들어지는 종류의 글쓰기인 하이브리드 범주에서의 정확도는 거의 0에 가까웠다. 같은 연구는 언어 편향과 나란히 작동하는 두 번째 편향도 드러냈는데, 과학 글쓰기에서의 정확도는 인문학 글쓰기보다 28 to 38 percentage points 낮았다.

이 두 발견은 하나의 결함 있는 제품에 관한 것이 아니다. 서로 다른 연구팀이 서로 다른 코퍼스를 대상으로 3년 간격을 두고 시험한 두 가지 서로 다른 탐지기 구조는, 장르 관습이나 제2언어의 영향을 받은 글쓰기가 둘 다 아닌 글쓰기보다 이 도구들이 기계가 만든 것이라고 부르는 것에 더 가깝게 나온다는 동일한 결과에 계속 도달하고 있다. TextPulse's free tools를 사용하면 작성자는 기관의 탐지기에 도달하기 전에 바로 그 통계적 프로필을 확인할 수 있다.

격차가 실제이며, 시험 산물이 아님을 보여 주는 독립적 증거

TOEFL 결과의 첫 번째 문제는 그것이 2023년의 작은 파일럿 연구에만 적용된다고 주장할 수 있다는 점이다. 이에 대해서는 같은 연구팀이 탐지기와는 전혀 관련이 없는 데이터로 수행한 다른 연구에서 답했다. 그들은 ChatGPT가 존재하기 전에 제출되고 심사된 초록으로 표본을 제한하여, 주요 머신러닝 학술대회인 ICLR 2023에 채택된 1,574편의 논문을 검토했다.

영어가 주요 언어가 아닌 국가에 기반을 둔 저자들은 원어민 영어권 국가에 기반을 둔 저자들보다 초록을 유의하게 더 낮은 perplexity로 작성했으며, 이 차이는 각 논문이 심사자들로부터 얼마나 높게 평가되었는지를 통제한 뒤에도 유지되었다. 이 표본은 누군가가 챗봇처럼 더 비슷하게 또는 덜 비슷하게 들리려는 의도로 형성되었을 가능성이 없었다. ChatGPT는 투고 기간이 끝났을 때 공개까지 3개월이 남아 있었다. 원어민과 비원어민의 학술 글쓰기 사이에 존재하는 perplexity 격차는 탐지기가 만들어낸 것이 아니다. 그것은 탐지기가 물려받은 것이다.

AI 탐지를 검정 문제로 다룬 2026년의 통계 분석은 같은 결론을 형식적으로 제시한다. 어떤 집단의 저자들이 전체적으로 볼 때 전형적인 AI 출력과 겹치는 언어를 산출할 때마다, AI가 작성한 텍스트를 실제로 잡아낼 힘이 있는 탐지기는 그 집단에 한정된 더 높은 위양성률을 부담해야 한다. 이는 특정 도구의 결함이 아니라 다양한 모집단을 검정하는 데 따르는 수학적 성질이다. 비원어민 영어 저자들은 바로 그 겹침이 문서화된 가장 분명한 사례이다.

제2언어로 글을 쓰는 저자에게 이것이 의미하는 바

이 모든 것은 자신답지 않게 덜 쓰라는 주장이 아니다. 점수가 나오기 전에 실제로 무엇이 측정되고 있는지를 아는 것이 중요하다는 이유이다. 당신의 산문을 예측 가능하다고 판독하는 탐지기는 제2언어 글쓰기의 실제 통계적 성질을 포착하고 있는 것이지, 당신이 사용하지 않은 도구를 사용했다는 증거를 제시하는 것이 아니다.

원래 연구를 수행한 Stanford 연구자들은 자신들의 발견이 지닌 불편한 함의를 지적한다. 위양성 위험을 낮추는 같은 어휘 조정은, 탐지기와는 무관하게, 더 분명한 표현이나 더 정확한 단어처럼 전혀 다른 이유로 저자가 원할 수 있는 수정이기도 하다. TextPulse의 ESL 학술 저자를 위한 페이지는 탐지 점수와는 별개로, 실제 문장에서 그런 종류의 수정이 어떤 모습인지 다룬다.

더 최근의 탐지기들은 이 패턴을 명시적으로 고려하기 시작하고 있다. 비교적 최근에 시장에 진입한 상업적 도구인 Pangram은 자체 기술 문서에서 분류기가 비원어민 영어 화자에게 편향되어 있지 않다고 밝히지만, 그 주장은 독립적 검증이 아니라 공급업체의 주장에 근거한 것이다. 무료 perplexity checker는 초안을 어디에도 먼저 보내지 않고도, 이러한 도구들이 글의 한 부분에서 계산하는 것과 같은 기저 측정값을 보여준다.

실무적으로 유용한 두 가지 관련 항목이 같은 범주에 있다. a, an and the를 언제 사용하는가는 이 패턴의 가장 흔한 단일 원인이며, 더 일반적으로는 영어 학술 글쓰기에서 자연스럽게 들리는 방법이 그것이다.

연구는 2년이 지난 지금도 서로 다른 연구팀, 서로 다른 탐지기, 서로 다른 시험 설계 전반에서 같은 방향으로 계속 축적되고 있다. 그러나 이에 발맞추지 못한 것은 널리 채택된 제도적 대응이다. 특정 학생이 이미 비난을 받은 뒤가 아니라, 어떤 탐지기를 신뢰하기 전에 다양한 작성자 집단에 대해 그 탐지기를 감사하는 일이다. 이것이 일상적 절차가 되기 전까지는, 거짓 양성 판정을 반박해야 하는 부담이 바로 이 연구가 그러한 판정을 받을 가능성이 가장 높다고 말하는 그 작성자들에게 돌아간다.