GPTZero는 어떻게 작동하는가

"how gptzero works"를 검색창에 입력하면, 돌아오는 대부분의 결과는 여전히 perplexity와 burstiness를 설명한다. 이 두 통계는 ChatGPT 출시 후 첫 몇 주 동안 GPTZero의 창립자가 널리 알린 것이다. 이 설명은 2023년 1월에는 정확했다. 그러나 그해 가을 이후로는 정확하지 않았다. GPTZero의 자체 문서에 따르면, 회사는 그 방법을 완전히 다른 것으로 대체했다. 출시 당시의 도구가 수행하던 일과 현재 수행하는 일 사이의 간극은 매우 커서, 오늘날에도 유통되는 대부분의 설명은 더 이상 존재하지 않는 제품을 묘사한다.

오늘날 GPTZero는 perplexity 계산이 아니라, 인간이 생성한 텍스트와 AI가 생성한 텍스트가 섞인 대규모 말뭉치에 대해 문장별 분류기를 실행한다. 현재의 GPTZero도 여전히 하나의 요약 수치를 제공하지만, 그 산술은 다르다. 요약 수치 아래의 문장 수준 강조 표시 역시 2023년과는 다른 의미를 지닌다. 이 이야기의 두 버전 모두 알아둘 가치가 있다. 하나는 이 용어들을 유명하게 만든 버전이고, 다른 하나는 실제로 오늘날 작동하는 버전이다.

역사, Perplexity와 Burstiness가 GPTZero를 어떻게 유명하게 만들었는가

2023년 1월 2일, 당시 Princeton 학생이었던 Edward Tian은 ChatGPT가 나온 지 불과 몇 주 만에 GPTZero의 공개 데모를 공개했다. 그의 원래 설명 페이지는 언어 모델링에서 빌려온 두 가지 통계를 사용해 언어 모델이 어떤 글을 작성했는지를 탐지하는 방법을 설명한다. Perplexity는 기준 모델이 텍스트의 단어 선택에 얼마나 놀랐는지를 나타내는 점수이다. Burstiness는 GPTZero가 그 놀라움이 문서 전체에서 얼마나 변동했는지를 부르는 이름이다. 이 설명 페이지들 때문에 이 두 단어가 AI 글쓰기에 관한 일상적 대화에 들어오게 되었다. 오늘날 perplexity나 burstiness를 정의할 수 있는 대부분의 사람들은 교과서가 아니라 GPTZero에서 이 용어들을 배웠다.

그 메커니즘 자체는 설명하기에 단순했다. 한 구절을 기준 언어 모델에 통과시키면, 모델이 매우 예측 가능하다고 판단하는 산문, 즉 낮은 perplexity를 보이는 산문은 기계적 특성이 강한 것으로 읽힌다. 생성은 놀라운 단어보다 다음에 올 가능성이 높은 단어를 선호하는 경향이 있기 때문이다. GPTZero 자체의 현재는 폐기된 문서조차 경험칙을 하나 제시했는데, perplexity 점수가 85를 넘으면 기계보다 인간이 작성했을 가능성이 더 높다고 읽힌다고 했다. 그 기준은 한 시점의 한 모델에서 한 공급자가 제시한 것이었고, GPTZero 자체도 더 이상 그것을 지지하지 않는다.

GPTZero는 현재 어떻게 작동하는가, 문장 수준 분류기

GPTZero의 지원 센터는 이를 분명히 밝힌다. "2023년 가을 기준으로, GPTZero는 AI 탐지를 위해 더 이상 perplexity와 burstiness를 사용하지 않는데, 이는 우리가 딥러닝 기반 아키텍처로 이전했기 때문이다." 현재 기술 페이지는 이 전환이 완전함을 확인한다. 그 페이지는 "웹, 교육, 그리고 다양한 LLMs에서 생성된 AI 텍스트 데이터셋으로 훈련된, 종단 간 딥러닝 접근법"을 설명하며, 여기서 "문장별 분류 모델이 텍스트가 AI에 의해 작성되었을 확률과 신뢰도를 결정한다"고 말한다. 그 페이지 어디에도 perplexity와 burstiness는 나타나지 않는다.

그 이후로, 이 도구는 탐지 회피를 위해 재작성 도구를 거친 AI 텍스트를 잡아내기 위해 설계된 방어 계층인 Paraphraser Shield도 추가했다. 사용자는 텍스트를 붙여 넣을 수 있고, Word 문서, PDF, 이미지 파일을 업로드할 수 있으며, 한 번에 최대 50개 파일까지 처리할 수 있다. 이러한 인프라는 참조 모델이 같은 단어를 얼마나 자주 예측했을지를 세는 것과는 아무런 관련이 없다.

GPTZero 보고서가 실제로 보여 주는 것

GPTZero 결과에는 세 가지 요소가 있다. AI, 인간, 혼합 중 하나의 분류, 문서가 AI가 작성한 것일 확률을 나타내는 백분율, 그리고 그 특정 예측이 얼마나 신뢰할 만한지를 설명하는 신뢰도 표지이다. 이 표지는 겉보기보다 더 중요하다. GPTZero는 "highly confident"를 2 percent 미만의 오류율과 연결하고, "low confidence"를 14 percent 이상인 오류율과 연결하는데, 이 범위는 같은 헤드라인 백분율이라도 보고서에 따라 매우 다른 의미를 가질 수 있을 만큼 넓다.

유료 스캔에는 문장 수준의 하이라이트가 추가되며, 이를 올바르게 읽는 것이 중요하다. GPTZero는 하이라이트된 문장들을 전체 점수에 불균형하게 영향을 미치는 문장들로 설명하며, 개별 문장에 대한 고발 목록으로 설명하지 않는다. 분류기는 문장별로 투표하는 것이 아니라 문서를 전체로 읽기 때문에, 어떤 문장은 하이라이트되지 않아도 여전히 결과를 형성했을 수 있다.

보고서 요소	그것이 알려 주는 것
분류	하나의 표지, AI, 인간, 또는 혼합
AI 확률 점수	모델이 문서를 AI가 작성한 것으로 판단할 가능성을 반영하는 백분율
신뢰도 표지	2 percent 미만의 오류율인 highly confident부터 14 percent 이상인 low confidence까지의 범위
문장 하이라이트	Advanced Scan에서 점수에 가장 크게 기여하는 문장들을 표시하며, 그와 연결된 모든 문장을 표시하는 것은 아님

이러한 보고서 요소들은 perplexity와 burstiness에 대한 설명이 아직 GPTZero의 공개적 자기 설명이었을 때는 현재의 형태로 존재하지 않았다. 인터페이스는 방법과 함께 바뀌었다.

퍼플렉서티와 버스티니스 설명이 여전히 유통되는 이유

GPTZero의 원래 설명문은 여전히 온라인에 있고, 여전히 색인화되어 있으며, 개념으로서 퍼플렉서티와 버스티니스가 어떻게 작동하는지에 대한 더 분명한 일반 설명 가운데 하나로 남아 있다. 검색 엔진과 다른 사이트들은 계속 그것을 인용하고 있으며, 일부는 이 도구가 분류기와 함께 퍼플렉서티와 버스티니스 계층을 조용히 계속 실행하고 있다고 주장하는 널리 공유된 2026년 리뷰를 가리킨다. 그러나 GPTZero의 현재 페이지, 즉 기술 페이지와 두 개의 지원 문서는 정반대로 말한다. 이 용어들은 단지 배경에서 숨겨진 것이 아니라 폐기되었다는 것이다. 어떤 개념을 추상적으로 설명하는 페이지와 이 도구의 현재 방법을 설명하는 페이지는 같은 것이 아니며, 이 둘을 서로 바꿔 쓸 수 있는 것으로 취급한 것이야말로 혼란이 만료일을 지난 뒤에도 3년이나 지속된 가장 큰 이유이다.

이 문제는 단순한 잡학을 넘어선다. 퍼플렉서티를 낮추거나 문장 길이를 분산시켜 GPTZero를 이기라고 지시받는 학생이나 동료는 2023년에 작동을 멈춘 제품 버전을 겨냥한 조언을 받고 있는 것이다. 문장 분류기를 움직이는 것은 관련은 있지만 다른 질문이며, 이는 어느 한 통계치 자체보다 AI detectors가 실제로 어떻게 작동하는지에 대한 더 넓은 설명에 가깝다. GPTZero는 그것들을 측정하는 일을 멈추지 않았고, GPTZero의 설명에 따르면 그것들은 현재 모델에 입력되는 7개 지표 가운데 하나로 남아 있다. 그러나 그것들은 더 이상 답을 결정하는 요소가 아니다.

GPTZero가 할 수 없다고 말하는 것

GPTZero의 공개된 벤치마크는 공급업체가 자사 제품에 대해 공개할 가능성이 있는 수준으로는 상당히 강한 편이다. 이 회사는 "AI가 생성한 텍스트를 인간의 글쓰기와 구별할 때 99%의 정확도를 보인다"고 보고하며, "AI와 인간 텍스트를 평가할 때 GPTZero의 오탐률을 1% 이하로 유지한다"고 말하고, AI와 인간의 글쓰기가 섞인 제출물에서 "96.5%의 정확도"를 기록한다고 밝히는 한편, 비원어민 영어 글쓰기의 흔한 대용 지표인 TOEFL 에세이에서는 1.1 percent를 기록한다고 한다. 이러한 수치는 2025년 1월에 공개된 GPTZero 자체 평가에서 나온 것이며, 이를 보고하는 페이지에는 독립적 재현이 인용되어 있지 않다. 같은 페이지는 대부분의 공급업체가 내세우는 주장도 인정하지 않는데, "100% 보장은 결코 있을 수 없다"고 밝히며, 그와 반대로 주장하는 사람은 아마도 자신의 데이터나 평가 방법에 결함이 있을 것이라고 말한다.

GPTZero의 자체 한계 페이지는 마케팅 수치보다 더 구체적이다. 이 회사는 더 많은 텍스트가 제출될수록 정확도가 향상되며, 전체 문서와 비교할 때 문장 및 문단 수준에서는 정확도가 떨어진다고 밝힌다. 또한 학습 데이터가 대부분 성인 영어 산문이므로, 그 패턴에서 벗어나는 텍스트는 신뢰성 있게 분류하기 더 어렵다고 밝힌다. 더 나아가, 생성 후 크게 수정된 AI 텍스트를 잡아내도록 분류기가 학습된 것은 아니라고 밝힌다. 그리고 챗봇 출력만이 아니라 다른 기계 생성 글쓰기나 매우 절차적인 글쓰기 역시 같은 방식으로 표시될 수 있다고 분명히 밝힌다.

이러한 내용만으로 GPTZero의 수치를 의심의 여지가 없는 것으로 받아들일 이유는 없으며, 그것이 독자적으로 이해할 가치가 있는 유일한 탐지기도 아니다. 이와 같은 분류기가 실제로 무엇에 반응하는지 궁금한 독자는 무료 perplexity checker나 무료 burstiness checker를 통해 그 패턴의 한 형태를 직접 확인할 수 있다. 이는 이와 같은 보고서가 활용하는 다른 통계적 층위를 다루는 더 큰 무료 도구 모음의 두 요소이다.

GPTZero의 두 가지 핵심 통계는 각각 별도의 페이지를 가지고 있습니다: AI 탐지에서 perplexity가 측정하는 것, 그리고 두 수치를 모두 산출하는 토큰 확률 산술.

자신의 맹점을 이처럼 정확하게 밝히는 도구는, 아무런 맹점도 없다고 주장하는 도구보다 더 신뢰할 만하며, 보고서에 다음으로 나오는 설명되지 않은 백분율은 그것이 어떤 종류의 도구에 의해 생성되었는지 묻기 시작하기에 좋은 지점입니다.

우리 자체 연구가 밝혀낸 것

TextPulse Research의 탐지기 일치도 연구에서는 9개의 상용 AI 탐지기가 동일한 90개의 학술 텍스트를 평가했습니다. 그중 하나는 455단어짜리 하이브리드 텍스트로, 사람이 쓴 서두와 결말 사이에 168단어의 AI 생성 중간 부분이 끼어 있습니다. GPTZero는 이 텍스트를 41.2% AI로 판정했지만, 같은 문장에 대한 다른 도구들의 판정은 0%에서 95.7%까지 갈렸습니다. 전체 논문, 말뭉치, 도구별 점수 행렬은 TextPulse Research에서 공개되어 있습니다.