GPTZero는 어떻게 작동하는가

검색창에 "how gptzero works"를 입력하면, 돌아오는 대부분의 결과는 여전히 perplexity와 burstiness를 설명하는데, 이 두 통계는 ChatGPT가 공개된 지 첫 몇 주 동안 GPTZero의 창립자가 널리 알린 것이다. 그 설명은 2023년 1월에는 정확했다. 그러나 그해 가을 이후로는 정확하지 않았다. GPTZero의 자체 문서에 따르면, 회사는 그 방법을 완전히 다른 것으로 대체했다. 출시 당시의 도구가 실제로 수행하던 일과 지금 수행하는 일 사이의 간극은 매우 커서, 오늘날에도 유통되는 대부분의 설명은 더 이상 존재하지 않는 제품을 설명하고 있다.

오늘날 GPTZero는 perplexity 계산이 아니라, 인간이 생성한 텍스트와 AI가 생성한 텍스트가 섞인 대규모 말뭉치 전체에 대해 문장 단위 분류기를 실행한다. 오늘날의 GPTZero는 여전히 하나의 핵심 수치를 제공하지만, 그 산술은 다르다. 핵심 수치 아래의 문장 수준 강조 표시도 2023년과는 다른 의미를 가진다. 이 이야기의 두 버전 모두 알아둘 가치가 있다. 하나는 그 용어들을 유명하게 만든 버전이고, 다른 하나는 실제로 오늘날 작동하는 버전이다.

역사, perplexity와 burstiness가 GPTZero를 유명하게 만든 방식

2023년 1월 2일, 당시 Princeton 학생이었던 Edward Tian은 ChatGPT가 나온 지 불과 몇 주 만에 GPTZero의 공개 데모를 공개했다. 그의 원래 설명 페이지는 언어 모델링에서 빌려온 두 통계를 사용해, 언어 모델이 어떤 글을 작성했는지를 탐지하는 방법을 설명한다. perplexity는 기준 모델이 텍스트의 단어 선택에 얼마나 놀랐는지를 나타내는 점수이다. burstiness는 그 놀라움이 문서 전체에서 얼마나 변동하는지를 가리키는 GPTZero의 명칭이다. 이 설명 페이지들 때문에 두 단어는 AI 글쓰기에 관한 일상적 대화에 들어오게 되었다. 오늘날 perplexity나 burstiness를 정의할 수 있는 대부분의 사람들은 교과서가 아니라 GPTZero에서 이 용어들을 배웠다.

그 메커니즘 자체는 설명하기에 단순했다. 한 구절을 기준 언어 모델에 통과시키면, 모델이 매우 예측 가능하고 낮은 perplexity를 보이는 산문은 기계 특유의 것으로 읽힌다. 생성은 놀라운 단어보다 가능성이 높은 다음 단어를 선호하는 경향이 있기 때문이다. GPTZero의 과거 문서에는 경험칙까지 실려 있었는데, perplexity 점수가 85를 넘으면 기계보다 인간이 썼을 가능성이 더 높다고 보았다. 그 기준은 한 시점의 한 모델에서 나온 한 공급업체의 기준이었고, GPTZero 자체도 더 이상 그것을 지지하지 않는다.

GPTZero는 지금 어떻게 작동하는가: 문장 수준 분류기

GPTZero의 지원 센터는, 회사가 심층 학습 구조로 전환한 뒤인 2023년 가을부터 탐지를 위해 perplexity와 burstiness를 사용하지 않게 되었다고 분명히 밝힌다. 이 글을 위해 확인한 현재 기술 페이지는 그 전환이 완전함을 확인해 준다. 그 페이지는 웹, 교육, 그리고 다양한 언어 모델의 텍스트로 학습된 종단 간 심층 학습 접근법을 설명하며, 문장별 분류 모델을 실행해 확률과 신뢰도 점수를 출력한다고 적고 있다. 그 페이지 어디에도 perplexity와 burstiness는 나타나지 않는다.

그 이후로는 방어 계층도 추가했다. Paraphraser Shield는 탐지를 피하려고 재작성 도구를 거친 AI 텍스트를 잡아내도록 설계되었다. 텍스트를 붙여 넣거나, Word 문서, PDF, 이미지 파일을 업로드할 수 있으며, 한 번에 최대 50개 파일까지 가능하다. 이러한 인프라는 기준 모델이 같은 단어를 얼마나 자주 추측했을지를 세는 것과는 아무 관련이 없다.

GPTZero 보고서는 실제로 무엇을 보여 주는가

GPTZero 결과에는 세 가지 요소가 있다. AI, 인간, 혼합에 대한 분류, 문서가 AI가 작성한 것일 확률을 나타내는 백분율, 그리고 그 특정 예측이 얼마나 신뢰할 만한지를 설명하는 신뢰도 표지이다. 이 표지는 보이는 것보다 더 중요하다. GPTZero는 "highly confident"를 2 percent 미만의 오류율과 연결하고, "low confidence"를 14 percent 이상의 오류율과 연결한다. 이 범위는 충분히 넓어서, 같은 헤드라인 백분율도 보고서에 따라 매우 다른 의미를 가질 수 있다.

유료 스캔은 문장 수준의 하이라이트를 추가하며, 이를 올바르게 읽는 것이 중요하다. GPTZero는 하이라이트된 문장들을 전체 점수에 불균형하게 영향을 미치는 문장으로 설명하며, 개별 문장에 대한 비난 목록으로 설명하지 않는다. 한 문장은 하이라이트되지 않더라도 결과 형성에 영향을 미쳤을 수 있는데, 이는 분류기가 문장별로 투표하는 것이 아니라 문서 전체를 읽기 때문이다.

보고서 요소	그것이 알려 주는 내용
분류	단일 레이블, AI, human, 또는 혼합
AI 확률 점수	모델이 해당 문서를 AI가 작성했을 가능성을 얼마나 높게 판단하는지 반영하는 백분율
신뢰도 레이블	매우 높은 신뢰도, 2 percent 오류율 미만에서 낮은 신뢰도, 14 percent 이상까지의 범위
문장 하이라이팅	Advanced Scan에서 점수에 가장 크게 기여하는 문장들을 표시하며, 이에 연결된 모든 문장을 표시하는 것은 아니다

이러한 보고서 요소들은 perplexity와 burstiness 설명문이 여전히 GPTZero의 공개적 자기 설명이던 시절에는 현재의 형태로 존재하지 않았다. 인터페이스는 방법과 함께 바뀌었다.

왜 Perplexity와 Burstiness 설명이 여전히 유통되는가

GPTZero의 원래 설명문은 여전히 온라인에 있고, 여전히 색인화되어 있으며, perplexity와 burstiness가 개념으로서 어떻게 작동하는지에 대한 더 분명한 일반 설명 중 하나로 남아 있다. 검색 엔진과 다른 사이트들은 계속 그것을 인용하고 있으며, 일부는 이 도구가 분류기와 함께 perplexity와 burstiness 계층을 조용히 계속 실행하고 있다고 주장하는 널리 공유된 2026 review를 가리킨다. 그러나 GPTZero의 현재 페이지들, 즉 technology page와 두 개의 support article은 그와 반대되는 내용을 말한다. 해당 용어들은 단지 뒤에서 숨겨진 것이 아니라 폐기되었다. 어떤 개념을 추상적으로 설명하는 페이지와 이 도구의 현재 방법을 설명하는 페이지는 같은 것이 아니며, 둘을 서로 바꿔 쓸 수 있다고 취급하는 것이 바로 이 혼란이 만료일을 3년 넘겨 지속된 주된 이유다.

이 점은 단순한 잡담을 넘어 중요하다. GPTZero를 이기기 위해 perplexity를 낮추거나 문장 길이를 분산하라는 지시를 받은 학생이나 동료는, 이미 2023년에 작동을 멈춘 제품의 버전을 겨냥한 조언을 받고 있는 셈이다. 문장 분류기를 움직이는 것은 이와 관련되지만 다른 질문이며, 단독의 어느 통계보다도 AI detectors가 실제로 어떻게 작동하는지에 대한 더 넓은 설명에 가깝다. GPTZero는 이것들을 측정하는 일을 멈추지 않았고, 회사의 설명에 따르면 이것들은 현재 모델에 입력되는 7개의 지표 가운데 하나로 남아 있지만, 더 이상 정답을 결정하는 요소는 아니다.

GPTZero가 할 수 없다고 말하는 것

GPTZero가 제시하는 정확도 수치는 공급업체가 자사 제품에 대해 공개할 법한 수준으로는 꽤 강한 편이다. 혼합 문서에서 96.5 percent의 정확도, 회사가 1 percent로 상한을 두는 전체 false-positive rate, 그리고 비원어민 영어 글쓰기의 흔한 대리 지표인 TOEFL 에세이에서 1.1 percent라는 수치다. 이 수치들은 GPTZero의 자체 평가에서 나온 것이며, 이를 보고하는 페이지에는 독립적 재현이 인용되어 있지 않다.

GPTZero의 자체 limitations 페이지는 마케팅 수치보다 더 구체적이다. 회사는 더 많은 텍스트가 제출될수록 정확도가 향상되며, 전체 문서와 비교할 때 문장 및 단락 수준에서는 정확도가 떨어진다고 밝힌다. 또한 학습 데이터가 대부분 성인 영어 산문이므로, 그 패턴에서 벗어나는 텍스트는 신뢰성 있게 분류하기 더 어렵다고 밝힌다. 더 나아가 분류기는 생성 후 크게 수정된 AI 텍스트를 잡아내도록 훈련되지 않았다고 밝힌다. 그리고 chatbot 출력뿐 아니라 다른 기계 생성 글이나 고도로 절차적인 글도 같은 방식으로 표시될 수 있다고 분명히 밝힌다.

그 어떤 것도 GPTZero의 수치를 의심의 여지 없는 것으로 취급해야 할 이유가 되지 않으며, 그것은 또한 그 자체의 기준으로 이해할 가치가 있는 유일한 탐지기도 아니다. 이와 같은 분류기가 실제로 무엇에 반응하는지 궁금한 독자는 무료 perplexity checker나 무료 burstiness checker를 통해 그 패턴의 한 형태를 직접 볼 수 있다. 이 둘은 이와 같은 보고서가 의존하는 다른 통계적 층위를 다루는 더 포괄적인 무료 도구 모음의 일부이다.

GPTZero의 두 가지 핵심 통계에는 각각 별도의 페이지가 있다. AI 탐지에서 perplexity가 측정하는 것, 그리고 두 수치를 만들어내는 토큰 확률 산술이다.

자신의 맹점을 이처럼 정확하게 밝히는 도구는 아무런 맹점도 없다고 주장하는 도구보다 더 신뢰할 만하며, 보고서에서 다음으로 설명되지 않은 백분율은 어떤 종류의 도구가 그것을 산출했는지 묻기 시작하기에 좋은 지점이다.