AI 탐지기는 여전히 perplexity와 burstiness에 의존하는가?

오늘날 GPTZero가 AI 글쓰기를 어떻게 탐지하는지 검색해 보면, 대부분의 결과는 여전히 두 가지 통계, perplexity와 burstiness에 초점을 맞춘다. 이 둘은 GPTZero가 2023년 1월 출시된 지 몇 주 만에 유명해지게 만든 쌍이다. 그러나 GPTZero의 자체 지원 문서는 이제 다른 내용을 말한다. 같은 해 가을에 이 둘 모두의 사용을 중단했다는 것이다.

그렇다면 burstiness는 여전히 AI 탐지기에서 사용되는가? 이 용어를 학계에서 널리 알려진 말로 만든 그 도구에서는 그렇지 않다. GPTZero의 지원 센터는 더 이상 perplexity나 burstiness를 사용하지 않으며, 대신 딥러닝 기반 아키텍처로 전환했다고 분명히 밝힌다. 학생들이 실제로 가장 자주 접하는 도구인 Turnitin은 애초에 자사의 방법 일부로 이 두 용어를 공개한 적이 없다. 이 개념들이 대화에서 사라진 것은 아니다. 실제 탐지를 수행하는 제품들에서 사라진 것이다.

Burstiness는 여전히 AI 탐지기에서 사용되는가?

아니다, GPTZero에서는 그렇지 않으며, 이름 그대로도 그렇지 않다. GPTZero의 자체 지원 문서는 이를 직접적으로 밝힌다. "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Turnitin의 자체 안내서도 또 다른 방법을 설명하는데, 이는 훈련된 분류기를 사용해 제출물의 각 부분을 점수화하는 방식이며, 그 문서 어디에도 이 두 용어는 나타나지 않는다. AI 탐지의 첫 번째 물결을 규정한 두 통계는 현재 주요 도구들이 실제로 실행하는 방식이 아니다. 이는 그것들이 완전히 버려졌다고 말하는 것보다 더 좁은 주장이다. GPTZero의 자체 설명문은 여전히 그것들을 자사 모델에 입력되는 일곱 가지 지표 중 하나로 포함한다. 그것들은 측정치로서의 지위를 잃지 않은 채 방법으로서는 중단되었고, 이 두 주장 사이의 차이가 바로 이 질문의 핵심 대부분을 이룬다.

2023년 가을에 무엇이 바뀌었는가

두 용어는 결코 생소하지 않았다. GPTZero의 초기 설명문은 perplexity를 "문서에 나타난 것과 정확히 같은 단어 집합을 AI 모델이 선택했을 가능성을 측정하는 지표"로, burstiness를 "글쓰기 패턴과 텍스트 perplexity가 전체 문서에 걸쳐 얼마나 달라지는지를 측정하는 지표"로 정의했는데, 이는 문장 길이의 단순한 개수가 아니라 문서 수준의 통계이다. 이 두 정의는 지금도 GPTZero 사이트에 게시되어 있다. 달라진 것은 탐지기가 실제로 실행하는 것이 이 둘 중 무엇인가이다.

"Migrated to a deep-learning based architecture"는 마케팅 문구가 아니라 구체적인 주장이며, 실제로 종류의 변화를 설명한다. perplexity 점수는 공식에서 직접 계산된다. 텍스트를 기준 언어 모델에 통과시키고, 로그 확률을 평균한 뒤, 그 결과를 지수화한다. 반면 deep-learning 분류기는 학습된다. 인간이 쓴 예시와 AI가 쓴 예시를 대량으로 보여 주어, 학습 데이터에서 두 집합을 가르는 특징들의 조합이 무엇이든 스스로 익히게 한다. 두 번째 방식에서는 규칙을 사람이 손으로 쓰지 않는다. 모델이 그것을 찾아낸다.

이제는 사용되지 않는 두 용어에 대한 완전한 설명은 이 사이트의 다른 곳에 있다. perplexity가 실제로 무엇을 측정하는지와 burstiness가 실제로 무엇을 측정하는지는 각각 그 작동 원리를 공식까지 포함해 자세히 다룬다. 이 글은 오늘날 탐지기가 실제로 실행하는 것이 이 둘 중 어느 것인지에만 좁혀서 다룬다.

GPTZero와 Turnitin이 오늘 실제로 문서화하는 것

현재 GPTZero 기술 페이지는 제품에 포함되어 제공되는 내용을 설명하면서, 자사의 탐지기가 "end-to-end deep learning approach"이며, "sentence-by-sentence classification model"이 confidence score와 함께 확률 출력을 생성한다고 밝힌다. perplexity와 burstiness는 그 페이지 어디에도 나타나지 않는다. 구성 요소로도, 이전 기능으로도, 각주에서도 보이지 않는다.

Turnitin의 문서는 애초에 어느 용어를 중심으로 만들어진 것도 아니었다. 그 안내서는 수백 단어로 이루어진 몇 개의 청크로 나뉜 제출물을 설명하며, 각 청크는 훈련된 모델에 의해 점수가 매겨지고, 청크 점수는 보고서에 표시되는 하나의 백분율로 평균화된다. 이는 텍스트 구간에 대해 작동하는 지도 학습 분류기이며, GPTZero가 채택한 것과 같은 계열의 방법이지, 다른 이름으로 부른 perplexity 계산도 아니고 burstiness 계산도 아니다.

이 변화는 나란히 놓고 보면 가장 쉽게 보인다.

	초기 설명 자료가 기술한 내용(2023)	현재 문서가 기술하는 내용
GPTZero	참조 모델에 대해 점수가 매겨지는 perplexity와 burstiness	확률과 신뢰도 점수를 산출하는 문장 단위 딥러닝 분류기
Turnitin	공개된 적 없음, 해당 용어는 Turnitin의 자체 자료 어디에도 나타나지 않음	수백 단어의 청크를 훈련된 분류기가 점수화하고, 이를 하나의 백분율로 평균화함

이 개념들이 여전히 탐지 가능성을 설명하는 이유

이 모든 것이 perplexity와 burstiness를 틀린 개념으로 만드는 것은 아니며, 다만 현재의 메커니즘을 설명하는 데는 시대에 뒤떨어졌을 뿐이다. 두 개념은 언제나 실제로 존재하는 어떤 것을 설명해 왔다. 모델이 가장 높은 확률을 가진 다음 이어짐을 따라 샘플링하여 생성한 텍스트는 사람이 처음부터 쓴 텍스트보다 단어 단위로 더 예측 가능해지는 경향이 있으며, 한 문장에서 다음 문장으로 갈수록 변동도 더 적은 경향이 있다. 이러한 근본적인 규칙성은 공급업체가 탐지기의 구조를 바꾸었다고 해서 달라지지 않았다. 달라진 것은 탐지기가 그것을 찾아가는 방식이다.

훈련된 분류기는 perplexity나 burstiness를 명시적으로 찾도록 요청받지 않는다. 오히려 그것은 인간 텍스트와 기계 텍스트 사이의 동일한 기본적 구분에 대해 훈련되며, 이 두 통계량은 바로 그 구분을 포착하도록 설계되었다. 그리고 두 묶음을 구분하도록 훈련된 분류기가 바로 그 규칙성, 즉 두 집단 사이에서 가장 신뢰할 수 있는 차이 중 하나에 정확히 주목하지 않을 것이라고 보기는 매우 어렵다. 이는 분류기가 왜 작동할 가능성이 높은지에 대한 추론이지, 공개된 특징 목록에 대한 주장이 아니며, 이 둘은 구분되어야 한다.

독립적인 연구는, 그 기저 통계량이 단일 업체의 제품 밖에서도 여전히 유효하다는 생각을 뒷받침한다. 2023년에 발표된 학술적 zero-shot 방법인 DetectGPT는 perplexity의 가까운 친척에 해당하는, 모델의 로그 확률 함수가 한 구절 주변에서 얼마나 급하게 굽는지를 살펴보고, 레이블이 있는 예시로 분류기를 전혀 훈련하지 않은 채 한 벤치마크에서 0.95 AUROC를 달성한다. 이는 이전의 최선 zero-shot 기준선인 0.81보다 높은 수치이다. 기계가 생성한 텍스트가 모델 자신의 확률 공간 안에서 통계적으로 구별되는 영역에 놓인다는 핵심 아이디어는 여전히 활발한 연구 주제이다. 다만 그것은 GPTZero가 사용자에게 제공하는 방식이 아니다.

왜 인터넷의 많은 부분이 여전히 이것을 잘못 이해하는가

AI 탐지가 어떻게 작동하는지에 대한 대부분의 공개 설명은 GPTZero가 2023년 1월에 출시된 직후 또는 그 무렵에 작성되었다. 당시 perplexity와 burstiness는 회사가 직접 제시한 유일한 공개적 설명 틀이었다. 그 초기 설명 페이지들은 오늘날에도 여전히 공개되어 있다. 2023년 가을의 폐지 공지는 그것들에 통합되어 있지 않고 별도의 지원 페이지에 남아 있으므로, 첫 페이지를 읽고 더 조사하지 않은 작성자는 그 방법이 1년이 채 지나지 않아 바뀌었다는 사실을 알 이유가 없었을 것이다.

2026년에 유통되는 제3자 탐지기 리뷰는 GPTZero가 여전히 더 큰 시스템 안의 여러 계층 중 하나로 perplexity와 burstiness를 사용한다고 주장한다. 그 주장은 GPTZero의 현재 기술 페이지와 자체 지원 문서와 직접적으로 충돌하며, GPTZero의 자체 사이트 어디에도 이를 뒷받침하는 내용은 없다. 자신의 출시 제품을 설명하는 회사의 진술은, 같은 제품에 대한 검증되지 않은 제3자 주장보다 여전히 우선한다. 비록 공급업체 문서도 틀릴 수는 있지만 그렇다. 이 글은 그 오래된 이야기를 되풀이하는 리뷰가 아니라 GPTZero의 자체 페이지를 따른다.

이것이 당신의 글쓰기에 의미하는 바

burstiness를 중심으로 구성된 실용적 지침은 GPTZero의 자체 자료에서 그 단어가 사라졌다고 해서 쓸모없어진 것은 아니다. 문장 길이를 의도적으로 다양화하는 일은 여전히, 기계적으로 보자면, 분류기가 매우 높은 확률로 감지하도록 학습되었을 동일한 통계적 균일성을 피하자는 주장이다. 그 신호를 내부적으로 무엇이라 부르든 마찬가지다. 이를 설명하는 어휘는 바뀌었지만, 그 근본적인 조언은 공급업체의 아키텍처 변경 이후에도 살아남았다.

이 글의 주장까지 포함하여, 누구의 말을 그대로 믿을 필요는 없다. TextPulse의 free perplexity checker와 더 넓은 free tools collection을 사용하면, 어떤 세대의 탐지기든 그것이 작동하기 전에 자신의 초안이 어디에 위치하는지 살펴볼 수 있다.

그 결과가 자신의 글로 돌아가게 만든다면, 실용적인 후속 조치는 burstiness를 의도적으로 높이는 것과 학술 문단 전체에서 문장 길이를 다양화하는 것이다. 이는 지표를 쓰지 않고 같은 일을 설명한 것이다.

탐지기가 작동하는 메커니즘은 계속 바뀔 것이다. GPTZero는 이미 한 번 그것을 바꿨다. 변하지 않는 것은 이 사이트의 AI 탐지기가 실제로 어떻게 작동하는지에 대한 안내에서 전부 다루는 실제 질문이다. 즉, 예측 가능한 글쓰기가 기계가 쓴 글과 같은 것인지, 어떤 공식이 특정 연도에 유행하느냐와 무관하게 묻는 문제다.