AI 텍스트는 왜 탐지되는가? 그 실제 이유

언어 모델에 "The weather today is,"라는 문장을 완성하라고 요청하면, "cerulean"이나 "apocalyptic" 같은 색을 고르려 하지 않는다. 대신 "sunny", "cloudy", 또는 "nice"라고 말하려고 할 것이다. 그것들은 이 문구 뒤에 가장 자주 이어졌던 단어들이기 때문이다. 문장에서 다음 단어를 고르는 소프트웨어는 바로 이런 종류의 답변을 선호하도록 설계되어 있다.

왜 AI 텍스트는 탐지되는가? "sunny"를 "cerulean"보다 선택하는 바로 그 선호가 문서 전체에 걸쳐 단어마다 작동하고, 그 결과는 사람이 실제로 차지하는 범위보다 더 좁은 글쓰기 가능성의 띠 안에 놓이기 때문이다. 탐지기는 거짓말을 잡아낼 필요가 없다. 어떤 구절이 계속해서 그 좁은 띠 안에 떨어진다는 점만 알아차리면 된다.

이후의 내용에는 공식이 필요하지 않다. 그 작동 원리는 세 가지 서로 다른 규모에서 반복되는 하나의 생각에 있다. 단어 선택, 문장 형태, 그리고 글쓴이가 거의 무의식적으로 떠올리는 특정한 세부 사항이다. 이 각각의 규모는 AI 탐지기가 실제로 어떻게 작동하는지라는 더 넓은 질문으로 이어지며, 그 근본 원인이 이름 붙여진 뒤에야 더 쉽게 보인다.

왜 AI 텍스트는 탐지되는가? 짧은 답

AI 텍스트가 탐지되는 이유는 모델의 예측을 완성된 문장으로 바꾸는 디코딩 과정이 모든 단계에서 가능성이 높은 단어를 선호하도록 만들어져 있고, 이를 수천 단어에 걸쳐 일관되게 수행하면 인간이 보통 사용하는 것보다 더 좁은 언어의 일부를 차지하는 글이 생성되기 때문이다. 통계적 도구는 모든 문장이 문법적으로 완벽하고 사실적으로 정확하더라도 그 좁음을 찾아낼 수 있다.

이 하나의 원인에서 세 가지 징후가 따라 나온다. 어휘는 가장 안전하고 흔한 단어 쪽으로 좁아진다. 문장 구조는 몇 가지 선호되는 형태 쪽으로 좁아진다. 그리고 사람이 거의 반사적으로 선택하는, 약간은 가능성이 낮은 특정 선택, 즉 특이한 단어, 곁가지 설명, 넣는 데는 비용이 들지 않지만 예측하기에는 모든 것이 드는 세부 사항은 대체로 전혀 나타나지 않는다.

언어 모델은 다음 단어를 어떻게 고르는가

그 자체로 두면, 언어 모델은 가능한 다음 단어들의 전체 순위 목록을 단순히 보고하고 다른 무언가가 선택하도록 둘 것이다. 실제로는 디코딩 전략이 그 선택을 단어마다 자동으로 수행하며, 어떤 전략이 작동하느냐에 따라 기반 모델이 전혀 변하지 않더라도 출력의 모습이 달라진다.

Greedy decoding은 항상 가장 확률이 높은 단일 단어를 선택한다. 이를 수정책으로서 nucleus sampling을 처음 제시한 논문에서 Ari Holtzman과 공동 저자들은 이 전략을 따르면 텍스트가, 그들 자신의 표현으로, '밋밋하고 이상할 정도로 반복적'이 된다고 관찰했다. 한 번에 여러 개의 유력한 연속을 추적한 뒤 하나로 정하는 beam search도 같은 문제의 유사한 형태에 부딪힌다.

Sampling 전략은 어느 정도의 무작위성을 다시 도입하지만, 통제된 방식으로 그렇게 한다. Temperature는 단어를 뽑기 전에 모델이 자신의 상위 선택지를 얼마나 강하게 선호하는지를 조정한다. 때로 top-p라고도 불리는 nucleus sampling은 분포를 누적 확률이 임계값을 넘는 가장 작은 단어 집합으로 절단하고 그 집합에서만 뽑는다. 원 논문에서는 이를 신뢰할 수 없는 꼬리가 아니라 분포의 동적 nucleus에서 sampling하는 것으로 설명했다.

이러한 설정들 가운데 가장 비결정적인 것조차도 여전히 모델이 이미 유력하다고 여기는 것을 중심으로 구성된 후보 목록에서 뽑는다. 인간의 글쓰기는 어휘를 순위 매겨 그 상위에서 뽑는 방식으로 생성된 적이 없으므로, 그 후보 목록을 끊임없이 넘어선다. 의미는 때로는 목록에 한 번도 오르지 않았던 단어에 존재한다.

어휘 평탄성: 더 적고 더 안전한 단어들

어휘 평탄성은 같은 습관의 단어 수준 버전이다. 문장의 각 지점에서 수십 개의 단어가 그 뒤를 이어갈 수 있을 것처럼 보이지만, 모델의 순위에서는 소수의 단어가 나머지보다 훨씬 위에 있고, decoding은 계속 그 소수에 도달한다. 이 선택을 문서의 모든 문장에 걸쳐 반복하면, 실제로 사용되는 단어의 범위는 비슷한 길이의 인간 글쓰기와 비교해 측정 가능하게 좁아진다.

그 효과는 일정하게 유지되기보다 누적된다. 첫 번째 문장에서 최상위 순위의 단어를 선택하는 모델은 두 번째 문장에서 최상위 순위의 단어도 흔한 단어일 가능성이 더 높다. 흔한 단어는 흔한 단어를 뒤따르는 경향이 있기 때문이다. 인간 저자는 이러한 흐름을 끊임없이 끊어내며, 구체적인 전문 용어, 약간은 특이한 동사, 안전한 근사치가 아니라 실제 대상을 지칭하는 단어를 선택한다. 이러한 차이는 생성된 버전에서 측정 가능하게 더 작은 작업 어휘로 나타나며, 두 버전이 동일한 기저 사실을 설명하더라도 마찬가지다.

이것은 개별 단어 선택의 문제가 아니라 전체 구절의 속성이다. 안전한 단어 하나로는 아무것도 증명되지 않는다. 그런 단어들이 문장마다 이어지며 같은 수준의 흔한 어휘를 반복하는 한 페이지가, 탐지기의 단어 수준 신호가 실제로 포착하도록 설계된 대상이다.

통사적 균일성: 같은 형태의 반복

통사적 균일성은 문장 수준의 대응 개념이다. 이는 문장이 얼마나 긴가의 문제가 아니다. 한 구절이 얼마나 다양한 문법적 형태를 사용하는가의 문제이다. 즉, 문장이 어떻게 시작되는지, 절이 서로 어떻게 결합되는지, 전환어가 한 생각을 다음 생각과 연결하는 역할을 얼마나 자주 수행하는지의 문제이다. 통계적으로 가능성이 높은 다음 구조를 계속 예측하는 모델은 소수의 형태만을 반복하는 작은 순환에 머문다.

문단은 문장 길이를 다양하게 하면서도, 모든 문장이 같은 주어, 동사, 보어 구조를 따르거나, 같은 종류의 전환어로 시작하거나, 같은 방식으로 종결된다면 통사적으로 평면적으로 읽힐 수 있다. 예측 가능성은 단어 수가 아니라 패턴에 존재하며, 이 구분은 burstiness가 실제로 무엇을 측정하는지에 대한 안내에서 더 자세히 다룬다.

무엇이 범위를 좁히는가	디코딩 최적화 텍스트가 하는 경향이 있는 일	인간의 글쓰기가 하는 경향이 있는 일
단어 선택	각 단계에서 가장 확률이 높은 흔한 단어를 선택한다	실제 대상을 지칭하는 더 구체적이거나 덜 흔한 단어를 찾는다
문장 시작	안전한 전환적 시작 표현의 작은 순환을 반복한다	문장이 시작되는 방식을 다양하게 바꾸며, 모델이 덜 가능성이 높다고 평가할 시작 표현도 포함한다
절 구조	한 단락 전반에 걸쳐 하나 또는 두 개의 선호되는 문법적 형태를 반복한다	문장이 필요로 하는 바에 따라 단순한 구조와 복합적인 구조를 섞는다

인간만이 하는 경향이 있는 선택

좁은 범위의 반대편은 그 범위 밖에 있는 것들이다. 실제 사건을 설명하는 사람은 둥근 수치 대신 정확한 수치를 찾고, 제대로 작동하지 않은 부분을 인정하며, 생각하는 도중에 문장을 끊어 중간에 바로잡고, 전형적이기보다 옳은 단어를 고른다. 이러한 선택 하나하나는 언어 모델의 관점에서 보면 낮은 확률의 토큰이며, 바로 그런 종류의 것을 피하도록 디코딩이 설계되어 있다.

이것이 특정하거나 특이한 글쓰기가 모든 표시에서 안전하다는 뜻은 아니며, 유창하고 정확한 글쓰기가 기본적으로 의심스럽다는 뜻도 아니다. 방법론 절, 법률 조항, 또는 크게 편집된 최종 초안은 모델과는 무관한 이유로 좁은 범위에 들어갈 수 있으며, 그렇기 때문에 단일 점수는 작성자가 누구인지에 대한 판단이 아니라 패턴에 대한 설명이다.

자신의 초안이 그 범위에서 어디에 놓이는지 보는 것이 추측하는 것보다 더 유용하다. TextPulse의 무료 perplexity checker와 burstiness checker는 단어 수준의 예측 가능성과 문장 간 리듬을 별도로 측정하므로, 평탄한 어휘와 반복되는 문장 구조가 하나로 섞인 숫자가 아니라 서로 다른 두 신호로 드러난다.

이로부터 더 좁은 두 페이지가 이어집니다. Turnitin이 AI를 구체적으로 감지하는 방식이 하나이고, 그 유사도 점수와 AI 점수의 차이가 다른 하나입니다. 이 둘은 일상적으로 서로 혼동되기 때문입니다.

두 페이지 모두 더 넓은 무료 도구 모음 안에 있으며, 단일 숫자를 무비판적으로 믿기보다 스스로 그 패턴을 확인하고 싶은 사람을 위한 것입니다.