Turnitin은 인간화된 AI 텍스트를 탐지할 수 있는가?

Turnitin은 자체 지원 사이트에서 이 질문에 답하며, 그 답은 통상적인 논쟁의 어느 한쪽보다 더 구체적이다. Turnitin says에 따르면, 그들의 AI writing indicator에는 이미 인간화되었거나 탐지를 피하기 위해 bypasser를 거친 AI 생성 콘텐츠의 탐지가 포함되어 있다. 이는 공급업체가 자사 제품을 설명하는 것이다. 또한 모델이 무엇을 포괄한다고 주장하는지 알려 주므로, 시작점으로도 적절하다.

그렇다면 Turnitin은 humanized text를 탐지할 수 있는가? 이 질문은 더 좁고 더 유용한 형태로 바꿀 수 있다. Turnitin의 모델은 humanizer의 지문을 찾지 않으며, 도구 목록도 보유하지 않는다. 대신 문장을 하나씩 평가하여, 해당 글이 machine-generated text의 통계적 패턴과 얼마나 가깝게 일치하는지 점수를 매기고, 그 점수들을 문서 전체에서 평균낸다. humanized passage가 여전히 높은 점수를 받는지는, 재작성 과정에서 그 패턴이 얼마나 바뀌었는지, 그리고 문서 전체가 얼마나 많이 재작성되었는지에 달려 있다.

Turnitin은 Humanized Text를 탐지할 수 있는가? Turnitin의 주장

공개된 입장은 분명한 yes이다. humanizer를 거친 콘텐츠를 탐지할 수 있는지에 대한 질문에 대해, 안내문은 다음과 같이 말한다. "Yes, Turnitin's AI indicator includes detection of AI-generated content that may have been humanized or passed through a bypasser to avoid detection." 같은 페이지는 AI paraphrasing tools에 대해서도 같은 답을 제시한다.

이 주장은 보고서 어딘가에 두 번째 수치로 따로 나타나지 않는다. Turnitin은 이를 하나의 AI writing percentage에 포함시키며, 그 비율에 대한 공개 정의도 이를 직접적으로 밝힌다. 즉, 모델이 AI에 의해 생성되었을 가능성이 높다고 판단한 텍스트, 또는 AI paraphraser나 bypasser에 의해 생성된 뒤 수정되었을 가능성이 높은 텍스트를 포함한다. 점수는 하나이며, 모델이 가능한 범위에서 재작성을 이미 반영하고 있다.

주의 깊게 읽어야 합니다. 이는 정확성에 관한 진술이 아니라 범위에 관한 진술입니다. Turnitin은 모델이 구축될 때 인간화된 텍스트가 범위에 포함되었다고 말하고 있습니다. 이는 모든 인간화된 문서가 높은 점수를 받는다고 말하는 것과는 거리가 멀며, 아래쪽에 제시된 자체 공개 수치도 개별 문장을 불확실한 것으로 처리하는 모델을 설명합니다.

AI Writing Indicator가 실제로 채점하는 것

이는 백분율이 아닙니다. 텍스트의 비율이므로 신뢰도 수준도 아닙니다. 이는 문서 안의 텍스트 중 우리 모델이 AI 생성일 가능성이 높다고 판단하는 부분이 얼마나 되는지를 측정한 것입니다. 우리는 이를 qualified text라고 부르는데, 이는 장문 작성 형식의 산문 문장을 뜻합니다. 여기에는 글머리표 목록, 코드, 표, 짧은 단편은 포함되지 않습니다. 그래서 같은 논문이라도 서술형 산문이 얼마나 많은지에 따라 서로 다른 수치가 나올 수 있습니다.

그 아래의 메커니즘은 그리 복잡하지 않아 그려 볼 수 있습니다. Turnitin은 문서를 대략 수백 단어, 약 5개에서 10개 문장 정도의 겹치는 구간으로 나누고, 모든 문장이 문맥 속에서 점수를 받도록 서로 겹치게 합니다. 각 문장은 0과 1 사이의 값을 받습니다. 그런 다음 구간 점수를 문서 전체에 걸쳐 평균 내어 교사가 보게 되는 하나의 숫자를 만듭니다. Turnitin이 AI를 탐지하는 방식에 대한 단계별 설명은 각 단계를 더 자세히 살펴봅니다.

이 평균화 단계는 파이프라인의 다른 어떤 요소보다도 인간화된 텍스트에 더 큰 영향을 미치며, 거의 아무도 이를 고려하지 않는 부분입니다. 교사가 읽는 수치는 구간 수준 판단의 산술평균입니다. 문서는 절반이 다시 작성되었더라도, 그 재작성의 질과는 거의 무관한 이유로 중간쯤의 결과에 도달할 수 있습니다.

인간화된 출력이 때때로 여전히 높은 점수를 받는 이유

가장 흔한 이유는 범위입니다. 서론과 결론에만 humanizer를 적용하면 문헌 검토와 논의는 그대로 남고, 그 구간들은 원래 점수를 그대로 평균에 반영합니다. 긴 장에서는 앞부분 몇 쪽만 다시 쓰는 것이 몇 개의 구간만 바꾸고 나머지는 정확히 그대로 두므로, 작성자가 상당한 작업이라고 느낀 것에 비해 변화 폭이 더 작게 나타납니다.

두 번째 이유는 수정의 깊이입니다. 어휘만 바꾸고 문장 길이, 절의 순서, 전환 선택은 그대로 두는 수정은 분류기가 학습한 패턴을 대체로 그대로 유지합니다. 모델은 산문의 형태에 점수를 매기므로, 그 형태를 채우는 단어만 바꾸는 것은 대부분의 사람이 생각하는 것보다 덜 큰 변화를 만듭니다. free perplexity checker는 수정 후에도 한 구절이 얼마나 예측 가능하게 읽히는지 보여 주며, 이는 수정 전후의 단어 수준 비교보다 더 유익한 신호입니다.

세 번째 이유는 수정이 그 자체의 규칙성을 만들어 낼 수 있다는 점입니다. 모든 단락에 같은 변환을 적용하는 소프트웨어는 이전 것만큼이나 규칙적인 새로운 패턴을 만들어 냅니다. 모든 문장에 같은 유형의 접합 절단이 들어가거나, 모든 문장에 같은 종류의 완화 절이 같은 위치에 추가된다면, 그런 문장들은 처음부터 모두 같은 길이였을 때와 마찬가지로 분류기에서 고르게 보일 것입니다.

상황	AI 점수가 하는 일	이유
문서의 일부만 다시 작성된 경우	예상보다 덜 떨어짐	손대지 않은 구간은 원래 점수를 평균에 그대로 반영한다
어휘는 바뀌었지만 문장 구조는 유지된 경우	거의 움직이지 않음	분류기는 교체로 남겨진 문장 수준의 패턴에 점수를 매긴다
문장 전체가 실제로 재구성된 경우	더 많이 움직임	모델이 인식하도록 학습된 균일한 리듬이 깨진다
300단어 미만의 산문이 제출된 경우	점수가 전혀 생성되지 않음	Turnitin은 비율을 보고하기 전에 300단어의 적격 산문을 요구한다
결과가 20 percent 미만으로 나온 경우	수치 대신 별표가 표시됨	Turnitin은 이 범위의 결과를 신뢰도가 더 낮은 것으로 표시한다

같은 재작성인데도 때때로 낮은 점수가 나오는 이유

인간화된 문서는 재작성과는 무관한 이유로 낮은 점수로 돌아올 수 있다. Turnitin은 AI 비율을 생성하기 전에 적격 산문이 최소 300단어는 있어야 하며, 이는 정확도가 약간 더 많은 텍스트에서 향상된다는 명시된 이유로 원래 150단어였던 기준을 높인 것이다. 짧은 성찰문은 수치를 생성하지 않으며, 점수가 없다는 것은 깨끗하다는 것과 같은 뜻이 아니다.

Turnitin은 20 percent 미만의 범위에 대해서는 정확한 비율을 주지 않고 별표를 표시하는데, 이는 이 범위에서 오탐이 더 많이 발생하기 때문이다. 출시 당시의 교육 보도에서도 이 동작을 언급하며, 20 percent 미만의 AI 작성으로 보고된 결과는 오탐 발생률이 더 높았고 따라서 Turnitin이 면책 문구를 추가했다고 설명했다. 그 구간에 놓인 문서는 Turnitin이 정확히 보고하지 않기로 한 범위로 표시된 것이며, 이는 통과되었다는 뜻과는 다른 것이다.

또한 그 모든 것 위에는 제도적 관문이 하나 더 있다. Turnitin은 기관이 기능을 켠 경우에만 AI 글쓰기 탐지를 위해 제출물을 처리하며, 관리자는 계정 전체에서 이를 비활성화할 수 있다. Vanderbilt University는 2023년 8월에 바로 그렇게 했는데, 당시 Turnitin이 공개한 약 75,000건의 연간 제출물에 대한 1 percent의 위양성률, 비원어민 영어 작성자에 대한 편향, 그리고 모델이 어떻게 작동하는지에 대한 투명성 부족을 근거로 들었다. 기능이 꺼진 기관의 학생은 인간화되었든 아니든 어떤 제출물에도 AI 점수를 받지 않는다.

그리고 재작성의 성격이 실제로 구조적이었다면, 측정된 패턴이 달라졌기 때문에 점수는 낮아질 수 있다. Turnitin은 글쓰기 패턴에서 계산된 추정치를 보고하므로, 패턴이 다른 텍스트는 다른 점수를 받는다. 이 메커니즘은 양방향으로 작동하는데, 바로 그 점이 불편한 부분이다. 원래의 인간 글쓰기 역시 정확히 같은 이유로 때때로 높은 점수를 받는다.

각 Humanizer 공급업체가 주장하는 내용과 문서화된 내용

표에는 하나의 규칙이 적용된다. 가운데 열은 공급업체 자신의 마케팅 문구이며, 해당 문구가 존재하는 경우 그 공급업체의 사이트에서 그대로 가져온 것이다. 오른쪽 열은 각 주장 뒤에 실제로 무엇이 있는지를 기록하는데, 대부분의 경우 그것은 데이터셋도, 날짜도, 방법도 전혀 아니다. 이들 브랜드에 대해 공개된 일대일 비교 시험은 존재하지 않는다.

Brand	What the vendor claims	What is documented
Undetectable.ai	AI 탐지기를 통과한다는 점을 제품 기능으로 제시하지만, 이에 수치 표시는 없으며, 출력물이 인간이 작성한 것으로 표시되지 않으면 humanization 비용을 환불하겠다고 제안한다	환불은 상업적 조건일 뿐이며, 이 주장 뒤에는 데이터셋, 날짜, 탐지기별 결과가 없다
QuillBot	자체 페이지에서 humanizer 기능에 대해 탐지 회피나 우회 주장을 하지 않는다. 별도의 AI 탐지기는 AI 생성 콘텐츠를 탐지한다고만 설명된다	QuillBot은 일반적인 글쓰기 도구 모음 안에 humanizer를 판매하며, 이에 대해 Turnitin 관련 주장은 하지 않는다
WriteHuman	Humanizer Leaderboard에서 1위로 평가되었으며, 진지한 글쓰기를 위한 프리미엄 AI humanizer로 설명된다	해당 리더보드는 방법론이나 표본을 제시하지 않으며, WriteHuman은 순위에 수치 정확도 값을 붙이지 않는다
Walter Writes AI	Turnitin 관련 주장은 없이 80+개 언어 전반에 걸친 광범위한 humanization을 내세운다	어느 쪽이든 시험 데이터는 없다
HIX Bypass	탐지기별 우회 페이지를 내세우지만, Turnitin 관련 수치는 제시하지 않는다	HIX Bypass와 BypassGPT는 서로 다른 도메인에 있는 별개의 제품이므로, 어떤 제품에 대한 주장인지 확인해야 한다
StealthGPT	Turnitin에서 평균 98% human, GPTZero에서 95%를 보였다고 하며, 각각 30개 표본의 명시된 실행에서 탐지 0건이었고, 구독자가 탐지되면 환불해 주는 보증도 제공한다	자체 보고이다. 수치 옆에 데이터셋, 표본 선택, 날짜, 방법이 공개되어 있지 않으며, 30개 문서는 수백만 건의 제출물을 점수화하는 모델에 대한 주장으로는 작은 실행이다
Phrasly	AI 탐지 제거 도구로 자신을 위치시키며, 시험 데이터는 공개하지 않는다	어느 쪽이든 공개 주장은 없다. 리뷰에서 유통되는 수치는 2차 출처이며, 원칙상 여기서는 제외한다
Grammarly	자체 재작성 기능을 탐지 우회로 마케팅하지 않는다. AI 탐지기 페이지는 99% 탐지 정확도와 RAID의 독립 벤치마크에서 1위라는 순위를 주장한다	같은 Grammarly 페이지는 어떤 AI 탐지기도 100% 정확하지 않다고 밝힌다. Authorship 기능은 텍스트를 사람이 입력한 것, AI로 생성한 것, 또는 Grammarly로 편집한 것으로 표시한다
TextPulse	2,000개 문서로 이루어진 학술 코퍼스에서 측정한 결과, Turnitin AI에서 92.33% 통과율, Originality.ai에서 89.12%, GPTZero에서 87.91%를 보였다	TextPulse가 측정하고 공개한 것이므로, 위의 모든 수치와 마찬가지로 자체 보고이다. 코퍼스 크기와 탐지기는 명시되어 있으며, 개별 문서에 대해 어떤 탐지 결과도 약속되지 않는다

그 표에서 세 가지가 드러난다. 이들 도구의 대부분은 검출기 주장을 아예 공개하지 않는다. 몇몇은 수치에 표본 크기를 붙이는데, 이는 이 범주의 나머지 도구들보다 나은 수준이다. 그리고 그들 가운데 어느 것도 회사 밖의 사람이 직접 실행해 볼 수 있는 데이터셋을 공개하지 않는다. 다만 각 브랜드가 공을 세운 부분은 인정해야 한다. Undetectable.ai는 자신의 주장에 환불을 걸어 두었는데, 이는 형용사가 아니라 구체적인 약속이다. WriteHuman은 티어별 요청 수와 단어 수 상한을 정확히 공개하므로, 구매자는 자신이 무엇을 받는지 알 수 있다. Grammarly는 정확도 수치를 제시하는 같은 페이지에서 그 수치의 조건을 명시하는데, 이는 대부분의 검출기 공급업체보다 나은 점이다. 그리고 QuillBot이 아예 우회 주장을 하지 않기로 한 것은 목록에서 가장 방어 가능한 입장이다.

왜 공급업체 밖의 누구도 이 수치를 확인할 수 없는가

Turnitin 통과율을 주장하는 인간화 도구 공급업체는 자신이 통제하는 계정으로, 자신이 선택한 문서에 대해, 보통은 명시하지 않는 날짜에 실행한 결과를, 새로운 언어 모델이 출시될 때마다 Turnitin이 수정하는 분류기를 상대로 설명하는 것이다. 이는 StealthGPT의 30개 표본 수치에도 해당하고, 이 사이트가 공개하는 2,000개 문서 수치에도 똑같이 해당한다. 말뭉치의 크기는 수치 안에 들어 있는 잡음의 양을 바꾼다. 그러나 자가 보고를 감사로 바꾸지는 못한다.

문제의 다른 절반은 Turnitin이 검출한다고 주장하는 모델 목록 자체가 새로운 출시가 나올 때마다 수정된다는 점이다. 지난 분기의 분류기를 상대로 측정한 그 통과율은 지난 분기의 분류기만을 설명할 뿐, 그 외의 것은 설명하지 않는다. 이것이 왜 누구도 Turnitin을 우회하는 최고의 AI 인간화 도구를 특정할 수 없는지를 설명하는 내용은 별도로 제시되어 있다. 이 사이트를 포함한 모든 인간화 도구 홈페이지의 모든 수치는, 공급업체가 공개하지 않았을 수도 있는 날짜를 담고 있는 스냅샷이다.

돈을 내기 전에 우회 주장 읽는 법

검토할 가치가 있는 주장과 무시할 가치가 있는 주장을 가르는 네 가지 질문이 있으며, 이는 위 표의 모든 행, 마지막 행을 포함하여, 모두에 적용된다.

• 몇 개의 문서가 테스트되었으며, 누가 그것들을 선택했는가? 표본 크기 없이 제시된 백분율은 숫자를 두른 구호에 불과하다.
• 어느 날짜에, 그리고 어떤 detector 버전에 대해인가? 탐지 모델은 새로운 language model이 출시될 때마다 개정되며, 날짜가 없는 통과율은 금방 낡는다.
• 보증은 환불인가, 아니면 결과인가? 환불 약속은 작은 재정적 위험을 이전할 뿐이며, 학문적 진실성 심사에는 전혀 아무런 영향을 주지 않는다.
• 공급업체는 인용, 기술 용어, 또는 블록 인용문에 무슨 일이 일어난다고 말하는가? 대부분의 humanizer 페이지는 아무 말도 하지 않으며, 그것 자체가 하나의 답이다.

그 마지막 질문은 detector의 산술보다도, 학술 과제를 제출하는 사람에게 더 많은 것을 결정한다. 잘 점수화되고 방법론 문장을 조용히 일반화하는 재작성은, 평가받고 있던 바로 그 대상을 잃게 만든다. TextPulse's academic humanizer는 APA, MLA, IEEE, Chicago, Harvard 및 Vancouver 전반에 걸친 인용 보존, 통과가 실행되기 전에 정확한 어휘를 고정하기 위한 freeze terms, 그리고 Flesch-Kincaid grade 13 to 18로 출력이 유지되는 동료 심사 학술 텍스트 기반 학습을 문서화한다. 이것들은 텍스트에 대해 일어나는 일에 관한 주장으로, detector의 백분율에 관한 주장과는 다른 종류의 주장이다. 독자는 1분 안에 출력에서 그것들을 검증할 수 있다.

점수가 학생에게 의미하는 것, 어느 쪽이든

Turnitin은 AI writing indicator가 위반 판정이 아님을 분명히 밝힌다. Turnitin의 product page는 Turnitin Originality가 "does not make a determination of misconduct through our AI writing detection (or similarity checking) technology."라고 명시한다. 또한 Turnitin이 각 기관의 정책에 근거해 교사가 정보에 입각한 결정을 내릴 수 있도록 정보를 제공한다고 분명히 밝힌다. 이는 모델이 "may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."라고 경고함으로써 다시 강조된다.

학생들은 기본적으로 점수를 보지 못한다. Turnitin은 AI writing detection 지표와 보고서가 학생에게는 보이지 않는다고 명시하며, 이를 볼 수 있는 유일한 방법은 교사가 보고서를 PDF로 내려받아 전달하는 것이다. 자신의 초안을 확인하는 학생은 서로 다른 데이터로 학습된 다른 도구를 확인하는 것이며, 두 수치가 일치해야 할 의무는 없다.

이로써 점수만으로는 해결되지 않는 부분이 남는다. AI 지원이 아예 허용되었는지는 강좌와 기관의 문제이며, AI use policy가 이를 백분율보다 훨씬 명확하게 답한다. 허용되고 공개된 사용에서 높은 점수는 근거를 동반한 논의의 출발점이다. 정책이 금지한 미공개 사용에서 낮은 점수가 나왔다고 해도, 그것은 여전히 미공개 사용이다.

자신의 초안을 편집하는 작성자에게 이 모든 것의 실질적 의미는 점수가 글을 따라간다는 점이다. Turnitin의 모델은 문서 전체에 걸친 문장 수준의 패턴을 측정하므로, 부분적 수정은 부분적 변화만 만들고 어휘만 바꾸는 작업은 거의 변화를 만들지 못한다. how to humanize AI text의 전체 안내는 패턴을 바꾸는 구조적 수정들을, 가장 큰 변화를 만드는 순서대로 설명한다.

TextPulse의 AI humanizer는 이러한 구조적 수정들을 문서 전체에 한 번에 적용하고, 어떤 특정 탐지기가 무엇을 말할지의 예측이 아니라 텍스트 자체로 계산한 추정 Human Score를 보고한다. 어떤 도구도 Turnitin의 결과를 약속할 수 없다. 어떤 도구도 Turnitin의 모델 내부를 볼 수 없기 때문이다. 그렇지 않다고 주장하는 제품은 관찰할 방법이 없는 결과를 설명하고 있는 것이다.

humanizer와 paraphraser의 구분은 여기서 중요하며, paraphrased text가 여전히 표시되는 이유도 마찬가지로 중요하다.

이것에서 숫자는 가장 덜 흥미로운 부분이다. 결과를 결정하는 것은 채점자가 그것을 본 뒤의 20분이다. 즉, 그 논문이 자신의 작업 과정을 보여줄 수 있는지, 초안의 이력, 메모 묶음, 작성자가 열지 않고도 말할 수 있는 자료를 제시할 수 있는지 여부이다. 그러한 증거는 실제로 작업한 사람이라면 누구에게나 उपलब्ध하며, 다시 쓴 글이 바꾸지 못한 점수보다 오래 남는다.