AI humanizer는 실제로 작동하는가?

"do ai humanizers work"를 검색창에 입력하면, 그 질문에 답하는 거의 모든 페이지가 하나를 판매하고 있다. 이것은 음모가 아니라, 단지 분명한 유인이다. 다시 쓰기 도구를 만든 회사가 그것이 실패하는 사례를 앞세울 리는 없다. 실제로 일어나는 일은 그 중간에 있으며, 그것은 "work"가 무엇을 뜻하는지에 달려 있다. AI humanizer 도구는 문단의 특정하고 측정 가능한 속성을 바꾼다. 그 변화들 가운데 일부는 detector의 점수를 움직인다. 다른 것들은 그렇지 않다. 몇몇 변화는 문단이 실제로 말하는 내용에 실질적인 비용을 치르게 한다.

AI humanizer는 AI가 생성한 텍스트를 다시 써서 그 통계적 지문을 바꾸는 도구이다. 즉, 단어 선택, 문장 길이, 구두점 습관, detector가 실제로 측정하는 속성들을 바꾼다. 특정 humanizer를 채점 과제에 사용해도 안전한지, 또는 그것이 단순한 패러프레이징 도구와 어떻게 비교되는지는 별개의 질문이며, 각각에 대한 답도 따로 있다. 여기서 다루는 것은 더 좁다. 다시 쓰기가 기계적으로 무엇을 하는지, 그리고 그 메커니즘의 어느 부분이 실제로 점수를 움직이는지이다.

이것은 시험 결과가 아니다. TextPulse는 humanizer 도구들 사이의 통제된 비교를 수행하지 않았다. 그리고 설령 수행했더라도, 일화적인 승리는 거의 의미가 없을 것이다. 그러나 문단을 바꾸기 위해 어떤 일을 할 때 기계적으로 무엇이 일어나는지, 왜 그중 일부는 점수를 움직이고 일부는 움직이지 않는지, 그리고 더 낮은 수치를 얻기 위해 어떤 위험을 감수하게 되는지를 이해하는 데는 도움이 될 것이다. 다음 내용은 detector가 어떻게 회피되는지에 관한 출판된 연구와 다른 매체들이 자체적으로 발표한 시험을 바탕으로, 메커니즘을 설명한다. 즉, 문단에서 무엇이 바뀌는지, 왜 그중 일부는 점수를 움직이고 일부는 움직이지 않는지, 그리고 큰 폭의 재작성은 더 낮은 수치를 얻는 대가로 무엇을 위험에 빠뜨리는지이다.

AI humanizer가 실제로 바꾸는 것

시중의 모든 humanizer는 대체로 세 가지 일을 조합해서 수행한다. 개별 단어를 덜 예측 가능한 동의어로 바꾸고, 문장 길이의 균일성을 깨기 위해 문장을 재배열하거나 병합하며, 때로는 문장을 부분적으로 손보는 대신 통째로 다시 쓴다. 첫 번째는 거의 외형적 변화에 가깝다. 두 번째가 가장 중요하다. 문장 길이의 변동성, 즉 burstiness는 탐지기가 점수를 산출하기 전에 계산하는 두 가지 측정치 가운데 하나이며, 다른 하나는 순간순간 단어 선택이 얼마나 예측 가능한가이다.

그 차이는 한 문장 안에서도 드러난다. "The study employed a robust methodology"를 단어 단위로 바꾸면 "The study used a strong approach"가 되는데, 이는 약간 더 자연스럽게 읽히고 문장의 형태도 거의 바꾸지 않는다. 구조를 다시 짜면 "Because the sample skewed young, the researchers ran a mixed-methods design rather than a single survey."가 된다. 이는 길이도 다르고, 절 구조도 다르며, 다음에 무엇이 올지 예측하려는 모델에게 주는 놀라움의 정도도 다르다. 탐지기가 측정하도록 설계된 신호에 실제로 영향을 주는 것은 두 번째 버전뿐이다.

이 구분은 이론적인 것이 아니다. 탐지기는 의미를 읽는 것이 아니다. 언어 모델이 만들어낼 패턴과 얼마나 가깝게 일치하는지를 점수화한다. 이는 바로 우리의 how to humanize AI text 가이드가 문장 하나씩 손으로 그 패턴을 깨는 방법을 가르치는 것과 정확히 같은 방식이다. humanizer 도구는 같은 범주의 작업을 훨씬 더 큰 규모로 한 번에 수행하고 있다.

이러한 변화 가운데 실제로 점수에 영향을 주는 것은 무엇인가

가장 분명한 증거는 이러한 종류의 공격을 시험하기 위해 전용 패러프레이징 모델인 DIPPER를 구축한 연구자들로부터 나온다. 잘 연구된 탐지 방법인 DetectGPT에 적용했을 때, DIPPER의 패러프레이즈는 고정된 1 percent 위양성률에서 탐지 정확도를 70.3 percent에서 4.6 percent로 낮추었고, 연구자들은 이러한 재작성으로 원문 텍스트의 의미가 눈에 띄게 바뀌지는 않았다고 보고했다. 이는 측정된 효과이지 마케팅 주장이 아니다. 문장을 단위로 한 구절의 구조를 다시 짜면 점수가 큰 폭으로 변할 수 있다.

그 결과와 상업적 humanizer의 마케팅 페이지 사이에는 그만큼의 간극이 있다. 이것이 바로 도구마다, 그리고 이를 검토하는 사람마다 결과가 크게 달라지는 주된 이유이다. DIPPER는 연구용 모델이다. 이는 하나의 공개적으로 문서화된 탐지기를 평가하기 위해 통제된 조건에서 구축되고 시험되었다. 모든 사례에 동일한 재작성 강도가 사용되었다. 브라우저에서 실행되는 도구는 같은 범주의 편집, 즉 단어 치환과 문장 재구성을 수행한다. 그러나 그것은 연구 논문이 가지는 수준의 통제, 즉 반대편의 탐지기나 재작성의 품질에 대한 통제를 갖고 있지 않다.

한 탐지기에서 더 낮은 점수가 다른 탐지기로 그대로 옮겨가지 않는 이유

탐지기는 같은 기준점에서 같은 것을 측정하지 않는다. AI detectors가 어떻게 작동하는지에 대한 보조 글에서 그 메커니즘을 자세히 다루지만, 여기서 중요한 점은 단순하다. 각 탐지기는 자체 기준 모델에 대해 점수가 매겨지므로, 한 탐지기에는 예측 불가능해 보이는 수정도 다른 탐지기에는 여전히 평범하게 보일 수 있다.

연구자들은 편집, 패러프레이징, 프롬프팅, 그리고 결합 공격에 대해 여러 상용 및 오픈 탐지기를 스트레스 테스트한 결과, 성능이 평균 35 percent 하락했지만 그 하락은 고르지 않았다고 밝혔다. 그들의 결론은 거의 어떤 탐지기도 모든 공격 유형에 걸쳐 견고함을 유지하지 못했으며, 각각은 하나의 공통된 약점이 아니라 서로 다른 구체적 허점을 지니고 있었다는 것이었다. 단일 humanizer에 대한 실제 환경 테스트는 같은 패턴을 보여 주었다. 같은 방식으로 다시 쓴 문단이 두 개의 별도 탐지기에서 100 percent AI로 평가되었고, 세 번째에서는 100 percent를 유지했으며, 네 번째에서는 88 percent로 떨어졌는데, 이는 하나의 도구를 한 번 통과한 결과였다.

공격적인 재작성의 비용

이 범주의 마케팅은 대개 대폭 재작성의 반대편에 있는 실패 양상을 거의 언급하지 않는다. 점수를 바꾸기 위해 문장의 일부를 충분히 바꾸는 도구는, 동시에 그 문장의 의미를 잃게 할 만큼도 바꿀 수 있다. 한 매체는 동일한 AI-generated 문단을 열 개의 서로 다른 humanizer 도구에 통과시킨 뒤 원문과 대조했다. 그 결과 몇몇은 더 이상 영어로 해석되지 않는 문장을 만들어 냈다. 한 도구는 "Tap your Apple ID"라는 지시를 "Faucet your Apple ID"로 바꾸었다. 또 다른 도구는 "Understanding LinkedIn Premium"을 "Grasping LinkedIn Premium"으로 바꾸었는데, 검토자들은 이것이 "전혀 같은 의미를 전달하지 않는다"고 지적했다. 그들의 전체 결론은 이 도구들이 "기사 전체의 의미에 대한 어떤 감각도 가지고 있는 것처럼 보이지 않았다"는 것이었다.

학술 글쓰기는 그러한 실패를 제품 블로그 글보다 덜 관대하게 다룬다. 약화 표현이 더 강한 주장으로 바뀌는 것, 예를 들어 "may indicate"가 "shows"로 다시 쓰이는 것은, 인용문이 실제로 무엇을 뒷받침하는 데 사용되고 있는지를 바꾼다. 또한 인용문을 중심으로 문장을 재배열하면 인용이 원래 붙어 있던 주장과 분리될 수 있다. in-text citation fixer는 출처가 결코 뒷받침하지 않은 세부사항을 만들어 내지 않으면서, 문장에서 벗어난 인용을 제자리로 옮길 수는 있지만, 해당 주장이 여전히 그 출처의 내용과 일치하는지는 알려 주지 못한다. 인용이 많은 구간은 어느 경우든 직접 확인할 가치가 있다.

편집 유형	검출기 점수에 대한 전형적 효과	무엇이 잘못될 수 있는가
개별 단어를 동의어로 바꾸기	작고, 종종 검출기의 정상적인 잡음 범위 안에 있음	완화 표현이 원문이 뒷받침하는 것보다 더 강한 주장으로 바뀔 수 있음
문장을 재배열하거나 병합하기	가장 크고, 가장 일관된 효과, 이것이 burstiness가 측정하는 것이다	인용이 원래 붙어 있던 주장과 분리된 채 남을 수 있음
한 단락을 통째로 다시 쓰기	도구가 조정된 검출기에서는 크게 나타나지만, 다른 곳에서는 예측할 수 없음	출력이 더 이상 문장으로도 해석되지 않을 위험이 가장 큼
우발적인 오타나 곁말 같은 군더더기를 추가하기	거의 없거나 전혀 없음, 이는 구조적 변화가 아니라 외형적 변화임	아래의 패턴을 고치지 못한 채 인간 독자에게는 인위적으로 읽힘

그렇다면 AI humanizers는 효과가 있는가?

위의 증거가 실제로 시사하는 바는 다음과 같다. humanizers는 검출기가 측정하는 통계적 특성을 신뢰성 있게 바꾸며, 이는 실제의 기계적 효과이지 마케팅이 아니다. 그러나 특정 검출기 하나를 반드시 통과하게 해 준다고 신뢰성 있게 보장하지는 못한다. 검출기들은 설계상 서로 다르게 반응하고, 그러한 보장을 추적하려고 도구가 더 공격적으로 다시 쓸수록, 그 과정에서 의미를 잃을 가능성도 더 커지기 때문이다.

"Do humanizers work"는 사실 하나의 문장 안에 세 가지 질문을 담고 있다. 도구가 패턴을 바꾸는가, 그 변화가 관심 있는 특정 검출기에서도 유지되는가, 그리고 문장이 여전히 의도한 뜻을 말하는가이다. 첫 번째에 대한 답은 위의 증거에 따르면 대체로 그렇다. 나머지 두 가지는 도구, 검출기, 그리고 통과를 얼마나 공격적으로 수행했는지에 달려 있다.

TextPulse의 AI humanizer tool은 약속이 아니라 그 절충점을 중심으로 설계되어 있다. 이 도구는 문서를 다시 작성하고, 탐지기가 사용하는 것과 같은 신호, 그중에서도 문장 리듬과 단어 예측 가능성을 바탕으로 계산한 추정 Human Score를 보고한다. 이는 어떤 특정 탐지기라도 통과할 것이라는 주장이 아니라는 뜻이다. 무료 요금제가 존재하는 이유는, 표 위의 절충점이 전체 문서에 대해 실제로 그만한 가치가 있는지 결정하기 전에, 통과가 무엇을 어떻게 바꾸는지 줄 단위로 직접 볼 수 있게 하기 위해서다.

작동하는 것과 안전하게 사용할 수 있는 것은 서로 다른 시험이며, 안전성 문제에는 별도의 페이지가 있다. 더 날카로운 형태의 질문, 즉 Turnitin이 humanized text를 만나면 무엇을 하는지에 대해서도 마찬가지다.

신뢰할 만한 도구는 무엇이 바뀌었는지 보여 주고 그것을 확인할 수 있게 해 주는 도구이지, 랜딩 페이지의 퍼센트 수치를 믿으라고 요구하는 도구가 아니다. 제출하기 전에 다시 작성된 문단을 원문과 대조해 보라. 연구 조교의 초안을 검토하듯이 그렇게 해야 한다. 그것이 humanizer가 기능적으로 하는 일이기 때문이다.