AI Humanizer는 실제로 작동하는가?

"do ai humanizers work"를 검색창에 입력하면, 그 질문에 답하는 거의 모든 페이지가 하나를 판매하고 있다. 이는 음모가 아니라, 분명한 유인이다. 다시 쓰기 도구를 만든 회사가 그것이 실패하는 사례를 앞세울 리는 없다. 실제로 일어나는 일은 그 중간에 있으며, 그것은 "work"가 무엇을 뜻하는지에 달려 있다. AI humanizer 도구는 문단의 특정하고 측정 가능한 속성을 바꾼다. 그 변화들 가운데 일부는 탐지기의 점수를 움직인다. 다른 것들은 그렇지 않다. 몇몇은 문단이 실제로 말하는 내용에 실질적인 대가를 치르게 한다.

AI humanizer는 AI가 생성한 텍스트를 다시 써서 그 통계적 지문, 즉 어휘 선택, 문장 길이, 문장부호 습관, 탐지기가 실제로 측정하는 속성을 바꾸는 도구이다. 특정 humanizer를 채점 과제에 사용해도 안전한지, 또는 그것이 단순한 패러프레이징 도구와 어떻게 비교되는지는 별개의 질문이며, 각각에 대한 답도 따로 있다. 이 글의 범위는 더 좁다. 다시 쓰기가 기계적으로 무엇을 하는지, 그리고 그 메커니즘의 어떤 부분이 실제로 점수를 움직이는지이다.

이것은 시험 결과가 아니다. TextPulse는 humanizer 도구들 사이의 통제된 비교를 수행하지 않았다, 그리고 설령 수행했더라도, 일화적 승리는 거의 의미가 없을 것이다. 그러나 문단을 바꾸기 위해 어떤 일을 할 때 기계적으로 무엇이 일어나는지, 왜 그중 일부는 점수를 움직이고 일부는 움직이지 않는지, 그리고 더 낮은 수치를 얻기 위해 어떤 위험을 감수하는지 이해하는 데는 도움이 될 것이다. 다음 내용은 탐지기가 어떻게 회피되는지에 관한 출판된 연구와 다른 매체들의 자체 공개 시험을 바탕으로, 메커니즘을 설명한다. 즉, 문단에서 무엇이 바뀌는지, 왜 그중 일부는 점수를 움직이고 일부는 움직이지 않는지, 그리고 대가로 더 낮은 수치를 얻는 대신 어떤 대규모 재작성의 위험이 있는지이다.

AI humanizer가 실제로 바꾸는 것

시중의 모든 humanizer는 대체로 세 가지 일을 조합해서 수행한다. 개별 단어를 덜 예측 가능한 동의어로 바꾸고, 문장 길이의 균일성을 깨기 위해 문장을 재배열하거나 병합하며, 때로는 문장을 부분적으로 조정하는 대신 한 단락 전체를 다시 쓴다. 첫 번째는 거의 외형적 변화에 가깝다. 두 번째가 가장 중요하다. 문장 길이의 변동, 즉 burstiness는 탐지기가 점수를 산출하기 전에 계산하는 두 가지 측정치 중 하나이며, 다른 하나는 순간순간 단어 선택이 얼마나 예측 가능한가이다.

그 차이는 한 문장 안에서도 드러난다. "The study employed a robust methodology"를 단어마다 바꾸면 "The study used a strong approach"가 되는데, 이는 약간 더 자연스럽게 읽히고 문장의 형태도 거의 바꾸지 않는다. 반면 구조를 다시 짜면 "Because the sample skewed young, the researchers ran a mixed-methods design rather than a single survey."가 된다. 이는 길이가 다르고, 절 구조가 다르며, 다음에 무엇이 올지 예측하려는 모델에게 주는 놀라움의 정도도 다르다. 탐지기가 측정하도록 만들어진 신호에 실제로 영향을 주는 것은 두 번째 버전뿐이다.

이 구분은 이론적이지 않다. 탐지기는 의미를 읽는 것이 아니다. 언어 모델이 만들어낼 패턴과 한 단락이 얼마나 가깝게 일치하는지를 점수화한다. 이는 바로 우리의 how to humanize AI text 가이드가 문장 하나씩 손으로 깨는 방법을 가르치는 패턴이다. humanizer 도구는 같은 범주의 작업을 훨씬 더 큰 규모로 한 번에 수행하고 있다.

그러한 변화들 가운데 실제로 점수를 움직이는 것은 무엇인가

가장 분명한 증거는 이런 종류의 공격을 시험하기 위해 전용 패러프레이징 모델인 DIPPER를 구축한 연구자들에게서 나온다. 널리 연구된 탐지 방법인 DetectGPT에 적용했을 때, DIPPER의 패러프레이즈는 고정된 1 percent false-positive rate에서 탐지 정확도를 70.3 percent에서 4.6 percent로 낮췄고, 연구자들은 이러한 재작성들이 원문 의미를 눈에 띄게 바꾸지 않았다고 보고했다. 이는 마케팅 주장이 아니라 측정된 효과이다. 문장 수준에서 한 단락을 재구성하면 점수를 큰 폭으로 움직일 수 있다.

그 결과와 상업적 humanizer의 마케팅 페이지 사이에는 그만큼의 간극이 있다. 이것이 도구마다, 그리고 이를 검토하는 사람마다 결과가 크게 달라지는 주된 이유이다. DIPPER는 연구용 모델이다. 이는 하나의 특정한 공개 문서화된 detector를 평가하기 위해 통제된 조건에서 구축되고 시험되었다. 모든 사례에 동일한 rewrite 강도가 사용되었다. 브라우저에서 실행되는 도구는 같은 범주의 수정, 즉 단어 치환과 문장 재구성을 수행한다. 그러나 그것은 연구 논문이 detector의 반대편이나 rewrite의 품질에 대해 가지는 것과 같은 종류의 통제력을 갖고 있지 않다.

한 detector에서 낮은 점수가 다른 detector로 이어지지 않는 이유

detector는 같은 기준점에서 같은 것을 측정하지 않는다. AI detectors가 작동하는 방식을 다룬 관련 글에서 그 메커니즘을 자세히 설명하지만, 여기서 중요한 점은 단순하다. 각 detector는 자기 고유의 기준 모델에 대해 점수가 매겨지므로, 한 detector에는 예측 불가능해 보이는 수정도 다른 detector에는 여전히 평범해 보일 수 있다.

편집, 패러프레이징, 프롬프트, 결합 공격에 대해 다양한 상업용 및 공개 detector를 강하게 시험한 연구자들은 성능이 평균 35 percent 하락했다고 보고했지만, 그 하락은 고르게 나타나지 않았다. 그들의 결론은 거의 어떤 detector도 모든 공격 유형에서 견고함을 유지하지 못했으며, 각각은 하나의 공통된 약점이 아니라 서로 다른 구체적 허점을 가지고 있었다는 것이다. 단일 humanizer에 대한 실제 환경 시험도 같은 패턴을 보여 주었다. 같은 rewrite된 문단이 두 개의 별도 detector에서 100 percent AI로 평가되었고, 세 번째 detector에서는 100 percent를 유지했으며, 네 번째 detector에서는 88 percent로 떨어졌다. 이 모든 결과는 하나의 도구를 한 번 통과한 동일한 문단에서 나온 것이었다.

공격적인 rewrite가 치르는 비용

이 범주의 마케팅은 대개 대대적인 재작성의 반대편에 있는 실패 양상을 거의 언급하지 않는다. 즉, 문장의 점수를 바꿀 만큼 충분히 많은 부분을 바꾸는 도구는 그 문장의 요지를 잃을 만큼도 충분히 바꿀 수 있다. 한 매체는 동일한 AI 생성 문단을 열 개의 서로 다른 humanizer 도구에 통과시킨 뒤 결과를 원문과 대조했다. 그중 몇몇은 더 이상 영어로 해석되지 않는 문장을 만들어냈다. 한 도구는 "Tap your Apple ID"라는 지시를 "Faucet your Apple ID"로 다시 썼다. 또 다른 도구는 "Understanding LinkedIn Premium"을 "Grasping LinkedIn Premium"으로 바꾸었는데, 검토자들은 이것이 "전혀 같은 의미를 전달하지 않는다"고 지적했다. 이들의 전체 결론은, 이러한 도구들이 "기사 전체의 의미를 전혀 이해하고 있는 것처럼 보이지 않았다"는 것이었다.

학술 글쓰기는 제품 블로그 글보다 그러한 실패를 훨씬 덜 관대하게 받아들인다. "may indicate"가 "shows"로 바뀌는 식으로, 완곡한 표현이 더 강한 주장으로 대체되면, 인용이 실제로 무엇을 뒷받침하는 데 사용되고 있는지가 달라진다. 또한 인용문을 중심으로 문장을 재배열하면 인용이 원래 붙어 있던 주장과 분리될 수 있다. in-text citation fixer는 출처가 결코 뒷받침하지 않은 세부사항을 만들어 내지 않으면서, 문장에서 벗어난 인용을 그 문장에 다시 배치할 수는 있지만, 그 주장이 여전히 해당 출처의 내용과 일치하는지는 판단해 주지 못한다. 인용이 많은 구간은 어느 경우든 직접 확인할 가치가 있다.

편집 유형	탐지기 점수에 대한 전형적 효과	무엇이 잘못될 수 있는가
개별 단어를 동의어로 바꾸기	작은 변화이며, 종종 탐지기의 정상적인 잡음 범위 안에 있다	완곡어가 원문이 뒷받침하는 것보다 더 강한 주장으로 바뀔 수 있다
문장을 재배열하거나 병합하기	가장 크고 가장 일관된 효과이며, 이것이 바로 burstiness가 측정하는 것이다	인용이 원래 붙어 있던 주장과 분리된 채로 남을 수 있다
한 단락을 통째로 다시 쓰기	도구가 조정된 탐지기에서는 크게 나타나지만, 다른 곳에서는 예측할 수 없다	출력이 더 이상 문장으로조차 해석되지 않을 위험이 가장 높다
우발적인 오타나 곁말 같은 채우기 요소를 추가하기	거의 없거나 전혀 없다, 이는 구조적 변화가 아니라 외형적 변화이다	아래의 패턴을 고치지 못한 채 인간 독자에게는 인위적으로 읽힌다

그렇다면 AI humanizers는 효과가 있는가?

위의 증거가 실제로 시사하는 바는 다음과 같다. humanizers는 탐지기가 측정하는 통계적 특성을 신뢰성 있게 바꾸며, 이는 실제의 기계적 효과이지 마케팅이 아니다. 그러나 특정 탐지기 하나를 반드시 통과한다고 신뢰성 있게 보장하지는 못한다. 탐지기들은 설계상 서로 다르게 반응하고, 그러한 보장을 추적하려고 도구가 더 공격적으로 다시 쓸수록, 그 과정에서 의미를 잃을 가능성도 더 커지기 때문이다.

"Do humanizers work"는 사실 하나의 문장처럼 보이는 세 가지 질문이다. 도구가 패턴을 바꾸는가, 그 변화가 관심 있는 특정 탐지기에서도 유지되는가, 그리고 문장이 여전히 의도한 뜻을 말하는가. 첫 번째에 대한 답은 위의 증거에 따르면 대개 그렇다. 나머지 두 가지는 도구, 탐지기, 그리고 실행이 얼마나 공격적으로 이루어졌는지에 달려 있다.

TextPulse의 AI humanizer 도구는 약속이 아니라 그러한 절충점을 중심으로 설계되어 있다. 이 도구는 문서를 다시 작성하고, 탐지기가 사용하는 것과 같은 신호, 그중에서도 문장 리듬과 단어 예측 가능성을 바탕으로 계산한 추정 Human Score를 보고한다. 이는 어떤 특정 탐지기가 이를 통과시킬 것이라는 주장과는 다르다. 무료 요금제가 존재하는 이유는 바로, 위 표의 절충점이 전체 문서에 대해 실제로 그만한 가치가 있는지 결정하기 전에, 통과가 실제로 무엇을 어떻게 바꾸는지 줄 단위로 확인할 수 있게 하기 위해서다.

작동하는 것과 안전하게 사용할 수 있는 것은 서로 다른 시험이며, 안전성 문제에는 별도의 페이지가 있다. 그보다 더 직접적인 형태의 질문도 마찬가지다. Turnitin이 humanized text를 만났을 때 무엇을 하는지가 그것이다.

신뢰할 만한 도구는 무엇이 바뀌었는지 보여 주고 사용자가 이를 확인할 수 있게 해 주는 도구이지, 랜딩 페이지의 퍼센티지를 믿으라고 요구하는 도구가 아니다. 제출하기 전에 다시 작성된 문단을 원문과 대조해 보아야 하며, 연구 조교의 초안을 검토하듯이 그렇게 해야 한다. 그것이 기능적으로 humanizer가 하는 일이기 때문이다.