AI Humanizer 비교 연구: 동일한 학술 텍스트에 무슨 일이 일어났는가

우리의 AI humanizer 비교 연구에서, 모든 humanizer는 동일한 48개의 학술 텍스트를 인간의 글쓰기 스타일에 가깝게 바꾸었고, 도구들 사이의 차이는 무엇을 유지했는지에서 가장 크게 나타났다. 일부는 의미, 인용, 숫자를 원문에 가깝게 유지했다. 다른 것들은 만들어낸 숫자와 이름, 또는 새로운 문법 오류를 추가했으며, 그러한 출력은 종종 탐지기가 인간으로 표시한 것들이었다.

TextPulse Research는 2026년 8월에 AI humanizer 비교 연구를 수행하고, 8월 29일에 이를 작업 논문으로 발표했다. TextPulse는 그 안에 포함된 도구 중 하나이므로, 모든 도구는 동일한 입력을 받았고 모든 측정은 공개 스크립트이다. 전체 작업 논문에는 모든 표, 그림, 스크립트가 있으며, 432개의 재작성된 텍스트 전체가 공개되어 있다.

AI humanizer 비교 연구가 검증한 내용

이 연구는 모든 humanizer에 동일한 48개의 텍스트를 제공했다. 각 텍스트는 가공된 실증 연구의 결과 및 논의 부분으로, AI 모델이 작성했으며 길이는 약 301단어였다. 네 개의 모델 계열이 각각 12개씩의 텍스트를 작성했다. OpenAI, Google, DeepSeek, Anthropic이다. 텍스트는 네 개의 학문 분야와 세 가지 인용 양식을 포괄했으므로, 각 도구는 유지해야 하는 숫자, 저자명, 참고문헌 표지를 접했다.

설계의 일부	연구에서 사용한 것
원문 텍스트	AI가 작성한 결과 및 논의 부분 48개, 각 264단어에서 344단어
작성 주체	OpenAI, Google, DeepSeek, Anthropic 모델이 각각 12개씩 작성
학문 분야	의학 및 보건, 물리 및 계산과학, 사회과학, 인문학
인용 양식	APA 저자 연도, 숫자 대괄호, 인용 없음
텍스트에서 확인한 사실	404개의 전문 용어, 887개의 숫자, 124개의 인용
각 도구의 실행 방식	기본 설정에서 웹 페이지에 한 번 붙여넣기, 반환된 출력 그대로 보관
날짜	2026년 8월 26일부터 28일까지
탐지기	Turnitin, 도구당 문서 하나, 그리고 GPTZero, 각 텍스트를 개별적으로

humanizer의 역할은 AI 출력을 다시 쓰는 것이므로, 이 연구는 검증된 사실 목록이 있는 AI 출력에서 시작했다. 어떤 다시 쓰기 이전에도, 각 모델은 자신이 사용한 용어, 숫자, 인용을 나열했다. 나열된 각 항목은 원문과 대조되었고, 그중 원문에 없는 항목은 제외되었다. 그 결과 각 텍스트마다 고정된 목록이 남았고, 연구는 각 humanizer가 무엇을 유지하고, 바꾸고, 만들어냈는지를 정확히 셀 수 있었다.

각 텍스트는 각 도구의 웹 페이지에 한 번씩, 해당 도구의 기본 설정에서 입력되었고, 출력은 그대로 돌아온 상태로 저장되었다. 누구도 출력을 편집하지 않았다. 일부 도구는 무료 등급이 한 도구가 받아들이는 텍스트 수를 제한하므로 48개보다 적게 처리했다. 24개 텍스트로 이루어진 핵심 집합은 모든 도구에서 동일했고, 순서도 같았다. TextPulse는 48개 전부를 처리했다.

연구가 인간화된 텍스트를 측정한 방법

검출기 점수는 한 텍스트가 어느 검출기에 어느 날 어떻게 보였는지를 알려준다. 그것은 다시 쓴 글이 여전히 같은 결과를 보고하는지에 대해서는 아무것도 말해주지 않는다. 이 연구는 각 출력을 먼저 텍스트 자체에 대해, 그다음 검출기에 대해 점수화했다. 학생이나 연구자에게는, 데이터가 말하는 바를 여전히 전달하면서도 사람이 쓴 것처럼 들리는 산문으로 된 논문이 중요하다.

측정 항목	무엇을 확인하는가	논문에서 왜 중요한가
의미	다시 쓴 문장이 원문과 얼마나 가까운지, 0에서 1 사이의 유사도 점수로 나타낸 것	점수가 낮을수록 해당 문단은 이제 다른 내용을 말한다
인용 유지	본문 인용 중 같은 저자와 연도가 그대로 남아 있는 비율	연도가 바뀌면 참고문헌 목록과의 대응이 깨진다
숫자 유지	확인한 숫자 중 텍스트에 그대로 남아 있는 비율	표본 크기나 p-value가 사라지면 결과가 달라진다
생성된 항목	출력에 있으나 원문에는 없던 숫자와 이름	생성된 수치는 연구에 대한 허위 진술이다
추가된 문법 오류	LanguageTool로 계산한 1,000단어당 새 오류 수	오류는 점수와 심사자의 신뢰를 떨어뜨린다
읽기 등급	Flesch-Kincaid 등급의 변화	AI 텍스트는 출판된 인간 산문보다 더 높은 등급 수준을 가진다
문체 위치	전형적인 인간 글쓰기와 전형적인 AI 글쓰기 사이에서의 텍스트 위치	문체계량 탐지기는 이러한 특징에 반응한다
길이	원문에 대한 출력 길이, 0.70배에서 1.30배까지는 유지된 것으로 계산함	텍스트를 절반으로 줄이는 도구는 내용을 삭제한 것이다

문체 위치는 TextPulse가 121,092개의 학술 텍스트에서 추출한 47개의 문체 특징을 바탕으로 개발한 척도에서 나온다(자세한 내용은 우리의 문체계량 분류 논문에 설명되어 있다). 전형적인 인간 학술 텍스트는 0에 있고 전형적인 AI 텍스트는 100에 있다. 우리는 인간 텍스트의 중간 절반(-36에서 33까지)을 인간 범위라고 부른다.

어휘는 우리의 AI 어휘 논문의 1,057개 단어 목록과 대조하여 점수를 매겼다. 그중 581개는 AI 모델이 사람보다 더 자주 사용하는 단어이고, 476개는 그 반대 방향으로 치우쳐 있다. 이 연구는 각 도구가 1,000단어당 AI 성향 단어를 얼마나 제거했는지 계산했다.

모든 humanizer가 텍스트에 한 일

연구에 포함된 모든 도구는 출력물을 문체 척도의 인간 쪽으로 이동시켰다. 처리하지 않은 AI 텍스트의 평균은 138로, 일반적인 AI 텍스트인 100을 넘어섰다. 다시 작성한 뒤에는 일부 도구가 인간 범위에 도달했고, 다른 도구는 그 중간쯤에서 멈췄다. 모든 도구는 또한 AI 성향 어휘를 제거하고 읽기 등급을 낮췄으므로, 변화의 방향은 전 분야에서 같았다.

척도에서 텍스트를 가장 많이 이동시키는 특징은 두 가지이다. 첫 번째 쌍은 평균 단어 길이와 긴 단어의 비율이다. "help"를 "facilitate"로 바꾸는 다시 쓰기는 평균 단어 길이를 늘리고 긴 단어의 비율을 높이므로 텍스트를 더 AI처럼 만든다. 두 번째는 다양한 문장 길이로, 인간 쪽으로 밀어준다. 모든 문장이 22개에서 26개의 단어로 이루어진 문단은 단조롭지만, 9단어 문장과 31단어 문장을 섞은 문단은 다양하다.

목표는 더 낮은 읽기 등급에 도달하는 것이다. AI가 작성한 학술 텍스트는 출판된 인간 학술 산문보다 Flesch-Kincaid 등급이 더 높다. 따라서 그것이 내려가면, 연구자들이 쓰는 평이한 문체에 더 가까워진다. 이것이 문체 통계 탐지기가 반응하는 대상이다. 또한 이것들은 초고를 더 읽기 쉽게 만드는 변화이기도 하다. 내용이 그대로 유지되는 한, 두 목표는 서로 일치한다.

humanizers가 문장을 어떻게 바꾸는지에 대한 우리의 글은 이러한 편집을 문장 단위로 보여준다. 이 연구는 측정치를 추가한다. 각 변화가 텍스트를 얼마나 이동시켰는지, 그리고 의미와 사실 측면에서 어떤 대가를 치렀는지이다.

도구가 달랐던 지점: 의미, 인용, 숫자

도구들은 유지율에서 차이를 보였다. 예를 들어, 연구 전반에서 인용문의 29퍼센트에서 100퍼센트가 유지되었다. 출력물당 0.06개에서 4.44개의 조작된 항목이 나타났다. 1,000단어당 0.65개에서 4.91개의 새로운 문법 오류가 나타났다. 조작된 항목은 표본 크기, 백분율, 신뢰 구간, 저자 이름, 그리고 원문에서 전혀 언급하지 않은 기관이었다.

이름과 단위는 더 조용한 방식으로 사라졌다. 도구가 통계를 바꾸어 쓸 때, 단위를 종종 생략했기 때문에 "Cohen's d"는 효과 크기가 되었고 "Celsius"는 도가 되었다. 저자 이름은 인용과 함께 사라졌다. 종, 시대, 기기 이름은 설명으로 대체되었다. 결과를 확인하려는 독자에게는 이러한 이름이 필요하므로, 이들 각각의 손실은 모두 손실로 간주된다.

재작성의 깊이와 충실성은 서로 반대 방향으로 작용한다. 단어의 3분의 1을 바꾸는 도구는 의미를 더 쉽게 유지한다. 대부분을 바꾸는 도구는 무언가를 잃을 가능성이 더 많다. 바뀐 단어의 비율은 35에서 68 퍼센트까지였다. 연구자가 원하는 결과는 의미를 유지하면서도 깊게 재작성된 문장이다. 그러한 조합은 드물었다.

이 연구는 숨겨진 문자도 찾았다. 보이지 않는 문자, 비표준 공백, 그리고 키릴 문자나 그리스 문자에서 온 유사 문자이다. 일부 humanizer는 검출기의 결과를 바꾸기 위해 이러한 문자를 추가한다. 이 연구의 어떤 도구도 그런 문자를 추가하지 않았으므로, 그 이유로 품질 기준을 통과하지 못한 출력은 없었다.

검출기 결과만으로는 humanizer의 기준으로서 약한 이유

검출기 결과만으로는 불완전한 humanizer 기준이다. AI humanizer 비교 연구에서 GPTZero가 가장 자주 인간으로 분류한 출력은 더 많은 숫자와 이름을 만들어 내고, 더 많은 인용을 삭제하거나, 더 많은 문법 오류를 추가한 도구에서 나왔다. 검출기의 추정치를 바꾸는 가장 쉬운 방법은 텍스트가 말하는 내용을 바꾸는 것이다. 그런 재작성은 원래 도움을 주려던 논문을 실패하게 만든다.

양쪽을 동시에 측정하기 위해, 이 연구는 품질 기준을 설정했다. 이를 통과하려면 출력은 최소 0.95의 의미 점수와 인용의 최소 90 퍼센트를 유지해야 했다. 또한 만들어 낸 숫자나 이름이 없어야 하고, 숨겨진 문자가 없어야 하며, 길이도 허용 범위 안에 있어야 했다. 그다음에야 GPTZero의 human 판정이 기준을 통과한 출력에 대해서만 계산되었다. 이 기준은 모든 도구에 동일하게 적용되었다.

각 도구의 출력은 한 문서에 넣었고, 한 페이지에 하나의 텍스트를 배치했다. 이 연구는 문서에 대해 Turnitin의 one AI percentage를 사용했다. Turnitin은 20% 미만의 경우 숫자 대신 별표를 사용한다. 탐지기의 결과는 연구 시점의 하나의 탐지기 버전에 따른 추정치이다. 우리는 Turnitin AI 점수가 무엇을 의미하는지에 관한 안내서에서 Turnitin AI 점수를 읽는 방법을 설명했다.

인간화 비교에서 TextPulse의 성과

TextPulse는 연구의 종합 지수에서 1위를 차지했다. 이 지수는 재작성 깊이, 의미, 문체 위치, 문법, 내용 무결성에 동일한 가중치를 부여한다. TextPulse의 점수는 이 다섯 가지 측정값에서 0.811이었고, 게이트가 적용된 탐지기 측정값을 추가하면 0.843이었다. 약한 측정값이 하나도 없었기 때문에 좋은 성과를 보였다. 각 텍스트의 절반 이상을 다시 썼고, 논문이 의존하는 사실을 유지했다.

측정값	TextPulse 결과
변경된 단어 수	52%
유지된 의미, 원문과의 유사도	0.971, 약 97%
유지된 인용	99%
유지된 숫자	87%
유지된 명명된 개체	95%
추가된 문법 오류	1,000단어당 0.65개, 연구에서 가장 적음
창작된 항목	출력당 0.48개, 50개 출력 중 1개에서 창작된 이름
읽기 학년	3.6학년 낮아짐, 가장 큰 감소
AI 성향 단어 제거 수	1,000단어당 39개, 연구에서 가장 많음
문체 위치	29, 인간 범위 안
길이 허용오차를 충족한 출력	48개 중 47개
품질 게이트를 통과한 출력	67%
Turnitin AI 점수, 모든 출력의 하나의 문서	24%, 연구에서 가장 낮음(공동)
게이트를 통과한 출력에 대한 GPTZero human label	10.4%(48개 중 5개), 연구에서 가장 높음

학술적 용도에서 가장 중요한 것은 두 가지 결과입니다. 적어도 절반의 단어를 바꾼 도구들 가운데서는 TextPulse가 의미를 가장 잘 유지했습니다. 의미 점수가 0.97 이상인 도구들 가운데서는 가장 많은 단어를 바꿨습니다. 연구에서 이 두 집단에 모두 속한 다른 도구는 없었습니다. 학술 글쓰기를 위한 humanizer는 이러한 조합이 필요합니다. 가벼운 재작성은 AI 문체를 그대로 남기고, 사실을 삭제하는 깊은 재작성은 결과를 바꾸기 때문입니다.

GPTZero는 TextPulse 출력물 48개 중 9개를 인간이 쓴 것으로 표시했고, 그중 5개는 품질 기준도 통과했으며, 이는 연구에서 가장 높은 기준 통과 결과였습니다. TextPulse 출력물의 Turnitin 문서는 AI 24퍼센트로 평가되어, 가장 낮은 점수와 동률이었습니다. 다른 문서들은 28퍼센트에서 74퍼센트까지였습니다. 탐지기 결과는 추정치이며, 연구는 이러한 이유로 이를 텍스트 측정치와 함께 보고합니다.

이 연구가 알려주지 못하는 것

AI humanizer 비교 연구는 자체적인 한계를 제시합니다. 텍스트는 AI 모델이 고정된 프롬프트에 따라 작성했으며, 실제 초안은 더 길고 덜 균일합니다. 각 도구는 2026년 8월 26일과 28일 사이에 기본 설정으로 한 번씩 실행되었습니다. 공급업체는 도구를 업데이트하므로, 결과는 그 날짜들을 설명하며 한 시점의 스냅샷으로 읽어야 합니다.

도구마다 처리하는 무료 텍스트의 수가 일정한 한도로 제한되므로, 도구별 텍스트 수는 서로 다릅니다. 이로 인해 텍스트 수가 적은 도구는 신뢰구간도 더 커집니다. Turnitin은 문서당 하나의 점수를 생성하므로, 텍스트별 점수의 분포가 없습니다. GPTZero는 하나의 탐지기이며, 하나의 모델 버전(2026-08-09-base)입니다.

TextPulse가 연구를 만들었고, 그 연구에 포함된 도구 가운데 하나입니다. 각 도구에는 동일한 입력이 주어졌습니다. 프로토콜에 따라 모든 측정치는 공개된 스크립트이며, 모든 원시 결과도 공유됩니다. 이는 누구나 수치를 다시 계산하거나 다르게 가중할 수 있음을 뜻합니다. 원문 텍스트, 432개의 모든 출력물, 탐지기 응답, 스크립트는 공개되어 있습니다.

자신의 초안에 연구 결과를 적용하는 방법

이 결과는 TextPulse를 포함한 어떤 humanizer를 사용한 뒤에도 실행할 수 있는 짧은 점검으로 바뀝니다. 연구에서 계산한 항목들을 기준으로 출력물을 자신의 초안과 비교하십시오. 단일 섹션이라면 몇 분이면 됩니다.

1. 초안과 모든 숫자를 대조하십시오. 표본 크기, 백분율, p값, 신뢰구간을 확인하십시오.
2. 본문 내 인용마다 같은 저자와 연도를 확인한 다음, 참고문헌 목록과 일치시키십시오.
3. 변경된 이름을 찾으십시오. 도구, 종, 데이터셋, 단위, 저자 이름입니다.
4. "may indicate"가 "shows"로 다시 쓰이는 것처럼, 주장 강도가 더 강해진 부분이 있는지 읽어 보십시오.
5. 길이를 비교하십시오. 원문보다 훨씬 짧은 결과물은 아마도 내용을 빠뜨린 것입니다.
6. 다시쓴 글이 추가한 문법 오류를 잡기 위해 텍스트를 소리 내어 읽으십시오.

길이는 이러한 점검 중 가장 빠릅니다. 연구에서 결과물이 원문 길이의 0.70배에서 1.30배 사이이면 유지된 것으로 간주했습니다. TextPulse는 48개 결과물 중 47개를 그 범위 안에 유지했으며, 평균은 원문의 1.14배였습니다. 따라서 그 결과물은 초안보다 약간 더 길게 나왔습니다.

인용은 손으로 확인하는 데 가장 오래 걸립니다. 연구에서 TextPulse는 그중 99퍼센트를 유지했으며, 변경은 괄호형 인용을 서술형 인용으로 바꾸는 것과 같은 제시 방식에 있었습니다. 인용을 보존하는 AI humanizer에 대한 우리의 글은 자신의 참고 표지를 살펴볼 때 무엇을 확인해야 하는지 설명합니다.

무료 burstiness checker는 초안에서 문장 길이가 얼마나 달라지는지 측정합니다. 다양한 문장 길이는 연구의 척도가 인간의 글쓰기에 더 높은 비중을 두는 특징 중 하나입니다. 가격이 포함된 순위 가이드는 학술 글쓰기용 최고의 AI humanizer 가이드를 참고하세요. 다시 쓰기를 시작할 준비가 되면 TextPulse AI humanizer가 숫자, 이름, 인용을 그대로 유지하도록 설계되어 있으며, 결과에 대한 예상 Human Score를 보고합니다.