ChatGPT 초안을 제출 가능한 원고로 편집하기

ChatGPT에서 초안이 90초 만에 돌아오고, 충분히 그럴듯하게 읽히면, 가장 자연스러운 행동은 첫 문장부터 시작해 앞에서부터 다듬는 것이다. 그러나 2시간 뒤에 가장 오래 걸려 쓴 문단이 삭제되는데, 그것을 지탱하던 주장이 실제로는 아무 근거도 없었던 것으로 드러난다. 어떤 순서로 편집하느냐가 결국 얼마나 많은 작업을 버리게 되는지를 결정한다.

연구 맥락에서 ChatGPT 출력물을 어떻게 편집할지는 네 번의 단계로 진행되며, 나중에 고치기 위해 드는 비용이 큰 오류부터 순서를 정한다. 즉, 먼저 주장과 근거, 그다음 구조, 그다음 문장 리듬, 마지막으로 어휘를 본다. 각 단계는 그 앞 단계가 더 이상 움직이지 않는다고 가정한다. 다른 순서로 진행하면, 가장 많은 주의를 기울인 문장들이 결국 일주일도 버티지 못한다.

ChatGPT 출력물을 네 번의 단계로 편집하는 방법

편집은 모두 같은 정도로 파괴적이지 않다. 문단을 옮기려면 이미 매끄럽게 다듬어 둔 모든 연결부를 다시 써야 한다. 세 번째 수정에서 문장을 하나 추가하면, 두 번째 수정에서 균형을 맞춘 문단의 리듬이 초기화된다. 출처가 없는 주장을 삭제하면, 20분을 들여 조정한 문장이 무너진다. 이 순서는 가장 파괴적인 변화에서 가장 덜 파괴적인 변화로 작업하고, 각 단계를 그대로 유지하기 위해 존재한다.

단계	수정하는 내용	이 위치에 있는 이유
1단계: 주장과 근거	각 사실 문장이 참인지, 그리고 열어 본 출처로 추적 가능한지 여부	삭제할 문장을 먼저 다듬는 것은 그럴 가치가 없다
2단계: 구조	섹션의 순서가 주제 목록이 아니라 논지를 전달하는지 여부	행 단위 편집 뒤에 문단을 옮기면 모든 연결부를 다시 편집해야 한다
3단계: 문장 리듬	문단 안에서 문장 길이가 균일한지, 그리고 절의 형태가 반복되는지 여부	1단계와 2단계의 모든 삽입은 문단의 리듬을 초기화한다
4단계: 어휘	정보를 전달하지 않는 상투적 동사와 추상어	가장 비용이 적게 들고 영향도 가장 작은 수정이므로 마지막에 온다

1단계: 열어 둔 출처와 모든 주장을 대조하라

초안을 개선할 의도 없이 한 번 읽으십시오. 이 단계에서는 사실적 진술을 하는 문장만 표시합니다. 숫자, 메커니즘, 발견, 또는 현재 해당 분야가 무엇을 생각하는지에 대한 주장입니다. 그 밖의 것은 나중으로 미루어도 되며, 지나가며 어색한 표현을 고치고 싶은 유혹이야말로 20분짜리 검토를 오후 전체로 바꾸는 조용한 원인입니다.

표시한 각 문장에는 세 가지 표시 중 하나를 붙이십시오. 첫 번째 표시, 원문을 읽었고 인용할 수 있습니다. 두 번째 표시, 이것이 사실임을 알고 있으며 출처를 찾아가야 합니다. 세 번째 표시, 모델이 이것을 주장했지만 어디서 나온 것인지 전혀 모르겠습니다. 세 번째 표시가 붙은 문장은 다시 쓰는 대신 삭제합니다. 이것은 여기서 따르기 가장 어려운 지시인데, 그런 문장들이 대개 페이지에서 가장 매끄럽게 보이기 때문입니다.

모델 초안은 특정한 누구에게도 주장 책임을 돌리지 않으며, 그 표현이 이를 드러냅니다. 최근 연구에 따르면, 연구자들은 발견했다, 이는 널리 받아들여진다, 이 각각은 특정 논문이 그 뒤에 없을 때 주장이 취하는 형태입니다. 이들 모두는 아직 추가하지 않은 실제 인용이거나, 그 아래에 아무것도 없는 문장입니다. 어느 쪽인지 알아내는 방법은 그 논문의 이름을 붙여 보려는 것입니다. 가능하다면 문장 안에 그 이름을 넣으십시오. 불가능하다면 그 문장은 삭제하십시오.

모델이 제공한 참고문헌은 참고문헌 목록에 넣기 전에 데이터베이스와 대조하여 확인해야 합니다. 그럴듯한 저자, 연도, 저널은 일치하는 논문이 실제로 존재하지 않아도 얼마든지 조합될 수 있기 때문입니다. AI citation checker는 한 번의 처리로 전체 목록의 식별자를 해결하며, 이는 각 제목을 손으로 검색하는 것보다 빠르고, 지도교수의 여백 메모에서 문제를 발견하는 것보다 훨씬 빠릅니다. 초안이 건네준 어떤 것도 인용하기 전에 이 작업을 하십시오.

두 번째 단계, 논증을 중심으로 구조를 재구성하기

구조는 그다음이다. 문단을 행 단위 편집을 마친 뒤에 뒤로 옮기면 그 문단의 모든 연결부를 다시 편집해야 하기 때문이다. 이 단계에서는 무엇을 어디에 둘지, 무엇을 완전히 삭제할지를 결정하며, 초고가 더 짧아질 것으로 예상해야 한다. 한 모델은 프롬프트로부터 완성된 듯한 문서를 생성했는데, 이는 하나의 논지를 세우기 위해 작성된 문서와는 다른 대상이다.

각 문단의 첫 문장만 순서대로 읽고, 그 외에는 아무것도 읽지 말아야 한다. 그것은 논증처럼 읽혀야 한다. 즉, 이것이 우리가 무엇을 요청했는지, 이것이 우리가 어떻게 살펴보았는지, 이것이 우리가 무엇을 발견했는지, 이것이 그것이 무엇을 의미하는지이다. 생성된 초고가 이 검사를 실패하는 구체적인 방식은, 추론의 한 줄이 아니라 주제 목록처럼 읽힌다는 점이다. 모델은 논지가 아니라 프롬프트를 문단별로 채워 넣고 있었던 것이다.

두 번째 구조적 결함은 가중치의 불균형이다. 모델은 하위 주제마다 대체로 같은 분량을 배정하는데, 프롬프트 어디에도 어느 부분이 중요한지 알려 주지 않았기 때문이다. 실제 원고는 한쪽으로 치우쳐 있다. 실제로 확보한 결과, 실제로 문제를 일으킨 한계, 중간에 바꾼 방법, 이들은 배경보다 더 많은 분량을 차지해야 하며, 이 단계에서 배경은 보통 길이의 3분의 1을 잃는다. 이때 각 절의 끝에서 그 절을 다시 요약하는 문장은 삭제해야 한다. 방금 그것을 읽은 독자에게는 아무런 이득이 없고, 생성된 초고는 거의 항상 그런 문장을 하나 만들어 낸다.

내용이 더 이상 움직이지 않을 때 리듬을 수정하는 세 번째 단계

문장 리듬은 내용이 안정된 뒤에만 수정할 가치가 있다. 위의 두 단계에서 무엇이든 삽입하면 리듬이 다시 초기화되기 때문이다. 여기서 찾는 것은 길이와 형태를 공유하는 문장들의 연속이다. 거의 동일한 길이의 문장 네 개가 연속되면 소리 내어 읽을 때 평탄하게 들리며, 한 구절 전체에 걸친 균일한 문장 길이는 세심한 독자와 통계적 분류기 모두가 포착하는 구조적 표지이다.

수정은 기계적이다. 문단을 소리 내어 읽고, 같은 방식으로 도달하는 두세 문장의 연속을 표시한 다음, 그중 하나를 나누거나 둘을 쉼표가 실제로 기능하도록 결합하라. 긴 문장은 복잡성, 조건, 또는 짧은 문장이 두 번 말해야 할 결과를 담아 그 길이를 정당화해야 한다. 이러한 조치의 실제 예시는, 수정 전과 수정 후를 나란히 제시한 형태로, how to humanize AI text 가이드에 있다.

역방향의 유혹을 경계하라. 내용은 없고 리듬만 흐트러뜨리기 위해 존재하는 군더더기 문장은 독자가 두 문단 안에 알아챈다. 변주는 서로 다른 시점에 서로 다른 양의 내용을 말하기 때문에 생겨야 하며, 이것이 바로 실제 연구 문단이 애초에 고르지 않은 이유이기도 하다.

Pass Four: 어휘, 마지막이자 가장 작은 단계

어휘는 마지막에 다루는데, 그것이 가장 값싼 수정이자 가장 작은 지렛대이며, 이를 먼저 하면 실질 없이 진전한 듯한 느낌만 주기 때문이다. 생성된 초안은 빈도가 높은 소수의 학술 동사와 추상어에 기대는 경향이 있고, 한 학기에 백 편의 논문을 채점하는 독자는 그것들을 모두 보아 왔다. facilitate, underscore, pivotal, robust, myriad, showcase는 연구 초안에서 흔히 보이는 표현들이다.

상투적인 동사를 문장이 실제로 필요로 하는 동사로 바꾸고, 정보성 검사를 사용해 판단하라. showed, measured, doubled, failed는 각각 독자에게 facilitate가 전달하지 못하는 정보를 준다. A free AI word cleaner는 대부분의 상투적 어휘를 몇 초 안에 찾아내며, 그것에 들여야 할 시간은 그 정도면 충분하다. 이 단계에서의 진짜 위험은 과도한 교정이다. 초안을 지나치게 기계적으로 제거하면 동의어 사전 연습처럼 읽히고, 지도교수는 어떤 소프트웨어보다도 더 빨리 그것을 알아챈다.

네 단계가 남기는 것

방어할 수 있는 원고란, 어떤 문장이라도 가리키며 그것이 어디에서 왔는지 말할 수 있는 원고이다. 이것이 실제 산출물이며, 위의 모든 단계는 그것을 향한 과정이다. 첫 번째 단계는 모든 주장에 출처를 부여하고, 두 번째 단계는 논증에 형태를 부여하며, 세 번째와 네 번째 단계는 결과물을 학술지나 평가자가 기대하는 수준에서 읽을 수 있게 만든다.

AI writing score는 보통 누구도 그것을 목표로 삼지 않아도 이러한 단계들을 거치면서 낮아진다. 각 단계가 score가 산출되는 근거의 일부를 제거하기 때문이다. 즉, 출처가 없는 일반적 주장, 균등한 절 구분, 일정한 문장 길이, 상투적 어휘가 줄어든다. score 자체를 목표로 삼으면 작업의 방향이 뒤집힌다. Turnitin의 자체 지침도 이 수치의 한계를 분명히 밝히며, 그 모델은 "may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."라고 말한다.

도구에 관한 맥락을 하나 짚고, 다시 원고로 돌아가겠다. An AI humanizer는 긴 문서에 대해 사람이 하는 것보다 더 빠르게 세 번째 단계를 수행할 수 있으며, 명시된 어떤 detector의 판정이 아니라 텍스트에서 계산된 추정 Human Score를 보고한다. 그러나 첫 번째 단계는 전혀 수행할 수 없다. 작업이 이루어질 때 그 자리에 있지 않았고, 어떤 주장이 그 뒤에 출처를 두고 있는지 알 방법이 없기 때문이다.

초고의 출처를 원고에 밝혀야 하는지는 별개의 문제이며, 실제 답이 있는 질문이다. 이는 텍스트의 어느 정도가 편집을 거쳤는지보다 기관이나 목표 학술지에 달려 있다. how to disclose AI use in a paper에 대한 지침은 대부분의 정책이 기대하는 문구와 그것이 문서의 어디에 들어가야 하는지를 다룬다.

당장의 문제가 보고서의 수치라면, lowering an AI score는 별도의 페이지에서 다룬다. 그 일을 하도록 만들어진 도구들이 실제로 작동하는지는 타당한 선행 질문이며, 이에 대해서도 별도의 답이 있다.

네 번의 검토는 예산 역할도 한다. 마감 전 저녁이 한 번뿐이라면, 그 시간을 처음 두 번에 쓰고 일부 문장은 약간 어색한 채로 남겨 두어라. 방어할 수 있는 결과에 붙은 어색한 문장은 구두 심사를 견딘다. 아무것에도 붙어 있지 않은 아름다운 문장은 그렇지 않다.