교수는 ChatGPT를 사용했는지 알아챌 수 있는가?

리딩 대학교의 블라인드 테스트에서는 63개의 ChatGPT 답안을 실제 학부 심리학 시험 답안 속에 1,134개의 실제 학생 제출물과 함께 섞어 넣고, 일반적인 시험 채점자들이 어느 것이 어느 것인지 모른 채 모두 채점하게 했다. 2024년 6월 PLOS ONE에 발표된 이 연구의 결과, AI 답안의 94 percent는 전혀 표시되지 않았고, 평균적으로 실제 학생들보다 약 반 개 등급 경계만큼 더 높은 점수를 받아 2:1에서 first class 범위에 모여 있었다.

교수는 당신이 ChatGPT를 사용했는지 알아볼 수 있는가? 대체로 아니다, 적어도 작성자의 작업을 이전에 본 적이 없는 채점자가 한 번의 블라인드 읽기만으로는 그렇다. 또 다른 시험은 당신의 담당 교수이다. 당신의 특정 에세이를 채점하는 교수는 대개 이미 당신의 글을 읽어 본 적이 있고, 세미나에서 당신과 마주 앉아 본 적이 있으며, 당신의 논증이 응답해야 하는 특정 텍스트를 정해 준 적이 있다. 리딩 연구에는 이 모든 것이 존재하지 않았고, 바로 그것이 실제 수업을 낯선 사람에게 건네는 시험 답안과 구별하는 점이다.

교수는 당신이 ChatGPT를 사용했는지 알아볼 수 있는가? 그들이 이미 알고 있는 것부터 시작하라

Turnitin의 AI writing indicator는 이 질문이 나올 때 대부분의 학생이 떠올리는 소프트웨어이며, 그것이 무엇을 표시하고 무엇을 놓치는지는 추측해 볼 만한 수수께끼가 아니라 구체적으로 문서화된 사실이다. 그러나 대부분의 강사는 주로 대시보드의 percentage를 근거로 일하지 않는다. 그들은 당신의 다른 문서들이 들어 있는 폴더 옆에 놓아 둘 수 있는 문서를 근거로 일한다. 3주차 토론 게시물, 질문을 덧붙여 이메일로 보낸 초안, 2개월 전 세미나에서 대답을 더듬었던 즉석 질문 등이 그것이다.

교수가 당신의 글에 대해 갖는 실질적 지식이야말로 '교수는 그냥 알아본다'의 실제 메커니즘이다. 그것은 당신의 구문, 전형적인 오류, 자주 끌어오는 논지, 그리고 아무도 당신의 문장력을 채점하지 않을 때 당신이 쓰는 구체성의 수준에 대한 실제 표본에서 나온다. 갑작스러운 세련됨의 도약이 눈에 띄는 데에는 구체적인 이유가 있다. 그것이 그 기준선과 맞지 않기 때문이다. 블라인드 연구에서 처음 채점하는 사람은 애초에 비교할 기준선을 갖고 있지 않았다.

심사자의 블라인드 연구가 밝혀낸 것, 그리고 그것이 전체 그림이 아닌 이유

Reading 연구는 제목 아래의 세부 내용을 조금 더 오래 살펴볼 가치가 있다. 제목 숫자보다 그 세부가 더 유용하기 때문이다. AI 답변 중 단지 6.35 percent만이 어떤 형태로든 학문적 부정행위 우려로 표시되었고, 3.17 percent만이 구체적으로 AI 작성으로 표시되었다. 나머지는 다른 어떤 답안과도 똑같이 표시되고, 채점되고, 반환되었다. 이는 다른 곳에서 더 많은 주목을 받는 AI 탐지 소프트웨어의 오탐과 편향과는 다른 문제이다. 이 연구는 양쪽 모두에서 어떤 알고리즘도 개입하지 않은 상태에서, 인간이 순수하게 식별할 수 있는 능력을 측정했다.

이렇다고 해서 심사자들이 부주의하다는 뜻은 아니다. 이 연구는 특정한 것을 시험하도록 설계되었기 때문이다. 즉, 글을 쓴 사람에 대한 다른 정보가 전혀 없는 상태에서, 채점자가 어떤 글을 처음 보았을 때 그것을 같은 질문에 대한 인간의 답안과 구별할 수 있는지를 확인하려는 것이었다. 이는 탐지 문제의 가장 어려운 형태에 가까우며, 연구자들은 의도적으로 그렇게 설계했다. 연구가 발표되었을 때 Reading의 Peter Scarfe는, 'our research shows it is of international importance to understand how AI will affect the integrity of educational assessments,'라고 말했는데, 이는 한 학과의 호기심이 아니라 학문 전반의 문제라는 뜻이다.

초안을 드러내는 구체적인 징후들

어떤 소프트웨어가 개입되기 전에도 네 가지 유형의 증거가 드러나는 경향이 있으며, 이들 중 어느 것도 알아차리기 위해 특별한 훈련을 필요로 하지 않는다. 이미 학생의 글쓰기 습관을 알고 있는 교수가 탐지기를 열지 않고도 이를 포착하는 이유가 여기에 있다.

신호	실제 상황에서의 모습
에세이 중간의 문체 전환	평소의 목소리로 쓴 두 단락 뒤에, 전혀 다른 더 격식 있는 필자가 대신 쓴 것처럼 읽히는 단락이 이어짐
모듈이 설정하지 않은 출처	읽기 목록에 한 번도 나오지 않았고 세미나에서도 언급되지 않은 텍스트에 대한 인용이, 실제로 언급된 자료의 인용 옆에 놓여 있음
세미나의 흔적이 없는 논지	에세이가 배정된 주에 수업에서 20분 동안 논의한 구체적인 반론을 무시하는 주장
편집되지 않은 출력이 텍스트에 남아 있음	무심코 남은 지시문, 반복된 구절, 또는 아무도 제출 전에 다시 읽지 않은 채팅 텍스트의 잔여물로만 이해되는 한 줄

최종 초안에 편집되지 않은 AI 출력이 남아 있는 일은 드문 단서처럼 들리지만, 시간 압박 아래에서 그것이 얼마나 자주 일어나는지 보면 그렇지 않다. Alcorn State University의 역사 강사 Jason Gibson은 2026년 7월에 시험 안내문 안에 흰색 글씨로 지시문을 숨겨, 페이지에서는 보이지 않게 한 뒤 이를 직접 시험했다. 답안 어딘가에 말이 되지 않는 방식으로 Madagascar라는 단어를 넣으라는 것이었다. 그의 학생 35명 중 32명은 정확히 그렇게 했고, 산업혁명에 관한 답안 안에 'Madagascar floats sideways through the afternoon' 같은 문장을 만들어 냈다.

그 경우에는 탐지기가 필요하지 않았다. 그는 학생들에게 자신이 무엇을 발견했는지 말하고 성적에 이의를 제기할 기회를 주었다. 두 명이 이의를 제기했고, 그중 한 명은 성공했다. 화면의 다크 모드 때문에 흰색 글씨가 보였기 때문이다. 편집되지 않은 AI 출력을 잡아내는 데는 대개 포렌식 소프트웨어가 필요하지 않다. 보통은 누군가 답안을 읽기만 하면 된다.

아무도 실제로 읽지 않은 텍스트에 대한 자신감 있는 산문

때로는 단서가 아예 존재하지 않는 인용문이다. The American Economist에 실린 2024년 연구는 GPT-3.5와 GPT-4를 Journal of Economic Literature에서 가져온 프롬프트에 대해 시험했으며, GPT-3.5가 생성한 인용문의 30 percent 이상이 완전히 날조된 것이었고, GPT-4에서도 그 비율은 약간 나아졌을 뿐이었다. 이 모델은 인용문을 쓸 때 실제로 아무것도 찾아보지 않는다. 훈련 데이터에서 그런 패턴이 함께 나타났기 때문에, 일치하는 출처가 존재해서가 아니라 그럴듯해 보이는 저자, 제목, 연도를 생성하는 것이다.

다른 경우에는 출처가 실제로 존재하지만 강의계획서로는 정당화할 수 없으며, 이는 University of Bolton에서 있었던 초기의, 잘 문서화된 사례에서 드러난 것과 더 가깝다. 리더십 이론 에세이를 검토한 조사관들은 섹션마다 달라지는 문체, 논리적으로 이어지지 않는 진술, 그리고 강의의 자체 Moodle 시스템을 통해 이용 가능한 단 두 개의 저널에서만 구성된 출처 목록을 발견했으며, 지정 읽기 목록에서 가져온 것은 하나도 없었다.

한 인용문은 실제로 존재하지만 놀랄 만큼 생소한 2022년 논문으로, Harry Potter를 리더십 이론에 적용한 것이었는데, 이는 강의계획서만 보고 작업하는 학생이라면 우연히 선택할 수 없는 종류의 출처였다. 사실 그 에세이는 제3자 작성 서비스에서 구매한 것이었고, 대학의 조사 결과 그 서비스가 일부 구간에서 ChatGPT를 사용한 것으로 결론지어졌으며, 학생은 과제를 통과하지 못했고 재응시해야 했다. 결국 이를 드러낸 것은 해당 모듈에서 실제로 무엇을 과제로 부여했는지 알고 있던 채점자였고, 그가 에세이가 그것을 바탕으로 구성되지 않았음을 알아차렸기 때문이었다.

이것이 의미하지 않는 것, 그리고 대신 길러야 할 습관

이 모든 것은 모든 불일치가 곧바로 부정행위 의혹으로 이어진다는 뜻이 아니며, 다듬어진 글쓰기가 본질적으로 위험하다는 뜻도 아니다. 교수들은 단 하나의 의심스러운 문장이 아니라 제출물 전체에 걸친 패턴을 읽으며, 실제 우려가 제기된 뒤에 이어지는 절차는 공식적인 조치가 이루어지기 전에 증거와 대화에 관한 자체 규칙에 따라 진행된다.

이 모든 것과 무관하게 더 유용한 습관은, 제출한 뒤가 아니라 제출하기 전에 독자가 알아차릴 만한 바로 그 종류의 문체 변화를 자신의 초안에서 점검하는 일입니다. 무료 형식성 검사기는 자신의 평소 문체에서 벗어난 문단을 표시하며, 이는 교수자가 눈으로 알아차릴 수 있는 것과 같은 변화입니다. 이것은 요령이 아니라 교정 습관이며, 초안의 한 단어도 chatbot에 닿은 적이 있든 없든 작동합니다.

질문의 더 직설적인 표현인 ChatGPT를 사용하다가 적발될까에 대한 답은 별도로 다뤄집니다. Turnitin이 바꿔 쓴 텍스트를 감지하는지에 관한 더 좁은 질문도 마찬가지이며, 실제로 대부분의 학생이 막히는 지점이 바로 여기에 있습니다.

TextPulse의 학생용 AI humanizer는 같은 기본 생각에 기반합니다. 이는 어떤 특정 교수의 소프트웨어가 무엇이라고 말할지에 대한 주장이 아니라, 자신의 글이 지닌 통계적 형태를 바탕으로 산출한 추정 Human Score를 보고합니다. 어떤 도구도 자신이 통제하지 않는 시스템에 대해 그런 약속을 책임 있게 할 수 없기 때문입니다. 제출하기 전에 자신의 초안에 사용하면, 이는 사후에 누구와 논쟁하기 위한 수단이 아니라 자신의 목소리를 다시 한 번, 이해관계 없는 시선으로 읽는 역할을 합니다. 에세이가 문장마다 더 구체적이고 진정으로 자신의 것으로 읽힐수록, 이 모든 것이 거론될 필요는 더 줄어듭니다.