교수는 ChatGPT를 사용했는지 알아챌 수 있는가?

리딩 대학교의 블라인드 테스트에서는 63개의 ChatGPT 답안을 실제 학부 심리학 시험 답안 1,134개 사이에 섞어 넣고, 일반적인 시험 채점자들이 어느 것이 어느 것인지 알지 못한 채 모두 채점하게 했다. 2024년 6월 PLOS ONE에 발표된 결과에 따르면, AI 답안의 94퍼센트는 전혀 표시되지 않았고, 평균적으로 실제 학생들보다 약 반 개 등급 구간 더 높은 점수를 받았으며, 2:1에서 first class 범위에 집중되었다.

교수는 ChatGPT를 사용했는지 알아볼 수 있는가? 대부분의 경우, 아니다. 적어도 작성자의 작업을 이전에 본 적이 없는 채점자가 한 번의 블라인드 판독만으로는 그렇지 않다. 또 다른 시험은 자신의 교수이다. 특정 에세이를 채점하는 교수는 대개 이미 학생의 글을 읽어 보았고, 세미나에서 학생과 마주 앉아 있었으며, 학생의 논증이 응답해야 할 특정 텍스트를 정해 두었다. 리딩 연구에는 이 모든 것이 존재하지 않았고, 바로 그 점이 실제 수업을 낯선 사람에게 넘겨진 시험 답안지와 구별한다.

교수는 ChatGPT를 사용했는지 알아볼 수 있는가? 이미 알고 있는 것부터 시작하라

Turnitin의 AI writing indicator는 이 질문이 나올 때 대부분의 학생이 떠올리는 소프트웨어이며, 무엇을 표시하고 무엇을 놓치는지는 추측할 만한 수수께끼가 아니라 구체적으로 문서화된 사실이다. 그러나 대부분의 교수가 주로 대시보드의 퍼센트 수치만을 근거로 일하는 것은 아니다. 그들은 다른 문서들의 묶음 옆에 놓아 볼 수 있는 한 문서를 바탕으로 일한다. 예를 들면 3주차 토론 게시물, 질문을 덧붙여 이메일로 보낸 초안, 두 달 전 세미나에서 대답을 제대로 하지 못했던 즉석 질문 등이 그것이다.

교수가 당신의 글쓰기에 대해 갖는 작업 수준의 지식이 바로 ‘교수들은 그냥 알아본다’의 실제 메커니즘이다. 그것은 당신의 구문, 당신이 흔히 저지르는 오류, 자주 끌어오는 논지, 그리고 아무도 당신의 문장력을 평가하지 않을 때 당신이 쓰는 구체성의 수준에 대한 작업 샘플에서 비롯된다. 세련됨이 갑자기 크게 향상되면 분명한 이유로 눈에 띈다, 그것은 그 기준선과 맞지 않기 때문이다. 블라인드 연구에서 처음 채점하는 사람은 애초에 비교할 기준선이 없었다.

채점자에 대한 블라인드 연구가 밝혀낸 것, 그리고 그것이 전체 그림이 아닌 이유

Reading 연구는 조금 더 오래 들여다볼 가치가 있다, 왜냐하면 제목 아래의 수치보다 그 세부가 더 유용하기 때문이다. AI 답안 중 단지 6.35 percent만이 어떤 형태로든 학문적 부정행위 우려로 표시되었고, AI가 작성한 것으로 구체적으로 표시된 것은 3.17 percent에 불과했다. 나머지는 다른 어떤 답안과도 똑같이 표시되고, 채점되고, 반환되었다. 이것은 다른 곳에서 더 많은 주목을 받는 AI 탐지 소프트웨어의 오탐과 편향과는 다른 문제이다. 이 연구는 양쪽 모두에서 알고리즘이 전혀 개입하지 않은 상태에서, 인간이 원초적으로 구별해 내는 능력을 측정했다.

그렇다고 해서 채점자들이 부주의하다는 뜻은 아니다. 이 연구가 특정한 것을 시험하도록 설계되었다는 뜻이다, 즉 어떤 사람이 쓴 글에 대한 다른 정보가 전혀 없는 상태에서, 처음 보는 글 한 편을 채점자가 같은 질문에 대한 인간의 답안과 구별할 수 있는지 여부를 시험한 것이다. 이것은 탐지 문제의 가장 어려운 형태에 가깝고, 연구자들은 의도적으로 그렇게 설계했다. 연구가 발표되었을 때 Reading의 Peter Scarfe는, ‘우리 연구는 AI가 교육 평가의 무결성에 어떤 영향을 미칠지 이해하는 것이 국제적으로 중요하다는 점을 보여준다’고 말했다, 이는 한 학과의 호기심이 아니라 전 부문적 문제이다.

초안을 드러내는 구체적인 단서들

어떤 소프트웨어가 개입하기도 전에 네 가지 유형의 증거가 드러나는 경향이 있으며, 그 어느 것도 알아차리기 위해 특별한 훈련을 필요로 하지 않는다. 이미 당신의 글을 알고 있는 강사가 탐지기를 열지 않고도 그것들을 잡아내는 이유가 바로 여기에 있다.

신호	실제 상황에서의 모습
에세이 중간에 문체가 바뀌는 경우	평소의 목소리로 쓴 두 개의 문단 뒤에, 마치 더 형식적인 다른 필자가 글을 이어받은 듯한 문단이 나오는 경우
모듈이 한 번도 지정하지 않은 출처	읽기 목록에 한 번도 오르지 않았거나 세미나에서 언급된 적도 없는 텍스트에 대한 인용이, 실제로 다루었던 인용문 옆에 놓여 있는 경우
세미나의 흔적이 없는 논지	에세이가 배정된 주에 수업에서 20분 동안 논의한 구체적인 반론을 무시하는 주장
편집되지 않은 출력이 텍스트에 남아 있는 경우	아무도 제출 전에 다시 읽지 않은 채 남은 채팅 텍스트처럼만 이해되는, 우연히 남은 지시문, 반복된 구절, 또는 한 줄

최종 초안에 편집되지 않은 AI 출력이 남아 있는 일은 드문 단서처럼 들리지만, 시간 압박 아래서 그것이 얼마나 자주 일어나는지 보면 그렇지 않다. Alcorn State University의 역사 강사 Jason Gibson은 2026년 7월에 시험 문제 안에 흰색 글씨로 지시문을 숨겨 두고, 페이지에서는 보이지 않게 직접 이를 시험했다. 답안 어딘가에 Madagascar라는 단어를 아무 의미 없게 넣으라는 지시였다. 그의 학생 35명 중 32명은 정확히 그렇게 했고, 산업혁명에 관한 답안 안에 'Madagascar floats sideways through the afternoon' 같은 문장을 만들어 냈다.

그 경우에는 탐지기가 필요하지 않았다. 그는 학생들에게 자신이 무엇을 발견했는지 말하고 성적에 이의를 제기할 기회를 주었다. 두 명이 이의를 제기했고, 그중 한 명은 성공했다. 그녀의 화면에서 다크 모드가 흰색 글씨를 보이게 했기 때문에 숨겨진 줄을 읽을 수 있었기 때문이다. 편집되지 않은 AI 출력을 적발하는 데는 포렌식 소프트웨어가 거의 필요하지 않다. 대개는 누군가가 답안을 읽기만 하면 된다.

아무도 실제로 읽지 않은 텍스트에 대한 자신감 있는 산문

때로는 단서가 아예 존재하지 않는 인용문이다. 2024년 The American Economist에 실린 한 연구는 Journal of Economic Literature에서 가져온 프롬프트를 바탕으로 GPT-3.5와 GPT-4를 시험했으며, GPT-3.5가 생성한 인용문의 30퍼센트 이상이 완전히 날조된 것이었고, GPT-4에서도 그 비율은 그보다 약간 나은 수준에 그쳤다고 밝혔다. 이 모델은 인용문을 쓸 때 실제로 어떤 자료도 찾아보지 않는다. 훈련 데이터에서 그러한 패턴이 함께 나타났기 때문에, 일치하는 출처가 존재해서가 아니라 그럴듯해 보이는 저자, 제목, 연도를 생성하는 것이다.

다른 경우에는 출처 자체는 실제이지만 강의계획서로는 정당화할 수 없으며, 이는 University of Bolton에서 있었던 초기의, 잘 문서화된 사례에서 드러난 바와 더 가깝다. 리더십 이론 에세이를 검토한 조사자들은 문체가 구간마다 달라지고, 진술들이 논리적으로 이어지지 않으며, 출처 목록이 강의의 Moodle 시스템에서 이용 가능한 단 두 개의 저널만으로 구성되어 있고, 지정 독서 목록에서는 아무것도 가져오지 않았음을 발견했다.

한 인용문은 실제로 존재하지만 놀랄 만큼 잘 알려지지 않은 2022년의 논문으로, Harry Potter를 리더십 이론에 적용한 것이었다. 이는 강의계획서에 따라 작업한 학생이라면 우연히 선택할 수 없는 종류의 출처였다. 그 에세이는 사실 제3자 작성 서비스에서 구매한 것이었고, 대학의 조사 결과 그 서비스가 일부 구간에서 ChatGPT를 사용한 것으로 결론지어졌으며, 학생은 과제를 통과하지 못해 재응시해야 했다. 결국 이를 드러낸 것은 해당 모듈에 실제로 무엇이 지정되었는지를 알고 있었고, 그 에세이가 그것을 바탕으로 구성되지 않았음을 알아챈 채점자였다.

이것이 의미하지 않는 것, 그리고 대신 길러야 할 습관

이 모든 것은 모든 불일치가 곧바로 의심을 받게 만든다는 뜻이 아니며, 세련된 글쓰기가 본질적으로 위험하다는 뜻도 아니다. 교수들은 단 하나의 의심스러운 문장이 아니라 제출물 전체에 걸친 패턴을 읽으며, 실제 우려가 제기된 뒤 이어지는 절차는 어떤 공식적 조치가 취해지기 전에 증거와 대화에 관한 자체 규칙에 따라 진행된다.

이 모든 것과 무관하게 더 유용한 습관은, 제출한 뒤가 아니라 제출하기 전에, 독자가 알아차릴 만한 바로 그 종류의 문체 변화를 자신의 초안에서 점검하는 것이다. 무료 형식성 검사기는 자신의 평소 문체에서 벗어난 문단을 표시할 것이며, 이는 교수가 눈으로 알아차릴 것과 같은 변화이다. 그것은 요령이 아니라 교정 습관이며, 초안의 어느 한 단어가 챗봇을 거쳤는지 여부와 상관없이 작동한다.

질문의 더 직설적인 표현인 ChatGPT를 사용하다가 적발될까에 대한 답은 별도로 제시된다. Turnitin이 바꿔 쓴 텍스트를 감지하는지에 관한 더 좁은 질문도 마찬가지인데, 이것이 실제로 대부분의 학생이 막히는 지점이다.

TextPulse의 학생용 AI humanizer는 같은 기본 생각에 기반해 작동한다. 그것은 어떤 특정 교수의 소프트웨어가 무엇이라고 말할지에 대한 주장이라기보다, 자신의 글의 통계적 형태로부터 구성된 추정 Human Score를 보고한다. 어떤 도구도 자신이 통제하지 않는 시스템에 대해 그런 약속을 책임 있게 할 수 없기 때문이다. 제출하기 전에 자신의 초안에 사용하면, 그것은 사후에 누구와 논쟁하기 위한 수단이 아니라 자신의 목소리를 다시 한 번, 이해관계 없는 방식으로 읽는 역할을 한다. 에세이가 줄 단위로 더 구체적이고 진정으로 자신의 것으로 읽힐수록, 이 모든 것이 거론될 필요는 더 줄어든다.