어떤 대학들이 Turnitin의 AI 탐지기를 사용 중지했는가

Turnitin의 AI 탐지 기능 사용을 중단한 대학 목록은 검색 결과가 보여주는 것보다 더 짧고, 더 잘 문서화되어 있다. 미국의 세 기관, Vanderbilt University, Michigan State University, 그리고 University of Texas at Austin은 각각 이 기능을 끄기로 했음을 확인하는 자체 페이지를 게시했으며, 그 이유를 각자의 표현으로 밝혔다. 이 세 기관 중 어느 곳도 Turnitin 자체를 중단하지는 않았다.

마지막 문장이 대부분의 요약에서 빠지는 부분이다. Turnitin은 하나의 인터페이스 안에서 두 가지 제품을 제공한다. 하나는 학생 논문을 텍스트 데이터베이스와 비교하는 유사성 검사기로, 생성형 AI가 발명되기 훨씬 전부터 제공되어 온 서비스이다. 다른 하나는 AI writing indicator로, 논문의 산문이 기계가 생성한 출력과 얼마나 유사한지를 기준으로 점수를 매기는 분류기이다. 이 새로운 기능은 2023년 4월에 출시되었다. 아래의 모든 기관이 끈 것은 두 번째 제품뿐이었다.

다음 내용은 세 대학이 각자의 표현으로 제시한 이유, 기관 소유 페이지로 이를 확인할 수는 없지만 언론 보도에서 반복되는 두 개의 추가 이름, 그리고 관리자가 이 결정을 내릴 때 실제로 무엇을 바꾸는지를 보여준다.

어느 대학도 Turnitin을 완전히 중단했는가?

그런 확인된 사례는 없다. 문서화된 모든 사례는 대학이 계속 사용하는 제품 안의 특정 설정 하나를 비활성화한 경우이다. Turnitin 자체의 안내는 왜 그런 구분이 가능한지 설명한다. 관리자는 "have the option to enable/disable the AI writing feature from their admin settings page"이며, 그렇게 하면 "will remove the AI writing indicator and report from the Similarity report," 되어 유사성 보고서는 그대로 유지된다.

Similarity Score와 AI Score는 Turnitin의 표현에 따르면 서로 다른 모델을 바탕으로 하고 같은 인터페이스의 서로 다른 탭에 표시되는, 별개의 독립적인 보고서이다. TextPulse는 다른 곳에서 유사성 점수와 AI 점수가 실제로 어떻게 다른지를 더 자세히 다룬 바 있다. 대학은 첫 번째는 건드리지 않고 두 번째만 끌 수 있으며, 아래의 모든 사례가 정확히 그렇게 했다.

Vanderbilt University: 가장 상세한 공개 설명

Vanderbilt는 2023년 8월 16일 Turnitin의 AI 탐지기를 비활성화했고, 그 이유를 같은 날 공개하여 언론이 이를 추정하게 두지 않았다. 이 대학이 제시한 자체 산술은 어떤 기관이 공개한 논거 중에서도 가장 분명한 버전이다. Turnitin은 1 percent의 오탐률을 주장했으며, Vanderbilt가 2022년에 Turnitin에 제출한 약 75,000편의 논문에 그 비율을 적용하면, 대학은 그 수치가 "약 750편의 학생 논문이 AI가 일부를 작성한 것으로 잘못 표시되었을 수 있다"는 뜻이라고 계산했다.

Vanderbilt는 그 산술과 함께 두 가지 추가 이유를 제시했다. 비원어민 영어 작성자에 대한 문서화된 편향, 그리고 기저 모델이 실제로 어떻게 점수에 도달하는지에 대한 불충분한 투명성이다. 이 세 가지 쟁점, 즉 무시하기에는 너무 큰 오탐 수, 편향 문제, 불투명한 모델은 이후 공개적으로 옵트아웃을 설명한 거의 모든 기관에서 어떤 형태로든 다시 나타난다.

기관	조치	날짜	기관의 표현에 따른 제시된 이유
Vanderbilt University	계정 전체에서 AI writing indicator를 비활성화함	2023년 8월 16일	자체 제출량에 적용했을 때 1%의 오탐률이 주장되었음, 비원어민 영어 작성자에 대한 편향, 모델 투명성 부족
Michigan State University	교수자에게 AI writing detection을 제공하지 않음	2023년 8월자 지침	AI 탐지 도구는 학생에 대한 불리한 조치의 유일한 근거로 사용되어서는 안 됨
University of Texas at Austin	학생 과제에 AI 탐지 소프트웨어 사용을 금지함	UT Austin의 자체 페이지에는 날짜가 명시되지 않았으며, 2024년 2월까지 옵트아웃 기관 목록에 포함됨	AI 탐지 소프트웨어를 High Risk로 분류함, 저작권, 지적 재산권 및 FERPA 우려를 언급함

Michigan State와 UT Austin, 추가로 확인된 두 개의 옵트아웃

Michigan State의 자체 도움말 문서는 분명히 다음과 같이 밝힌다. "Turnitin AI Detection is not currently available at MSU." 그 지침은 어떤 탐지기를 수업에서 사용하든 적용되는 주의도 덧붙인다. AI 탐지 도구는 "should not be used as the sole basis for adverse actions against a student." 이 페이지는 MSU의 더 넓은 생성형 AI 지침 안에 있으며, 날짜는 2023년 8월로 표시되어 있다. 이는 Vanderbilt가 자체 결정을 공개한 바로 그 달이다.

UT Austin은 이 셋 중 가장 포괄적인 입장을 취했다. 대학의 Provost Office는 그것이 "does not endorse the use of AI Detection Software and does not have any central contracts or purchase orders with active AI Detection Software features."라고 명시한다. 이 페이지는 단순한 비사용 선언을 넘어선다. AI 탐지 소프트웨어를 "High Risk"로 분류하며, 이는 한 부서가 조달 카드를 사용하더라도 이를 구매할 수 없음을 뜻한다. 또한 학생의 과제를 그러한 소프트웨어에 통과시키는 것은 별도의 FERPA 우려와 함께 "may be a violation of that student's copyright and intellectual property rights,"라고 경고한다. UT Austin의 자체 페이지에는 특정 결정 날짜가 명시되어 있지 않다. 교육 언론 보도는 이미 2024년 2월까지 이 대학을 비사용 기관 목록에 포함하고 있었다.

언론 보도에 따르면 Turnitin 사용을 중단한 다른 대학들

이 이야기를 다룬 보도를 정리할 때 자주 등장하는 다른 두 곳은 Northwestern University와 Montclair State University이다. 두 곳 모두 실제로 존재하지만, 다른 세 곳과 같은 수준의 신뢰할 만한 출처에 의해 언급되지는 않는다. 2024년 2월, Inside Higher Ed는 Montclair가 "announced in November [2023]... that academics should not use the AI-detector feature in a tool from Turnitin,"라고 보도했으며, 이는 "similar moves from institutions including Vanderbilt University, the University of Texas at Austin and Northwestern University."에 뒤이은 것이었다.

그것은 신뢰할 만한 언론 보도 출처이지만, 기관 자체의 페이지가 자기 말로 결정을 밝히는 경우와는 다른 기준이며, 이 글을 조사하는 동안 두 대학 모두에서 그런 페이지는 나타나지 않았다. 이 간극은 덮어두기보다 분명히 지적할 필요가 있다. 모든 언론 언급을 바탕으로 만든 목록은 세 개의 이름보다 길어질 것이고, 기관이 실제로 자체적으로 공개한 내용만을 바탕으로 만든 목록은 현재 세 개에서 멈춘다. 이 글은 처음부터 끝까지 더 엄격한 이 기준을 따른다.

대학들은 왜 AI Detector를 끄는가?

위의 모든 공개 성명에서 같은 몇 가지 이유가 반복된다. 실제 학생 집단에 곱해지면 더 이상 작아 보이지 않는 오탐률, 영어가 모국어가 아닌 작성자에 대한 문서화된 편향, 그리고 공급업체가 내부 작동 방식을 충분히 공개하지 않은 분류기라는 점이다. 이러한 논리는 AI detector가 실제로 정확한지 여부에 관한 더 넓은 증거와도 일치하며, 이는 Turnitin에만 국한되지 않는다. 위의 세 기관 중 어느 곳도 Turnitin의 유사도 검사기가 여전히 본래의 기능을 수행한다는 점을 부정하지 않는다. 이의는 추가된 한 가지 기능에만 특정되어 있다.

이 모든 것이 대학이 해당 기능을 계속 켜 두는 것이 부주의하다는 뜻은 아니며, 해당 기능을 껐다고 해서 근본 문제가 해결되었다는 뜻도 아니다. 이는 두 집단의 행정 담당자가 같은 공개 수치를 보고 서로 다른 판단을 내렸다는 뜻이며, 이제 학생이 이 기술을 경험하는 방식은 자신이 다니는 대학에 부분적으로 좌우되고, 자신이 제출한 논문 자체의 어떤 특성에 좌우되는 것은 아니다.

자신의 초안이 Vanderbilt의 편향 이의 제기가 설명하는 통계적 특성을 지니는지 궁금한 작성자는, 자신의 대학이 어떤 정책을 택했는지 알게 될 때까지 기다리기보다 무료 perplexity checker로 직접 확인할 수 있다.

그러한 결정의 근거는 별도로 제시되어 있다. 오탐이 실제로 무엇인지, 그리고 Turnitin이 자체적으로 공개하는 오탐률이다.

TextPulse의 무료 도구는 어떤 내용도 탐지기에 도달하기 전에 바로 그 동일한 영역을 다룹니다. Turnitin은 모델을 재학습할 때마다 자체 임계값을 계속 조정할 것입니다. 특정 대학이 현재 이 기능을 실행 중인지 여부는 설정의 문제이지, 논문 자체에 관한 사실이 아니며, 이번 학기에 그 설정이 어느 쪽으로 되어 있든 상관없이 초안을 그 자체의 기준에 따라 점검해 볼 가치가 있습니다.