AI 탐지기는 왜 비원어민 영어 작성자에게 편향되는가
2023년 Stanford 연구는 유창한 비원어민 영어 글쓰기가 원어민 글쓰기보다 훨씬 높은 비율로 기계 생성으로 오인된다고 밝혔다. 여기서는 그 격차의 메커니즘과, 같은 에세이를 더 풍부한 어휘로 다시 썼을 때 어떤 일이 일어났는지를 설명한다.
AI 텍스트를 사람처럼 보이게 하는 방법, AI 탐지기 점수를 낮추는 법, 인용문을 보존하는 법, 더 나은 학술 논문 작성법에 대한 전문가용 글.
2023년 Stanford 연구는 유창한 비원어민 영어 글쓰기가 원어민 글쓰기보다 훨씬 높은 비율로 기계 생성으로 오인된다고 밝혔다. 여기서는 그 격차의 메커니즘과, 같은 에세이를 더 풍부한 어휘로 다시 썼을 때 어떤 일이 일어났는지를 설명한다.
버스티니스는 평균 문장의 길이가 얼마나 되는지가 아니라, 한 구절에서 문장 길이가 얼마나 넓게 흔들리는지를 측정한다. 이 글은 이 용어의 기원, 분산이 실제로 어떻게 계산되는지, 그리고 language model의 출력이 왜 대체로 좁은 길이 범위에 머무는지를 설명한다.
Perplexity는 언어 모델이 단어 선택에 얼마나 놀랐는지를 설명하기 위해 산출하는 수치이다. 이 글은 이 지표의 1977년 기원을 추적하고, 공식을 살펴보며, 같은 문단도 어떤 모델이 읽느냐에 따라 왜 다르게 점수가 매겨질 수 있는지 설명한다.
업체들은 오탐지율이 1% 미만이라고 공표한다. 같은 탐지기를 비원어민 영어 글쓰기에 대해 시험한 독립 연구자들은 60%를 넘는 비율을 발견했다. 다음은 그 증거가 보여주는 바이다.
AI 탐지기는 독자가 글을 읽듯이 기계가 쓴 글을 인식하지 않는다. 이들은 텍스트가 얼마나 예측 가능한지를 측정한 뒤, 그것을 점수로 바꾼다. 이를 이해하면 기술과 그 한계가 모두 더 잘 이해된다.
사용자 언어로 번역되지 않은 게시물은 영어 블로그에 있습니다.