AI Detection

Các bộ phát hiện AI có chính xác không? Dương tính giả và thiên lệch

Các nhà cung cấp công bố tỷ lệ dương tính giả dưới 1 phần trăm. Các nhà nghiên cứu độc lập thử nghiệm cùng các bộ phát hiện đó trên bài viết tiếng Anh của người không bản ngữ đã ghi nhận tỷ lệ trên 60 phần trăm. Dưới đây là những gì bằng chứng cho thấy.

Cập nhật lúc 13 min
Are AI detectors accurate? Comparison table of vendor-claimed versus independently observed false positive rates for Turnitin, GPTZero, Originality.ai and Pangram.

Turnitin tuyên bố rằng tỷ lệ dương tính giả của họ thấp hơn 1%. Một nhóm các nhà nghiên cứu độc lập đã thử nghiệm nhiều bộ phát hiện trên một phạm vi rộng hơn các mẫu viết từ người nói tiếng Anh không phải bản ngữ. Họ phát hiện rằng tỷ lệ dương tính giả trung bình vượt quá 60% đối với cùng loại bài viết đó. Cả hai con số đều là thật, cả hai đều đã được công bố, và cả hai đều liên quan đến các bộ phát hiện bán cho cùng một thị trường. Các bộ phát hiện AI có chính xác không? Điều đó phụ thuộc vào quần thể nào đã được thử nghiệm, bạn đã dùng bộ phát hiện nào, và nhà cung cấp của bạn đã định nghĩa nó như thế nào ngay từ đầu.

Bài viết này sẽ không giải thích lại cách một bộ phát hiện tính toán điểm số đó. Cơ chế, perplexity, xác suất token, cách bộ phân loại được huấn luyện, đã được trình bày chi tiết ở nơi khác, và nếu bạn chưa đọc thì nên đọc trước. Điều quan trọng ở đây là điều gì xảy ra khi điểm số đã tồn tại, nó sai bao nhiêu lần, nó sai về bài viết của ai nhiều nhất, và một cáo buộc sai thực sự khiến một người không làm gì sai phải trả giá như thế nào.

Các bộ phát hiện AI có chính xác không?

Không nhất quán, và khoảng cách giữa các tuyên bố tiếp thị với thử nghiệm độc lập đã được ghi nhận rõ. Một nhóm các nhà nghiên cứu do Debora Weber-Wulff dẫn đầu đã công bố kết quả của họ về 14 công cụ phát hiện, gồm 12 công cụ miễn phí và hai công cụ thương mại, được thử nghiệm trên một tập hợp văn bản pha trộn giữa con người và ChatGPT vào năm 2023. Họ phát hiện rằng không có công cụ nào trong số này chính xác hoặc đáng tin cậy, với một thiên lệch sẵn có là gán văn bản do máy tạo ra là do con người viết hơn là theo chiều ngược lại. Hai trong số các công cụ thương mại được đưa vào thử nghiệm này là Turnitin và PlagiarismCheck. Tất cả các công cụ trong thử nghiệm này đều hoạt động kém hơn khi văn bản được diễn đạt lại.

Nhưng sau hai năm, tình hình không hề trì trệ. Một working paper từ Booth School của University of Chicago, do Brian Jabarian và Alex Imas thực hiện, đã đưa ba công cụ mới, Pangram, GPTZero và Originality.ai, cùng một đối thủ mã nguồn mở vào thử nghiệm với gần 2.000 đoạn văn do con người viết, lấy từ blog, tin tức, bài đánh giá và tiểu thuyết. Trong điều kiện thử nghiệm được kiểm soát, công cụ tốt nhất trong nhóm không bao giờ giảm xuống dưới 99,8 percent độ chính xác và giữ tỷ lệ dương tính giả ở mức thấp. Mô hình mã nguồn mở hoạt động tốt ngang một người đoán ngẫu nhiên. Tình hình thực sự đã tốt hơn. Đại khái là vậy. Một chút thôi.

Nhưng điểm mấu chốt là từ được kiểm soát. Các đoạn văn benchmark là sạch, đầy đủ và được tạo ra trong những điều kiện đã biết. Một bài luận được nộp thì không có điều nào trong số đó một cách đáng tin cậy. Kết quả trong thế giới thực có thể không giống hệt kết quả trong phòng thí nghiệm, như chính giám đốc sản phẩm của Turnitin đã công khai nói, dù đó là một sự thừa nhận hiếm hoi và hữu ích từ một nhà cung cấp. Phần tiếp theo đặt các con số của nhà cung cấp cạnh các con số độc lập để khoảng cách hiện ra rõ ràng thay vì chỉ được khẳng định.

Các tuyên bố của nhà cung cấp so với thử nghiệm độc lập

Bảng dưới đây đặt những gì bốn công cụ phát hiện tự tuyên bố về mình cạnh những gì các nhà nghiên cứu độc lập đo được khi họ trực tiếp thử nghiệm các công cụ. Hãy đọc hai cột ở giữa cùng nhau, không chỉ riêng cột của nhà cung cấp.

DetectorVendor-claimed accuracyIndependently observedWhat the vendor says about false positives
TurnitinNgưỡng tin cậy 98% trước khi gắn cờ, tỷ lệ dương tính giả ở cấp tài liệu dưới 1%Khoảng 80% độ chính xác, tốt nhất trong 12 công cụ trong một so sánh năm 2023, trên một phiên bản trước của công cụDưới 1% ở cấp tài liệu khi vượt ngưỡng 20% do AI viết, khoảng 4% ở cấp câu
GPTZeroPhát hiện văn bản AI 95.7% với tỷ lệ dương tính giả 1% trên chuẩn RAID độc lậpĐộ chính xác 96% trên các đoạn ngắn, tỷ lệ dương tính giả dưới 1% trong một nghiên cứu năm 2025 của University of Chicago BoothBáo cáo tỷ lệ dương tính giả 1% trên chuẩn RAID
Originality.aiĐộ chính xác 99%, tỷ lệ dương tính giả 0.5% (mô hình Lite), 1.5% (mô hình Turbo)Tỷ lệ dương tính giả dưới 1%, nhưng bỏ sót 10% đến 40% văn bản do AI viết trong cùng nghiên cứu BoothCông bố các số liệu dương tính giả riêng theo từng cấp mô hình
PangramTỷ lệ lỗi mà công cụ này nói là thấp hơn hơn 38 lần so với các công cụ cạnh tranh, và khẳng định không có thiên lệch đối với người viết tiếng Anh không phải bản ngữĐộ chính xác không bao giờ thấp hơn 99.8%, tỷ lệ dương tính giả gần bằng 0, trong nghiên cứu BoothKhẳng định tỷ lệ dương tính giả gần bằng 0 trên 10 miền văn bản và 8 mô hình ngôn ngữ

Hai điểm nổi bật. Thứ nhất, tất cả các số liệu của nhà cung cấp đều đến từ một phòng thí nghiệm do chính nhà cung cấp kiểm soát, còn các số liệu Booth đến từ những nhà nghiên cứu không có gì để bán. Thứ hai, Turnitin hoàn toàn không xuất hiện ở cột giữa đó vì nghiên cứu năm 2025 không kiểm tra công cụ này. Trong bảng, số liệu độc lập của nó dựa trên một so sánh năm 2023 trước đó nhưng được thực hiện trên một phiên bản cũ hơn của công cụ, vì vậy hãy nhớ điều này khi xem bảng như một so sánh tương đương trực tiếp.

Độ chính xác của phát hiện AI của Turnitin là bao nhiêu?

Turnitin không công bố một con số độ chính xác duy nhất. Thay vào đó, công ty công bố một ngưỡng và một sự đánh đổi. Công ty đã nói rằng họ chỉ gắn cờ một tài liệu khi họ tin chắc 98 phần trăm rằng phần bị gắn cờ là do AI viết, và ngưỡng này là điều giữ cho tỷ lệ dương tính giả ở cấp độ tài liệu dưới 1 phần trăm. Turnitin đã ước tính rằng họ phát hiện khoảng 85 phần trăm bài viết có sự hỗ trợ của AI, và cố ý để phần còn lại lọt qua thay vì mạo hiểm đưa ra một cáo buộc sai.

Tỷ lệ phần trăm dương tính giả thực tế mà Turnitin trả về ở cấp độ câu, nơi giao diện làm nổi bật các dòng cụ thể thay vì toàn bộ tài liệu, thực ra gần 4 phần trăm hơn. Đây là con số đáng biết nếu một giảng viên chụp màn hình một đoạn văn bị gắn cờ đơn lẻ thay vì điểm số của toàn bộ tài liệu, vì một câu được làm nổi bật có khả năng sai cao hơn đáng kể so với điểm số của toàn bộ tài liệu đặt bên cạnh nó.

Cũng đáng lưu ý rằng Turnitin đã thừa nhận trực tiếp khoảng cách này. Họ nhận thấy rằng các kết quả thực tế ban đầu của họ, đặc biệt đối với các tài liệu ngắn hơn, có tỷ lệ dương tính giả cao hơn so với dự kiến dựa trên các thử nghiệm trong phòng thí nghiệm. Vì vậy, họ đã điều chỉnh độ dài tối thiểu của tài liệu để được chấm điểm từ 150 đến 300 từ. Đó là một nhà cung cấp tự điều chỉnh sản phẩm của mình vì con số đã công bố không còn đúng khi ra ngoài phòng thí nghiệm, và điều đó nói lên nhiều điều không kém gì bất kỳ nghiên cứu độc lập nào.

Thực tế một dương tính giả gây tốn kém gì cho sinh viên

Điều này đã xảy ra với một sinh viên MBA điều hành tại Trường Quản lý Yale. Sinh viên này đã bị cáo buộc vi phạm, theo nghĩa đen nhất có thể. Công cụ phát hiện liên quan là GPTZero. Bài thi cuối kỳ của sinh viên trong một môn tài chính đã bị một trợ giảng gắn cờ vì người này cho rằng bài viết dài và cầu kỳ, với dấu câu và ngữ pháp gần như hoàn hảo. Và vị giáo sư này đã đưa bài đó qua GPTZero, công cụ chấm các câu trả lời là có khả năng do AI tạo ra.

An đã trượt môn học và bị đình chỉ trong một năm. Đơn kiện của anh, nộp tại tòa án liên bang vào tháng 2 năm 2025, cho rằng chính sách của Yale tự nó hạn chế việc sử dụng các công cụ như GPTZero vì đúng lý do này, tức tỷ lệ dương tính giả đã được ghi nhận đối với người không phải bản ngữ tiếng Anh, và rằng anh đã sử dụng nó trái với chính sách đó. Đơn nộp của anh cũng dẫn rằng GPTZero trả về điểm 100 phần trăm do AI tạo ra đối với bài viết học thuật của chính cựu hiệu trưởng đại học của Yale và hiệu trưởng trường kinh doanh.

Thẩm phán đã từ chối ban hành lệnh cấm tạm thời sớm vào tháng 5 năm 2025. Vụ việc vẫn chưa được giải quyết, tính đến lúc tôi viết. Nguyên đơn, một công dân Pháp, cho rằng chính sự thiên lệch đã biết đối với người không phải bản ngữ tiếng Anh đã khiến bài viết của anh có kết quả như vậy. Đó là điều chúng ta xem xét ở phần tiếp theo. Điều không còn tranh cãi là cái giá phải trả: mất một năm trong chương trình cấp bằng, một điểm trượt, chi phí pháp lý, và vài tháng tranh cãi về một điểm số thay vì theo đuổi việc lấy bằng. Tỷ lệ dương tính giả 1 phần trăm nghe có vẻ nhỏ cho đến khi một quần thể lớn biến nó thành vấn đề của một cá nhân cụ thể.

Nhân hóa bài viết của bạn

Biến đổi văn bản có hỗ trợ AI của bạn và làm cho nó nghe tự nhiên như do con người viết, mà không chạm vào các từ quan trọng hoặc trích dẫn.

Bắt đầu miễn phí

Những đặc điểm viết nào khiến văn bản do con người viết trông như do máy tạo ra

Bốn kiểu viết thông thường mang rủi ro lớn nhất, và không kiểu nào trong số đó liên quan đến việc một người làm điều gì sai. Các văn bản ngắn, lối viết rất công thức, tài liệu được trích dẫn hoặc theo mẫu, và bài viết đã được biên tập rất kỹ đều có xu hướng bị chấm là có tính dự đoán cao hơn so với văn xuôi được soạn tự do, trong khi đó chính là thuộc tính duy nhất mà mọi bộ phát hiện thực sự đang đo lường. Một công cụ kiểm tra burstiness miễn phí đo trực tiếp cùng mức biến thiên đó, đây là cách nhanh hơn để nhận ra mô hình này so với việc đọc một mô tả về nó.

Một số thể loại vốn được xây dựng theo khuôn mẫu. Một mục phương pháp, một báo cáo thí nghiệm, một thư xin việc tiêu chuẩn và một bài tổng quan tài liệu đều đề cao cách diễn đạt quen thuộc hơn là cách diễn đạt sáng tạo, vì chính sự tuân thủ khuôn mẫu làm cho tài liệu có thể được người đọc sử dụng. Các nhà nghiên cứu đã kiểm tra điều này trực tiếp trên văn bản thực tế: họ đưa 14,400 tóm tắt bài báo khoa học được công bố trong giai đoạn từ 1980 đến 2023, tức là nhiều năm trước khi bất kỳ mô hình ngôn ngữ lớn nào tồn tại, qua một bộ phát hiện công khai. Có tới 8 percent bị gắn cờ là do AI tạo ra bất kể năm công bố, và các tóm tắt của New England Journal of Medicine bị gắn cờ ở mức 10.24 percent, là tỷ lệ dương tính giả cao nhất trong số năm tạp chí được kiểm tra.

Bài kiểm tra này không thể đã phát hiện ra điều gì liên quan đến ChatGPT, vì ChatGPT chưa tồn tại trong phần lớn các năm mà nó lấy mẫu. Nó phát hiện thể loại. Nói chính xác hơn, như phân tích thống kê năm 2026 về vấn đề phát hiện sẽ chỉ ra, không có cách nào xây dựng một bộ phát hiện có thể phân biệt giữa một câu có thể dự đoán được vì nó được phần mềm viết ra và một câu có thể dự đoán được vì đó là kiểu câu mà người ta viết trong đúng thể loại ấy. Từ bên ngoài, chúng trông hoàn toàn giống nhau.

Việc biên tập mạnh tay cũng đẩy theo một hướng tương tự. Bản thảo đầu tiên mang những bất thường riêng của người viết, trật tự từ ngữ lạ, câu kéo dài vì ý nghĩ kéo dài. Một lượt hiệu đính kỹ lưỡng, đặc biệt là khi được thực hiện qua một công cụ khác, có xu hướng làm phẳng chính những bất thường ấy. So sánh độc lập lớn nhất cho đến nay về các công cụ phát hiện đã kiểm tra 14 công cụ và nhận thấy rằng độ chính xác giảm thêm, đối với mọi công cụ, một khi văn bản mẫu đã được diễn đạt lại hoặc dịch bằng máy.

Đặc điểm viếtVì sao nó làm giảm mức độ khó đoán bề ngoài của một tài liệuBằng chứng cho thấy gì
Bài nộp ngắnÍt văn bản hơn đồng nghĩa với ít chỗ hơn cho biến thiên tự nhiên, yếu tố phân biệt nhịp điệu của con người với nhịp điệu của máyĐiểm số trên các tài liệu ngắn dao động mạnh hơn chỉ vì vài câu bất thường
Lối viết công thức hoặc đặc thù ngànhQuy ước của thể loại ưu tiên cụm từ được dự đoán trước hơn cụm từ sáng tạo14,400 tóm tắt tạp chí trước ChatGPT (1980 đến 2023) vẫn kích hoạt tới 8% dương tính giả, một số tóm tắt của một tạp chí đạt 10.24%
Bản thảo được biên tập nhiều hoặc diễn đạt lạiMột lượt trau chuốt làm mượt các bất thường cá nhân mà bộ phát hiện đọc là dấu hiệu của con ngườiMột so sánh độc lập giữa 14 công cụ cho thấy độ chính xác giảm thêm sau khi diễn đạt lại hoặc dịch máy
Vật liệu được trích dẫn hoặc theo mẫuĐoạn trích dẫn mang dấu hiệu thống kê của nguồn của nó, chứ không phải của người viết trích dẫnCác bộ phát hiện không loại trừ trích dẫn sẽ chấm điểm tài liệu xung quanh dựa trên văn bản vay mượn

Tại sao các bộ phát hiện AI lại phân loại sai người nói tiếng Anh không phải bản ngữ?

Tệ, và với mức chênh lệch rất lớn. Đó là kết luận của nghiên cứu đầu tiên lượng hóa được điều này. Các nhà nghiên cứu Stanford đã chạy bảy bộ phát hiện GPT được dùng rộng rãi đối với 91 bài luận TOEFL của người nói tiếng Anh không phải bản ngữ và 88 bài luận của học sinh lớp tám ở Mỹ. Các bộ phát hiện đọc đúng gần như mọi lần đối với các bài luận lớp tám. Khi xét đến các bài luận TOEFL, vốn do những người trưởng thành viết ra và đủ thông thạo để làm bài kiểm tra tiếng Anh trình độ sau đại học, các bộ phát hiện cho thấy trung bình tỷ lệ dương tính giả là 61.3 percent. Tám mươi chín trong số 91 bài luận bị ít nhất một trong bảy bộ phát hiện gắn cờ là do GPT tạo ra, 18 trong số đó bị cả bảy bộ phát hiện gắn cờ.

Cơ chế này giống hệt cơ chế chi phối phần còn lại của việc phát hiện, vốn từ vựng có thể dự đoán được và cấu trúc câu đơn giản được đọc là perplexity thấp, và perplexity thấp được đọc là do máy tạo ra, bất kể ai đang cầm bút. Những người viết bằng ngôn ngữ thứ hai dựa vào các cách diễn đạt đã được thiết lập vững chắc vì đó chính là hình thức mà sự lưu loát trong một ngôn ngữ bổ sung thực sự biểu hiện, và đó chính xác là hồ sơ mà một bộ phát hiện được xây dựng để gắn cờ.

Những người viết trong hoàn cảnh đó không được giúp ích nhiều bởi lời khuyên chỉ đơn giản là viết tự nhiên hơn, vì tự nhiên chính là điều đã bị gắn cờ. Trang của TextPulse dành cho các nhà văn học thuật ESL trình bày sâu hơn về các mẫu diễn đạt đứng sau rủi ro đó, bao gồm những gì làm thay đổi chúng mà không làm thay đổi ý nghĩa của câu.

Đây không phải là một trường hợp đơn lẻ. Vào tháng 12 năm 2025, một chuẩn đánh giá mới đã được công bố, được thiết kế rõ ràng để đánh giá thiên lệch trong các bộ phát hiện này. Nó bao gồm hơn 200,000 mẫu trên nhiều nhóm nhân khẩu học và ngôn ngữ khác nhau. Mặc dù đã cách nghiên cứu đầu tiên của Stanford hai năm và bao gồm nhiều phiên bản mô hình khác nhau của cùng các bộ phát hiện đó, chuẩn đánh giá này vẫn cho thấy thiên lệch đối với English language learners vẫn còn tồn tại.

Điều này không đúng với tất cả các nhà cung cấp. Tài liệu kỹ thuật của Pangram nêu rõ rằng bộ phân loại của nó không thiên lệch chống lại những người nói tiếng Anh không phải bản ngữ. Các nhà nghiên cứu của Chicago Booth đã không kiểm tra độc lập tuyên bố này, nhưng điều đó cho thấy thế hệ bộ phát hiện mới hơn đang được xây dựng có tính đến vấn đề này thay vì phớt lờ nó.

Nếu bạn muốn xem bài viết của chính mình đang ở đâu trước khi bất kỳ ai khác chấm điểm nó, một công cụ kiểm tra perplexity miễn phí sẽ cho bạn cùng một con số nền tảng mà một bộ phát hiện sẽ tính, mà không cần nộp bất cứ thứ gì cho một cơ sở trước.

Ai khác bị gắn cờ, và vì sao

Người không phải bản ngữ tiếng Anh mang theo rủi ro được ghi nhận lớn nhất, nhưng cùng một logic thống kê cũng bắt được các kiểu viết khác. Nhóm của Weber-Wulff phát hiện rằng cả 14 công cụ họ thử đều kém chính xác hơn khi họ chạy chúng trên các văn bản đã được diễn đạt lại, điều này mô tả một phần đáng kể của văn bản học thuật đã đi qua tay người hiệu đính, biên tập viên, hoặc bút đỏ của người hướng dẫn trước khi bất kỳ ai chạy một bộ phát hiện trên đó.

Không điều nào trong số này có nghĩa là con số đó vô nghĩa, chỉ là nó cần được xác nhận thêm trước khi nó có ý nghĩa gì về một cá nhân cụ thể. Nếu bạn có một văn bản đọc lên rất đồng đều, độ dài câu tương tự nhau, nhịp điệu tương tự xuyên suốt, nó sẽ được chấm điểm là giống máy hơn bất kể ai viết nó hay vì sao. Điều này có thể được kiểm tra trực tiếp bằng một free burstiness checker thay vì đoán mò.

Một nhóm thứ hai, ít được bàn tới hơn, đối mặt với một vấn đề liên quan. Các nhà nghiên cứu đã so sánh khoảng 60,000 bài đăng trên Reddit, chia thành một tập con được xác định là có khả năng do tác giả tự kỷ viết và một mẫu chung, rồi chạy cả hai qua một bộ phát hiện dựa trên GPT-2. Cả hai nhóm đều ở dưới 2 percent bị gắn cờ tổng thể, nhưng tập con có khả năng tự kỷ bị gắn cờ với tỷ lệ cao hơn đáng kể so với mẫu chung. Kiểu viết nghiêng về diễn đạt theo nghĩa đen, lặp lại, có khuôn mẫu chặt chẽ, một đặc điểm đã được ghi nhận của một số phong cách giao tiếp tự kỷ, tạo ra đúng loại văn bản ít biến thiên mà một bộ phát hiện được xây dựng để bắt.

Tại sao một điểm số tự tin không phải là một cáo buộc tự tin

Tỷ lệ dương tính giả nghe như thể nó nói về khả năng một sinh viên bị gắn cờ là có vấn đề nhưng thực ra vô tội. Nhưng không phải vậy. Nó mô tả cách một bài kiểm tra hoạt động đối với tất cả mọi người làm bài. Và đó là những câu hỏi khác nhau với những câu trả lời khác nhau, giống như với bất kỳ bài sàng lọc nào trong y học hoặc an ninh.

Một phân tích thống kê tháng 3 năm 2026 từ một nhà nghiên cứu của Griffith University làm rõ toán học nền tảng. Hãy xem phát hiện AI như một phép thử áp dụng lên một quần thể người viết là sinh viên, thay vì lên một tài liệu đơn lẻ, và một sự đánh đổi sẽ xuất hiện: bất cứ khi nào một phần nào đó của quần thể ấy viết theo cách tự nhiên trùng lặp với đầu ra điển hình của AI, gần với quy ước của thể loại, gần với phạm vi của người học ngôn ngữ thứ hai, thì bất kỳ bộ phát hiện nào có năng lực thực sự để bắt được bài viết do AI tạo ra đều phải báo sai trên một phần của nhóm trùng lặp đó. Đây không phải là một khẳng định rằng một bộ phát hiện cụ thể được xây dựng kém. Đó là một thuộc tính của việc kiểm tra một quần thể đa dạng bằng một tài liệu đơn lẻ và không có bằng chứng nào khác.

Ví dụ minh họa ngay trong bài báo cho thấy quy mô liên quan. Giả sử 10 percent của một quần thể sinh viên viết đủ gần với đầu ra điển hình của AI, và một bộ phát hiện được tinh chỉnh để bắt 80 percent của bài viết thực sự do AI tạo ra. Khi đó, toán học đòi hỏi một tỷ lệ dương tính giả trung bình ít nhất là 7.5 percent trên toàn quần thể ấy. Điều đó không phải là một khiếm khuyết trong kỹ thuật của bộ phát hiện, mà là hệ quả trực tiếp của mức độ mà bài viết của nhóm đó trùng lặp về mặt thống kê với đối tượng đang được phát hiện.

Khi quy mô được mở rộng lên một trường đại học có 10,000 sinh viên, riêng cận dưới này đã hàm ý khoảng 750 cảnh báo sai trên toàn quần thể, một hệ quả toán học của việc kiểm tra một quần thể đa dạng đối chiếu với một tài liệu đơn lẻ mà không có bằng chứng nào khác để cân nhắc. Tác giả của bài báo nói rõ rằng các con số cụ thể này chỉ mang tính minh họa, chứ không phải là số liệu đo được tại một cơ sở thực tế. Ví dụ này cho thấy hình dạng của vấn đề, chứ không phải một dự đoán cụ thể cho bất kỳ cơ sở nào.

Chính sách phát hiện AI có thể biện minh trông như thế nào

Yale đã có một chính sách được cho là hạn chế các công cụ như GPTZero, vì gần với những lý do mà bài viết này đã nêu ra, đó là một tỷ lệ dương tính giả đã được ghi nhận và một thiên lệch đã được ghi nhận đối với người viết tiếng Anh không phải bản ngữ. Vì vậy, đây không hẳn là câu chuyện về một sinh viên xui xẻo, mà là về việc một quy tắc hiện có không được tuân thủ. Khi một chính sách thực sự thực thi được sự khác biệt giữa một điểm số và một phán quyết, thì điểm số trở thành một đầu vào thay vì một phán quyết.

  • Xem điểm số như một đầu vào, không bao giờ là cơ sở duy nhất cho một kết luận về hành vi sai phạm
  • Công khai tỷ lệ dương tính giả đã được công bố của công cụ cho sinh viên trước khi dùng nó để chống lại họ
  • Áp dụng sự thận trọng bổ sung đối với các bài nộp ngắn và bài viết bằng tiếng Anh của người không phải bản ngữ, cả hai đều là những điểm yếu đã được ghi nhận
  • Đảm bảo một con đường kháng nghị không đòi hỏi phải bác bỏ một con số thống kê

Không có gì trong số này là khác thường. Nó gần với cách bất kỳ một mảnh bằng chứng pháp y nào cũng nên được đối xử ở nơi khác, hữu ích, có thể kiểm tra, và không bao giờ đủ chỉ riêng nó.

Đối với một người viết cá nhân, nguyên tắc tương tự áp dụng trước khi một điểm số tồn tại hơn là sau đó. Một con số đơn lẻ, từ bất kỳ công cụ nào, là một ước lượng chứ không phải một phán quyết, và coi nó là chắc chắn theo bất kỳ hướng nào, an toàn hay bị phát hiện, là đòi hỏi ở con số đó nhiều hơn mức nó có thể hỗ trợ.

Công cụ AI humanizer tool của TextPulse tự báo cáo một Human Score theo cùng logic đó, một ước lượng được tính từ chính văn bản của bạn, không phải phán quyết của một bộ phát hiện về nó, hữu ích như một tín hiệu về cách một bản thảo hiện đang được đọc hơn là một lời hứa về việc bất kỳ bộ phát hiện cụ thể nào sẽ nói gì.

Câu hỏi về độ chính xác tách thành các câu hỏi hẹp hơn, mỗi câu có một trang riêng. Bằng chứng cụ thể về tỷ lệ dương tính giả của Turnitin và về độ chính xác của ZeroGPT được trình bày riêng. Nếu một điểm số đã được dùng để chống lại bạn, có những phần thực hành về phải làm gì khi bạn bị cáo buộc sử dụng AI, về bằng chứng bạn có thể tập hợp để chứng minh rằng bạn đã không sử dụng AI, và về viết một thư kháng nghị trả lời điểm số theo chính các tiêu chí của nó.

Con số trên bất kỳ báo cáo nào sẽ tiếp tục thay đổi khi các nhà cung cấp huấn luyện lại mô hình của họ và các nhà nghiên cứu tiếp tục kiểm tra chúng trên những trường hợp khó hơn. Nhưng điều không nên thay đổi là thói quen bên dưới nó, hãy đọc một điểm số như một phép đo trong số nhiều phép đo, hỏi nó đã được thẩm định trên quần thể nào, và hỏi nhà cung cấp không nói gì về những trường hợp mà nó vẫn còn sai.

XLinkedInFacebook

Câu hỏi thường gặp

Có. Weber-Wulff và các cộng sự đã kết luận trong một so sánh năm 2023 rằng các công cụ phát hiện AI 'không chính xác cũng không đáng tin cậy', và người viết tiếng Anh không bản ngữ đối mặt với rủi ro cao nhất đã được ghi nhận, với một nghiên cứu cho thấy tỷ lệ dương tính giả trung bình trên 60 phần trăm đối với các bài luận TOEFL. Một điểm số đơn lẻ tự nó không phải là bằng chứng cho bất cứ điều gì, vì vậy nó không bao giờ nên là bằng chứng duy nhất đứng sau một cáo buộc.

Moe

PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.

Cập nhật về AI humanization

Nhận mẹo về viết học thuật, phát hiện AI và humanization được gửi thẳng vào hộp thư của bạn.

Không spam. Có thể hủy đăng ký bất cứ lúc nào.