Turnitin có phát hiện văn bản AI đã được nhân hóa không?

Turnitin tự trả lời câu hỏi này trên trang hỗ trợ của mình, và câu trả lời cụ thể hơn cả hai phía của lập luận thông thường. Chỉ báo viết bằng AI của nó, Turnitin says, đã bao gồm việc phát hiện nội dung do AI tạo ra, có thể đã được nhân hóa hoặc đi qua một bypasser để tránh bị phát hiện. Đây là mô tả của nhà cung cấp về chính sản phẩm của mình. Đây cũng là điểm thích hợp để bắt đầu, vì nó cho biết mô hình tuyên bố bao quát những gì.

Vậy, Turnitin có thể phát hiện văn bản đã được nhân hóa không? Câu hỏi này có dạng hẹp hơn và hữu ích hơn. Mô hình của Turnitin không tìm dấu vân tay của một humanizer và cũng không lưu danh sách công cụ. Nó chấm điểm văn xuôi theo từng câu dựa trên mức độ gần với các mẫu thống kê của văn bản do máy tạo ra, rồi lấy trung bình các điểm đó trên toàn bộ tài liệu. Việc một đoạn đã được nhân hóa vẫn có điểm cao hay không phụ thuộc vào mức độ mà bản viết lại đã thay đổi mẫu đó, và vào việc toàn bộ tài liệu đã được viết lại nhiều hay ít.

Turnitin Có Thể Phát Hiện Văn Bản Đã Được Nhân Hóa Không? Turnitin Tuyên Bố Gì

Quan điểm được công bố của họ là có, một cách rõ ràng. Khi trả lời liệu nó có thể phát hiện nội dung đã được đưa qua một humanizer hay không, hướng dẫn của họ nêu: "Yes, Turnitin's AI indicator includes detection of AI-generated content that may have been humanized or passed through a bypasser to avoid detection." Cùng trang đó cũng đưa ra câu trả lời tương tự đối với các công cụ diễn đạt lại bằng AI.

Tuyên bố đó không xuất hiện như một con số thứ hai ở đâu đó trong báo cáo. Turnitin gộp nó vào cùng tỷ lệ viết bằng AI duy nhất, và định nghĩa được công bố của tỷ lệ đó nói trực tiếp như vậy: nó bao gồm văn bản mà mô hình xác định có khả năng do AI tạo ra, hoặc có khả năng do AI tạo ra rồi được sửa đổi bởi một AI paraphraser hoặc bypasser. Chỉ có một điểm số, và nó đã tính đến phần viết lại trong phạm vi mà mô hình có thể làm được.

Hãy đọc kỹ, đó là một tuyên bố về phạm vi bao phủ hơn là một tuyên bố về độ chính xác. Turnitin đang nói rằng văn bản đã được nhân hóa nằm trong phạm vi khi mô hình được xây dựng. Điều đó còn rất xa mới có nghĩa là mọi tài liệu đã được nhân hóa đều đạt điểm cao, và các số liệu công bố của chính họ, ở phần dưới, mô tả một mô hình coi từng câu riêng lẻ là không chắc chắn.

Chỉ số AI Writing Indicator thực sự đang chấm điểm gì

Đó không phải là một tỷ lệ phần trăm. Đó là một phần của văn bản, nên nó không phải là một mức độ tin cậy. Nó là thước đo cho biết bao nhiêu văn bản trong tài liệu của bạn mà mô hình của chúng tôi cho là có khả năng do AI tạo ra. Chúng tôi gọi đó là văn bản đủ điều kiện, nghĩa là các câu văn xuôi trong định dạng viết dài. Nó không bao gồm danh sách gạch đầu dòng, mã, bảng hoặc các đoạn ngắn. Và đó là lý do bạn có thể thấy các con số khác nhau cho cùng một bài viết, tùy thuộc vào mức độ văn bản liên tục của nó.

Cơ chế bên dưới đủ đơn giản để hình dung. Turnitin chia một tài liệu thành các đoạn chồng lấn nhau, mỗi đoạn khoảng vài trăm từ, khoảng năm đến mười câu mỗi đoạn, chồng lấn để mỗi câu đều được chấm điểm trong ngữ cảnh. Mỗi câu nhận một giá trị từ 0 đến 1. Sau đó, điểm của các đoạn được lấy trung bình trên toàn bộ tài liệu để tạo ra con số duy nhất mà giảng viên nhìn thấy. Một bản trình bày từng bước về cách Turnitin phát hiện AI đi qua từng giai đoạn chi tiết hơn.

Bước lấy trung bình đó quan trọng hơn bất cứ yếu tố nào khác trong quy trình đối với văn bản đã được nhân hóa, và đó là phần hầu như không ai tính đến. Con số mà giảng viên đọc được là giá trị trung bình cộng của các phán đoán ở cấp độ đoạn. Một tài liệu có thể được viết lại một nửa và vẫn rơi vào khoảng giữa vì những lý do ít liên quan đến chất lượng của việc viết lại.

Tại sao đầu ra đã được nhân hóa đôi khi vẫn đạt điểm cao

Lý do phổ biến nhất là phạm vi bao phủ. Một công cụ humanizer được áp dụng cho phần mở đầu và phần kết luận sẽ để nguyên phần tổng quan tài liệu và phần thảo luận, và những đoạn đó giữ nguyên điểm số ban đầu rồi đi thẳng vào giá trị trung bình. Trong một chương dài, việc viết lại vài trang đầu chỉ làm thay đổi một số ít đoạn và để nguyên phần còn lại đúng như cũ, điều này tạo ra mức biến động nhỏ hơn nhiều so với điều mà người viết kỳ vọng từ một công việc có vẻ đáng kể.

Lý do thứ hai là độ sâu của việc viết lại. Một lần chỉnh sửa chỉ thay thế từ vựng nhưng giữ nguyên độ dài câu, trật tự mệnh đề và các lựa chọn chuyển tiếp sẽ để lại phần lớn khuôn mẫu mà bộ phân loại đã được huấn luyện trên đó gần như nguyên vẹn. Mô hình chấm điểm hình thức của văn xuôi, vì vậy việc thay đổi những từ nào lấp đầy khuôn mẫu đó tạo ra tác động ít hơn đa số mọi người vẫn giả định. Một free perplexity checker sẽ cho thấy một đoạn văn vẫn còn dễ dự đoán đến mức nào sau khi được viết lại, và đó là một tín hiệu có tính thông tin hơn so với việc so sánh ở cấp độ từ giữa bản trước và bản sau.

Lý do thứ ba là một bản viết lại có thể tự tạo ra tính đều đặn của riêng nó. Một phần mềm áp dụng cùng một phép biến đổi cho mọi đoạn văn sẽ tạo ra một khuôn mẫu mới đều đặn chẳng kém khuôn mẫu cũ. Nếu mọi câu đều có cùng một kiểu cắt nối bên trong, hoặc nếu mọi câu đều được thêm cùng một loại mệnh đề giảm nhẹ vào đúng cùng một vị trí, thì các câu đó sẽ được một bộ phân loại nhìn nhận là đồng đều như thể ban đầu chúng đều có cùng độ dài.

Tình huống	Điểm AI làm gì	Tại sao
Chỉ một phần của tài liệu được viết lại	Giảm ít hơn dự kiến	Các đoạn không bị động đến vẫn mang điểm gốc của chúng vào giá trị trung bình
Từ vựng thay đổi, cấu trúc câu được giữ nguyên	Hầu như không thay đổi	Bộ phân loại chấm điểm các mẫu ở cấp câu mà phép thay thế đã để nguyên
Các câu được tái cấu trúc thực sự trên toàn bộ văn bản	Thay đổi nhiều hơn	Nhịp điệu đồng nhất mà mô hình được huấn luyện để nhận ra bị phá vỡ
Dưới 300 từ văn xuôi được nộp	Không tạo ra điểm nào	Turnitin yêu cầu 300 từ văn xuôi đủ điều kiện trước khi báo cáo một tỷ lệ phần trăm
Kết quả xuống dưới 20 percent	Một dấu sao thay vì một con số	Turnitin gắn cờ các kết quả trong khoảng này là kém đáng tin cậy hơn

Tại sao cùng một bản viết lại đôi khi tạo ra điểm thấp

Một tài liệu đã được nhân hóa có thể quay lại với điểm thấp vì những lý do không liên quan gì đến việc viết lại. Turnitin cần ít nhất 300 từ văn xuôi đủ điều kiện trước khi nó tạo ra bất kỳ tỷ lệ AI nào, một ngưỡng mà nó đã nâng từ 150 từ ban đầu với lý do được nêu là độ chính xác cải thiện khi có thêm một chút văn bản. Một đoạn phản tư ngắn sẽ không tạo ra con số nào, và việc không có điểm không đồng nghĩa với việc sạch.

Turnitin đánh dấu một khoảng dưới 20 percent bằng dấu sao thay vì đưa ra một tỷ lệ phần trăm chính xác, vì trong khoảng này có tỷ lệ dương tính giả cao hơn. Vào thời điểm ra mắt, các báo cáo giáo dục cũng đề cập đến hành vi này, nói rằng các kết quả được báo cáo là dưới 20 percent do AI viết có tỷ lệ dương tính giả cao hơn và vì vậy Turnitin đã thêm các tuyên bố miễn trừ trách nhiệm. Một tài liệu nằm trong dải đó đã được đánh dấu là một khoảng mà Turnitin từ chối báo cáo chính xác, và điều đó khác với việc được xác nhận là sạch.

Cũng có một cơ chế kiểm soát ở cấp cơ sở trên tất cả những điều đó. Turnitin chỉ xử lý một bài nộp để phát hiện viết bằng AI nếu cơ sở đã bật tính năng này, và quản trị viên có thể tắt nó trên toàn bộ tài khoản. Vanderbilt University đã làm đúng như vậy vào tháng 8 năm 2023, viện dẫn tỷ lệ dương tính giả 1 percent do Turnitin công bố khi đó đối với khoảng 75,000 bài nộp hằng năm, sự thiên lệch đối với người viết tiếng Anh không phải bản ngữ, và việc thiếu minh bạch về cách mô hình hoạt động. Một sinh viên tại một cơ sở tắt tính năng này sẽ không có điểm AI trên bất kỳ bài nộp nào, dù đã được nhân hóa hay chưa.

Và khi việc viết lại thực sự mang tính cấu trúc, điểm số có thể giảm vì mẫu hình được đo đã thay đổi. Turnitin đưa ra một ước tính được tính từ các mẫu hình viết, nên văn bản có mẫu hình khác nhau sẽ có điểm khác nhau. Cơ chế này hoạt động theo cả hai hướng, và đó là phần gây khó chịu, vì bài viết gốc của con người đôi khi cũng có điểm cao vì đúng cùng một lý do.

Những gì từng nhà cung cấp humanizer tuyên bố, và những gì được ghi nhận

Một quy tắc chi phối bảng này. Cột giữa là ngôn ngữ tiếp thị của chính nhà cung cấp, được lấy từ chính trang web của họ ở bất cứ nơi nào trang đó có thể cung cấp một tuyên bố như vậy. Cột bên phải ghi lại điều gì thực sự đứng sau mỗi tuyên bố, mà trong hầu hết các trường hợp hoàn toàn không có bộ dữ liệu, ngày tháng hay phương pháp nào cả. Không có thử nghiệm công khai đối đầu trực tiếp nào cho các thương hiệu này.

Thương hiệu	Nhà cung cấp tuyên bố gì	Điều được ghi nhận
Undetectable.ai	Liệt kê việc vượt qua các bộ phát hiện AI như một tính năng sản phẩm mà không kèm theo con số nào, và đề nghị hoàn tiền chi phí nhân bản hóa nếu đầu ra bị gắn cờ là không phải do con người	Việc hoàn tiền là một điều khoản thương mại, không có bộ dữ liệu, ngày tháng hay kết quả theo từng bộ phát hiện nào đứng sau tuyên bố này
QuillBot	Không đưa ra tuyên bố về phát hiện hay vượt qua đối với tính năng humanizer trên các trang riêng của mình. Bộ phát hiện AI riêng của nó chỉ được mô tả là phát hiện nội dung do AI tạo ra	QuillBot bán humanizer trong một bộ công cụ viết chung và không đưa ra tuyên bố cụ thể nào về Turnitin cho tính năng này
WriteHuman	Được xếp hạng số một trên một Humanizer Leaderboard, và được mô tả là AI humanizer cao cấp dành cho việc viết nghiêm túc	Bảng xếp hạng không nêu phương pháp hay mẫu khảo sát nào, và WriteHuman không gắn con số độ chính xác nào vào thứ hạng này
Walter Writes AI	Tiếp thị khả năng nhân bản hóa rộng trên hơn 80 ngôn ngữ mà không có tuyên bố cụ thể nào về Turnitin	Không có dữ liệu thử nghiệm theo hướng nào
HIX Bypass	Tiếp thị các trang vượt qua theo từng bộ phát hiện mà không có con số cụ thể nào về Turnitin	HIX Bypass và BypassGPT là các sản phẩm riêng biệt trên các miền riêng biệt, vì vậy cần xác nhận tuyên bố đang mô tả sản phẩm nào
StealthGPT	Tỷ lệ trung bình 98% là văn bản do con người trên Turnitin và 95% trên GPTZero, mỗi con số đều từ một lần chạy được nêu là 30 mẫu với không có phát hiện nào, cộng với bảo đảm hoàn tiền nếu người đăng ký bị phát hiện	Tự báo cáo. Không có bộ dữ liệu, cách chọn mẫu, ngày tháng hay phương pháp nào được công bố bên cạnh các con số, và 30 tài liệu là một lần chạy nhỏ đối với một tuyên bố về một mô hình chấm điểm hàng triệu bài nộp
Phrasly	Định vị mình là một công cụ loại bỏ phát hiện AI, không công bố dữ liệu thử nghiệm nào	Không có tuyên bố công khai theo hướng nào. Các con số lưu hành trong các bài đánh giá là thông tin gián tiếp và vì nguyên tắc nên không được đưa vào đây
Grammarly	Không tiếp thị việc viết lại của mình như là vượt qua phát hiện. Trang bộ phát hiện AI của nó tuyên bố độ chính xác phát hiện 99% và xếp hạng số một trên chuẩn độc lập của RAID	Cùng trang Grammarly đó nêu rằng không có bộ phát hiện AI nào chính xác 100%. Tính năng Authorship của nó gắn nhãn văn bản là do con người gõ, được tạo bằng AI, hoặc được chỉnh sửa bằng Grammarly
TextPulse	Tỷ lệ vượt qua 92.33% trên Turnitin AI, 89.12% trên Originality.ai và 87.91% trên GPTZero, được đo trên một kho ngữ liệu học thuật gồm 2,000 tài liệu	Được TextPulse đo và công bố, vì vậy là tự báo cáo như mọi con số ở trên. Quy mô kho ngữ liệu và các bộ phát hiện được nêu rõ, không có kết quả nào được hứa cho từng tài liệu riêng lẻ

Ba điều rút ra từ bảng đó. Phần lớn các công cụ này không công bố bất kỳ tuyên bố nào về bộ phát hiện để kiểm tra cả. Một vài công cụ gắn cỡ mẫu với một con số, điều này còn hơn phần còn lại của nhóm này làm được. Và không công cụ nào công bố một bộ dữ liệu mà bất kỳ ai ngoài công ty cũng có thể tự chạy. Tuy vậy, cần ghi nhận nơi nào thương hiệu xứng đáng được ghi nhận. Undetectable.ai đặt một khoản hoàn tiền sau tuyên bố của mình, đây là một cam kết cụ thể hơn là một tính từ. WriteHuman công bố chính xác các giới hạn yêu cầu và số từ theo từng gói, vì vậy người mua biết họ đang nhận được gì. Grammarly tự định tính con số độ chính xác của chính mình ngay trên cùng trang đưa ra con số đó, điều này còn hơn đa số nhà cung cấp bộ phát hiện làm được. Và việc QuillBot từ chối đưa ra bất kỳ tuyên bố nào về khả năng vượt qua ngay từ đầu là lập trường có thể bảo vệ nhất trong danh sách.

Tại sao không ai ngoài nhà cung cấp có thể kiểm tra các con số này

Một nhà cung cấp công cụ nhân hóa tuyên bố tỷ lệ qua được Turnitin đang mô tả các lần chạy được thực hiện qua một tài khoản do họ kiểm soát, trên những tài liệu họ tự chọn, vào một ngày mà họ thường không nêu, đối chiếu với một bộ phân loại mà Turnitin sửa đổi khi các mô hình ngôn ngữ mới được phát hành. Điều đó đúng với con số ba mươi mẫu của StealthGPT và cũng đúng với con số 2,000 tài liệu mà trang này công bố. Quy mô tập hợp văn bản làm thay đổi mức độ nhiễu nằm trong một con số. Nó không biến một báo cáo tự công bố thành một cuộc kiểm toán.

Nửa còn lại của vấn đề là danh sách các mô hình mà Turnitin tự cho là có thể phát hiện cũng được chỉnh sửa khi các bản phát hành mới xuất hiện. Tỷ lệ qua được đó, được đo đối chiếu với bộ phân loại của quý trước, chỉ mô tả bộ phân loại của quý trước và không gì khác. Lý do điều đó có nghĩa là không ai có thể nêu tên một công cụ nhân hóa AI tốt nhất để vượt qua Turnitin được trình bày riêng. Mọi con số trên mọi trang chủ của công cụ nhân hóa, bao gồm cả trang này, đều là một ảnh chụp tại một thời điểm, đi kèm một ngày mà nhà cung cấp có thể chưa bao giờ công bố.

Cách đọc một tuyên bố vượt qua trước khi trả tiền cho nó

Bốn câu hỏi phân biệt một tuyên bố đáng cân nhắc với một tuyên bố đáng bỏ qua, và chúng áp dụng cho mọi hàng trong bảng ở trên, bao gồm cả hàng cuối cùng.

• Có bao nhiêu tài liệu đã được kiểm tra, và ai đã chọn chúng? Một tỷ lệ phần trăm không có cỡ mẫu đi kèm chỉ là một khẩu hiệu khoác số.
• Vào ngày nào, và đối chiếu với phiên bản bộ phát hiện nào? Các mô hình phát hiện được sửa đổi khi các mô hình ngôn ngữ mới được phát hành, và một tỷ lệ vượt qua không ghi ngày tháng sẽ nhanh chóng lỗi thời.
• Cam kết là hoàn tiền hay là một kết quả? Một lời hứa hoàn tiền chuyển một rủi ro tài chính nhỏ và hoàn toàn không làm gì đối với một hội đồng liêm chính học thuật.
• Nhà cung cấp nói điều gì xảy ra với một trích dẫn, một thuật ngữ kỹ thuật hoặc một đoạn trích dẫn nguyên văn? Hầu hết các trang humanizer đều không nói gì, và chính điều đó cũng là một câu trả lời.

Câu hỏi cuối cùng đó quyết định nhiều hơn phép tính của bộ phát hiện đối với bất kỳ ai nộp bài học thuật. Một bản viết lại đạt điểm tốt và âm thầm khái quát hóa một câu trong phần phương pháp đã làm mất đi điều mà bạn đang được chấm điểm. humanizer học thuật của TextPulse ghi nhận việc bảo toàn trích dẫn trên APA, MLA, IEEE, Chicago, Harvard và Vancouver, khóa thuật ngữ để cố định chính xác vốn từ trước khi một lượt chạy được thực hiện, và huấn luyện trên văn bản học thuật đã qua bình duyệt với đầu ra được giữ ở mức Flesch-Kincaid lớp 13 đến 18. Đó là các khẳng định về điều xảy ra với văn bản, và đó là một loại khẳng định khác với một tỷ lệ phần trăm về bộ phát hiện, và người đọc có thể kiểm chứng chúng trong đầu ra trong vòng một phút.

Điểm số có nghĩa gì đối với sinh viên, theo cách nào đi nữa

Turnitin nói rõ rằng chỉ báo viết bằng AI không phải là một kết luận về hành vi sai phạm. Trang sản phẩm của Turnitin nêu rõ rằng Turnitin Originality "does not make a determination of misconduct through our AI writing detection (or similarity checking) technology." Trang này cũng làm rõ rằng Turnitin cung cấp thông tin để giúp giảng viên đưa ra quyết định có cơ sở dựa trên chính sách của cơ sở của họ. Điều này được nhắc lại bằng cảnh báo rằng mô hình "may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."

Sinh viên không nhìn thấy điểm theo mặc định. Turnitin nêu rõ rằng chỉ báo phát hiện bài viết bằng AI và báo cáo không hiển thị với sinh viên, và con đường duy nhất để xem là giảng viên tải báo cáo xuống dưới dạng PDF rồi chuyển cho họ. Một sinh viên kiểm tra bản nháp của chính mình đang kiểm tra một công cụ khác, được huấn luyện trên dữ liệu khác, và hai con số đó không có nghĩa vụ phải trùng nhau.

Điều đó để lại phần mà không có điểm số nào có thể giải quyết. Việc hỗ trợ bằng AI có được phép hay không là câu hỏi dành cho học phần và cơ sở đào tạo, và một chính sách sử dụng AI trả lời câu hỏi đó theo cách mà một tỷ lệ phần trăm không bao giờ làm được. Một điểm số cao đối với việc sử dụng được phép và được khai báo là một cuộc trao đổi có bằng chứng phía sau. Một điểm số thấp đối với việc sử dụng không khai báo mà chính sách cấm vẫn là việc sử dụng không khai báo.

Đối với người viết đang chỉnh sửa bản nháp của chính mình, cách hiểu thực tiễn về tất cả điều này là điểm số đi theo bài viết. Mô hình của Turnitin đo lường mẫu câu ở cấp độ câu trên toàn bộ tài liệu, vì vậy các chỉnh sửa một phần tạo ra sự dịch chuyển một phần, còn các lần thay từ vựng tạo ra rất ít dịch chuyển, nếu có. Phần hướng dẫn đầy đủ về cách nhân hóa văn bản AI đi qua các chỉnh sửa cấu trúc làm thay đổi mẫu đó, theo thứ tự tạo ra tác động lớn nhất.

AI humanizer của TextPulse áp dụng các chỉnh sửa cấu trúc đó trên toàn bộ tài liệu cùng lúc và báo cáo một Human Score ước tính được tính từ chính văn bản, chứ không bao giờ là dự đoán về điều mà bất kỳ bộ phát hiện nào được nêu tên sẽ nói. Không có công cụ nào có thể hứa hẹn kết quả trên Turnitin, vì không có công cụ nào có thể nhìn vào bên trong mô hình của Turnitin. Bất kỳ sản phẩm nào tuyên bố ngược lại đều đang mô tả một kết quả mà nó không có cách nào quan sát được.

Sự khác biệt giữa một humanizer và một paraphraser là quan trọng ở đây, cũng như lý do vì sao văn bản được diễn đạt lại vẫn bị gắn cờ.

Con số là phần ít đáng chú ý nhất của chuyện này. Điều quyết định kết quả là hai mươi phút sau khi một người chấm xem nó: liệu bài viết có thể cho thấy quá trình làm việc của mình, một lịch sử bản thảo, một tập ghi chú, các nguồn mà người viết có thể nói về mà không cần mở ra. Bằng chứng đó có sẵn đối với bất kỳ ai đã làm công việc ấy, và nó tồn tại qua một điểm số mà một bản viết lại không thể làm thay đổi.