Các bộ phát hiện AI còn dựa vào perplexity và burstiness không?

Tìm kiếm về cách GPTZero phát hiện văn bản do AI viết ngày nay, phần lớn kết quả vẫn xoay quanh hai thống kê, perplexity và burstiness, cặp chỉ số đã làm cho công cụ này nổi tiếng chỉ trong vài tuần sau khi ra mắt vào tháng 1 năm 2023. Tài liệu hỗ trợ của chính GPTZero hiện nay nói điều khác: công cụ này đã ngừng sử dụng cả hai vào mùa thu của cùng năm đó.

Vậy burstiness còn được các bộ phát hiện AI sử dụng không? Không phải bởi công cụ đã khiến thuật ngữ này trở nên quen thuộc trong giới học thuật. Trung tâm hỗ trợ của GPTZero nêu rõ rằng công cụ này không còn sử dụng perplexity hoặc burstiness, mà đã chuyển sang một kiến trúc học sâu. Turnitin, công cụ mà hầu hết sinh viên thực sự gặp phải, ngay từ đầu cũng chưa bao giờ công bố một trong hai thuật ngữ này như một phần của phương pháp của mình. Các khái niệm này không biến mất khỏi cuộc thảo luận. Chúng biến mất khỏi các sản phẩm thực sự thực hiện việc phát hiện.

Burstiness còn được các bộ phát hiện AI sử dụng không?

Không, không phải bởi GPTZero, và cũng không được gọi bằng tên đó. Tài liệu hỗ trợ của chính GPTZero nói thẳng như vậy: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Các hướng dẫn của chính Turnitin lại mô tả một phương pháp khác, được xây dựng quanh việc chấm điểm các đoạn của một bài nộp bằng một bộ phân loại đã được huấn luyện, và cả hai thuật ngữ này cũng không xuất hiện ở bất kỳ đâu trong tài liệu đó. Hai thống kê đã định hình làn sóng đầu tiên của phát hiện AI không phải là những gì các công cụ hàng đầu hiện nay đang chạy. Điều đó hẹp hơn so với việc nói rằng chúng đã bị loại bỏ: phần giải thích của chính GPTZero vẫn xếp chúng vào bảy chỉ báo cung cấp đầu vào cho mô hình của nó. Chúng đã ngừng là phương pháp mà không ngừng là một phép đo, và sự khác biệt giữa hai khẳng định đó là phần lớn điều mà câu hỏi này phụ thuộc vào.

Điều gì đã thay đổi vào mùa thu năm 2023

Hai thuật ngữ này chưa bao giờ mơ hồ. Bản giải thích sớm của chính GPTZero định nghĩa perplexity là "một thước đo cho biết một mô hình AI có khả năng đã chọn đúng cùng một tập hợp từ như trong tài liệu đến mức nào", và burstiness là "một thước đo cho biết các mẫu viết và perplexity của văn bản biến thiên nhiều đến mức nào trên toàn bộ tài liệu", tức là một thống kê ở cấp độ tài liệu, không phải một phép đếm độ dài câu đơn giản. Cả hai định nghĩa này vẫn còn được đăng trên trang của GPTZero. Điều thay đổi là trong số đó, bộ phát hiện thực sự chạy cái nào.

"Migrated to a deep-learning based architecture" là một khẳng định cụ thể, không phải một cụm từ tiếp thị, và nó mô tả một sự thay đổi thực sự về bản chất. Một điểm số perplexity được tính trực tiếp từ một công thức: đưa văn bản qua một mô hình ngôn ngữ tham chiếu, lấy trung bình các xác suất log, rồi lấy hàm mũ của kết quả. Thay vào đó, một bộ phân loại deep-learning được huấn luyện, được cho xem số lượng lớn ví dụ do con người và AI viết cho đến khi nó tự học ra, bằng cách của chính nó, bất kỳ tổ hợp đặc trưng nào phân tách hai nhóm trong dữ liệu huấn luyện đó. Không ai tự tay viết quy tắc trong cách tiếp cận thứ hai. Mô hình tự tìm ra nó.

Cả hai thuật ngữ đã bị loại bỏ đều được giải thích đầy đủ ở nơi khác trên trang này: perplexity thực sự đo lường điều gì và burstiness thực sự đo lường điều gì mỗi bài đều trình bày sâu cơ chế riêng của chúng, bao gồm cả các công thức đứng sau. Bài này chỉ tập trung hẹp vào việc liệu hiện nay có thuật ngữ nào trong số đó vẫn là thứ mà một bộ phát hiện chạy hay không.

GPTZero và Turnitin Thực Sự Ghi Tài Liệu Gì Hôm Nay

trang công nghệ hiện tại của GPTZero, trang mô tả những gì được triển khai trong sản phẩm, nêu rằng công ty sử dụng "an end-to-end deep learning approach, trained on text datasets from the web, education, and AI-generated from a range of LLMs", trong đó "a sentence-by-sentence classification model determines the probability and confidence that a text was created by AI". Perplexity và burstiness không xuất hiện ở bất kỳ đâu trên trang đó, không như một thành phần, không như một tính năng cũ, cũng không trong chú thích cuối trang.

Tài liệu của Turnitin vốn chưa bao giờ được xây dựng xoay quanh một trong hai thuật ngữ này ngay từ đầu. Các hướng dẫn của nó mô tả một bài nộp được chia thành các đoạn vài trăm từ, mỗi đoạn được một mô hình đã được huấn luyện chấm điểm, và các điểm của những đoạn này được lấy trung bình thành một tỷ lệ phần trăm duy nhất mà báo cáo hiển thị. Đó là một bộ phân loại có giám sát hoạt động trên các đoạn văn bản, cùng họ phương pháp mà GPTZero đã chuyển sang, chứ không phải là một phép tính perplexity và cũng không phải là một phép tính burstiness dưới một tên gọi khác.

Sự chuyển đổi này dễ thấy nhất khi đặt cạnh nhau.

	Những gì các phần giải thích ban đầu mô tả (2023)	Những gì tài liệu hiện tại mô tả
GPTZero	Perplexity và burstiness, được chấm điểm so với một mô hình tham chiếu	Một bộ phân loại deep-learning theo từng câu, xuất ra một xác suất và điểm tin cậy
Turnitin	Chưa bao giờ được công bố, các thuật ngữ này không xuất hiện trong bất kỳ tài liệu nào của Turnitin	Các đoạn vài trăm từ được một bộ phân loại đã huấn luyện chấm điểm, rồi lấy trung bình thành một tỷ lệ phần trăm

Tại sao các Khái niệm này vẫn Giải thích được Khả năng bị Phát hiện

Điều này không làm cho perplexity và burstiness trở nên sai, mà chỉ là đã lỗi thời như một mô tả về cơ chế hiện tại. Cả hai khái niệm vốn luôn mô tả một điều có thật, văn bản được tạo ra bằng cách lấy mẫu theo các phần tiếp nối có xác suất cao nhất của chính mô hình có xu hướng dễ dự đoán hơn, từng từ một, so với văn bản do con người viết từ đầu, và nó có xu hướng ít biến thiên hơn từ câu này sang câu khác. Tính đều đặn nền tảng đó không thay đổi chỉ vì một nhà cung cấp đã thay đổi kiến trúc của bộ phát hiện. Điều thay đổi là cách bộ phát hiện tìm kiếm nó.

Bộ phân loại đã được huấn luyện không được yêu cầu một cách tường minh phải tìm perplexity hay burstiness. Thay vào đó, nó được huấn luyện trên cùng một phân biệt cơ bản giữa văn bản do con người và văn bản do máy tạo ra mà hai thống kê đó được thiết kế để nắm bắt. Và có vẻ rất khó có khả năng rằng một bộ phân loại được huấn luyện để phân biệt hai tập hợp đó lại không đồng thời dựa vào chính sự đều đặn ấy, một trong những khác biệt đáng tin cậy nhất giữa hai bên. Đây là một suy luận về lý do vì sao bộ phân loại có lẽ hoạt động, chứ không phải một khẳng định về danh sách đặc trưng đã công bố của nó, và hai điều này cần được giữ tách biệt.

Nghiên cứu độc lập ủng hộ ý tưởng rằng thống kê nền tảng đó vẫn còn giá trị, ngay cả ngoài sản phẩm của bất kỳ nhà cung cấp đơn lẻ nào. DetectGPT, một phương pháp zero-shot học thuật được công bố năm 2023, xem xét một họ hàng gần của perplexity, tức độ cong của hàm log-xác suất của một mô hình quanh một đoạn văn, và đạt 0.95 AUROC trên một bộ chuẩn so với 0.81 của baseline zero-shot tốt nhất trước đó, mà hoàn toàn không huấn luyện bộ phân loại trên các ví dụ đã gán nhãn. Ý tưởng cốt lõi, rằng văn bản do máy tạo ra nằm trong một vùng thống kê khác biệt trong không gian xác suất của chính mô hình, vẫn là một hướng nghiên cứu đang tiếp diễn. Chỉ là đó không phải thứ GPTZero cung cấp cho người dùng.

Tại Sao Phần Lớn Internet Vẫn Hiểu Sai Điều Này

Phần lớn các lời giải thích đã công bố về cách phát hiện AI hoạt động được viết trong thời gian hoặc ngay sau khi GPTZero ra mắt vào tháng 1 năm 2023, khi perplexity và burstiness là khung diễn giải công khai duy nhất mà chính công ty đưa ra. Những trang giải thích ban đầu đó vẫn còn trực tuyến cho đến hôm nay. Thông báo ngừng sử dụng vào mùa thu năm 2023 nằm trên một trang hỗ trợ riêng thay vì được tích hợp vào các trang đó, vì vậy một người viết đã đọc trang đầu tiên rồi dừng nghiên cứu sẽ không có lý do gì để biết rằng phương pháp đã thay đổi chưa đầy một năm sau đó.

Một bài đánh giá về bộ phát hiện của bên thứ ba đang lưu hành trong năm 2026 cho rằng GPTZero vẫn chạy perplexity và burstiness như một lớp trong số nhiều lớp bên trong một hệ thống lớn hơn. Khẳng định đó mâu thuẫn trực tiếp với trang công nghệ hiện tại của chính GPTZero và tài liệu hỗ trợ của chính họ, và không có gì trên trang của GPTZero xác nhận nó. Một công ty mô tả chính sản phẩm đã phát hành của mình vẫn có giá trị cao hơn một khẳng định chưa được xác nhận từ bên thứ ba về chính sản phẩm đó, dù tài liệu của nhà cung cấp cũng có thể sai. Bài viết này dựa theo các trang của chính GPTZero thay vì bài đánh giá lặp lại câu chuyện cũ hơn.

Điều này có ý nghĩa gì đối với cách bạn viết

Hướng dẫn thực hành xoay quanh burstiness không trở nên vô dụng chỉ vì từ này biến mất khỏi tài liệu của chính GPTZero. Việc cố ý thay đổi độ dài câu vẫn, về mặt cơ học, là một lập luận về việc tránh cùng một sự đồng nhất thống kê mà một bộ phân loại rất có thể được huấn luyện để nhận ra, bất kể nó gọi tín hiệu đó là gì ở bên trong. Lời khuyên nền tảng vẫn tồn tại sau thay đổi trong kiến trúc của nhà cung cấp, dù từ vựng dùng để mô tả nó thì không.

Không điều nào trong số này đòi hỏi phải tin lời bất kỳ ai, kể cả bài viết này. bộ kiểm tra perplexity miễn phí của TextPulse và bộ công cụ miễn phí rộng hơn cho phép bạn xem bản thảo của mình đang ở vị trí nào trước khi một bộ phát hiện, thuộc bất kỳ thế hệ nào, thực sự làm điều đó.

Nếu câu trả lời đưa bạn quay lại chính bài viết của mình, các bước tiếp theo thực tế là tăng burstiness một cách có chủ đích và thay đổi độ dài câu trong một đoạn văn học thuật, tức là cùng một công việc nhưng được mô tả mà không dùng chỉ số.

Cơ chế mà một bộ phát hiện chạy sẽ tiếp tục thay đổi, GPTZero đã thay đổi nó một lần rồi. Điều không đổi là câu hỏi thực sự, được trình bày đầy đủ trong hướng dẫn của trang này về cách các bộ phát hiện AI thực sự hoạt động: liệu lối viết có thể dự đoán trước có phải là cùng một thứ với lối viết do máy tạo ra hay không, bất kể công thức nào đang tình cờ thịnh hành trong một năm nhất định.