Các bộ phát hiện AI còn dựa vào perplexity và burstiness không?

Tìm kiếm cách GPTZero phát hiện văn bản do AI viết ngày nay, phần lớn kết quả vẫn xoay quanh hai thống kê, perplexity và burstiness, cặp chỉ số đã làm cho công cụ này nổi tiếng chỉ trong vài tuần sau khi ra mắt vào tháng 1 năm 2023. Tài liệu hỗ trợ của chính GPTZero hiện nay nói điều khác: công cụ này đã ngừng sử dụng cả hai vào mùa thu của chính năm đó.

Vậy burstiness còn được các bộ phát hiện AI sử dụng không? Không phải bởi công cụ đã khiến thuật ngữ này trở nên quen thuộc trong giới học thuật. Trung tâm hỗ trợ của GPTZero nêu rõ rằng công cụ này không còn sử dụng perplexity hoặc burstiness nữa, mà đã chuyển sang một kiến trúc học sâu. Turnitin, công cụ mà hầu hết sinh viên thực sự gặp phải, từ đầu đến nay chưa bao giờ công bố một trong hai thuật ngữ này như một phần của phương pháp của mình. Các khái niệm này không biến mất khỏi cuộc thảo luận. Chúng biến mất khỏi các sản phẩm đang thực sự thực hiện việc phát hiện.

Burstiness còn được các bộ phát hiện AI sử dụng không?

Không, không phải bởi GPTZero, và cũng không được nêu đích danh. Tài liệu hỗ trợ của chính GPTZero nói thẳng điều đó: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Các hướng dẫn của chính Turnitin lại mô tả một phương pháp khác, được xây dựng quanh việc chấm điểm các đoạn của một bài nộp bằng một bộ phân loại đã được huấn luyện, và không có thuật ngữ nào trong hai thuật ngữ này xuất hiện ở bất kỳ đâu trong tài liệu đó. Hai thống kê đã định hình làn sóng đầu tiên của phát hiện AI không phải là thứ mà các công cụ hàng đầu hiện nay đang chạy. Điều đó hẹp hơn so với việc nói rằng chúng đã bị loại bỏ: phần giải thích của chính GPTZero vẫn xếp chúng vào bảy chỉ báo cung cấp đầu vào cho mô hình của nó. Chúng đã ngừng là phương pháp mà không ngừng là một phép đo, và sự khác biệt giữa hai khẳng định đó là phần lớn điều mà câu hỏi này xoay quanh.

Điều gì đã thay đổi vào mùa thu năm 2023

Hai thuật ngữ này chưa bao giờ là mơ hồ. Bài giải thích ban đầu của GPTZero định nghĩa perplexity là "một thước đo cho biết một mô hình AI có khả năng đã chọn đúng cùng một tập hợp từ như trong tài liệu đến mức nào", và burstiness là "một thước đo cho biết các mô thức viết và độ perplexity của văn bản biến thiên nhiều đến mức nào trên toàn bộ tài liệu", tức là một thống kê ở cấp độ tài liệu, không phải một phép đếm đơn giản theo độ dài câu. Cả hai định nghĩa này vẫn còn được đăng trên trang của GPTZero. Điều thay đổi là trong số đó, bộ phát hiện thực sự chạy cái nào.

"Migrated to a deep-learning based architecture" là một khẳng định cụ thể, không phải một cụm từ tiếp thị, và nó mô tả một sự thay đổi thực sự về bản chất. Một điểm số perplexity được tính trực tiếp từ một công thức: đưa văn bản qua một mô hình ngôn ngữ tham chiếu, lấy trung bình các xác suất log, rồi lấy hàm mũ của kết quả. Thay vào đó, một bộ phân loại deep-learning được huấn luyện, được cho xem số lượng lớn các ví dụ do người và AI viết cho đến khi nó tự học ra, bằng chính nó, bất kỳ tổ hợp đặc trưng nào phân tách hai nhóm trong dữ liệu huấn luyện đó. Không ai tự viết tay quy tắc trong cách tiếp cận thứ hai. Mô hình tự tìm ra nó.

Cả hai thuật ngữ đã bị loại bỏ đều được giải thích đầy đủ ở nơi khác trên trang này: perplexity thực sự đo lường điều gì và burstiness thực sự đo lường điều gì mỗi bài đều trình bày sâu cơ chế riêng của chúng, bao gồm cả các công thức đứng sau. Phần này chỉ tập trung hẹp vào việc liệu hiện nay có thuật ngữ nào trong số đó vẫn là thứ mà một bộ phát hiện thực sự chạy hay không.

GPTZero và Turnitin Thực Sự Ghi Tài Liệu Gì Ngày Nay

Trang công nghệ hiện tại của GPTZero, trang mô tả những gì được đưa vào sản phẩm, nêu rằng bộ phát hiện của họ là một "end-to-end deep learning approach", với một "sentence-by-sentence classification model" tạo ra đầu ra xác suất kèm theo một điểm tin cậy. Perplexity và burstiness không xuất hiện ở bất kỳ đâu trên trang đó, không phải như một thành phần, không phải như một tính năng cũ, cũng không phải trong chú thích cuối trang.

Tài liệu của Turnitin ngay từ đầu vốn không được xây dựng xoay quanh bất kỳ thuật ngữ nào trong hai thuật ngữ này. Các hướng dẫn của hệ thống mô tả một bài nộp được chia thành các đoạn vài trăm từ, mỗi đoạn được một mô hình đã được huấn luyện chấm điểm, rồi các điểm của các đoạn được lấy trung bình để tạo thành một tỷ lệ phần trăm duy nhất mà báo cáo hiển thị. Đó là một bộ phân loại có giám sát hoạt động trên các đoạn văn bản, cùng họ phương pháp mà GPTZero đã chuyển sang, chứ không phải là một phép tính perplexity và cũng không phải là một phép tính burstiness dưới tên gọi khác.

Sự chuyển đổi này dễ thấy nhất khi đặt cạnh nhau.

	Những gì các phần giải thích ban đầu mô tả (2023)	Những gì tài liệu hiện tại mô tả
GPTZero	Perplexity và burstiness, được chấm điểm so với một mô hình tham chiếu	Một bộ phân loại deep-learning theo từng câu, xuất ra xác suất và điểm tin cậy
Turnitin	Chưa bao giờ được công bố, các thuật ngữ này không xuất hiện trong bất kỳ tài liệu nào của Turnitin vào bất kỳ thời điểm nào	Các đoạn vài trăm từ được một bộ phân loại đã huấn luyện chấm điểm, rồi lấy trung bình thành một tỷ lệ phần trăm duy nhất

Tại sao các khái niệm này vẫn giải thích được khả năng bị phát hiện

Điều này không làm cho perplexity và burstiness trở nên sai, mà chỉ là không còn phù hợp để mô tả cơ chế hiện tại. Cả hai khái niệm này từ trước đến nay đều mô tả một điều có thật: Văn bản được tạo ra bằng cách lấy mẫu theo các phần tiếp nối có xác suất cao nhất của chính mô hình thường có xu hướng dễ dự đoán hơn, từng từ một, so với văn bản do con người viết từ đầu, và nó cũng có xu hướng ít biến thiên hơn từ câu này sang câu khác. Tính đều đặn nền tảng đó không thay đổi chỉ vì một nhà cung cấp thay đổi kiến trúc của bộ phát hiện. Điều thay đổi là cách bộ phát hiện tìm kiếm nó.

Bộ phân loại đã được huấn luyện không được yêu cầu một cách tường minh phải tìm kiếm perplexity hay burstiness. Thay vào đó, nó được huấn luyện trên cùng một phân biệt cơ bản giữa văn bản do con người và văn bản do máy tạo ra mà hai thống kê đó được thiết kế để nắm bắt. Và có vẻ rất khó có khả năng rằng một bộ phân loại được huấn luyện để phân biệt hai tập hợp này lại không bám vào chính xác tính đều đặn đó, một trong những khác biệt đáng tin cậy nhất giữa hai bên, nữa. Đây là một suy luận về lý do vì sao bộ phân loại có lẽ hoạt động, không phải là một khẳng định về danh sách đặc trưng đã công bố của nó, và hai điều này cần được tách biệt.

Nghiên cứu độc lập ủng hộ ý tưởng rằng thống kê nền tảng này vẫn còn giá trị, ngay cả ngoài sản phẩm của bất kỳ nhà cung cấp đơn lẻ nào. DetectGPT, một phương pháp zero-shot học thuật được công bố năm 2023, xem xét một họ hàng gần của perplexity, tức mức độ hàm log-xác suất của một mô hình uốn cong sắc đến đâu quanh một đoạn văn, và đạt 0.95 AUROC trên một bộ chuẩn so với 0.81 của baseline zero-shot tốt nhất trước đó, mà hoàn toàn không huấn luyện bộ phân loại trên các ví dụ đã gán nhãn. Ý tưởng cốt lõi, rằng văn bản do máy tạo ra nằm trong một vùng thống kê khác biệt của không gian xác suất riêng của mô hình, vẫn là một hướng nghiên cứu đang tiếp diễn. Nó đơn giản không phải là thứ GPTZero cung cấp cho người dùng.

Tại Sao Phần Lớn Internet Vẫn Hiểu Sai Điều Này

Phần lớn các giải thích đã công bố về cách thức phát hiện AI hoạt động được viết trong thời gian hoặc ngay sau khi GPTZero ra mắt vào tháng 1 năm 2023, khi perplexity và burstiness là khuôn khổ công khai duy nhất mà chính công ty đưa ra. Những trang giải thích nguyên thủy đó đến nay vẫn còn trực tuyến. Thông báo ngừng sử dụng vào mùa thu năm 2023 nằm trên một trang hỗ trợ riêng thay vì được tích hợp vào chúng, vì vậy một người viết đã đọc trang đầu tiên rồi dừng nghiên cứu sẽ không có lý do gì để biết rằng phương pháp đã thay đổi chưa đầy một năm sau đó.

Một bài đánh giá về bộ phát hiện của bên thứ ba đang lưu hành trong năm 2026 cho rằng GPTZero vẫn vận hành perplexity và burstiness như một lớp trong số nhiều lớp bên trong một hệ thống lớn hơn. Khẳng định đó mâu thuẫn trực tiếp với trang công nghệ hiện tại của chính GPTZero và tài liệu hỗ trợ của chính họ, và không có gì trên trang của GPTZero xác nhận nó. Một công ty mô tả sản phẩm đã phát hành của chính mình vẫn có giá trị cao hơn một khẳng định chưa được xác nhận từ bên thứ ba về chính sản phẩm đó, dù tài liệu của nhà cung cấp cũng có thể sai. Bài viết này dựa theo các trang của chính GPTZero thay vì bài đánh giá lặp lại câu chuyện cũ hơn.

Điều này có ý nghĩa gì đối với cách bạn viết

Hướng dẫn thực hành xoay quanh burstiness chưa trở nên vô dụng chỉ vì từ này biến mất khỏi tài liệu của chính GPTZero. Việc cố ý làm thay đổi độ dài câu vẫn, về mặt cơ học, là một lập luận về việc tránh cùng một sự đồng nhất thống kê mà một bộ phân loại rất có khả năng được huấn luyện để nhận ra, bất kể nó gọi tín hiệu đó là gì ở bên trong. Lời khuyên nền tảng vẫn tồn tại sau thay đổi kiến trúc của nhà cung cấp, dù từ vựng dùng để mô tả nó thì không còn nữa.

Không điều gì trong số này đòi hỏi phải tin lời bất kỳ ai, kể cả bài viết này. bộ kiểm tra perplexity miễn phí của TextPulse và bộ công cụ miễn phí rộng hơn cho phép bạn xem bản nháp của mình đang ở đâu trước khi một bộ phát hiện, thuộc thế hệ nào đi nữa, thực sự làm điều đó.

Nếu kết quả khiến bạn quay lại với chính bài viết của mình, các bước tiếp theo thực tiễn là tăng burstiness một cách có chủ đích và thay đổi độ dài câu trong một đoạn văn học thuật, tức là cùng một công việc nhưng được mô tả mà không dùng chỉ số.

Cơ chế mà một bộ phát hiện vận hành sẽ tiếp tục thay đổi, GPTZero đã thay đổi nó một lần rồi. Điều không đổi là câu hỏi thực sự, được trình bày đầy đủ trong hướng dẫn của trang này về cách các bộ phát hiện AI thực sự hoạt động: liệu lối viết có thể dự đoán trước có đồng nghĩa với lối viết do máy tạo ra hay không, bất kể công thức nào đang thịnh hành trong một năm nhất định.