Bộ phát hiện AI hoạt động như thế nào? Perplexity, Burstiness và xác suất token

Trường đại học của bạn đã bắt đầu đưa các bài nộp qua một bộ phát hiện AI, và một báo cáo đã trả về một con số mà bạn không ngờ tới. Trước khi bạn cố gắng phản đối nó, sẽ hữu ích nếu biết con số đó có nghĩa là gì. Các bộ phát hiện AI hoạt động như thế nào? Chúng không đọc văn bản do máy tạo ra theo cách một người đọc. Chúng đo mức độ dễ dự đoán của văn bản của bạn đối với một mô hình ngôn ngữ, rồi chuyển mức độ dễ dự đoán đó thành một điểm số. Không có gì trong quá trình đó xem xét ý bạn là gì, lập luận của bạn ra sao, hay liệu bạn có thực sự viết ra nó hay không.

Tôi đã dành nhiều năm xây dựng các công cụ phân tách văn bản theo thống kê, và điều hữu ích nhất cần hiểu về phát hiện là điều này: đó là phép đo tính điển hình, không phải nguồn gốc. Khi điều đó được nắm bắt, cả công nghệ lẫn những thất bại của nó đều trở nên hợp lý hơn nhiều.

Bộ phát hiện thực sự đang đo cái gì

Một bộ phát hiện không biết ai đã viết bất cứ thứ gì. Nó chỉ có một mô hình ngôn ngữ và một hàm chấm điểm. Mô hình đọc văn bản của bạn từ trái sang phải, và tại mỗi điểm nó tạo ra một phân phối xác suất về từ nào nên đứng tiếp theo. Hãy đưa cho nó các từ "the results of the" và nó sẽ xếp "study" cao nhất, "experiment" thấp hơn một chút, và "marmalade" ở đâu đó gần bằng không.

Vì vậy, bộ phát hiện đặt ra một câu hỏi cho tài liệu của bạn: văn bản này đã chọn từ mà mô hình kỳ vọng bao nhiêu lần? Cách viết liên tục rơi vào các từ có xác suất cao trông giống do máy tạo ra, vì đó chính xác là điều một bộ tạo văn bản làm. Mô hình lấy mẫu từ phần đầu của phân phối của chính nó, lặp đi lặp lại, cho hàng nghìn token.

Đó là lý do vì sao toàn bộ nhóm này đứng trên nền tảng mong manh hơn so với những gì tiếp thị gợi ý. Một bộ phát hiện không tìm thấy watermark hay dấu vân tay. Nó chỉ nhận ra rằng văn xuôi của bạn về mặt thống kê là điều không đáng ngạc nhiên, và văn xuôi không đáng ngạc nhiên có nhiều nguyên nhân ngoài một chatbot.

Perplexity: mô hình ngạc nhiên đến mức nào

Chỉ số chính được gọi là perplexity, và nó dễ hiểu hơn nghe có vẻ. Lấy xác suất mà mô hình gán cho từng từ thực sự xuất hiện, tính trung bình các logarit của những xác suất đó, rồi lấy hàm mũ của kết quả. Kết quả thu được là một con số duy nhất mô tả mức độ mô hình bất ngờ trước tài liệu của bạn. Bạn có thể kiểm tra perplexity của bản thảo của mình thay vì đoán mò.

Perplexity thấp có nghĩa là văn bản đi theo hướng mà mô hình dự đoán. Perplexity cao có nghĩa là nó liên tục rẽ sang những hướng mà mô hình không ngờ tới. Văn bản do con người viết thường có perplexity cao hơn, vì con người hay chọn những danh từ cụ thể lạ, những cấu trúc bất thường, những câu mở đầu ở một điểm không ngờ. Văn bản được tạo sinh thường có perplexity thấp hơn, vì quá trình giải mã được xây dựng để tránh chính xác những động tác đó.

Hãy so sánh hai cách mở đầu một phần phương pháp. "The results of the study were statistically significant" là một chuỗi mà hầu như bất kỳ mô hình nào cũng sẽ dự đoán với độ tin cậy cao, vì nó không chứa thông tin bất ngờ. "Two of the three cohorts drifted before week six, which we had not planned for" thì khó dự đoán hơn nhiều, vì nó chứa thông tin cụ thể, gượng gạo mà không thể đoán từ phần còn lại của bài viết. Câu thứ hai tạo ra sự bất ngờ thực sự đối với bộ phát hiện, và chính sự bất ngờ đó được ghi nhận là mang tính con người.

Burstiness: phương sai, không phải giá trị trung bình

Chỉ riêng perplexity là chưa đủ, vì một tài liệu có thể có giá trị trung bình hoàn toàn hợp lý nhưng bên dưới lại đồng đều một cách đáng ngờ. Điều quan trọng là sự biến thiên trên toàn bộ văn bản của bạn, và đó là điều burstiness đo lường: độ dao động của độ dài câu và perplexity ở cấp độ câu khi bài viết tiến triển. Một burstiness checker sẽ cho bạn thấy trực tiếp độ phân tán đó.

Chúng ta tăng tốc khi tự tin và chậm lại khi còn do dự, và nhịp điệu đó đi vào văn xuôi. Con người viết theo từng đợt. Một đoạn văn có thể mở đầu bằng một câu trần thuật ngắn gồm tám từ, đi vào một câu dài ba mươi bốn từ chứa ba mệnh đề và một mệnh đề trong ngoặc, rồi lại trở về một nhịp ngắn gọn.

Đầu ra của mô hình không làm được điều này một cách đáng tin cậy. Các câu tụ lại gần độ dài trung bình. Các đoạn văn xuất hiện thành những cụm gọn gàng. Mỗi phần mở đầu bằng cách nhắc lại chính tiêu đề của nó. Văn bản đọc trôi chảy nhưng cho điểm kém, vì độ biến thiên thấp giữa các câu là một trong những tín hiệu mạnh nhất mà bộ phát hiện có. Không phải một câu đơn lẻ nào làm lộ ra điều đó. Chính là sự đồng nhất.

Tín hiệu	Nó đo lường điều gì	Vì sao văn bản do máy tạo ra có điểm thấp
Perplexity	Mức độ mô hình bất ngờ trước lựa chọn từ ngữ của bạn, được lấy trung bình trên toàn văn bản	Giải mã theo thiết kế lấy mẫu từ các token có xác suất cao
Burstiness	Mức độ độ dài câu và khả năng dự đoán thay đổi trên toàn văn bản	Đầu ra tụ lại gần giá trị trung bình thay vì dao động
Xác suất token	Xác suất theo từng từ mà hai chỉ số còn lại được tính từ đó	Các chuỗi dài gồm những lựa chọn riêng lẻ không có gì nổi bật

Xác suất token và nguồn gốc của điểm số

Cả hai con số đó đều được xây dựng từ một con số thứ ba, đó là log-likelihood theo từng token, tức là nguyên liệu thô để mọi thứ khác được tính ra. Một số công cụ hiển thị trực tiếp cho bạn, làm nổi bật những đoạn mà văn bản của bạn có thể dự đoán cao nhất. Những phần được làm nổi bật đó không phải là lời buộc tội đối với các câu cụ thể, bất kể giao diện ngụ ý điều gì. Chúng là những phần đóng góp nhiều nhất vào một con số ở cấp độ tài liệu.

Các phương pháp nghiên cứu đã vượt qua những ngưỡng đơn giản. DetectGPT và các hệ kế thừa của nó xem xét độ cong, chúng làm nhiễu nhẹ văn bản của bạn và kiểm tra xem likelihood có giảm theo kiểu mà văn bản do mô hình tạo ra thường thể hiện hay không. Những phương pháp khác so sánh cùng một đoạn văn dưới hai mô hình khác nhau và dùng sự bất đồng đó như một tín hiệu.

Một hệ quả quan trọng đối với bất kỳ ai đang bị đánh giá. Vì các chỉ số được tính so với một mô hình tham chiếu cụ thể, nên một điểm số luôn mang tính tương đối với mô hình đó. Hai bộ phát hiện có thể đọc cùng một đoạn văn và hoàn toàn không đồng ý với nhau, và không bên nào bị trục trặc. Chúng đang trả lời cùng một câu hỏi bằng các mốc tham chiếu khác nhau.

Hệ quả thứ hai ít khi được nhắc đến hơn. Một mô hình chỉ có thể phát hiện một đoạn văn là có thể dự đoán được nếu đoạn văn đó giống với những gì nó đã được huấn luyện, vì vậy chất lượng phát hiện suy giảm khi khoảng cách giữa mô hình tham chiếu và bất kỳ thứ gì đã tạo ra văn bản ngày càng lớn. Các bộ tạo mới hơn, các ngành học ít thông thường và các ngôn ngữ ngoài tiếng Anh đều làm khoảng cách đó rộng ra. Đây là một phần lý do vì sao độ chính xác được đo trong một chuẩn đánh giá có kiểm soát hiếm khi giữ nguyên khi đối diện với một đống bài nộp thực tế.

Các bộ phát hiện thương mại bổ sung thêm những gì

Các công cụ mà các cơ sở thực sự mua không chạy perplexity theo kiểu sách giáo khoa. Turnitin, GPTZero, Originality và các công cụ còn lại huấn luyện các bộ phân loại có giám sát trên các tập lớn đã gán nhãn gồm văn bản do con người và do máy tạo ra, sử dụng các đặc trưng thống kê cùng với các đặc trưng phong cách. Điều mà bộ phân loại học được là bất cứ thứ gì phân tách hai đống đó trong dữ liệu huấn luyện của nó, và đó là một thứ hẹp hơn và mang tính lịch sử hơn so với "AI writing" nói chung.

Sự phụ thuộc vào dữ liệu huấn luyện là vấn đề âm thầm. Một bộ phân loại được huấn luyện chủ yếu trên một thế hệ đầu ra của mô hình phải khái quát hóa sang các mô hình mới hơn, sang các ngành học không quen thuộc, và sang những người viết có tiếng Anh không giống với phân phối huấn luyện của nó. Các nhà cung cấp công bố các con số độ chính xác từ những đánh giá của chính họ, và các chuẩn đánh giá độc lập thường xuyên cho kết quả thấp hơn nhiều so với những con số đó trên cùng các công cụ ấy.

Đọc một điểm số mà không đọc quá mức

Một báo cáo của bộ phát hiện thường xuất hiện dưới dạng phần trăm, và phần trăm đó thường bị đọc sai. Nó không phải là tỷ lệ tài liệu của bạn được viết bởi máy. Tùy theo công cụ, đó là độ tin cậy của bộ phân loại, hoặc là phần trăm các câu đã vượt qua một ngưỡng nội bộ nào đó, và các nhà cung cấp thường không nói rõ là loại nào. Hai báo cáo cùng hiển thị sáu mươi phần trăm có thể có nghĩa rất khác nhau.

Cũng đáng biết điều gì làm thay đổi một điểm số vì những lý do hoàn toàn không liên quan đến người viết. Các tài liệu ngắn có nhiều nhiễu hơn, vì có ít văn bản hơn để các giá trị trung bình ổn định, và một bài luận năm trăm từ có thể dao động rất mạnh chỉ vì hai hoặc ba câu bất thường. Phần trích dẫn cũng được tính, trừ khi công cụ loại bỏ chúng, vì vậy một bài tổng quan tài liệu đầy các khối trích dẫn sẽ thừa hưởng tính dự đoán của bất cứ thứ gì nó trích dẫn. Một đoạn văn kỹ thuật chứa nhiều thuật ngữ chuẩn cũng hoạt động theo cách tương tự.

Nếu bạn là người nhận một cảnh báo, phản ứng hữu ích là đưa ra bằng chứng thay vì tranh luận về chỉ số. Lịch sử phiên bản, các bản nháp, ghi chú và hồ sơ tìm kiếm đều cho thấy quá trình, và quá trình mới là thứ mà một hội đồng xem xét hành vi sai phạm thực sự có thể đánh giá. Không có ngưỡng nào mà bất kỳ ai có thể chỉ ra để phân biệt một người viết cẩn thận với một mô hình.

Tại sao các bộ phát hiện gắn cờ văn bản mà không có mô hình nào tạo ra

Dương tính giả không phải là một trục trặc hiếm gặp. Chúng xuất phát trực tiếp từ việc đo tính điển hình. Bất kỳ văn bản nào thực sự có thể dự đoán được đều sẽ có điểm là có thể dự đoán được, bất kể ai tạo ra nó.

Người viết tiếng Anh không phải bản ngữ bị ảnh hưởng nhiều nhất. Các nhà nghiên cứu Stanford phát hiện rằng các bộ phát hiện đã phân loại sai một tỷ lệ lớn các bài luận của người nói không phải bản ngữ là do máy tạo ra, trong khi phân loại đúng các bài luận của người bản ngữ. Lý do là cơ học chứ không phải ác ý, những người viết bằng ngôn ngữ thứ hai có xu hướng dựa vào các cấu trúc quen thuộc và vốn từ phổ biến hơn. Đó chính xác là hồ sơ của perplexity thấp, vì vậy người viết ESL bị gắn cờ vì viết cẩn thận.

Các quy ước học thuật gây ra cùng một vấn đề. Một mục phương pháp được kỳ vọng là mang tính công thức. Văn bản pháp lý, tài liệu kỹ thuật và báo cáo lâm sàng đều ưu tiên cách diễn đạt chuẩn hơn là cách diễn đạt sáng tạo. Việc biên tập nhiều càng làm vấn đề trầm trọng hơn, vì trau chuốt một bản nháp thường có nghĩa là loại bỏ những điểm bất thường vốn mang dấu hiệu thống kê của bạn.

Các cơ sở giáo dục đã nhận thấy điều này. Vanderbilt đã vô hiệu hóa tính năng phát hiện AI của Turnitin thay vì dựa vào các điểm số mà họ không thể xác minh, và các trường đại học khác đã hạn chế cách các con số này có thể được sử dụng trong các thủ tục xử lý hành vi sai phạm. Hãy xem điểm của bộ phát hiện chỉ là một bằng chứng yếu, không phải là một phán quyết.

Điều này có ý nghĩa gì đối với bài viết của chính bạn

Lời khuyên thực tiễn rút ra từ cơ chế này không hề cầu kỳ, và không có gì trong đó liên quan đến việc gian lận. Hãy cố ý thay đổi độ dài câu, vì sự đồng nhất là điều bị ghi nhận. Giữ lại chi tiết cụ thể, con số thực tế, giới hạn thực tế, điều đã xảy ra sai trong tuần thứ sáu. Năng lực chung chung là thứ bị chấm như do máy tạo ra, còn tính cụ thể vừa là cách viết tốt hơn vừa là một tín hiệu mạnh hơn.

Hãy giữ cả cách diễn đạt riêng của bạn. Nếu bạn có một lối nói nào đó, cứ để nó ở lại. Bản năng mài giũa bản thảo đến mức nó nghe giống mọi bài viết khác trong lĩnh vực chính là bản năng làm giảm perplexity của bạn.

Một điều cần tránh, một số công cụ cố ý đưa vào lỗi ngữ pháp để làm tăng perplexity. Điều đó có tác dụng đối với chỉ số, nhưng là một ý tưởng tồi cho bất kỳ bài viết nào được chấm điểm hoặc phản biện, vì bạn đang đánh đổi một sự nghi ngờ lấy một sự chắc chắn. Mục tiêu là bài viết đọc lên như của bạn, chứ không phải bài viết đã bị làm hỏng một cách cố ý. Đó là toàn bộ khác biệt giữa viết lại cho người đọc và phá vỡ văn bản để đánh lừa bộ chấm điểm.

Nếu bạn muốn xem các con số này trên bản thảo của chính mình thay vì chỉ tin vào lời của một hộp đen, các phép đo nền tảng không hề bí mật. Các công cụ phân tích văn bản miễn phí sẽ cho bạn thấy bài viết của bạn đang ở đâu, và bạn có thể tự quyết định liệu những đoạn phẳng có phải là một vấn đề về phong cách đáng sửa hay không.