Perplexity là gì trong phát hiện AI?

Tìm kiếm perplexity và phát hiện AI cùng lúc, và một số kết quả hàng đầu hóa ra lại nói về một sản phẩm không liên quan: một công cụ tìm kiếm được hỗ trợ bởi AI mà cũng tình cờ mang tên Perplexity. Chỉ số mà một bộ phát hiện thực sự báo cáo không có gì chung với công ty đó ngoài chính từ này. Nó xuất phát từ nghiên cứu nhận dạng tiếng nói có trước GPTZero hoặc công cụ tìm kiếm hàng thập kỷ, và nó đo một điều hẹp hơn cả hai, đó là mức độ bất ngờ của một mô hình ngôn ngữ trước những từ đã có sẵn trên trang.

Vậy perplexity trong phát hiện AI là gì? Perplexity là một điểm số mô tả mức độ tốt mà một mô hình ngôn ngữ đã dự đoán chính xác các từ trong một đoạn văn, được tạo ra bằng cách lấy trung bình các xác suất của chính mô hình và chuyển kết quả thành một con số duy nhất. Điểm số thấp có nghĩa là mô hình tiếp tục đoán đúng. Điểm số cao có nghĩa là nó tiếp tục bị bất ngờ.

Khái niệm này có trước bất kỳ bộ phát hiện AI nào trên thị trường, và tự thân nó không nói gì về việc ai đã viết một tài liệu. Khi phép tính đứng sau con số trở nên hiển thị, một điểm số trong báo cáo không còn trông giống như một phán quyết nữa mà bắt đầu trông đúng như bản chất của nó, đó là một mô tả về lựa chọn từ ngữ.

Perplexity trong phát hiện AI là gì?

Perplexity là một phép đo được vay mượn từ mô hình hóa ngôn ngữ. Nó chấm điểm mức độ tốt mà một mô hình đã dự đoán các từ cụ thể xuất hiện trong một đoạn văn và báo cáo điểm đó dưới dạng một con số duy nhất. Các bộ phát hiện áp dụng cùng phép đo này cho một tài liệu được nộp: một con số thấp, nghĩa là các dự đoán của mô hình khớp rất sát với các từ thực tế, được đọc như một dấu hiệu của tác giả máy, và một con số cao được đọc như một dấu hiệu của tác giả người. Bản thân phép tính không đọc lập luận của tài liệu, các trích dẫn của nó, hay chủ đề của nó. Nó chỉ đọc mức độ được mong đợi của từng từ, từng từ một.

Các bộ phát hiện không phát minh ra phép đo này. Chúng vay mượn một công cụ mà các hệ thống nhận dạng tiếng nói và dịch máy đã sử dụng trong nhiều thập kỷ để đánh giá mức độ tốt mà một mô hình dự đoán ngôn ngữ thông thường, rồi tái sử dụng nó như một đại diện cho tác giả, một nhiệm vụ mà nó vốn không được xây dựng để làm.

Không có điều gì trong số này liên quan đến công cụ tìm kiếm không liên quan được nhắc đến trước đó. Perplexity mà một bộ phát hiện báo cáo không bao giờ là một công ty và không bao giờ được viết hoa: đó là một thuộc tính thống kê đơn giản của một chuỗi từ, được tính mới từ bất kỳ văn bản nào nó được cung cấp.

Perplexity thực sự được tính như thế nào

Việc tính toán này có nguồn gốc xa hơn bất kỳ sản phẩm AI nào. Frederick Jelinek, Robert Mercer, Lalit Bahl và James Baker đã giới thiệu perplexity vào năm 1977 để đo mức độ khó của một nhiệm vụ nhận dạng lời nói đối với một mô hình thống kê, nhiều thập kỷ trước khi bất kỳ ai áp dụng thuật ngữ này cho một bài luận hay một báo cáo phòng thí nghiệm. Định nghĩa này không thay đổi kể từ đó.

Tại mỗi vị trí trong một tài liệu, mô hình đưa ra một xác suất cho từ thực sự xuất hiện tiếp theo, chẳng hạn như 0.72 cho một chuyển tiếp phổ biến hoặc 0.03 cho một chuyển tiếp bất thường. Perplexity lấy trung bình các logarit của những xác suất đó trên toàn bộ đoạn văn, rồi đảo ngược giá trị trung bình bằng một số mũ.

Số mũ trong there's làm nhiều hơn vẻ bề ngoài của nó. Việc lấy trung bình các xác suất logarit chính là điều chúng ta làm khi tính cross-entropy, tức là cách diễn đạt theo lý thuyết thông tin về số bit bạn cần để mã hóa một chuỗi dựa trên các dự đoán do một mô hình đưa ra. Nhưng perplexity chuyển số bit đó trở lại thành một thứ chúng ta có thể hiểu rõ hơn, một số lượng lựa chọn hiệu dụng, thay vì một con số bit trừu tượng.

Những gì còn lại sau phép tính đó có một cách diễn giải rõ ràng, gần như mang tính vật lý. Một mô hình hoàn toàn chắc chắn ở mọi lần sẽ cho perplexity bằng 1, tức là mức sàn của thang đo. Một mô hình coi mọi vị trí như một lần tung đồng xu ngang nhau giữa tám mươi từ có xác suất như nhau sẽ cho perplexity bằng 80.

Phần lớn các tài liệu thực tế nằm ở đâu đó giữa hai cực đó, và chính xác ở đâu thì phụ thuộc vào người viết, chủ đề, và mô hình nào đang đọc.

Tại sao bài viết của con người thường có điểm số khác

Một mô hình hình thành kỳ vọng hoàn toàn từ những gì đã xuất hiện trước đó, từng từ một. Sau cụm 'the treatment group showed a statistically', đa số áp đảo các phần tiếp nối đúng ngữ pháp là 'significant', và một mô hình được huấn luyện trên khối lượng lớn văn bản khoa học sẽ gán cho từ đó một xác suất cao mà không do dự. Một người viết khi đi đến cùng cụm đó cũng có thể chọn 'significant', vì chính cụm này đã là một đặc trưng cố định của thể loại. Khoảng cách xuất hiện ở chỗ khác, ở danh từ được chọn hai câu sau đó, ở phần chú thích thêm trong ngoặc đơn, ở con số được báo cáo với một chữ số thập phân lạ thay vì một số tròn.

Không có gì trong đó là một mánh khóe. Khi một người viết về dữ liệu thực cố gắng tìm con số chính xác, từ bổ nghĩa chính xác, từ hẹp hơn một chút, họ đang tìm đến những điều đúng với công trình thay vì đúng với thể loại. Và mỗi lựa chọn như vậy đều làm mô hình phải chịu thêm một chút bất ngờ. Bất ngờ là thứ mà điểm số được xây dựng để cộng dồn.

Suy luận đang làm nhiều việc hơn mức phép đo có thể hỗ trợ. Perplexity đo trực tiếp khả năng dự đoán. Nó chỉ suy ra tác giả bằng cách giả định rằng lối viết có thể dự đoán được là hiếm ở con người và phổ biến ở các mô hình, một giả định thường hợp lý nhưng đôi khi sai theo một cách cụ thể, có thể nhận diện được, vì khả năng dự đoán là một thuộc tính mà văn bản có thể có vì những lý do hoàn toàn không liên quan đến người đã gõ nó.

Tại sao cùng một đoạn văn có thể có điểm số khác nhau

Điểm số cũng kém tính di động hơn vẻ ngoài của nó, vì nó không bao giờ được đo trong chân không. Perplexity luôn được tính đối chiếu với quá trình huấn luyện của một mô hình tham chiếu cụ thể, và sự phụ thuộc đó tạo ra những vấn đề mà không một định nghĩa đơn lẻ nào có thể tự nó cho thấy.

Yếu tố	Điều thay đổi	Vì sao điều đó xảy ra
Mô hình nào đang thực hiện việc đọc	Cùng một đoạn văn có thể có điểm thấp trên một mô hình và điểm cao trên mô hình khác	Perplexity chỉ bao giờ được đo so với dữ liệu huấn luyện của một mô hình, và các mô hình khác nhau đã được huấn luyện trên các văn bản khác nhau
Đoạn trích có phải là văn bản được sao chép rộng rãi hay không	Một tài liệu lịch sử nổi tiếng hoặc một định nghĩa trong sách giáo khoa có thể có điểm perplexity thấp ngay cả khi một người đã gõ từng từ của nó vào trình phát hiện	Pangram Labs dẫn Tuyên ngôn Độc lập như một ví dụ: văn bản này được trích dẫn quá thường xuyên trong dữ liệu huấn luyện đến mức một mô hình thấy mọi câu của nó đều không có gì đáng ngạc nhiên
Trình phát hiện có thể nhìn thấy xác suất token hay không	Các mô hình thương mại đóng như ChatGPT, Gemini và Claude không hiển thị các xác suất theo từng từ mà perplexity cần	Các trình phát hiện ước lượng điểm số bằng một mô hình mở thay thế thay vì tính perplexity đối với mô hình thực sự đã tạo ra văn bản

Không điều nào trong số này làm cho con số trở nên vô nghĩa, mà chỉ khiến việc tin vào nó như một phán quyết độc lập trở nên rủi ro hơn. Tài liệu của chính GPTZero trước đây từng công bố một quy tắc kinh nghiệm sơ bộ, theo đó perplexity trên 85 được xem là có khả năng do con người viết hơn, nhưng một ngưỡng của một nhà cung cấp trên một mô hình không thể chuyển sang một công cụ khác được đo đối với một mô hình khác. Một trình phát hiện báo cáo một điểm số duy nhất đang nén tất cả các yếu tố trên thành một con số mà không nói yếu tố nào đã tạo ra kết quả đó.

Điểm perplexity thực sự cho bạn biết điều gì

Các trình phát hiện thương mại kết hợp perplexity với các mẫu ở cấp câu, việc huấn luyện bộ phân loại và một số tín hiệu khác trước khi chúng in ra một con số duy nhất trên báo cáo. Bức tranh đầy đủ hơn về cách các trình phát hiện AI thực sự hoạt động được trình bày riêng, và nó giải thích phần còn lại của con số đó đến từ đâu.

Nhịp điệu giữa các câu là một tín hiệu có liên quan nhưng tách biệt, được burstiness checker xem xét theo đúng bản chất riêng của nó, và nó xem xét mức độ biến thiên trên toàn bộ một đoạn văn hơn là bất kỳ từ đơn lẻ nào.

Không có con số nào trong số này có thể chứng minh ai đã viết một tài liệu, bao gồm cả Human Score ước tính mà TextPulse tính từ một bản thảo được nộp, vốn mô tả văn bản chứ không đưa ra phán quyết về nó. Một phiên bản đơn giản hóa của cùng ý tưởng đó, tức là sự đa dạng từ vựng thay vì xác suất đầy đủ của mô hình, vận hành free perplexity checker trên trang này, đáng để thử đối chiếu với một đoạn văn mà nguồn gốc đã được biết trước khi tin vào điều một báo cáo nói về bản thảo của người khác.

perplexity checker nằm cùng với các free tools còn lại của TextPulse, vì vậy việc kiểm tra toàn bộ một bản thảo, từ vựng, nhịp điệu và mọi thứ khác, không cần phải mở cùng lúc hàng chục thẻ riêng biệt.

Perplexity là một trong hai thống kê mà các hệ thống này dựa vào. Thống kê còn lại là burstiness, sự biến thiên về độ dài và cấu trúc câu trong một đoạn văn, và bên dưới cả hai là số học xác suất token tạo ra điểm số ngay từ đầu.

Một con số trên báo cáo là kết quả cuối cùng của một chuỗi số học dài, chứ không phải điểm khởi đầu của một lập luận về việc ai đã viết một điều gì đó. Câu hỏi thú vị hơn, khi số học không còn bí ẩn nữa, là điều gì cụ thể đã khiến một tài liệu trở nên bất ngờ hoặc có thể dự đoán được ngay từ đầu, và đó là một câu hỏi về chính bài viết.