Perplexity là gì trong phát hiện AI?

Tìm kiếm perplexity và phát hiện AI cùng nhau, và một số kết quả hàng đầu hóa ra lại nói về một sản phẩm không liên quan: một công cụ tìm kiếm được hỗ trợ bởi AI, cũng tình cờ mang tên Perplexity. Chỉ số mà một bộ phát hiện thực sự báo cáo không có gì chung với công ty đó ngoài chính từ này. Nó xuất phát từ nghiên cứu nhận dạng tiếng nói có từ hàng thập kỷ trước GPTZero hoặc công cụ tìm kiếm, và nó đo một điều hẹp hơn cả hai, đó là mức độ ngạc nhiên của một mô hình ngôn ngữ trước những từ đã có sẵn trên trang.

Vậy perplexity trong phát hiện AI là gì? Perplexity là một điểm số mô tả mức độ tốt mà một mô hình ngôn ngữ đã dự đoán chính xác các từ trong một đoạn văn, được tạo ra bằng cách lấy trung bình các xác suất của chính mô hình và chuyển kết quả thành một con số duy nhất. Điểm số thấp có nghĩa là mô hình liên tục đoán đúng. Điểm số cao có nghĩa là nó liên tục bị bất ngờ.

Ý tưởng này có trước bất kỳ bộ phát hiện AI nào trên thị trường, và tự thân nó không nói gì về việc ai đã viết một tài liệu. Khi phép tính đằng sau con số trở nên hiển thị, một điểm số trong báo cáo không còn trông giống như một phán quyết nữa mà bắt đầu giống như đúng bản chất của nó, một mô tả về lựa chọn từ ngữ.

Perplexity trong phát hiện AI là gì?

Perplexity là một thước đo được vay mượn từ mô hình hóa ngôn ngữ. Nó chấm điểm mức độ tốt mà một mô hình đã dự đoán các từ cụ thể xuất hiện trong một đoạn văn và báo cáo điểm đó dưới dạng một con số duy nhất. Các bộ phát hiện áp dụng cùng thước đo này cho một tài liệu được nộp, một con số thấp, nghĩa là các phỏng đoán của mô hình khớp chặt với các từ thực tế, được đọc như một dấu hiệu của tác giả máy, còn một con số cao được đọc như một dấu hiệu của tác giả người. Không có gì trong phép tính này đọc lập luận của tài liệu, các trích dẫn của nó, hay chủ đề của nó. Nó chỉ đọc mức độ được kỳ vọng của từng từ, từng từ một.

Các bộ phát hiện không phát minh ra thước đo này. Họ vay mượn một công cụ mà các hệ thống nhận dạng tiếng nói và dịch máy đã sử dụng trong nhiều thập kỷ để đánh giá mức độ tốt mà một mô hình dự đoán ngôn ngữ thông thường, rồi tái sử dụng nó như một đại lượng thay thế cho tác giả, một nhiệm vụ mà nó vốn chưa bao giờ được xây dựng để làm.

Không điều nào trong số này liên quan đến công cụ tìm kiếm không liên quan được nhắc đến trước đó. Perplexity mà một bộ phát hiện báo cáo không bao giờ là một công ty và không bao giờ được viết hoa: đó là một thuộc tính thống kê đơn giản của một chuỗi từ, được tính mới từ bất kỳ văn bản nào nó được đưa cho.

Perplexity thực sự được tính như thế nào

Phép tính này có nguồn gốc xa hơn bất kỳ sản phẩm AI nào. Frederick Jelinek, Robert Mercer, Lalit Bahl và James Baker đã giới thiệu perplexity vào năm 1977 để đo mức độ khó của một nhiệm vụ nhận dạng tiếng nói đối với một mô hình thống kê, nhiều thập kỷ trước khi bất kỳ ai áp dụng thuật ngữ này cho một bài luận hay một báo cáo phòng thí nghiệm. Định nghĩa này không thay đổi kể từ đó.

Tại mỗi vị trí trong một tài liệu, mô hình xuất ra một xác suất cho từ thực sự đứng tiếp theo, chẳng hạn 0.72 đối với một chuyển tiếp phổ biến hoặc 0.03 đối với một chuyển tiếp bất thường. Perplexity lấy trung bình các logarit của những xác suất đó trên toàn bộ đoạn văn, rồi đảo ngược giá trị trung bình bằng một số mũ.

Chỉ số mũ trong there's đang làm nhiều hơn vẻ bề ngoài của nó. Việc lấy trung bình các xác suất log chính là điều chúng ta làm khi tính cross-entropy, tức là cách diễn đạt theo lý thuyết thông tin về số bit cần để mã hóa một chuỗi, dựa trên các dự đoán do một mô hình tạo ra. Nhưng perplexity chuyển số bit đó trở lại thành một thứ chúng ta có thể hiểu rõ hơn, một số lượng lựa chọn hiệu dụng, thay vì một con số bit trừu tượng.

Phần còn lại của phép tính đó có một cách hiểu rõ ràng, gần như mang tính vật lý. Một mô hình hoàn toàn chắc chắn ở mọi lần sẽ cho perplexity bằng 1, tức là mức sàn của thang đo. Một mô hình coi mỗi vị trí như một lần lựa chọn ngang nhau giữa tám mươi từ có xác suất như nhau sẽ cho perplexity bằng 80.

Phần lớn các tài liệu thực tế nằm đâu đó giữa hai cực đó, và chính xác ở đâu thì phụ thuộc vào người viết, chủ đề, và mô hình nào đang đọc.

Tại sao văn bản do con người viết thường có điểm số khác

Kỳ vọng của một mô hình được xây dựng hoàn toàn từ những gì đứng trước đó, từng từ một. Sau cụm 'the treatment group showed a statistically', phần tiếp nối có xác suất cao nhất áp đảo là 'significant', và một mô hình được huấn luyện trên khối lượng lớn văn bản khoa học sẽ gán cho từ đó xác suất cao mà không do dự. Một người viết khi đi đến cùng cụm đó cũng có thể chọn 'significant', vì chính cụm này là một đặc trưng cố định của thể loại. Khoảng cách xuất hiện ở chỗ khác, ở danh từ được chọn hai câu sau đó, ở câu chen thêm trong ngoặc đơn, ở con số được báo cáo với một chữ số thập phân lạ thay vì một số tròn.

Không có gì trong đó là một mẹo. Khi một người viết về dữ liệu thực cố gắng đi tới con số chính xác, từ định tính chính xác, từ hẹp hơn một chút, họ đang hướng tới những điều đúng với công trình chứ không phải đúng với thể loại. Và mỗi lựa chọn như vậy đều khiến mô hình bất ngờ hơn một chút. Sự bất ngờ là thứ mà điểm số được thiết kế để cộng dồn.

Suy luận đang làm nhiều việc hơn mức phép đo có thể hỗ trợ. Perplexity đo trực tiếp khả năng dự đoán. Nó chỉ suy ra quyền tác giả bằng cách giả định rằng văn bản có tính dự đoán cao là hiếm ở con người và phổ biến ở các mô hình, một giả định thường hợp lý và đôi khi sai theo một cách cụ thể, có thể xác định, vì tính dự đoán là một thuộc tính mà văn bản có thể có vì những lý do hoàn toàn không liên quan đến người đã gõ nó.

Tại sao cùng một đoạn văn có thể cho điểm khác nhau

Điểm số cũng kém tính di động hơn vẻ bề ngoài của nó, vì nó không bao giờ được đo trong chân không. Perplexity luôn được tính đối chiếu với quá trình huấn luyện của một mô hình tham chiếu cụ thể, và sự phụ thuộc đó tạo ra những vấn đề mà không một định nghĩa đơn lẻ nào có thể tự nó cho thấy.

Yếu tố	Điều thay đổi	Vì sao điều đó xảy ra
Mô hình nào đang thực hiện việc đọc	Cùng một đoạn văn có thể cho điểm thấp trên một mô hình và cao trên mô hình khác	Perplexity chỉ bao giờ được đo đối chiếu với dữ liệu huấn luyện của một mô hình, và các mô hình khác nhau được huấn luyện trên các văn bản khác nhau
Đoạn văn có phải là văn bản được sao chép rộng rãi hay không	Một tài liệu lịch sử nổi tiếng hoặc một định nghĩa trong sách giáo khoa có thể cho điểm perplexity thấp ngay cả khi một người đã gõ từng từ của nó vào bộ phát hiện	Pangram Labs nêu Tuyên ngôn Độc lập như một ví dụ, nó được trích dẫn quá thường xuyên trong dữ liệu huấn luyện đến mức một mô hình thấy mọi câu của nó đều không đáng ngạc nhiên
Bộ phát hiện có thể nhìn thấy xác suất token hay không	Các mô hình thương mại đóng như ChatGPT, Gemini và Claude không hiển thị các xác suất theo từ mà perplexity cần	Các bộ phát hiện ước lượng điểm số bằng một mô hình thay thế mã nguồn mở, thay vì tính perplexity đối chiếu với mô hình thực sự đã tạo ra văn bản

Không có điều gì trong số này khiến con số trở nên vô nghĩa, mà chỉ khiến nó rủi ro hơn nếu được tin như một phán quyết tự thân. Tài liệu của GPTZero từng công bố một quy tắc kinh nghiệm sơ bộ, trong đó perplexity trên 85 được đọc là có khả năng do con người hơn, nhưng một ngưỡng của một nhà cung cấp trên một mô hình không thể chuyển sang một công cụ khác được đo đối chiếu với một công cụ khác. Một bộ phát hiện báo cáo một điểm số duy nhất là đang nén tất cả các yếu tố ở trên thành một con số mà không nói yếu tố nào đã tạo ra kết quả đó.

Điểm perplexity thực sự cho bạn biết điều gì

Các bộ phát hiện thương mại gộp perplexity cùng với các mẫu ở cấp độ câu, quá trình huấn luyện bộ phân loại và một số tín hiệu khác trước khi chúng in ra một con số duy nhất trên báo cáo. Bức tranh đầy đủ hơn về cách các bộ phát hiện AI thực sự hoạt động được trình bày riêng, và nó giải thích phần còn lại của con số đó đến từ đâu.

Nhịp điệu giữa các câu là một tín hiệu liên quan nhưng tách biệt, được burstiness checker xem xét theo đúng bản chất của nó, và nó nhìn vào mức độ biến thiên trên toàn bộ đoạn văn hơn là vào bất kỳ từ đơn lẻ nào.

Không có con số nào trong số này có thể chứng minh ai đã viết một tài liệu, bao gồm cả Human Score ước tính mà TextPulse tính từ một bản thảo được nộp, vốn mô tả văn bản thay vì đưa ra phán quyết về nó. Một phiên bản đơn giản hóa của cùng ý tưởng đó, tức là độ đa dạng từ vựng thay vì xác suất đầy đủ của mô hình, vận hành free perplexity checker trên trang này, đáng để thử với một đoạn văn mà nguồn gốc của nó đã được biết trước khi tin vào điều một báo cáo nói về của người khác.

perplexity checker nằm cùng với các công cụ miễn phí khác của TextPulse, vì vậy việc xem xét toàn bộ một bản thảo, từ vựng, nhịp điệu và mọi thứ khác, không cần phải mở cùng lúc hàng chục thẻ riêng biệt.

Perplexity là một trong hai thống kê mà các hệ thống này dựa vào. Thống kê còn lại là burstiness, sự biến thiên về độ dài và cấu trúc câu trong một đoạn văn, và bên dưới cả hai là phép tính xác suất token tạo ra điểm số ngay từ đầu.

Một con số trên báo cáo là kết quả cuối cùng của một chuỗi phép tính dài, chứ không phải điểm khởi đầu của một tranh luận về ai đã viết một nội dung nào đó. Câu hỏi thú vị hơn, khi phép tính không còn bí ẩn nữa, là điều gì cụ thể đã khiến một tài liệu trở nên bất ngờ hoặc có thể dự đoán được ngay từ đầu, và đó là một câu hỏi về chính cách viết.