Tại sao văn bản AI bị phát hiện? Những lý do thực sự

Nếu bạn yêu cầu một mô hình ngôn ngữ hoàn thành câu "The weather today is," nó sẽ không cố chọn một màu như "cerulean" hay "apocalyptic." Thay vào đó, nó sẽ cố nói "sunny," "cloudy," hoặc "nice," vì đó là những từ xuất hiện sau cụm này thường xuyên nhất trong bất kỳ dữ liệu nào mà nó đã được huấn luyện. Phần mềm chọn từ tiếp theo trong một câu đã được thiết kế để ưu tiên đúng kiểu câu trả lời này.

Tại sao văn bản AI lại bị phát hiện? Bởi vì cùng một xu hướng ưu tiên đã chọn 'sunny' thay vì 'cerulean' lại chạy xuyên suốt toàn bộ tài liệu, từ từ này sang từ khác, và kết quả nằm trong một dải khả năng viết hẹp hơn so với phạm vi mà một con người thực sự sử dụng. Một bộ phát hiện không cần bắt được lời nói dối. Nó chỉ cần nhận ra rằng một đoạn văn cứ liên tục rơi vào dải hẹp đó.

Những gì sau đây không cần công thức. Cơ chế nằm trong một ý tưởng, được lặp lại ở ba quy mô khác nhau: lựa chọn từ ngữ, cấu trúc câu, và chi tiết cụ thể mà người viết với tới mà không cần suy nghĩ về nó. Mỗi quy mô đó đều góp phần vào câu hỏi rộng hơn về cách các bộ phát hiện AI thực sự hoạt động, và mỗi quy mô đều dễ thấy hơn khi nguyên nhân gốc được gọi tên.

Tại sao văn bản AI lại bị phát hiện? Câu trả lời ngắn gọn

Văn bản AI bị phát hiện vì quá trình giải mã biến các dự đoán của mô hình thành những câu hoàn chỉnh được xây dựng để ưu tiên các từ có khả năng cao ở mọi bước, và việc làm như vậy một cách nhất quán, trong hàng nghìn từ liên tiếp, tạo ra kiểu viết chiếm một lát cắt hẹp hơn của ngôn ngữ so với cách viết của con người thông thường. Một công cụ thống kê có thể tìm ra sự hẹp đó ngay cả khi mọi câu đều đúng ngữ pháp và chính xác về mặt तथ्य.

Từ một nguyên nhân đó, ba triệu chứng xuất hiện. Vốn từ thu hẹp về phía từ thông dụng an toàn nhất. Cấu trúc câu thu hẹp về phía một vài dạng được ưu tiên. Và lựa chọn cụ thể, hơi ít khả năng xảy ra mà một người gần như theo phản xạ đưa ra, từ lạ, câu chen ngang, chi tiết không tốn gì để đưa vào nhưng lại rất khó dự đoán, thường không xuất hiện chút nào.

Một mô hình ngôn ngữ chọn từ tiếp theo của nó như thế nào

Nếu để tự vận hành, một mô hình ngôn ngữ sẽ chỉ đơn giản báo cáo toàn bộ danh sách xếp hạng các từ tiếp theo có thể có và để một cơ chế khác chọn. Trên thực tế, một chiến lược giải mã tự động đưa ra lựa chọn đó, từng từ một, và chiến lược nào đang chạy sẽ làm thay đổi hình thức của đầu ra ngay cả khi mô hình nền tảng không bao giờ thay đổi.

Giải mã tham lam luôn chọn từ có xác suất cao nhất duy nhất. Trong bài báo giới thiệu nucleus sampling như một biện pháp khắc phục, Ari Holtzman và các đồng tác giả nhận thấy rằng theo chiến lược này dẫn đến văn bản, theo chính lời họ, là 'nhạt nhẽo và lặp lại một cách kỳ lạ.' Beam search, vốn theo dõi đồng thời nhiều phần tiếp nối có khả năng cao trước khi chốt một lựa chọn, cũng gặp phải một phiên bản tương tự của cùng vấn đề đó.

Các chiến lược lấy mẫu đưa lại một phần ngẫu nhiên, nhưng theo cách có kiểm soát. Temperature điều chỉnh mức độ mô hình ưu tiên mạnh đến đâu các lựa chọn hàng đầu của chính nó trước khi một từ được rút ra. Nucleus sampling, đôi khi gọi là top-p, cắt ngắn phân phối xuống tập nhỏ nhất các từ mà tổng xác suất của chúng vượt qua một ngưỡng và chỉ rút từ tập đó, được mô tả trong bài báo gốc là lấy mẫu từ một hạt nhân động của phân phối thay vì từ phần đuôi không đáng tin cậy của nó.

Ngay cả các thiết lập ít mang tính tất định nhất trong số này vẫn chỉ rút từ một danh sách rút gọn được xây dựng quanh những gì mô hình đã xem là có khả năng. Văn bản do con người viết chưa bao giờ được tạo ra bằng cách xếp hạng một vốn từ vựng rồi rút từ nhóm đứng đầu, vì vậy nó liên tục vượt ra ngoài danh sách rút gọn đó. Ý nghĩa đôi khi nằm trong từ vốn chưa bao giờ có trên danh sách.

Độ phẳng của vốn từ vựng: Ít từ hơn, an toàn hơn

Độ phẳng của vốn từ vựng là phiên bản ở cấp độ từ của cùng thói quen đó. Ở mỗi điểm trong một câu, hàng chục từ có thể tiếp nối nó một cách hợp lý, nhưng một số ít từ đứng cao hơn hẳn phần còn lại trong bảng xếp hạng của mô hình, và quá trình giải mã cứ liên tục rơi vào số ít đó. Nhân lựa chọn này với mọi câu trong một tài liệu, và phạm vi các từ thực sự được dùng sẽ thu hẹp một cách đo lường được so với một văn bản của con người có độ dài tương tự.

Tác động này tích lũy thay vì giữ nguyên. Một mô hình mà ở câu thứ nhất với tới từ xếp hạng cao nhất có nhiều khả năng tạo ra một ngữ cảnh trong đó từ xếp hạng cao nhất ở câu thứ hai cũng là từ phổ biến, vì các từ phổ biến có xu hướng đi sau các từ phổ biến. Một người viết sẽ liên tục ngắt quãng sự trôi dạt đó, với tới thuật ngữ kỹ thuật cụ thể, động từ hơi khác thường, từ gọi đúng sự vật thực tế thay vì một cách diễn đạt an toàn gần đúng với nó. Khác biệt đó biểu hiện thành một vốn từ vựng làm việc nhỏ hơn có thể đo được trong phiên bản được tạo ra, ngay cả khi cả hai phiên bản mô tả cùng một tập hợp sự kiện nền tảng.

Đây là một thuộc tính của toàn bộ đoạn văn, không phải của bất kỳ lựa chọn từ đơn lẻ nào. Một từ an toàn không chứng minh được gì. Một trang đầy những từ như vậy, câu này nối tiếp câu kia với cùng một bậc từ vựng phổ biến, mới là điều mà tín hiệu ở cấp độ từ của một bộ phát hiện thực sự được xây dựng để nhận ra.

Tính đồng nhất cú pháp, Các hình thức giống nhau, lặp lại

Tính đồng nhất cú pháp là phiên bản ở cấp độ câu. Nó không nói về độ dài của một câu. Nó nói về số lượng hình thức ngữ pháp khác biệt mà một đoạn văn sử dụng: cách câu mở đầu, cách các mệnh đề gắn với nhau, tần suất một từ chuyển tiếp đảm nhiệm việc nối một ý với ý tiếp theo. Một mô hình tiếp tục dự đoán cấu trúc kế tiếp có xác suất thống kê cao sẽ ổn định vào một vòng quay nhỏ các hình thức và lặp lại chúng.

Một đoạn văn có thể thay đổi độ dài câu mà vẫn đọc lên như phẳng về mặt cú pháp nếu mọi câu đều theo cùng một hình thức chủ ngữ, động từ, bổ ngữ, mở đầu bằng cùng một kiểu từ chuyển tiếp, hoặc kết thúc theo cùng một cách. Tính có thể dự đoán nằm ở mẫu hình, không phải ở số lượng từ, một phân biệt được trình bày kỹ hơn trong hướng dẫn về burstiness thực sự đo lường điều gì.

Điều làm thu hẹp	Văn bản được tối ưu cho giải mã có xu hướng làm gì	Văn bản do con người viết có xu hướng làm gì
Lựa chọn từ ngữ	Chọn từ thông dụng có xác suất cao nhất ở mỗi bước	Tìm đến từ cụ thể hoặc ít thông dụng hơn để gọi đúng sự vật thực tế
Cách mở câu	Lặp lại một số ít cách mở đầu chuyển tiếp an toàn	Thay đổi cách câu bắt đầu, kể cả những cách mở đầu mà mô hình sẽ xếp hạng là ít có khả năng hơn
Cấu trúc mệnh đề	Lặp lại một hoặc hai khuôn ngữ pháp ưa dùng trong suốt đoạn văn	Phối hợp cấu trúc đơn giản và phức tạp tùy theo điều mà câu cần

Những lựa chọn mà chỉ con người thường có xu hướng thực hiện

Mặt trái của một dải hẹp là những gì nằm ngoài nó. Một người mô tả các sự kiện thực tế sẽ tìm đến con số chính xác thay vì một con số làm tròn, thừa nhận phần không hiệu quả, ngắt câu để sửa ngay giữa dòng suy nghĩ, hoặc chọn một từ đúng hơn là từ điển hình. Từ góc nhìn của mô hình ngôn ngữ, mỗi lựa chọn như vậy đều là một token có xác suất thấp, chính là kiểu mà giải mã được thiết kế để tránh.

Điều này không có nghĩa là lối viết cụ thể hoặc khác thường sẽ an toàn trước mọi cờ báo, hay rằng lối viết trôi chảy, đúng chuẩn mặc định là đáng ngờ. Một phần phương pháp, một điều khoản pháp lý, hoặc một bản thảo cuối đã được biên tập kỹ có thể rơi vào một dải hẹp vì những lý do hoàn toàn không liên quan đến mô hình, đó là lý do vì sao một điểm số đơn lẻ chỉ là mô tả của một khuôn mẫu chứ không phải phán quyết về người đã gõ nó.

Nhìn xem bản thảo của bạn đang nằm ở đâu trong dải đó hữu ích hơn là đoán. Công cụ kiểm tra perplexity miễn phí và kiểm tra burstiness của TextPulse đo riêng mức độ dự đoán được ở cấp từ và nhịp điệu giữa các câu, vì vậy vốn từ phẳng và khuôn câu lặp lại sẽ hiện ra như hai tín hiệu khác nhau thay vì một con số pha trộn.

Hai trang hẹp hơn xuất phát từ điều này. Cách Turnitin phát hiện AI một cách cụ thể là một trang, và sự khác biệt giữa điểm tương đồng và điểm AI của nó là trang còn lại, vì hai khái niệm này thường xuyên bị nhầm lẫn với nhau.

Cả hai đều nằm trong bộ công cụ miễn phí rộng hơn, dành cho bất kỳ ai muốn tự mình xem mô hình thay vì tin mù quáng vào một con số duy nhất.