AI humanizer có thực sự hoạt động không?

Nhập "do ai humanizers work" vào thanh tìm kiếm và gần như mọi trang trả lời đều đang bán một công cụ như vậy. Đó không phải là một âm mưu, mà chỉ là một động cơ hiển nhiên: một công ty đã xây dựng công cụ viết lại sẽ không bắt đầu bằng những trường hợp nó thất bại. Điều thực sự xảy ra nằm ở giữa, và nó phụ thuộc vào ý nghĩa của "work". Một công cụ AI humanizer thay đổi các thuộc tính cụ thể, có thể đo lường được của một đoạn văn. Một số thay đổi đó làm dịch chuyển điểm số của một detector. Những thay đổi khác thì không. Một vài thay đổi đi kèm với cái giá thực sự đối với nội dung mà đoạn văn thực sự nói.

Một AI humanizer là công cụ viết lại văn bản do AI tạo ra để thay đổi dấu vân tay thống kê của nó, lựa chọn từ ngữ, độ dài câu, thói quen dùng dấu câu, những thuộc tính mà một detector thực sự đo lường. Việc một humanizer cụ thể có an toàn để dùng cho một bài tập được chấm điểm hay không, hoặc nó so sánh với một công cụ diễn đạt lại đơn thuần như thế nào, là những câu hỏi riêng biệt với các câu trả lời riêng của chúng. Ở đây hẹp hơn, việc viết lại thực sự làm gì về mặt cơ học, và phần nào của cơ chế đó thực sự làm dịch chuyển điểm số.

Đây không phải là một kết quả kiểm tra. TextPulse chưa thực hiện một so sánh có kiểm soát giữa các công cụ humanizer, và ngay cả nếu chúng tôi đã làm, một chiến thắng mang tính giai thoại cũng sẽ có giá trị rất nhỏ. Nhưng sẽ hữu ích nếu hiểu cơ chế, điều gì xảy ra khi bạn làm những việc để thay đổi một đoạn văn, vì sao một số việc trong đó làm dịch chuyển điểm số còn một số thì không, và bạn chấp nhận rủi ro gì để đổi lấy một con số thấp hơn. Phần sau dựa trên nghiên cứu đã công bố về cách các detector bị né tránh, và trên các thử nghiệm đã công bố của chính những nguồn khác, để giải thích cơ chế, điều gì thay đổi trong một đoạn văn, vì sao một số thay đổi làm dịch chuyển điểm số còn một số thì không, và một bản viết lại nặng nề đánh đổi điều gì để đổi lấy một con số thấp hơn.

Điều mà một AI humanizer thực sự thay đổi

Mỗi công cụ humanizer trên thị trường đều thực hiện một số kết hợp của ba việc: thay từng từ riêng lẻ bằng các từ đồng nghĩa ít dự đoán được hơn, sắp xếp lại hoặc gộp câu để phá vỡ độ dài đồng đều, và đôi khi viết lại toàn bộ một đoạn thay vì chỉ điều chỉnh nó. Cách thứ nhất gần như chỉ mang tính bề mặt. Cách thứ hai là điều quan trọng nhất, vì sự biến thiên độ dài câu, burstiness, là một trong hai phép đo mà hầu hết các bộ phát hiện tính toán trước khi đưa ra điểm số, cùng với mức độ dễ dự đoán của lựa chọn từ ngữ theo từng thời điểm.

Sự khác biệt này có thể thấy rõ trong một câu duy nhất. "The study employed a robust methodology" nếu thay từng từ một sẽ thành "The study used a strong approach," câu này nghe tốt hơn một chút và hầu như không làm thay đổi hình dạng của câu. Nếu cấu trúc lại, nó sẽ thành "Because the sample skewed young, the researchers ran a mixed-methods design rather than a single survey." Đây là một độ dài khác, một cấu trúc mệnh đề khác, và một mức độ bất ngờ khác đối với mô hình đang cố dự đoán điều gì sẽ đến tiếp theo. Chỉ phiên bản thứ hai mới tác động đến tín hiệu mà bộ phát hiện được thiết kế để đo lường.

Sự phân biệt đó không phải là lý thuyết. Một bộ phát hiện không đọc để hiểu nghĩa. Nó chấm điểm mức độ một đoạn văn khớp với mẫu mà một mô hình ngôn ngữ sẽ tạo ra, và đó chính xác là mẫu mà hướng dẫn của chúng tôi về how to humanize AI text dạy bạn phá vỡ bằng tay, từng câu một. Một công cụ humanizer đang thực hiện cùng loại công việc đó ở quy mô lớn hơn nhiều trong một lần xử lý.

Những thay đổi nào trong số đó thực sự làm thay đổi điểm số

Bằng chứng rõ ràng nhất đến từ các nhà nghiên cứu đã xây dựng một mô hình diễn giải lại chuyên dụng, DIPPER, cụ thể để kiểm tra kiểu tấn công này. Khi chạy trên DetectGPT, một phương pháp phát hiện đã được nghiên cứu kỹ, các bản diễn giải lại của DIPPER làm giảm độ chính xác phát hiện từ 70.3 percent xuống 4.6 percent ở một tỷ lệ dương tính giả cố định 1 percent, và các nhà nghiên cứu báo cáo rằng các bản viết lại không làm thay đổi đáng kể ý nghĩa của văn bản nguồn. Đó là một tác động được đo lường, không phải một tuyên bố tiếp thị, việc tái cấu trúc một đoạn ở cấp độ câu có thể làm thay đổi điểm số với biên độ rất lớn.

Đó là khoảng cách giữa kết quả đó và trang tiếp thị của một công cụ nhân hóa thương mại. Đây chủ yếu là lý do vì sao kết quả khác nhau rất nhiều giữa các công cụ và giữa những người đánh giá chúng. DIPPER là một mô hình nghiên cứu. Nó được xây dựng và kiểm tra trong các điều kiện được kiểm soát để đánh giá đối với một bộ phát hiện công khai cụ thể đã được ghi nhận. Cùng một mức độ viết lại được dùng cho tất cả các trường hợp. Một công cụ chạy trong trình duyệt đang thực hiện cùng loại chỉnh sửa, thay thế từ ngữ và tái cấu trúc câu. Nhưng nó không có cùng mức độ kiểm soát như một bài báo nghiên cứu đối với bộ phát hiện ở phía bên kia hoặc đối với chất lượng của bản viết lại.

Tại sao một điểm số thấp trên một bộ phát hiện không chuyển sang bộ khác

Các bộ phát hiện không đo cùng một thứ từ cùng một điểm tham chiếu. Một bài viết đi kèm về cách các bộ phát hiện AI hoạt động trình bày đầy đủ cơ chế, nhưng điểm liên quan ở đây rất đơn giản, mỗi bộ phát hiện được chấm điểm theo mô hình tham chiếu riêng của nó, vì vậy một chỉnh sửa trông khó dự đoán đối với bộ này vẫn có thể trông bình thường đối với bộ khác.

Các nhà nghiên cứu đã kiểm tra khả năng chịu đựng của một loạt bộ phát hiện thương mại và mã nguồn mở trước các cuộc tấn công bằng chỉnh sửa, diễn giải lại, gợi ý và các cuộc tấn công kết hợp, và nhận thấy hiệu suất giảm trung bình 35 percent, nhưng không đồng đều. Kết luận của họ là hầu như không có bộ phát hiện nào duy trì được độ vững trước mọi loại tấn công, và mỗi bộ đều có những lỗ hổng riêng, cụ thể, chứ không phải một điểm yếu chung. Một thử nghiệm thực tế với một công cụ humanizer đơn lẻ đã minh họa cùng một mô hình: cùng một đoạn văn được viết lại đạt 100 percent AI trên hai bộ phát hiện riêng biệt, vẫn ở mức 100 percent trên bộ thứ ba, và giảm xuống 88 percent trên bộ thứ tư, tất cả chỉ từ một lần xử lý qua một công cụ.

Việc viết lại mạnh tay gây ra chi phí gì

Phần tiếp thị của danh mục này hiếm khi nhắc đến chế độ thất bại ở phía bên kia của một lần viết lại nặng tay: một công cụ thay đổi đủ nhiều của một câu để làm dịch chuyển điểm số cũng có thể thay đổi đủ nhiều để làm mất ý nghĩa. Một cơ quan truyền thông đã chạy cùng một đoạn văn do AI tạo ra qua mười công cụ humanizer khác nhau và đối chiếu kết quả với bản gốc. Một số tạo ra những câu không còn được hiểu là tiếng Anh. Một công cụ đã viết lại hướng dẫn "Tap your Apple ID" thành "Faucet your Apple ID." Một công cụ khác biến "Understanding LinkedIn Premium" thành "Grasping LinkedIn Premium," điều mà các biên tập viên nhận xét là "không truyền đạt cùng một ý nghĩa chút nào." Kết luận chung của họ là các công cụ này "dường như không có bất kỳ cảm nhận nào về ý nghĩa của toàn bộ bài viết."

Viết học thuật ít khoan dung hơn với thất bại đó so với một bài đăng blog về sản phẩm. Một từ giảm nhẹ được thay bằng một khẳng định mạnh hơn, "may indicate" được viết lại thành "shows," sẽ làm thay đổi điều mà một trích dẫn thực sự đang được dùng để chứng minh, và một câu được sắp xếp lại quanh một trích dẫn có thể tách trích dẫn khỏi mệnh đề mà nó ban đầu đứng cạnh. Một in-text citation fixer có thể đặt lại một trích dẫn đã lệch khỏi câu của nó mà không bịa ra một chi tiết mà nguồn chưa bao giờ ủng hộ, nhưng nó không thể cho bạn biết liệu bản thân mệnh đề đó còn khớp với điều nguồn ấy nói hay không. Dù theo cách nào, một đoạn có nhiều trích dẫn đều đáng được kiểm tra thủ công.

Loại chỉnh sửa	Tác động điển hình lên điểm số của bộ phát hiện	Điều có thể xảy ra sai
Thay từng từ bằng từ đồng nghĩa	Nhỏ, thường nằm trong nhiễu bình thường của bộ phát hiện	Một từ giảm nhẹ có thể bị đổi thành một khẳng định mạnh hơn mức nguồn văn bản cho phép
Sắp xếp lại hoặc gộp câu	Tác động lớn nhất, nhất quán nhất, đây là điều burstiness đo lường	Một trích dẫn có thể bị tách rời khỏi mệnh đề mà nó vốn đứng cạnh
Viết lại toàn bộ một đoạn	Lớn trên bộ phát hiện mà công cụ được hiệu chỉnh theo, khó đoán ở nơi khác	Rủi ro cao nhất là đầu ra không còn phân tích được như một câu nữa
Thêm phần đệm như lỗi chính tả rải rác hoặc lời chen ngang	Tối thiểu hoặc không có, đây là thay đổi bề ngoài, không phải cấu trúc	Đối với người đọc, nó có vẻ giả tạo mà không khắc phục được mô thức bên dưới

Vậy, AI humanizers có hoạt động không?

Điều mà các bằng chứng ở trên thực sự chỉ ra là, humanizers thay đổi một cách đáng tin cậy các đặc tính thống kê mà một bộ phát hiện đo lường, và đây là một tác động cơ học có thật, không phải tiếp thị. Chúng không bảo đảm một cách đáng tin cậy rằng sẽ vượt qua bất kỳ bộ phát hiện cụ thể nào, vì các bộ phát hiện vốn bất đồng với nhau theo thiết kế, và công cụ càng viết lại mạnh tay để theo đuổi sự bảo đảm đó, thì càng có khả năng làm mất đi điều gì đó về ý nghĩa trên đường đi.

"Do humanizers work" thực ra là ba câu hỏi khoác chung một câu: công cụ có thay đổi mô thức không, sự thay đổi đó có tồn tại qua bộ phát hiện cụ thể mà bạn quan tâm không, và câu văn có còn nói đúng điều bạn muốn hay không. Câu trả lời cho câu hỏi thứ nhất thường là có, dựa trên các bằng chứng ở trên. Hai câu hỏi còn lại phụ thuộc vào công cụ, bộ phát hiện, và mức độ mạnh tay của lần xử lý.

Công cụ AI humanizer của TextPulse được xây dựng xoay quanh sự đánh đổi đó, chứ không phải xoay quanh một lời hứa. Công cụ này viết lại một tài liệu và báo cáo một Human Score ước tính được tính từ cùng các tín hiệu mà các bộ phát hiện sử dụng, trong đó có nhịp câu và độ dự đoán được của từ ngữ, thay vì đưa ra một khẳng định rằng bất kỳ bộ phát hiện nào được nêu tên sẽ chấp nhận nó. Có một gói miễn phí chính xác để bạn có thể xem một lần chấp nhận thực sự thay đổi điều gì, theo từng dòng, trước khi quyết định liệu sự đánh đổi trong bảng ở trên có đáng giá đối với một tài liệu đầy đủ hay không.

Việc hoạt động được và việc an toàn để sử dụng là hai phép thử riêng biệt, và câu hỏi về an toàn có một trang riêng. Phiên bản sắc nét hơn của nó cũng vậy: Turnitin làm gì khi gặp văn bản đã humanize.

Những công cụ đáng tin cậy là những công cụ cho bạn thấy điều gì đã thay đổi và cho phép bạn kiểm tra nó, chứ không phải những công cụ yêu cầu bạn tin vào một tỷ lệ phần trăm trên trang đích. Hãy đọc đoạn văn đã viết lại đối chiếu với bản gốc trước khi bạn nộp bất cứ thứ gì, giống như bạn sẽ kiểm tra bản nháp đầu tiên của một trợ lý nghiên cứu, vì về mặt chức năng, đó chính là điều mà một humanizer là.