AI humanizer có thực sự hoạt động không?

Gõ "do ai humanizers work" vào thanh tìm kiếm và gần như mọi trang trả lời đều đang bán một công cụ như vậy. Điều đó không phải là một âm mưu, mà chỉ là một động cơ hiển nhiên: một công ty đã xây dựng công cụ viết lại sẽ không bắt đầu bằng những trường hợp nó thất bại. Điều thực sự xảy ra nằm ở giữa, và nó phụ thuộc vào ý nghĩa của "work". Một công cụ AI humanizer thay đổi các thuộc tính cụ thể, có thể đo lường được của một đoạn văn. Một số thay đổi đó làm dịch chuyển điểm số của một detector. Những thay đổi khác thì không. Một vài thay đổi đi kèm với cái giá thực sự đối với nội dung mà đoạn văn thực sự nói.

Một AI humanizer là công cụ viết lại văn bản do AI tạo ra để thay đổi dấu vân tay thống kê của nó, lựa chọn từ ngữ, độ dài câu, thói quen dùng dấu câu, tức là những thuộc tính mà một detector thực sự đo lường. Việc một humanizer cụ thể có an toàn để dùng cho một bài nộp được chấm điểm hay không, hoặc nó so sánh thế nào với một công cụ diễn đạt lại đơn thuần, là những câu hỏi riêng với các câu trả lời riêng. Ở đây hẹp hơn, việc viết lại thực sự làm gì về mặt cơ học, và phần nào của cơ chế đó thực sự làm dịch chuyển điểm số.

Đây không phải là một kết quả kiểm tra. TextPulse chưa thực hiện một so sánh có kiểm soát giữa các công cụ humanizer, và ngay cả nếu có, một chiến thắng mang tính giai thoại cũng sẽ có giá trị rất nhỏ. Nhưng sẽ hữu ích nếu hiểu cơ chế, điều gì xảy ra khi bạn làm những việc để thay đổi một đoạn văn, vì sao một số việc trong đó làm dịch chuyển điểm số còn một số thì không, và bạn chấp nhận rủi ro gì để đổi lấy một con số thấp hơn. Phần sau dựa trên nghiên cứu đã công bố về cách các detector bị né tránh, và trên các bài kiểm tra đã công bố của chính những nguồn khác, để giải thích cơ chế, điều gì thay đổi trong một đoạn văn, vì sao một số thay đổi làm dịch chuyển điểm số còn một số thì không, và một bản viết lại mạnh tay đánh đổi điều gì để lấy một con số thấp hơn.

Một AI humanizer thực sự thay đổi điều gì

Mỗi công cụ humanizer trên thị trường đều thực hiện một số kết hợp của ba việc: thay từng từ riêng lẻ bằng các từ đồng nghĩa ít dễ đoán hơn, sắp xếp lại hoặc gộp các câu để phá vỡ độ dài đồng đều, và đôi khi viết lại toàn bộ một đoạn thay vì chỉ điều chỉnh nó. Việc thứ nhất gần như chỉ mang tính bề mặt. Việc thứ hai là điều quan trọng nhất, vì sự biến thiên độ dài câu, burstiness, là một trong hai phép đo mà hầu hết các bộ phát hiện tính toán trước khi đưa ra điểm số, cùng với mức độ dễ đoán của lựa chọn từ tại từng thời điểm.

Sự khác biệt có thể thấy rõ trong một câu duy nhất. "The study employed a robust methodology" nếu thay từng từ một sẽ thành "The study used a strong approach," câu này đọc hơi tự nhiên hơn và hầu như không làm thay đổi hình dạng của câu. Nếu cấu trúc lại, nó sẽ thành "Because the sample skewed young, the researchers ran a mixed-methods design rather than a single survey." Đây là một độ dài khác, một cấu trúc mệnh đề khác, và một mức độ bất ngờ khác đối với mô hình đang cố dự đoán điều sẽ đến tiếp theo. Chỉ phiên bản thứ hai mới tác động đến tín hiệu mà một bộ phát hiện được xây dựng để đo lường.

Sự phân biệt đó không phải là lý thuyết. Một bộ phát hiện không đọc để hiểu nghĩa. Nó chấm điểm mức độ một đoạn văn khớp với mẫu mà một mô hình ngôn ngữ sẽ tạo ra, và đó chính xác là mẫu mà hướng dẫn của chúng tôi về cách humanize AI text dạy bạn phá vỡ bằng tay, từng câu một. Một công cụ humanizer đang làm cùng loại công việc đó nhưng ở quy mô lớn hơn nhiều trong một lần xử lý.

Những thay đổi nào trong số đó thực sự làm thay đổi điểm số

Bằng chứng rõ ràng nhất đến từ các nhà nghiên cứu đã xây dựng một mô hình diễn đạt lại chuyên dụng, DIPPER, đặc biệt để kiểm tra kiểu tấn công này. Khi được chạy trên DetectGPT, một phương pháp phát hiện đã được nghiên cứu kỹ, các bản diễn đạt lại của DIPPER đã cắt độ chính xác phát hiện từ 70.3 percent xuống 4.6 percent ở một tỷ lệ dương tính giả cố định 1 percent, và các nhà nghiên cứu báo cáo rằng các bản viết lại không làm thay đổi đáng kể ý nghĩa của văn bản nguồn. Đó là một tác động được đo lường, không phải một tuyên bố tiếp thị: cấu trúc lại một đoạn văn ở cấp độ câu có thể làm thay đổi điểm số với biên độ rất lớn.

Đó là khoảng cách giữa kết quả đó và trang tiếp thị của một công cụ nhân hóa thương mại. Đây phần lớn là lý do vì sao kết quả khác nhau rất nhiều giữa các công cụ và giữa những người đánh giá chúng. DIPPER là một mô hình nghiên cứu. Nó được xây dựng và thử nghiệm trong các điều kiện được kiểm soát để đánh giá đối chiếu với một bộ phát hiện công khai cụ thể đã được tài liệu hóa. Cùng một mức độ viết lại đã được dùng cho tất cả các trường hợp. Một công cụ chạy trong trình duyệt đang thực hiện cùng loại chỉnh sửa, thay thế từ ngữ và tái cấu trúc câu. Nhưng nó không có cùng mức độ kiểm soát như một bài báo nghiên cứu đối với bộ phát hiện ở đầu kia hoặc đối với chất lượng của bản viết lại.

Tại sao một điểm số thấp trên một bộ phát hiện không chuyển sang bộ phát hiện khác

Các bộ phát hiện không đo cùng một thứ từ cùng một điểm tham chiếu. Một bài viết đi kèm về cách các bộ phát hiện AI hoạt động trình bày đầy đủ cơ chế, nhưng điểm liên quan ở đây rất đơn giản: mỗi bộ phát hiện được chấm điểm theo mô hình tham chiếu riêng của nó, vì vậy một chỉnh sửa có vẻ khó dự đoán đối với bộ này vẫn có thể trông bình thường đối với bộ khác.

Các nhà nghiên cứu, khi kiểm tra độ bền của một loạt bộ phát hiện thương mại và mã nguồn mở trước các kiểu tấn công bằng chỉnh sửa, diễn giải lại, gợi lệnh và tấn công kết hợp, đã thấy hiệu năng giảm trung bình 35 percent, nhưng không đồng đều. Kết luận của họ là hầu như không có bộ phát hiện nào giữ được độ bền qua mọi kiểu tấn công, và mỗi bộ có những lỗ hổng cụ thể khác nhau thay vì một điểm yếu chung. Một thử nghiệm thực tế với một công cụ nhân hóa duy nhất đã minh họa cùng một mô hình: cùng một đoạn văn được viết lại đạt 100 percent AI trên hai bộ phát hiện riêng biệt, vẫn ở mức 100 percent trên bộ thứ ba, và giảm xuống 88 percent trên bộ thứ tư, tất cả chỉ từ một lần xử lý qua một công cụ.

Việc viết lại mạnh tay phải trả giá gì

Phần tiếp thị của danh mục này hiếm khi nhắc đến dạng lỗi ở phía bên kia của một lần viết lại mạnh tay: một công cụ thay đổi đủ nhiều của một câu để làm dịch chuyển điểm số cũng có thể thay đổi đủ nhiều để làm mất ý nghĩa. Một trang đã chạy cùng một đoạn do AI tạo ra qua mười công cụ humanizer khác nhau và đối chiếu kết quả với nguồn gốc. Một số công cụ tạo ra những câu không còn được hiểu là tiếng Anh. Một công cụ viết lại câu lệnh "Tap your Apple ID" thành "Faucet your Apple ID." Một công cụ khác biến "Understanding LinkedIn Premium" thành "Grasping LinkedIn Premium," điều mà các người đánh giá nhận xét là "không truyền đạt cùng một ý nghĩa chút nào." Kết luận chung của họ là các công cụ "dường như không có bất kỳ cảm nhận nào về ý nghĩa của toàn bộ bài viết."

Văn viết học thuật ít khoan dung hơn với lỗi đó so với một bài đăng blog về sản phẩm. Một từ giảm nhẹ được thay bằng một khẳng định mạnh hơn, "may indicate" được viết lại thành "shows," làm thay đổi điều mà một trích dẫn thực sự đang được dùng để chứng minh, và một câu được sắp xếp lại quanh một trích dẫn có thể tách trích dẫn khỏi khẳng định mà nó ban đầu đứng cạnh. Một in-text citation fixer có thể sắp xếp lại một trích dẫn đã lệch khỏi câu của nó mà không bịa ra một chi tiết mà nguồn chưa bao giờ ủng hộ, nhưng nó không thể cho bạn biết liệu bản thân khẳng định đó còn khớp với điều nguồn ấy nói hay không. Dù theo cách nào, một đoạn có nhiều trích dẫn vẫn đáng để kiểm tra thủ công.

Loại chỉnh sửa	Tác động điển hình lên điểm số của bộ phát hiện	Điều có thể xảy ra sai
Thay từng từ bằng từ đồng nghĩa	Nhỏ, thường nằm trong nhiễu bình thường của bộ phát hiện	Một từ giảm nhẹ có thể bị đổi thành một khẳng định mạnh hơn mức nguồn văn bản cho phép
Sắp xếp lại hoặc gộp các câu	Tác động lớn nhất, ổn định nhất, đây là điều burstiness đo lường	Một trích dẫn có thể bị tách khỏi mệnh đề mà nó ban đầu đứng cạnh
Viết lại toàn bộ một đoạn	Lớn trên bộ phát hiện mà công cụ được tinh chỉnh theo, khó đoán ở nơi khác	Rủi ro cao nhất là đầu ra không còn phân tích được như một câu nữa
Thêm phần đệm như lỗi đánh máy rải rác hoặc lời chen ngang	Tối thiểu hoặc không có, đây là thay đổi bề ngoài, không phải cấu trúc	Trông giả tạo đối với người đọc mà không khắc phục được khuôn mẫu bên dưới

Vậy, các công cụ nhân hóa AI có hoạt động không?

Điều mà bằng chứng ở trên thực sự chỉ ra là, các công cụ nhân hóa thay đổi một cách đáng tin cậy các thuộc tính thống kê mà một bộ phát hiện đo lường, đây là một tác động thực, cơ học và không phải là tiếp thị. Chúng không bảo đảm một cách đáng tin cậy rằng sẽ vượt qua bất kỳ bộ phát hiện cụ thể nào, vì các bộ phát hiện vốn bất đồng với nhau theo thiết kế, và công cụ càng viết lại mạnh để theo đuổi sự bảo đảm đó, thì càng có khả năng làm mất đi điều gì đó về ý nghĩa trên đường đi.

"Do humanizers work" thực ra là ba câu hỏi khoác chung một câu: công cụ có thay đổi khuôn mẫu không, sự thay đổi đó có vượt qua được bộ phát hiện cụ thể mà bạn quan tâm không, và câu văn có còn nói đúng điều bạn muốn hay không. Câu trả lời cho câu hỏi đầu tiên thường là có, dựa trên bằng chứng ở trên. Hai câu còn lại phụ thuộc vào công cụ, bộ phát hiện, và mức độ mạnh tay của lần xử lý.

Công cụ AI humanizer của TextPulse được xây dựng xoay quanh sự đánh đổi đó, chứ không phải xoay quanh một lời hứa. Công cụ này viết lại một tài liệu và báo cáo một Human Score ước tính được tính từ cùng các tín hiệu mà các bộ phát hiện sử dụng, trong đó có nhịp câu và mức độ dự đoán được của từ ngữ, thay vì khẳng định rằng bất kỳ bộ phát hiện nào được nêu tên sẽ chấp nhận nó. Có một gói miễn phí chính xác để bạn có thể xem một lần chấp nhận thực sự thay đổi điều gì, từng dòng một, trước khi quyết định liệu sự đánh đổi trong bảng ở trên có đáng giá đối với một tài liệu đầy đủ hay không.

Việc hoạt động được và việc an toàn để sử dụng là hai phép thử riêng biệt, và câu hỏi về an toàn có một trang riêng. Phiên bản sắc nét hơn của câu hỏi đó cũng vậy: Turnitin làm gì khi gặp văn bản đã được humanize.

Những công cụ đáng tin cậy là những công cụ cho bạn thấy điều gì đã thay đổi và cho phép bạn kiểm tra nó, chứ không phải những công cụ yêu cầu bạn tin vào một tỷ lệ phần trăm trên trang đích. Hãy đọc đoạn văn đã viết lại đối chiếu với bản gốc trước khi bạn nộp bất cứ thứ gì, giống như bạn sẽ kiểm tra bản nháp đầu tiên của một trợ lý nghiên cứu, vì về mặt chức năng đó chính là điều một humanizer làm.