Nghiên cứu so sánh AI Humanizer: Điều gì đã xảy ra với cùng một số văn bản học thuật

Trong nghiên cứu so sánh AI humanizer của chúng tôi, mỗi humanizer đều chuyển cùng 48 văn bản học thuật sang một phong cách viết giống con người hơn, và các công cụ khác nhau nhiều nhất ở những gì chúng giữ lại. Một số công cụ giữ nghĩa, trích dẫn và số liệu gần với văn bản nguồn. Những công cụ khác thêm vào các số liệu và tên riêng bịa đặt hoặc các lỗi ngữ pháp mới, và những đầu ra đó thường là những đầu ra mà một bộ phát hiện gắn nhãn là con người.

TextPulse Research đã tiến hành nghiên cứu so sánh AI humanizer vào tháng 8 năm 2026 và công bố dưới dạng một working paper vào ngày 29 tháng 8. TextPulse là một trong các công cụ trong nghiên cứu này, vì vậy mọi công cụ đều nhận cùng đầu vào và mọi phép đo đều là một kịch bản công khai. working paper đầy đủ có mọi bảng, hình và kịch bản, và toàn bộ 432 văn bản được viết lại đều là công khai.

Nghiên cứu so sánh AI humanizer đã kiểm tra những gì

Nghiên cứu đã đưa cho mỗi humanizer cùng 48 văn bản. Mỗi văn bản là phần Kết quả và Thảo luận của một nghiên cứu thực nghiệm hư cấu, được viết bởi một mô hình AI và dài khoảng 301 từ. Bốn họ mô hình đã viết mỗi họ 12 văn bản: OpenAI, Google, DeepSeek và Anthropic. Các văn bản bao quát bốn ngành học và ba kiểu trích dẫn, vì vậy mỗi công cụ đều gặp các số liệu, tên tác giả và ký hiệu tham chiếu mà nó phải giữ lại.

Phần của thiết kế	Nghiên cứu đã sử dụng gì
Văn bản nguồn	48 phần Kết quả và Thảo luận do AI viết, mỗi phần dài từ 264 đến 344 từ
Ai đã viết chúng	Mỗi họ mô hình OpenAI, Google, DeepSeek và Anthropic viết 12 văn bản
Ngành học	Y học và sức khỏe, khoa học vật lý và tính toán, khoa học xã hội, nhân văn
Kiểu trích dẫn	APA tác giả-năm, ngoặc vuông dạng số, không có trích dẫn
Các факт đã được kiểm tra trong văn bản	404 thuật ngữ kỹ thuật, 887 số liệu, 124 trích dẫn
Cách mỗi công cụ chạy	Dán một lần vào trang web của nó ở setting mặc định, đầu ra được giữ nguyên như khi trả về
Ngày	26 đến 28 tháng 8 năm 2026
Bộ phát hiện	Turnitin, một tài liệu cho mỗi công cụ, và GPTZero, mỗi văn bản riêng lẻ

Công việc của một humanizer là viết lại đầu ra của AI, vì vậy nghiên cứu bắt đầu từ đầu ra của AI với một danh sách sự kiện đã được xác minh. Trước khi viết lại bất kỳ phần nào, mỗi mô hình liệt kê các thuật ngữ, con số và trích dẫn mà nó đã dùng. Mỗi mục được liệt kê đều được đối chiếu với văn bản, và bất kỳ mục nào không có trong văn bản đều bị loại bỏ. Điều đó để lại một danh sách cố định cho mỗi văn bản, vì vậy nghiên cứu có thể đếm chính xác những gì mỗi humanizer giữ lại, thay đổi hoặc tự tạo ra.

Mỗi văn bản được đưa vào trang web của từng công cụ một lần, ở cài đặt mặc định của công cụ, và đầu ra được lưu lại đúng như khi nhận về. Không ai chỉnh sửa đầu ra. Một số công cụ xử lý ít hơn 48 văn bản vì các gói miễn phí giới hạn số lượng văn bản mà một công cụ sẽ nhận. Một bộ lõi gồm 24 văn bản là giống nhau cho mỗi công cụ, theo cùng một thứ tự. TextPulse xử lý cả 48 văn bản.

Cách nghiên cứu đo lường một văn bản đã được humanize

Điểm của bộ phát hiện cho biết một văn bản trông như thế nào đối với một bộ phát hiện vào một ngày cụ thể. Nó không nói gì về việc bản viết lại có còn báo cáo cùng một kết quả hay không. Nghiên cứu chấm điểm mọi đầu ra trước hết trên chính văn bản, và sau đó mới trên các bộ phát hiện. Đối với sinh viên hoặc nhà nghiên cứu, điều quan trọng là có một bài viết vẫn nói đúng điều dữ liệu nói, bằng văn xuôi nghe như do một con người viết ra.

Thước đo	Nó kiểm tra điều gì	Vì sao điều đó quan trọng trong một bài báo
Ý nghĩa	Độ gần của bản viết lại với văn bản nguồn, dưới dạng điểm tương đồng từ 0 đến 1	Điểm thấp hơn có nghĩa là đoạn văn nay nói điều gì khác
Trích dẫn được giữ lại	Tỷ lệ các trích dẫn trong văn bản vẫn còn đó với cùng tác giả và năm	Năm bị thay đổi làm hỏng sự khớp với danh mục tài liệu tham khảo
Số liệu được giữ lại	Tỷ lệ các số đã kiểm tra vẫn còn trong văn bản	Mất cỡ mẫu hoặc giá trị p làm thay đổi kết quả
Mục được bịa ra	Các số và tên trong đầu ra mà nguồn không hề có	Một con số bịa ra là một phát biểu sai về nghiên cứu
Lỗi ngữ pháp được thêm vào	Số lỗi mới trên 1,000 từ, được đếm bằng LanguageTool	Lỗi làm mất điểm và làm giảm niềm tin của phản biện
Bậc đọc hiểu	Mức thay đổi trong bậc Flesch-Kincaid	Văn bản AI có bậc cao hơn văn xuôi học thuật do con người công bố
Vị trí phong cách	Vị trí của văn bản giữa kiểu viết điển hình của con người và kiểu viết điển hình của AI	Các bộ phát hiện phong cách học phản ứng với những đặc điểm này
Độ dài	Độ dài đầu ra so với nguồn, từ 0.70 đến 1.30 lần được tính là được giữ lại	Một công cụ cắt một nửa văn bản đã làm mất nội dung

Vị trí phong cách xuất phát từ một thang đo mà TextPulse phát triển từ 47 đặc trưng phong cách, dựa trên 121,092 văn bản học thuật (được mô tả trong bài báo phân loại phong cách học của chúng tôi). Văn bản học thuật điển hình của con người ở mức 0 và văn bản AI điển hình ở mức 100. Chúng tôi gọi nửa giữa của các văn bản do con người viết, từ (-36 đến 33), là phạm vi của con người.

Vốn từ vựng được chấm điểm so với một danh sách gồm 1,057 từ từ bài báo về vốn từ vựng AI của chúng tôi. Trong số đó, 581 là những từ mà các mô hình AI dùng nhiều hơn con người, và 476 nghiêng theo chiều ngược lại. Nghiên cứu đã đếm xem mỗi công cụ loại bỏ bao nhiêu từ nghiêng về AI trên 1,000 từ.

Điều mà mọi công cụ humanizer đã làm với văn bản

Mỗi công cụ trong nghiên cứu đều dịch chuyển đầu ra của nó về phía đầu người trong thang phong cách. Các văn bản AI chưa qua xử lý có giá trị trung bình là 138, vượt qua mức văn bản AI điển hình là 100. Sau khi viết lại, một số công cụ đạt đến phạm vi của con người và những công cụ khác dừng lại ở khoảng giữa. Mỗi công cụ cũng loại bỏ từ vựng thiên về AI và làm giảm cấp độ đọc, vì vậy hướng thay đổi là như nhau trên toàn lĩnh vực.

Hai loại đặc trưng tác động mạnh nhất đến vị trí của một văn bản trên thang đo. Cặp thứ nhất là độ dài từ trung bình và tỷ lệ từ dài. Việc viết lại từ "help" thành "facilitate" sẽ làm văn bản giống AI hơn vì nó làm tăng độ dài từ trung bình và làm tăng tỷ lệ từ dài. Cặp thứ hai là độ dài câu đa dạng, yếu tố này đẩy về phía con người. Một đoạn mà mọi câu đều có từ 22 đến 26 từ thì phẳng, nhưng một đoạn kết hợp một câu 9 từ với một câu 31 từ thì đa dạng.

Ý tưởng là đạt đến một cấp độ đọc thấp hơn. Văn bản học thuật do AI viết có cấp độ Flesch-Kincaid cao hơn so với văn xuôi học thuật của con người đã được xuất bản. Vì vậy, nếu nó giảm xuống, điều đó làm cho bài viết giống hơn với phong cách giản dị mà các nhà nghiên cứu sử dụng khi viết. Đó là điều mà các bộ phát hiện phong cách học phản ứng. Đó cũng là những thay đổi làm cho bản thảo dễ đọc hơn. Hai mục tiêu này phù hợp với nhau miễn là nội dung vẫn được giữ nguyên.

Bài viết của chúng tôi về cách các công cụ humanizer thay đổi một câu cho thấy các chỉnh sửa này theo từng câu một. Nghiên cứu bổ sung phép đo, mức độ mà mỗi thay đổi đã dịch chuyển văn bản, và cái giá của nó về ý nghĩa và dữ kiện.

Các công cụ khác nhau ở đâu: ý nghĩa, trích dẫn và số liệu

Các công cụ khác nhau về tỷ lệ giữ lại của chúng. Ví dụ, trong toàn bộ nghiên cứu, từ 29 đến 100 phần trăm các trích dẫn được giữ lại. Từ 0.06 đến 4.44 mục bịa đặt xuất hiện trên mỗi đầu ra. Từ 0.65 đến 4.91 lỗi ngữ pháp mới xuất hiện trên mỗi 1,000 từ. Các mục bịa đặt là cỡ mẫu, phần trăm, khoảng tin cậy, tên tác giả và cơ quan mà nguồn không bao giờ đề cập.

Tên riêng và đơn vị đã biến mất theo những cách tinh vi hơn. Khi một công cụ diễn đạt lại một thống kê, nó thường bỏ mất đơn vị, vì vậy "Cohen's d" trở thành một kích thước hiệu ứng và "Celsius" trở thành độ. Tên tác giả cũng biến mất cùng với trích dẫn của họ. Tên loài, kỷ địa chất và tên thiết bị bị thay bằng một mô tả. Một người đọc muốn kiểm tra kết quả cần những tên đó, nên mỗi mất mát như vậy đều được tính.

Độ sâu diễn đạt lại và mức độ trung thành kéo theo hai hướng ngược nhau. Một công cụ thay đổi một phần ba số từ sẽ giữ được ý nghĩa dễ hơn. Một công cụ thay đổi phần lớn số từ sẽ có nhiều cơ hội làm mất điều gì đó hơn. Tỷ lệ từ bị thay đổi dao động từ 35 đến 68 phần trăm. Kết quả mà một nhà nghiên cứu muốn là một bản diễn đạt lại sâu nhưng vẫn giữ được ý nghĩa. Sự kết hợp đó rất hiếm.

Nghiên cứu cũng tìm các ký tự ẩn, gồm ký tự vô hình, khoảng trắng không chuẩn và các chữ cái trông giống nhau từ bảng chữ cái Cyrillic hoặc Hy Lạp. Một số công cụ humanizer thêm các ký tự này để thay đổi kết quả của một bộ phát hiện. Không có công cụ nào trong nghiên cứu này thêm bất kỳ ký tự nào như vậy, nên không có đầu ra nào không đạt cổng chất lượng vì lý do đó.

Tại sao chỉ riêng kết quả của một bộ phát hiện là một thước đo humanizer yếu

Chỉ riêng kết quả của một bộ phát hiện là một thước đo humanizer không đầy đủ. Trong nghiên cứu so sánh AI humanizer, các đầu ra mà GPTZero gắn nhãn là con người nhiều nhất lại đến từ những công cụ tạo ra nhiều số và tên hơn, bỏ nhiều trích dẫn hơn hoặc thêm nhiều lỗi ngữ pháp hơn. Cách dễ nhất để thay đổi ước tính của một bộ phát hiện là thay đổi nội dung mà văn bản nói đến. Một bản diễn đạt lại như vậy làm hỏng chính bài báo mà nó được định dùng để hỗ trợ.

Để đo cả hai mặt cùng lúc, nghiên cứu đặt ra một cổng chất lượng. Để vượt qua, một đầu ra cần có điểm ý nghĩa ít nhất 0.95 và giữ lại ít nhất 90 phần trăm các trích dẫn của nó. Nó cũng cần không có số hoặc tên bị bịa ra, không có ký tự ẩn và độ dài nằm trong phạm vi cho phép. Khi đó, nhãn human của GPTZero chỉ được tính đối với các đầu ra đã vượt qua cổng. Cổng này giống nhau cho mọi công cụ.

Mỗi đầu ra của công cụ được đưa vào một tài liệu, với một văn bản trên mỗi trang. Nghiên cứu sử dụng tỷ lệ AI duy nhất của Turnitin cho tài liệu. Turnitin dùng dấu hoa thị thay cho một con số đối với mức dưới 20 phần trăm. Kết quả của các bộ phát hiện là các ước tính từ một phiên bản bộ phát hiện vào các ngày của nghiên cứu. Chúng tôi đã viết về cách đọc điểm AI của Turnitin trong hướng dẫn của chúng tôi về điểm AI của Turnitin có nghĩa là gì.

TextPulse đã thể hiện như thế nào trong so sánh humanizer

TextPulse đứng đầu trong chỉ số tổng hợp của nghiên cứu, chỉ số này cho trọng số ngang nhau đối với độ sâu viết lại, ý nghĩa, vị trí phong cách, ngữ pháp và tính toàn vẹn nội dung. Điểm của TextPulse là 0.811 cho năm thước đo đó và là 0.843 khi thêm thước đo bộ phát hiện có cổng kiểm soát. Công cụ này làm tốt vì không có thước đo nào yếu. Nó viết lại hơn một nửa mỗi văn bản và giữ lại các факт mà một bài báo phụ thuộc vào.

Thước đo	Kết quả của TextPulse
Số từ thay đổi	52 phần trăm
Ý nghĩa được giữ lại (độ tương đồng với nguồn)	0.971, khoảng 97 phần trăm
Trích dẫn được giữ lại	99 phần trăm
Các con số được giữ lại	87 phần trăm
Thực thể có tên được giữ lại	95 phần trăm
Lỗi ngữ pháp được thêm vào	0.65 trên 1,000 từ, ít nhất trong nghiên cứu
Mục được bịa ra	0.48 trên mỗi đầu ra, một tên bịa ra trong một đầu ra trên năm mươi
Bậc đọc hiểu	thấp hơn 3.6 bậc, mức giảm lớn nhất
Các từ nghiêng về AI được loại bỏ	39 trên 1,000 từ, nhiều nhất trong nghiên cứu
Vị trí phong cách	29, nằm trong phạm vi con người
Các đầu ra nằm trong dung sai độ dài	47 trên 48
Các đầu ra vượt qua cổng chất lượng	67 phần trăm
Điểm AI của Turnitin, một tài liệu gồm tất cả các đầu ra	24 phần trăm, thấp nhất trong nghiên cứu (đồng hạng)
Nhãn con người của GPTZero trên các đầu ra vượt qua cổng	10.4 phần trăm (5 trên 48), cao nhất trong nghiên cứu

Hai kết quả có ý nghĩa nhất đối với việc sử dụng trong học thuật. Trong số các công cụ đã thay đổi ít nhất một nửa số từ, TextPulse giữ nguyên ý nghĩa tốt nhất. Trong số các công cụ có điểm ý nghĩa từ 0.97 trở lên, nó thay đổi nhiều từ nhất. Không có công cụ nào khác trong nghiên cứu thuộc cả hai nhóm. Một công cụ humanizer cho viết học thuật cần sự kết hợp đó, vì việc viết lại nhẹ chỉ giữ nguyên phong cách AI, còn việc viết lại sâu làm mất dữ kiện sẽ thay đổi các phát hiện.

GPTZero gắn nhãn 9 trong số 48 đầu ra của TextPulse là người viết, và 5 trong số đó cũng vượt qua ngưỡng chất lượng, là kết quả có ngưỡng cao nhất trong nghiên cứu. Tài liệu Turnitin của các đầu ra TextPulse đạt 24 phần trăm AI, đồng hạng với điểm thấp nhất. Các tài liệu còn lại có điểm từ 28 đến 74 phần trăm. Kết quả của bộ phát hiện chỉ là ước lượng, và nghiên cứu báo cáo chúng bên cạnh các thước đo văn bản vì lý do đó.

Nghiên cứu không thể cho bạn biết điều gì

Nghiên cứu so sánh AI humanizer nêu rõ các giới hạn của chính nó. Các văn bản được viết bởi các mô hình AI theo một lời nhắc cố định, và các bản thảo thực tế dài hơn và ít đồng nhất hơn. Mỗi công cụ chỉ chạy một lần, ở cài đặt mặc định của nó, trong khoảng từ 26 đến 28 tháng 8 năm 2026. Các nhà cung cấp cập nhật công cụ của họ, vì vậy kết quả mô tả những ngày đó và nên được đọc như một ảnh chụp tại thời điểm đó.

Các công cụ khác nhau có số lượng văn bản khác nhau vì chúng bị giới hạn ở một số lượng văn bản miễn phí nhất định mà công cụ sẽ xử lý. Điều này cũng dẫn đến khoảng tin cậy lớn hơn đối với các công cụ có ít văn bản hơn. Turnitin tạo ra một điểm số cho mỗi tài liệu và do đó không có độ phân tán điểm số theo từng văn bản. GPTZero là một bộ phát hiện, một phiên bản mô hình (2026-08-09-base).

TextPulse tạo ra nghiên cứu và là một trong các công cụ trong đó. Mỗi công cụ được cung cấp cùng một đầu vào. Theo quy trình, tất cả các thước đo đều là các tập lệnh công khai, và toàn bộ kết quả thô đều được chia sẻ. Điều này có nghĩa là bất kỳ ai cũng có thể chạy lại các con số, hoặc gán trọng số cho chúng theo cách khác. Các văn bản nguồn, toàn bộ 432 đầu ra, các phản hồi của bộ phát hiện và các tập lệnh đều là công khai.

Cách sử dụng các phát hiện trên bản thảo của chính bạn

Các phát hiện chuyển thành một phép kiểm tra ngắn mà bạn có thể thực hiện sau bất kỳ công cụ humanizer nào, bao gồm cả công cụ của chúng tôi. Hãy so sánh đầu ra với bản thảo của bạn về những điều mà nghiên cứu đã đếm. Với một mục riêng lẻ, việc này chỉ mất vài phút.

1. Kiểm tra mọi con số so với bản nháp của bạn: cỡ mẫu, tỷ lệ phần trăm, giá trị p và khoảng tin cậy.
2. Kiểm tra mọi trích dẫn trong văn bản xem có cùng tác giả và năm hay không, rồi đối chiếu với danh mục tài liệu tham khảo của bạn.
3. Tìm các tên đã thay đổi: công cụ, loài, bộ dữ liệu, đơn vị và tên tác giả.
4. Đọc để phát hiện những khẳng định đã trở nên mạnh hơn, chẳng hạn như "may indicate" được viết lại thành "shows".
5. So sánh độ dài. Một đầu ra ngắn hơn nhiều so với nguồn có lẽ đã làm mất nội dung.
6. Đọc to văn bản để bắt các lỗi ngữ pháp mà bản viết lại đã thêm vào.

Độ dài là phép kiểm tra nhanh nhất trong số này. Trong nghiên cứu, một đầu ra nằm giữa 0.70 và 1.30 lần độ dài của nguồn được tính là được giữ nguyên. TextPulse giữ 47 trong số 48 đầu ra nằm trong khoảng đó, với mức trung bình là 1.14 lần nguồn, vì vậy các đầu ra của nó dài hơn một chút so với các bản nháp.

Trích dẫn là phần mất nhiều thời gian nhất để kiểm tra thủ công. Trong nghiên cứu, TextPulse giữ lại 99 phần trăm trong số đó, và các thay đổi của nó nằm ở cách trình bày, chẳng hạn như một trích dẫn trong ngoặc được chuyển thành một trích dẫn dạng tường thuật. Bài viết của chúng tôi về một AI humanizer bảo toàn trích dẫn giải thích những gì cần tìm trong các dấu hiệu tham chiếu của chính bạn.

công cụ kiểm tra burstiness miễn phí đo mức độ biến thiên của độ dài câu trong bản nháp của bạn. Độ dài câu biến thiên là một trong những đặc điểm mà thang đo trong nghiên cứu xem trọng theo hướng văn bản do con người viết. Để xem hướng dẫn xếp hạng kèm giá, hãy xem hướng dẫn của chúng tôi về AI humanizer tốt nhất cho viết học thuật. Khi bạn sẵn sàng viết lại, TextPulse AI humanizer được xây dựng để giữ nguyên các con số, tên và trích dẫn của bạn, đồng thời báo cáo Human Score ước tính cho kết quả.