ZeroGPT có chính xác không?

Độ chính xác của ZeroGPT, theo tuyên bố hiện tại của chính công ty, là một tỷ lệ "tiến tới >98% trên các đánh giá nội bộ", một con số mà công ty thừa nhận xuất phát từ việc thử nghiệm do chính công ty thực hiện chứ không phải từ một phòng thí nghiệm bên ngoài. Chỉ riêng điều kiện nội bộ đó đã là phần lớn những gì người đọc cần biết trước khi coi bất kỳ tỷ lệ phần trăm nào của một bộ phát hiện miễn phí là факт đã được xác định.

ZeroGPT là một trong những bộ phát hiện AI miễn phí được dùng nhiều nhất, chủ yếu vì nó không tốn phí và trả về câu trả lời trong vài giây. Cùng một khoảng cách giữa các tuyên bố của nhà cung cấp và thử nghiệm độc lập vốn xuất hiện trên các bộ phát hiện AI nói chung cũng xuất hiện ở đây. Phần sau trình bày những gì công ty hiện nói về độ chính xác và phương pháp của chính mình, phương pháp đó dường như thực sự đo lường điều gì, và vì sao một công cụ như vậy thường hoạt động sai theo những cách cụ thể, có thể dự đoán được, đối với kiểu bài viết mà người đọc học thuật nộp vào.

Độ Chính Xác của ZeroGPT Là Gì, Theo Công Ty?

FAQ của chính ZeroGPT nêu rằng công ty "cung cấp độ chính xác dẫn đầu ngành và liên tục được cải thiện để duy trì hiệu suất tốt nhất trong phân khúc, tiến tới >98% trên các đánh giá nội bộ." Đó là một tuyên bố của nhà cung cấp về chính sản phẩm của mình, do chính công ty kiểm thử, và được diễn đạt với sự dè dặt thực sự ngay trong ngôn từ: "tiến tới" một con số không giống với việc đạt được và duy trì con số đó, còn "các đánh giá nội bộ" có nghĩa là không có bên ngoài nào công bố một con số tương ứng. Không có gì trên trang cho biết bộ dữ liệu kiểm thử nội bộ đó lớn đến mức nào, nó chứa những gì, hoặc ai ngoài công ty đã xem xét phương pháp luận.

Công ty khuyến nghị ít nhất 150 đến 200 từ văn bản để có kết quả ổn định, với 500 đến 1,000 từ hoặc nhiều hơn sẽ cải thiện thêm độ tin cậy, và nêu trực tiếp rằng các đoạn rất ngắn hoặc bị chỉnh sửa nhiều "carry fewer signals." Chỉ riêng sự tiết lộ này đã quan trọng hơn tỷ lệ phần trăm được nêu ở tiêu đề. Đó là sự thừa nhận của chính nhà cung cấp rằng điểm số chỉ đáng tin cậy tương ứng với độ dài của đầu vào và mức độ nguyên vẹn của nó, một điều kiện mà một bài nộp thực tế không phải lúc nào cũng đáp ứng.

Phương pháp ZeroGPT Thực sự Đang Sử dụng Là Gì?

ZeroGPT gọi hệ thống nền tảng của mình là DeepAnalyse, được mô tả trên chính trang web của họ là một "multi-stage methodology designed to optimize accuracy while minimizing false positives and negatives" đọc một văn bản "from the macro level to the micro one." Phần FAQ của họ mô tả cụ thể hơn bên dưới thương hiệu này: một phân tích về "token patterns, burstiness, entropy, and ensemble classifier features trained on mixed datasets."

Burstiness và entropy không chỉ riêng ZeroGPT mới có. Chúng là cùng những thuộc tính thống kê, mức độ biến thiên của độ dài và nhịp câu, cũng như mức độ có thể dự đoán của từng từ tiếp theo, mà phần giải thích của TextPulse trên how AI detectors work trình bày như cơ chế chung đứng sau toàn bộ nhóm công cụ này. Một free perplexity checker cho thấy trực tiếp cùng một con số nền tảng đó, mà không yêu cầu người viết trước hết phải tin vào tỷ lệ phần trăm của bất kỳ nhà cung cấp đơn lẻ nào.

Tại Sao Văn Viết Học Thuật Lại Làm Các Bộ Phát Hiện Này Dễ Bị Sai?

Phần FAQ của ZeroGPT diễn đạt như sau: "highly polished, formulaic, or low-entropy writing can resemble AI." Văn xuôi học thuật được thiết kế cho kiểu viết trau chuốt cao, công thức hóa, và có entropy thấp. Một phần phương pháp, một tổng quan tài liệu và một thư xin việc trang trọng đều ưu tiên cụm từ quen thuộc hơn cụm từ sáng tạo, vì chính sự quy ước mới làm cho tài liệu có thể được người đọc sử dụng ngay từ đầu, và sự quy ước đó chính xác là mẫu entropy thấp mà sự tiết lộ của nhà cung cấp nêu ra như một rủi ro.

Các thử nghiệm độc lập, được bình duyệt cho thấy vì sao dạng lỗi này tác động nặng hơn lên một số người viết so với những người khác. Một nghiên cứu Stanford năm 2023 đã chạy bảy bộ phát hiện được dùng rộng rãi, trong đó có ZeroGPT, trên 91 bài luận TOEFL thực do người nói tiếng Anh không phải bản ngữ viết và 88 bài luận do học sinh lớp tám ở Mỹ viết. ZeroGPT gắn nhãn 48 phần trăm các bài luận TOEFL là do AI tạo ra, so với 0 phần trăm các bài luận lớp tám, cùng một hướng sai lệch mà mọi bộ phát hiện trong nghiên cứu đó đều cho thấy, chỉ khác về mức độ.

Không có gì trong khoảng chênh lệch đó là riêng của ZeroGPT, và cũng không có gì trong đó là thông tin mới. Đó là cùng một mô thức thiên lệch đối với người viết không phải bản ngữ đã được ghi nhận trên toàn ngành bộ phát hiện, được trình bày chi tiết hơn trên trang riêng của TextPulse về lý do vì sao các bộ phát hiện AI thiên lệch chống lại người nói tiếng Anh không phải bản ngữ. Điều mà khoảng chênh lệch này cho thấy cụ thể về một công cụ miễn phí dành cho người dùng là giới hạn do chính nhà cung cấp công bố, rằng lối viết có entropy thấp trông như do máy tạo ra, không phải là giả định. Một thử nghiệm được bình duyệt đã phát hiện điều đó xảy ra trên chính sản phẩm này nhiều năm trước khi phần FAQ hiện tại của công ty gọi tên cơ chế đó bằng chính lời lẽ của họ.

Điểm số của một bộ phát hiện miễn phí có thể chứng minh điều gì về một tài liệu không?

Không, nếu chỉ dựa vào nó. Một tỷ lệ phần trăm của ZeroGPT không phải là bằng chứng cho bất cứ điều gì về một tài liệu cụ thể, theo bất kỳ hướng nào. Đó là ước tính của một mô hình, được xây dựng trên thử nghiệm nội bộ mà công ty chưa công bố dưới dạng mà bất kỳ ai ngoài công ty cũng có thể kiểm tra, áp dụng cho văn bản có độ dài, lịch sử chỉnh sửa và thể loại đều làm thay đổi cách đọc theo những cách mà chính FAQ của nhà cung cấp đã thừa nhận. Xem một điểm số miễn phí đơn lẻ như một phán quyết là đòi hỏi ở điểm số đó nhiều hơn mức mà chính công ty phát hành nó tuyên bố.

Điều mà một điểm số thực sự hữu ích là hẹp hơn và tầm thường hơn: một cách đọc nhanh, không tốn phí về vị trí hiện tại của bản thảo trên cùng loại phép đo thống kê mà một công cụ tổ chức trả phí cũng thực hiện, trước khi bất kỳ ai khác nhìn thấy nó. Các công cụ miễn phí của TextPulse bao quát cùng phạm vi đó một cách trực tiếp, mà không yêu cầu người viết phải đoán trước điểm số của một trong nhiều bộ phát hiện miễn phí nào đáng tin hơn.

Các con số về độ chính xác che khuất lỗi rơi vào ai và điều gì kích hoạt chúng. Biết khi nào dùng a, an và the loại bỏ một trong những mẫu hình thu hút cờ cảnh báo, và false positive thực sự có nghĩa là gì được trình bày riêng.

Không điều nào trong số này khiến con số của ZeroGPT trở nên vô nghĩa, và cũng không điều nào trong số này khiến con số đó đủ dùng tự nó. Một điểm số là một ước lượng ban đầu, được tạo ra bởi một phương pháp mà công ty chỉ mô tả ở mức khái quát và chưa mở cho thử nghiệm từ bên ngoài, trên một văn bản mà chỉ riêng thể loại của nó cũng có thể làm thay đổi kết quả trước khi bất kỳ ai liên quan làm điều gì sai. Hai từ mang nhiều thông tin nhất trên trang FAQ đó không phải là phần trăm. Chúng là những từ giảm nhẹ nằm ngay bên cạnh nó: internal, và pushing toward. Một điểm số miễn phí là điểm khởi đầu cho một cuộc trao đổi về bản thảo, chứ không phải là lời kết trong một cuộc trao đổi như vậy.

Nghiên cứu của chính chúng tôi cho thấy gì

Trong nghiên cứu về mức đồng thuận giữa các công cụ phát hiện của TextPulse Research, chín công cụ phát hiện AI thương mại đã chấm cùng 90 văn bản học thuật. Một trong số đó là văn bản lai 455 từ: phần mở và kết do con người viết, kẹp giữa là đoạn 168 từ do AI tạo. ZeroGPT chấm văn bản này 7.6% AI, trong khi phán quyết của các công cụ khác trên cùng những từ đó trải từ 0% đến 95.7% AI. Toàn văn bài báo, kho ngữ liệu và ma trận điểm từng công cụ được mở tại TextPulse Research.