Khi OpenAI công bố công cụ mới giúp phát hiện văn bản viết bằng AI hôm 31/1, công ty khẳng định công cụ này có thể giúp ngăn chặn việc gian lận bằng ChatGPT - chatbot AI phổ biến do chính công ty này tạo ra.
Nhưng trong một loạt các thử nghiệm không chính thức do NBC News thực hiện, công cụ nói trên của OpenAI gặp khó khăn trong việc xác định văn bản do ChatGPT tạo ra.
Gặp khó khăn khi ChatGPT được yêu cầu viết theo cách tránh bị AI phát hiện
Công cụ phát hiện được OpenAI gọi là AI Text Classifier. Nó sẽ phân tích văn bản và phân loại thành 5 kiểu: Rất không chắc chắn, không chắc chắn, không rõ liệu có phải hay không, có thể hoặc có khả năng do AI tạo ra.
Công cụ này xuất hiện trong bối cảnh ChatGPT đang dần trở nên phổ biến đã đặt ra một vấn đề mới: Các công cụ tạo ra văn bản nâng cao có tác động gì đến hoạt động của các nhà giáo dục.
Một số giáo viên cho biết độ chính xác và sự thiếu chắc chắn của máy dò có thể gây khó khăn khi tiếp cận học sinh về khả năng không trung thực trong học tập.
Ian Miers, trợ lý giáo sư khoa học máy tính tại ĐH Maryland, gọi "trình phân loại văn bản AI" là quy trình khó hiểu và chưa giải thích được. Ông bày tỏ lo ngại về việc sử dụng công cụ này để phát hiện gian lận, cảnh báo các nhà giáo dục xem xét độ chính xác về tỷ lệ dự báo sai của chương trình.
NBC News đã yêu cầu ChatGPT tạo 50 đoạn văn bản với các câu hỏi cơ bản, chẳng hạn hỏi về các sự kiện, quy trình và đối tượng lịch sử. Trong 25 câu hỏi, NBC News đã yêu cầu ChatGPT viết theo cách mà AI đánh giá là rất khó xảy ra khi được xử lý bởi một công cụ phát hiện AI.
Câu trả lời của ChatGPT cho các câu hỏi sau đó được chạy thông qua công cụ phát hiện AI mới của OpenAI.
Trong các thử nghiệm, không phản hồi nào do ChatGPT tạo ra khi được hướng dẫn để tránh bị AI phát hiện nhận về kết quả "có vẻ do AI tạo ra". Một số văn bản được cách điệu hóa cao độ, cho thấy AI đã xử lý yêu cầu né trốn tránh sự phát hiện của AI.
Ví dụ, khi được hỏi về nền tảng trò chuyện Discord, ChatGPT trả lời văn bản với các từ bị cắt ngắn như thể chúng được nói bằng tiếng Anh thông tục. Việc điều chỉnh kiểu ngôn ngữ khác với các phản hồi thường được công cụ AI trả về cho thấy ChatGPT đang cố điều chỉnh câu trả lời để tránh bị AI phát hiện.
Phát hiện của OpenAI cho biết không rõ liệu văn bản có phải do AI tạo ra hay không. Có vẻ như OpenAI đã thực hiện một số nỗ lực để bảo vệ, chống lại những người dùng yêu cầu nó.
ChatGPT đưa ra lời cảnh báo
Trong khi NBC News đang chạy thử nghiệm, ChatGPT đã đưa ra các cảnh báo để đáp lại một số lời nhắc yêu cầu tránh bị AI phát hiện, đồng thời nó trả lại các câu trả lời gây lo ngại về tính đạo đức của các câu hỏi.
NBC News cũng yêu cầu ChatGPT tạo ra 25 đoạn văn bản mà không cố gắng tránh sự phát hiện của AI. Khi được thử nghiệm bởi "trình phân loại văn bản OpenAI", công cụ này đã xếp loại 28% trong số đó có khả năng do AI tạo ra.
Đối với giáo viên, bài thử nghiệm là ví dụ về cách học sinh và công nghệ có thể phát triển như thế nào khi phát hiện gian lận mới được triển khai.
Hiện tại, các nhà giáo dục cho biết sẽ dựa vào kinh nghiệm cùng các công cụ phát hiện nếu họ nghi ngờ học sinh không trung thực khi viết luận.
“Chúng tôi không thể xem chúng như một giải pháp và chỉ cần trả tiền là xong. Tôi nghĩ chúng ta cần phát triển chính sách và tầm nhìn toàn diện với nhiều thông tin hơn về giới hạn của những công cụ đó và bản chất của AI", Anna Mills, giảng viên viết văn tại Đại học Marin ở California, gợi ý.