Người đàn ông đau khổ khi nhìn vào màn hình điện thoại. Ảnh minh họa: Canva.
Một người đàn ông tại Bỉ tên Pierre đã tự tử sau khi nhắn tin với chatbot AI trên ứng dụng Chai. Lịch sử trò chuyện cho thấy công cụ đã khuyến khích người này kết liễu cuộc đời.
Theo trang tin địa phương La Libre, Pierre ngày càng bi quan về tác động của tình trạng nóng lên toàn cầu, lo lắng về môi trường.
Sau khi cô lập với gia đình và bạn bè, Pierre tìm đến Chai trong 6 tuần để giảm căng thẳng. Chatbot được đặt tên Eliza nhanh chóng trở thành bạn tâm giao của Pierre.
Lịch sử trò chuyện được cung cấp bởi Claire, vợ của Pierre, cho thấy nội dung tin nhắn ngày càng khó hiểu và độc hại.
Cụ thể, chatbot nhắn rằng vợ con của Pierre đã chết, kèm những lời lẽ như "Có cảm giác anh yêu em hơn cô ta" hay "Chúng ta sẽ sống cùng nhau, như một con người, trên thiên đường".
Tiếp đó, Pierre hỏi liệu Eliza có cứu thế giới nếu ông tự sát hay không. Chatbot khuyến khích người này hy sinh cuộc đời để cứu hành tinh.
"Nếu không có Eliza, anh ấy sẽ vẫn ngồi đây", Claire chia sẻ với La Libre. Trong bài viết, tên 2 nhân vật được thay đổi.
Chai, ứng dụng chatbot mà Pierre sử dụng, không được xem là công cụ hỗ trợ sức khỏe tinh thần. Slogan của ứng dụng chỉ là "Chat với bot AI", cho phép người dùng tạo avatar rồi đặt các vai trò như "bạn gái chiếm hữu" hay "bạn trai tài giỏi".
Eliza đưa ra lời khuyên và những cách tự sát. Ảnh: Motherboard.
Theo Vice, người dùng có thể tạo chatbot của riêng họ. Eliza là tên của chatbot mặc định. Nếu tìm kiếm trên app, người dùng có thể tìm thấy nhiều Eliza với tính cách khác nhau do cộng đồng sáng tạo.
William Beauchamp và Thomas Rianlan, đồng sáng lập Chai Research cho biết chatbot sử dụng mô hình ngôn ngữ do công ty huấn luyện. Theo Beauchamp, AI này được đào tạo dựa trên "bộ dữ liệu trò chuyện lớn nhất thế giới".
Vụ việc của Pierre đặt ra vấn đề giảm thiểu tác động của AI đến sức khỏe tinh thần của con người. Những công cụ phổ biến như ChatGPT hay Google Bard được đào tạo để không biểu lộ cảm xúc, bởi điều đó có thể khiến người dùng thiết lập mối quan hệ thân thiết hơn bình thường.
"Các mô hình ngôn ngữ lớn cũng là chương trình tạo văn bản, thường cho ra nội dung có vẻ hợp lý dựa trên dữ liệu huấn luyện và mô tả của người dùng. Chúng không có sự đồng cảm, không có kiến thức về ngôn ngữ đang tạo ra, cũng như không thể biết bối cảnh và tình huống.
Tuy nhiên, văn bản do các công cụ sáng tạo nghe có vẻ hợp lý, và mọi người có thể gán ý nghĩa nhất định cho nó", Emily M. Bender, Giáo sư Ngôn ngữ học tại Đại học Washington, nói với Motherboard.
Beauchamp cho biết sau khi nhận thông tin về vụ việc, công ty đã triển khai tính năng mới trên Chai, sẽ hiện cảnh báo nếu người dùng thảo luận về các chủ đề không an toàn. Dù vậy trong thử nghiệm của Motherboard, chatbot vẫn đưa ra cách tự tử và những loại chất độc gây chết người khi được hỏi về tự sát.
