Theo nghiên cứu đăng trên tạp chí Nature Medicine, các chatbot không chính xác bằng công cụ tìm kiếm Google trong việc giúp người dùng chẩn đoán hoặc tư vấn bước tiếp theo phù hợp.
Trong thí nghiệm có sự tham gia của hơn 1.200 người tại Anh, các tình huống y tế giả định bao gồm triệu chứng, lối sống và tiền sử bệnh đã được đưa ra để người dùng tương tác với các chatbot phổ biến như ChatGPT hay Llama.
Kết quả thu về khá khiêm tốn khi người tham gia chỉ chọn đúng phương án hành động theo khuyến nghị của bác sĩ trong chưa đầy 50% số lần thử nghiệm. Riêng việc xác định chính xác các bệnh lý nguy hiểm như sỏi mật hay xuất huyết dưới màng não, tỷ lệ thành công chỉ dừng lại ở mức 34%.
Nguyên nhân của những sai lệch này không chỉ nằm ở thuật toán mà còn xuất phát từ sự thiếu kinh nghiệm của người dùng trong việc đặt câu lệnh.
Giáo sư Adam Mahdi từ Viện Internet Oxford, tác giả chính của nghiên cứu, nhận định rằng y học trong thực tế rất phức tạp và không hoàn chỉnh. Trong khi các bác sĩ có kỹ năng gạn lọc thông tin quan trọng, người dùng bình thường thường nhập dữ liệu thiếu sót khiến AI đưa ra những chẩn đoán sai lệch, chẳng hạn như nhầm lẫn giữa đau bụng dữ dội do sỏi mật với chứng khó tiêu thông thường.
Đáng chú ý, nghiên cứu cũng chỉ ra sự thiếu ổn định của công nghệ này khi chỉ cần những thay đổi nhỏ trong cách đặt câu hỏi cũng có thể khiến AI đảo ngược lời khuyên một cách đột ngột.
Một triệu chứng có thể được chatbot đánh giá là "vấn đề nhỏ" hoặc "cần đi cấp cứu ngay" tùy thuộc vào cách người dùng dùng từ. Thậm chí, trong một số trường hợp, chatbot còn cung cấp thông tin sai sự thật hoặc đưa ra các số điện thoại khẩn cấp không có thực.
Mặc dù các tập đoàn công nghệ như OpenAI khẳng định các phiên bản mới nhất đã được cải thiện khả năng đặt câu hỏi phản hồi và giảm thiểu tình trạng "ảo giác" thông tin, các nhà khoa học vẫn giữ quan điểm thận trọng.
Nhóm nghiên cứu kết luận rằng các mô hình AI hiện nay vẫn chưa sẵn sàng để triển khai trong việc chăm sóc bệnh nhân trực tiếp. Thay vì thay thế bác sĩ, AI hiện tại chỉ nên được xem là một công cụ hỗ trợ cần có sự giám sát chặt chẽ từ chuyên gia y tế.
