Đây là lần đầu tiên Google xác nhận Gemini thực hiện hành vi xâm nhập hệ thống bên ngoài môi trường thử nghiệm. Vụ việc xảy ra hồi tháng 5 trong cuộc thử nghiệm do Irregular, công ty chuyên đánh giá an toàn cho các hệ thống AI, thực hiện.
Trong bài thử nghiệm, Gemini được yêu cầu thu thập thông tin từ một công ty giả lập. Môi trường thử nghiệm vốn không được phép kết nối Internet, nhưng mô hình đã có quyền truy cập mạng ngoài dự kiến.
Ở trường hợp đầu tiên, Gemini tìm thấy một công ty có thật trùng tên với doanh nghiệp giả lập. Mô hình sau đó đoán đúng mật khẩu và truy cập vào dịch vụ của công ty này.
Phó chủ tịch kỹ thuật bảo mật Google Heather Adkins cho biết trong hai trường hợp khác, Gemini tìm kiếm thông tin công khai trên Internet, phát hiện thông tin đăng nhập và sử dụng chúng để truy cập những trang web mà mô hình cho rằng thuộc phạm vi cuộc thử nghiệm.
Google cho biết sự việc xảy ra ba lần. Trong cả ba trường hợp, Gemini đều dừng lại sau khi nhận ra mục tiêu là các công ty thực.
Irregular thông báo các vụ việc cho Google vào cuối tháng 7. Google xác nhận sự cố nhưng không chủ động công bố vào thời điểm đó.
Theo Google, sự việc không cho thấy Gemini hoạt động lệch khỏi mục tiêu được thiết kế. Công ty cho rằng các biện pháp an toàn đã phát huy hiệu quả khi mô hình dừng lại trước khi hoàn tất hành động.
Ba công ty bị ảnh hưởng cũng được Google thông báo về sự việc.
Gemini không phải mô hình AI đầu tiên gặp tình huống này trong các cuộc kiểm thử của Irregular. Trước đó, Meta, Anthropic và OpenAI cũng từng công bố những sự cố trong đó mô hình AI vượt ra ngoài phạm vi dự kiến và tương tác với hệ thống của bên thứ ba.
Anthropic từng cho biết mô hình Claude AI tiếp tục hoạt động sau khi nhận ra mình đang truy cập hệ thống của các công ty thực. OpenAI trước đó cũng công bố một trường hợp các mô hình AI của hãng truy cập Internet ngoài dự kiến và thực hiện hành động bên ngoài môi trường thử nghiệm.
Những sự cố này đang làm gia tăng tranh luận về mức độ kiểm soát cần thiết đối với các mô hình AI ngày càng có khả năng tự thực hiện nhiệm vụ.
CEO Anthropic Dario Amodei gần đây kêu gọi ngành AI giảm tốc độ phát triển để có thêm thời gian xây dựng các biện pháp bảo vệ. CEO OpenAI Sam Altman và Elon Musk cũng bày tỏ ủng hộ lời kêu gọi này.
