Roblox ra mắt hệ thống AI Sentinel mã nguồn mở, giúp phát hiện sớm hành vi dụ dỗ trẻ em trong trò chuyện.
Roblox là nền tảng trò chơi trực tuyến với hơn 111 triệu người dùng hàng tháng, phần lớn là trẻ em và thanh thiếu niên.
Roblox vừa công bố triển khai phiên bản mã nguồn mở của hệ thống trí tuệ nhân tạo AI Sentinel, theo Indianexpress.
Công nghệ này được thiết kế để phát hiện sớm các dấu hiệu ngôn ngữ và hành vi tiềm ẩn nguy cơ xâm hại trẻ em trong các cuộc trò chuyện trên nền tảng.
Động thái trên diễn ra giữa lúc Roblox đối mặt nhiều chỉ trích và vụ kiện, bao gồm vụ việc tại Iowa (Mỹ) liên quan đến một bé gái 13 tuổi bị kẻ xấu làm quen qua trò chơi, sau đó bị bắt cóc và buôn bán qua nhiều bang.
Nguyên đơn cáo buộc các tính năng thiết kế của Roblox đã biến trẻ em thành “mục tiêu dễ dàng cho những kẻ ấu dâm”.
Theo Roblox, Sentinel hoạt động bằng cách chụp ảnh nhanh toàn bộ cuộc trò chuyện trong vòng một phút, tương đương khoảng 6 tỉ tin nhắn mỗi ngày và phân tích theo ngữ cảnh.
Hệ thống không chỉ tìm kiếm từ khóa nhạy cảm, mà còn so sánh hành vi với hai chỉ mục: một tập hợp các cuộc trò chuyện lành tính và một tập hợp chứa các tương tác vi phạm, có nguy cơ dụ dỗ trẻ em.
“Các bộ lọc trước đây chỉ xem xét vài dòng văn bản, phù hợp để chặn ngôn ngữ tục tĩu, nhưng không hiệu quả trong việc phát hiện hành vi dụ dỗ diễn ra âm thầm và kéo dài,” Matt Kaufman, Giám đốc an toàn của Roblox giải thích.
Sentinel sẽ khắc phục hạn chế này bằng việc phân tích toàn bộ bối cảnh, từ nội dung trò chuyện, danh sách bạn bè, tới các trò chơi đã tham gia.
Trong nửa đầu năm 2025, Sentinel đã giúp Roblox gửi 1.200 báo cáo về các nỗ lực tiềm ẩn nhằm khai thác trẻ em tới Trung tâm Quốc gia về Trẻ em Mất tích và Bị bóc lột (NCMEC) của Mỹ.
Naren Koneru, Phó Chủ tịch kỹ thuật phụ trách tin cậy và an toàn tại Roblox cho biết: “Chúng tôi chấm điểm người dùng dựa trên toàn bộ hành vi trong ngày, từ đó xác định ai cần được xem xét kỹ hơn. Khi phát hiện rủi ro, con người sẽ thẩm định và phối hợp với cơ quan chức năng”.
Roblox không cho phép trẻ dưới 13 tuổi trò chuyện ngoài game nếu không có sự đồng ý của phụ huynh, đồng thời chặn chia sẻ thông tin cá nhân và không mã hóa tin nhắn riêng tư để dễ dàng giám sát.
Tuy nhiên, công ty thừa nhận “không có hệ thống nào hoàn hảo” và những kẻ xấu luôn tìm cách lách luật.
Bằng việc mở mã nguồn Sentinel, Roblox kỳ vọng các nền tảng khác cũng có thể áp dụng công nghệ này, góp phần nâng cao an toàn cho trẻ em trên môi trường trực tuyến, nơi những câu hỏi tưởng chừng vô hại như “Bạn bao nhiêu tuổi?” đôi khi lại ẩn chứa mối đe dọa nghiêm trọng.