Kelas xAI mencakup semua orang Amerika yang “gambaran aslinya sebagai anak di bawah umur” diubah menggunakan Grok “untuk menghasilkan gambar atau video perilaku atau konten seksual eksplisit dengan wajah mereka dan/atau fitur pembeda lainnya yang dapat diidentifikasi secara wajar.” Dan kelas Stability AI mencakup orang-orang AS yang juga mengalami kerugian serupa karena menggunakan “aplikasi yang dibangun berdasarkan model Stability AI.”
Pengacara memperkirakan ribuan anak di bawah umur mungkin memenuhi syarat untuk mengikuti kelas tersebut dan terus mencari korban yang dirugikan oleh AI CSAM.
NCMEC tidak menanggapi permintaan komentar Ars.
Namun, kelompok tersebut telah menyerukan platform, anggota parlemen, organisasi keselamatan anak, dan penegak hukum untuk bekerja sama mengatasi “meningkatnya urgensi untuk tindakan terkoordinasi.”
Pada bulan Maret, NCMEC memperingatkan adanya “peningkatan tajam” dalam “laporan terkait AI generatif” (GAI) pada tahun 2025. Menurut NCMEC, lebih dari 1,5 juta laporan CyberTipline dibuat tahun lalu, “yang menunjukkan adanya hubungan dengan GAI dan eksploitasi seksual terhadap anak.” Yang meresahkan, di lebih dari 133.000 kasus, NCMEC “kekurangan informasi yang cukup untuk menentukan bagaimana teknologi tersebut digunakan.”
Laporan tersebut tidak menyebut X atau xAI, namun menunjukkan bahwa perusahaan AI cenderung menghindari berbagi informasi tentang AI CSAM yang dapat digunakan polisi untuk melakukan penangkapan. Contoh lainnya, NCMEC mencatat bahwa layanan AI Amazon mengirimkan sebagian besar tip (1,1 juta), dan tidak satu pun dari tip tersebut memberikan “informasi yang dapat ditindaklanjuti” yang dapat digunakan oleh penegak hukum untuk mengidentifikasi pelaku.
Ketika pengawasan terhadap kerugian yang ditimbulkan oleh perusahaan-perusahaan AI terhadap anak-anak semakin meningkat, para advokat berharap bahwa perusahaan-perusahaan tersebut akan menyempurnakan model-model untuk memblokir semua ketelanjangan. Gadis-gadis yang menggugat X menyatakan bahwa itulah satu-satunya solusi, “karena jika Anda memiliki model yang mengizinkan konten seksual atau pelecehan, mustahil untuk mencegah model tersebut membuat konten yang melibatkan anak di bawah umur.”
Dalam siaran persnya, salah satu pengacara yang mewakili anak di bawah umur, Annika K. Martin, mengecam xAI dan Stability AI karena diduga sengaja membangun model “yang mampu menghasilkan CSAM palsu,” dengan “sepenuhnya mengabaikan kehancuran yang mereka tahu akan terjadi.”
“CSAM yang dihasilkan oleh AI merupakan momok bagi masyarakat yang menyentuh setiap komunitas dan demografi,” kata Martin. “Skala kerugiannya sangat besar, dan perusahaan yang produknya memungkinkan hal ini harus bertanggung jawab.”
Cerita ini diperbarui pada 8 Juli untuk menyertakan komentar dari Stability AI.
