Pengadilan menolak klaim xAI bahwa tindakan tersebut diambil setelah penggugat membuat video orang telanjang beberapa saat sebelum sidang.

Pengadilan Belanda telah memerintahkan xAI milik Elon Musk untuk berhenti menghasilkan dan mendistribusikan gambar telanjang orang-orang tanpa persetujuan mereka di Belanda, diperingatkan bahwa mereka akan mengenakan denda sebesar 100.000 euro ($115.350) per hari karena ketidakpatuhan.

Pengadilan Distrik Amsterdam memutuskan pada hari Kamis bahwa xAI Grok alat kecerdasan buatan dan platform X yang menampungnya dilarang “membuat dan/atau mendistribusikan gambar seksi” yang menampilkan orang-orang “telanjang sebagian atau seluruhnya tanpa memberikan izin eksplisit kepada mereka”.

Keputusan dalam gugatan perdata ini merupakan pertama kalinya seorang hakim mempertimbangkan tanggung jawab xAI dalam menciptakan alat yang dapat digunakan untuk menciptakan gambar-gambar seksi, di tengah banyaknya pengaduan dan investigasi terhadap Grok di Amerika, Eropa, Asia dan Australia.

Grok diluncurkan oleh Musk pada tahun 2023 dan didistribusikan melalui platform media sosial X, yang kini menjadi bagian dari perusahaan roket dan eksplorasi ruang angkasa miliknya, SpaceX.

Offlimits, sebuah pusat pemantauan kekerasan online di Belanda, mengambil tindakan hukum sama dengan lembaga nirlaba Victims Support Fund atas fitur Grok yang memungkinkan pengguna bertanya untuk membuat montase deepfake yang bekerja sangat realistis yang menampilkan wanita dan anak-anak telanjang menggunakan foto asli.

Pada sidang bulan ini, pengacara xAI berpendapat bahwa tidak mungkin menjamin bahwa perlindungan pada platformnya dapat dicegah, dan perusahaan tidak boleh menghukum atas tindakan pengguna yang jahat.

Mereka mengatakan perusahaan telah mengambil tindakan pada bulan Januari untuk mencegah Grok mengedit gambar orang asli dengan pakaian terbuka, termasuk membatasi fitur pembuatan gambar hanya untuk pelanggan berbayar.

Situs web pengadilan mengatakan hakim telah memutuskan bahwa Offlimits menunjukkan adanya keraguan mengenai efektivitas tindakan yang diambil hingga saat ini. Misalnya, Offlimits berhasil membuat video orang telanjang menggunakan Grok sesaat sebelum sidang, katanya.

Direktur Offlimits Robbert Hoving mengatakan “beban ada pada perusahaan” untuk memastikan alat-alatnya tidak digunakan untuk membuat dan mendistribusikan gambar seksual nonkonsensual, termasuk gambar anak-anak.

Sebelumnya pada hari Kamis, Parlemen Eropa menyetujui larangan sistem kecerdasan buatan yang menghasilkan deepfake yang bersifat seksi, setelah kemarahan global atas foto telanjang yang diproduksi oleh Grok tanpa persetujuan.