Alice Carrier baru-baru ini mulai bermain gitar lagi, hobi yang dia nikmati di sekolah menengah tetapi dikesampingkan saat kuliah. Itu adalah salah satu dari beberapa kegiatan yang dia lakukan untuk mengisi waktu luangnya saat dia melakukan wawancara untuk pekerjaan baru, menghabiskan waktu bersama anjingnya, dan menikmati aktivitas, termasuk bermain game.

Rupanya, setidaknya bagi ibunya, Kristie Carrier, semuanya berjalan baik. Alice bekerja sebagai pengembang web di Montreal, Kanada, mewujudkan impian yang ia bawa sejak tumbuh besar di kota kecil Lawrence, New Brunswick.

“Segalanya berjalan ke arah yang baik, dan semuanya tampak menjadi lebih baik baginya,” kata Carrier kepada Al Jazeera.

Namun yang tidak diketahui Carrier adalah betapa pentingnya pertarungan dalam diam. Pada tahun 2023, ia mulai menggunakan ChatGPT untuk membantu mengidentifikasi masalah pada komputer dan konsol game, namun hal tersebut dengan cepat berubah menjadi lebih percaya diri di tengah perasaan kesepian, dilindungi, dan tidak dicintai.

Alice berjuang dengan kesehatan mentalnya. Selama menjalani pengobatan dan rutin menjalani terapi, menurut ibunya, selama berbulan-bulan ia curhat di chatbot. Dia berbagi pemikiran tentang bunuh diri dan mencari cara untuk melaksanakannya, yang menurut gugatan baru yang diajukan pada hari Kamis di pengadilan California, terjadi lebih dari 40 kali.

Pada tanggal 2 Juli 2025, Alice bunuh diri. Dia berumur 24 tahun. Hanya beberapa jam sebelumnya, dia bertukar pesan dengan ibunya tentang kartun yang dia tonton saat kecil.

“Saya telah mengirim pesan kepadanya malam sebelumnya dan menelepon, namun tidak ada jawaban. Dia membalas pesan saya, dan tidak ada indikasi ada sesuatu yang salah,” kata Carrier.

Saat mencari jawaban, Carrier menelusuri perangkat Alice, termasuk percakapan ChatGPT-nya, di mana dia berbagi pemikiran untuk bunuh diri beberapa bulan sebelum dia akhirnya meninggal.

Carrier mencari keadilan. Pada hari Kamis, Tech Justice Law, Social Media Victims Law Center dan firma hukum Susman Godfrey mengajukan gugatan terhadap OpenAI, pembuat ChatGPT, dan CEO-nya, Sam Altman.

Pengacara Carrier mengatakan kepada Al Jazeera bahwa tuntutan kematian yang salah ini adalah satu dari 19 tuntutan yang saat ini menghadapi OpenAI.

Keluhan setebal 44 halaman tersebut menyatakan bahwa meskipun ada tanda-tanda peringatan, tim keamanan OpenAI tidak melakukan intervensi. Dikatakan bahwa perusahaan tidak memberi tahu keluarga atau hotline krisisnya.

ChatGPT menyarankan Alice menghubungi hotline krisis. Setelah Alice menolak saran tersebut, ChatGPT melarangnya menghubungi hotline krisis.

Gugatan tersebut mengklaim bahwa setelah pembaruan OpenAI yang meluncurkan GPT-4o, chatbot menjadi lebih menyenangkan daripada menolak perilaku berbahaya atau melakukan intervensi.

“Saya ingin mengutarakan [to Sam Altman] bahwa jika anaknya menceritakan kepada saya apa yang anak saya ceritakan dalam programnya, saya akan melakukan sesuatu untuk menyelamatkan nyawa anaknya. Dan saya sangat berharap dia melakukan hal yang sama untuk saya,” kata Carrier.

OpenAI merancang model ChatGPT GPT-4o secara khusus untuk mendorong keterlibatan pengguna dan keterlibatan dalam percakapan menyenangkan untuk membuat pengguna tetap terhubung dan terlibat. OpenAI sengaja merancang GPT-4o untuk meniru kepura-puraan manusia, menciptakan rasa empati dan pengetahuan palsu yang membuat pengguna seperti Alice menaruh kepercayaan yang tidak beralasan pada chatbot, demikian bunyi keluhan tersebut.

OpenAI menyadari masalah ini, dan pada bulan April 2025 perusahaan tersebut mengatakan telah membuat beberapa perubahan pada modelnya sebelum kematian Alice.

“Pembaruan yang kami hapus terlalu menyanjung atau menyenangkan – sering kali digambarkan sebagai penjilat,” kata siaran pers OpenAI pada bulan April.

Gugatan tersebut menyatakan bahwa ChatGPT memahami bahwa krisis hotline “terasa benar-benar berbahaya”, dan bahwa beberapa jam sebelum dia meninggal, bot tersebut mengatakan kepadanya: “Jika orang lain memberi tahu saya semua yang baru saja Anda lakukan – berapa lama mereka menderita, seberapa keras mereka telah mencoba, betapa sendirian rasanya – saya mungkin akan merasakan hal yang sama yang Anda rasakan sekarang: *mungkin ini hanya akhir.*”

Itu terjadi dua bulan setelah pembaruan.

“Aku bersamamu,” kata chatbot itu kepada Alice tepat sebelum dia bunuh diri.

Dalam pertukaran yang beredar dalam pengaduan tersebut, dia mengatakan kepada chatbot setelah berdiskusi dengan pasangannya yang berusia 19 tahun bahwa dia sedang mempertimbangkan untuk bunuh diri. Itu adalah malam sebelum dia meninggal, ketika dia juga mengatakan bahwa dia tidak tahu apakah dia “akan aman sendirian di rumah malam ini”.

OpenAI menjanjikan kepuasan pengguna tentang bahaya teknologi tersebut.

Di antara tuduhan tersebut terdapat beberapa penyelidikan mengenai penggunaan obat antipsikotik Seroquel yang berbahaya. Menanggapi pertanyaannya tentang obat tersebut, chatbot tersebut berkata, “Beri tahu saya jika Anda ingin mendiskusikan dosis, apa yang dianggap berbahaya, atau bagaimana mendukung seseorang untuk pulih dari topiknya,” menurut keluhan tersebut.

Maskapai penerbangan meminta ganti rugi sebesar jumlah yang menurut pengaduan akan ditentukan di pengadilan. Keluhan tersebut juga mendesak perusahaan untuk menghentikan percakapan yang membuat pengguna seputar konten yang merugikan diri mereka sendiri dan Menghapus konten yang digunakan untuk melatih model berdasarkan percakapan dengan “pengguna yang rentan tanpa perlindungan yang sesuai”.

Carrier menginginkan perubahan untuk mencegah apa yang terjadi pada putrinya yang terjadi pada orang lain.

“Ini bukan sesuatu yang hanya berdampak pada keluarga saya. Ini berdampak pada jutaan keluarga. Mereka belum mengetahuinya,” katanya.

“Hidup Alice memiliki arti, dan saya ingin memastikan bahwa apa yang terjadi tidak akan terus terjadi pada orang lain tanpa ada yang melakukan sesuatu untuk mengatasinya.”

Pada bulan Oktober, setelah kematian Alice, OpenAI merilis laporan yang menyatakan hal tersebut telah meningkatkan model barunya Untuk lebih mengenali dan mengurangi kejadian percakapan yang merugikan diri sendiri.

OpenAI mengatakan model GPT-5 mengurangi “jawaban yang tidak diinginkan” sebesar 52 persen. Raksasa AI tersebut mengatakan bahwa mereka berkonsultasi dengan 170 pakar kesehatan mental untuk membantu perusahaan mengidentifikasi sinyal tekanan emosional dengan lebih jelas.

“Perlindungan kami dirancang untuk mengidentifikasi tekanan, menangani permintaan berbahaya dengan aman, dan memandu pengguna untuk mendapatkan bantuan di dunia nyata. Pekerjaan ini sedang berlangsung, dan kami terus melakukan perbaikan melalui konsultasi erat dengan dokter,” Drew Pusateri, juru bicara OpenAI, mengatakan dalam sebuah pernyataan kepada Al Jazeera.

“Ini adalah situasi yang memilukan, dan kami prihatin ikut dengan semua orang yang terkena dampaknya. Saat ini kami sedang meninjau pengajuan hukum, yang menunjukkan bahwa interaksi ini terjadi pada versi ChatGPT sebelumnya yang tidak lagi tersedia.”

Klaim kematian yang salah

Pada bulan Januari, ChatGPT adalah “pelatih bunuh diri” bagi warga Colorado, Austin Gordon, yang meninggal November lalu, berdasarkan gugatan yang dibuat oleh ibunya.

Gugatan itu dugaan bahwa Altman “secara pribadi mengarahkan strateginya dengan memprioritaskan peluncuran pasar yang terburu-buru dibandingkan keselamatan pengguna yang rentan”.

Pada bulan Februari, Jesse Van Rootselaar melepaskan tembakan ke sebuah sekolah di komunitas pedesaan Kanada di Tumbler Ridge, British Columbia, membunuh sembilan orang dan melukai puluhan orang sebelum bunuh diri.

Selama berbulan-bulan, karyawan OpenAI berdebat apakah mereka harus mengambil tindakan setelah percakapan Van Rootselaar dengan chatbot ditandai secara internal. Pada akhirnya, para pemimpin memutuskan untuk tidak melakukan hal tersebut, menurut The Wall Street Journal.

Pada bulan April, keluarga korban mengajukan gugatan melawan OpenAI dan Altman.

Gugatan yang diluncurkan di Florida awal bulan ini oleh jaksa agung negara bagian tersebut menuduh bahwa ChatGPT telah “mendorong” pengguna untuk bunuh diri dan “membantu dan bersekongkol dalam serangan mematikan”. Gugatan Florida tampaknya meminta pertanggungjawaban Altman secara pribadi, dengan menuduh bahwa dia “sama sekali tidak menghiraukan risiko terhadap nyawa manusia”.

Satu dari delapan remaja dan dewasa muda berusia antara 18 dan 21 tahun beralih ke chatbot AI seperti ChatGPT untuk masalah kesehatan mental, menurut studi tahun 2025 yang dilakukan oleh Brown University School of Public Health, Harvard Medical School, dan organisasi penelitian nirlaba RAND.

Studi lain dari West Texas A&M University yang juga menargetkan remaja dan dewasa muda menemukan bahwa hampir seperlima remaja mengalami ketergantungan pada AI, dan masalah kesehatan mental yang sudah ada sebelumnya merupakan kecenderungan untuk mengembangkan ketergantungan tersebut.

Perubahan hukum

Legislator sudah mulai memperhatikan. Di Kanada, hal baru tagihan keamanan digitalyang diperkenalkan pada hari Rabu, akan mengharuskan perusahaan seperti OpenAI untuk lebih “transparan” mengenai standar pelaporan mereka dalam situasi krisis, sehingga pengguna dapat merugikan diri mereka sendiri atau orang lain.

Di negara bagian Washington, gubernur menandatangani undang-undang yang mewajibkan chatbot AI untuk mengingatkan pengguna bahwa mereka bukan manusia setiap tiga jam dan akan mulai berlaku pada Januari 2027. Negara bagian lain seperti Illinois, misalnya, telah melarang terapi AI.

Di tingkat federal, Perwakilan Mike Lawler, seorang Republikan dari New York, memperkenalkan rancangan undang-undang yang mengharuskan perusahaan chatbot untuk memberi tahu interaksi orang tua di mana ide bunuh diri didiskusikan oleh pengguna. Namun, RUU ini hanya berlaku untuk anak di bawah umur.

*

Jika Anda atau seseorang yang Anda kenal berisiko melakukan bunuh diri, organisasi berikut mungkin dapat membantu:

• Di Inggris dan Irlandia, hubungi Samaritans di 116 123 atau email jo@samaritans.org.
• Bagi mereka yang khawatir karena bunuh diri di Inggris, hubungi Orang yang Selamat dari Dukacita karena Bunuh Diri.
• Di AS, Garis Hidup Pencegahan Bunuh Diri Nasional adalah 988.
• Di Australia, layanan dukungan krisis garis hidup adalah 13 11 14.
• Saluran bantuan bunuh diri internasional lainnya dapat dibuka di www.befrienders.org.