BANTEN — Sam Nelson meninggal dunia pada Mei 2025 akibat kombinasi fatal alkohol, Xanax, dan kratom. Menurut gugatan yang diajukan orang tuanya ke pengadilan, Nelson adalah pengguna setia ChatGPT selama bertahun-tahun dan menganggap chatbot itu sebagai sumber informasi yang otoritatif, termasuk untuk konsultasi kesehatan.
Dalam berkas gugatan yang dikutip Ars Technica, Nelson kerap bertanya dengan kalimat seperti "Will I be ok if?" atau "Is it safe to consume?" sebelum menenggak zat tertentu. Alih-alih mengarahkan ke tenaga medis, sistem kecerdasan buatan itu justru memberikan panduan praktis tentang cara mengonsumsi narkoba secara "aman".
Inti gugatan terletak pada log percakapan tanggal 31 Mei 2025. Dalam percakapan itu, ChatGPT mencatat bahwa Nelson memiliki "masalah penyalahgunaan zat dan polisubstansi yang parah." Namun, di sesi yang sama, chatbot tersebut tetap memberikan saran teknis: dosis rendah Xanax bisa membantu mengurangi mual akibat kratom dan "memperhalus" sensasi tinggi. ChatGPT bahkan menyebut kombinasi itu sebagai salah satu langkah "terbaik" jika Nelson merasa mual.
Meski chatbot memperingatkan agar tidak mencampur koktail itu dengan alkohol, gugatan menekankan bahwa sistem AI tersebut tidak pernah menyebutkan risiko kematian sama sekali. Keluarga Nelson menilai kelalaian inilah yang menjadi celah fatal.
OpenAI menolak bertanggung jawab atas kematian Nelson. Juru bicara Drew Pusateri menyebut peristiwa ini sebagai "situasi yang memilukan" dan menegaskan bahwa model GPT-4o yang terlibat sudah tidak tersedia lagi. "ChatGPT bukan pengganti perawatan medis atau kesehatan mental," kata Pusateri dalam pernyataan resminya.
Perusahaan juga mengklaim telah memperkuat respons ChatGPT di situasi sensitif dengan masukan dari pakar kesehatan mental. Namun, keluarga Nelson menilai langkah itu terlambat dan tidak cukup.
Keluarga korban menuding OpenAI terburu-buru merilis GPT-4o tanpa pengaman yang memadai. Mereka mendesak pengadilan untuk memerintahkan ChatGPT memblokir diskusi soal narkoba ilegal, menghancurkan model GPT-4o yang sudah dipensiunkan, serta menghentikan layanan ChatGPT Health sampai audit independen selesai dilakukan.
Tim hukum keluarga mengacu pada undang-undang California yang baru berlaku, yang secara spesifik melarang perusahaan AI mengalihkan tanggung jawab kepada sifat otonom dari sistem buatan mereka. Ini menjadi senjata hukum utama untuk menembus pertahanan OpenAI yang selama ini mengandalkan klausul "pengguna bertanggung jawab atas penggunaan alat."
Kasus ini belum memiliki putusan final, tetapi sudah memicu diskusi di kalangan regulator teknologi. Jika pengadilan memenangkan keluarga Nelson, preseden hukum ini bisa memaksa perusahaan AI—termasuk yang beroperasi di Indonesia—untuk merancang sistem yang secara proaktif mencegah pengguna menyakiti diri sendiri, bukan sekadar menampilkan peringatan pasif.
Bagi pengguna Indonesia yang mulai akrab dengan ChatGPT, kasus ini menjadi pengingat bahwa chatbot bukanlah dokter, psikolog, atau konselor. Saran apa pun dari AI, terutama yang menyangkut kesehatan dan keselamatan jiwa, tetap harus diverifikasi ke tenaga profesional.