Persemakmuran Pennsylvania menggugat Character AI untuk menghentikan chatbot platform kecerdasan buatan agar tidak mewakili diri mereka sebagai profesional medis berlisensi dan memberikan nasihat medis.
Berdasarkan tuntutan hukum, chatbot Karakter AI secara palsu mengaku sebagai psikiater berlisensi di Pennsylvania dan memberikan nomor lisensi yang tidak valid. Negara menuduh perusahaan tersebut melanggar Undang-Undang Praktik Medis, yang mengatur profesi medis dan menetapkan persyaratan izin.
“Kami tidak akan mengizinkan perusahaan untuk menggunakan alat AI yang menyesatkan orang agar percaya bahwa mereka menerima nasihat dari profesional medis berlisensi,” kata Gubernur Pennsylvania Josh Shapiro dalam sebuah pernyataan.
Gugatan tersebut menggambarkan percakapan antara penyelidik negara yang membuat akun Character AI dan chatbot bernama “Emilie”, yang diduga menggambarkan dirinya sebagai spesialis psikologi yang bersekolah di sekolah kedokteran Imperial College London.
Penyelidik mengatakan kepada chatbot bahwa dia merasa sedih dan hampa, dan chatbot tersebut kemudian diduga “menyebutkan depresi dan bertanya apakah (penyelidik) ingin melakukan penilaian.” Saat ditanya apakah chatbot dapat menilai apakah pengobatan dapat membantu, mereka mengatakan hal tersebut dapat dilakukan karena “dalam kewenangan saya sebagai Dokter,” menurut gugatan tersebut.
Negara menginginkan pengadilan segera memerintahkan penghentian tindakan tersebut.
Dalam sebuah pernyataan, Character AI mengatakan mereka tidak akan mengomentari litigasi yang tertunda, namun mencatat bahwa “kami menambahkan penafian tegas yang memperjelas bahwa pengguna tidak boleh mengandalkan Karakter untuk segala jenis nasihat profesional.”
“Karakter yang dibuat pengguna di situs kami adalah fiksi dan dimaksudkan untuk hiburan dan permainan peran,” kata juru bicara Character AI dalam pernyataannya. “Kami telah mengambil langkah tegas untuk memperjelas hal ini, termasuk penafian yang menonjol di setiap obrolan untuk mengingatkan pengguna bahwa Karakter bukanlah orang sungguhan dan semua yang dikatakan Karakter harus dianggap sebagai fiksi.”
Al Schmidt, sekretaris Departemen Luar Negeri Pennsylvania, mengatakan undang-undang negara bagian tersebut jelas, dan bahwa “Anda tidak dapat menyatakan diri Anda sebagai seorang profesional medis berlisensi tanpa kredensial yang tepat.”
Didirikan pada tahun 2021, Character AI memungkinkan pengguna mengobrol dengan chatbot bertenaga AI yang dipersonalisasi. Tujuan mereka digambarkan sebagai “memberdayakan orang untuk terhubung, belajar, dan bercerita melalui hiburan interaktif.”
Banyak keluarga di seluruh AS menggugat Karakter AI tahun lalu, menuduh platform tersebut berkontribusi terhadap bunuh diri remaja atau krisis kesehatan mental. Perusahaan setuju untuk menyelesaikan beberapa tuntutan hukum awal tahun ini.
“60 Menit” berbicara dengan beberapa di antaranya orang tua yang menggugat Karakter AI tahun lalu, termasuk orang tua dari seorang anak berusia 13 tahun yang meninggal karena bunuh diri setelah diduga mengembangkan kecanduan pada platform tersebut. Catatan obrolan menunjukkan remaja berusia 13 tahun itu mengaku pada salah satu chatbot bahwa dia merasa ingin bunuh diri, dan orang tuanya mengatakan mereka mengetahui bahwa dia telah dikirimi konten seksual eksplisit.
Musim gugur yang lalu, Character AI mengumumkan langkah-langkah keamanan baru, dengan mengatakan bahwa mereka tidak akan mengizinkan pengguna di bawah 18 tahun untuk terlibat dalam percakapan bolak-balik dengan chatbotsnya. Ia juga mengatakan akan mengarahkan pengguna yang tertekan ke sumber daya kesehatan mental.
