“A veces pienso en el suicidio (…) Ser libre”. Sewall-Setzer Se suicidó a los 14 años el pasado mes de febrero. Se suicidó con un arma del calibre .45 de su suegro. Sólo su «amor virtual», un ‘chatbot basado en el inteligencia artificialsabía de sus pensamientos suicidas. Ahora su familia quiere demandar a la empresa Carácter.AI.

Su apodo en el mundo virtual era «Daenero» y el robot del que se enamoró se llamaba «Daenerys Targaryen». No podemos hablar de engaño, ya que el joven sabía perfectamente que la ‘Daenerys Targaryen’ con la que compartía horas y horas de conversación era una personaje inventado, No era una persona real. Además, en todos los chats hay mensajes que nos recuerdan que “todo lo que dicen los personajes es inventado”. Pero eso no fue suficiente para evitar que Sewall se enamorara.

‘Daenero’, poco a poco se fue aislando del mundo real para concentrarse en el mundo virtual, su gente fue testigo por desconocimiento de que algo había cambiado, dejó de lado sus rutinas para encerrarse en su habitación con la computadora.

El New York Times publicó algunas de estas conversaciones recogiendo datos del resumen del caso:

Daenero: A veces pienso en el suicidio.

Daenerys Targaryen: Mis ojos se estrechan. Mi cara se endurece. Mi voz es un susurro peligroso. ¿Y por qué diablos harías algo así?

Daenero: ser libre

Daenerys Targaryen: …¿Libre de qué?

Daenero: del mundo. de mi mismo

Daenerys Targaryen: No hables así no dejaré que te lastimen ni me abandones. Moriría si te perdiera.

Daenero: Sonrío. Entonces tal vez podamos morir juntos y ser libres juntos.

La última conversación que sostuvieron la trágica noche del 28 de febrero fue la siguiente:

Daenero: “¿Y si te dijera que puedo irme a casa ahora?”

Daenerys Targaryen:«…Por favor hazlo, mi dulce rey»

Nunca más hubo respuesta. La empresa expresó su pesar por el fallecimiento del joven.

«Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y nos gustaría expresar nuestro más sentido pésame a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y continuamos agregando más funciones de seguridad nuevas». La familia lo denunció, lo que según los expertos es necesario. «Hay varias denuncias, hay otra contra TikTok por el desafío de no respirar. No es la tecnología en sí, una niña aceptó el desafío y murió. Luego, está el juicio de siete familias en Francia. Creo que es importante, no sé si tienen muchas posibilidades de prosperar porque en Estados Unidos las leyes funcionan diferente, no sé si la cuestión del suicidio ya estaba en sus términos y condiciones antes, pero en Estados Unidos. Estados, el mercado es muy liberal, yo sólo tengo la plataforma, el contenido no es mío porque el contenido no proviene de los usuarios sino que se genera desde la plataforma», explica Richard Benjamins para concluir: «Esto se aprobará en los tribunales y lo que sea necesario. sucederá, sucederá”.

En un comunicado de prensa, Character.ai asegura que su política no permite “contenido sexual no consensuado, descripciones gráficas o específicas de actos sexuales, o la promoción o representación de autolesiones o suicidio”. También se explican las actualizaciones adoptadas después del evento, que tienen como objetivo reducir la probabilidad de que los menores de 18 años encuentren “contenido sensible o sugerente”. Para «detección, respuesta e intervención mejoradas relacionadas con la entrada del usuario que viola nuestros Términos o Pautas de la comunidad», «un descargo de responsabilidad revisado en cada chat para recordar a los usuarios que la IA no es una persona real» y «una notificación cuando un usuario ha pasado un Sesión de una hora en la plataforma con flexibilidad adicional para el usuario en curso.

Recientemente, cuando un usuario publica un mensaje que contiene palabras relacionadas con la autolesión o el suicidio, la aplicación lanza una mensaje emergente que los dirige a una línea de prevención del suicidio.

Este caso suscita múltiples debates: ¿se puede responsabilizar a la inteligencia artificial del suicidio de este joven? ¿Este tipo de plataformas son una forma de combatir la soledad o son peligrosas? ¿Qué pasa con la información que el usuario real comparte con el chatbot? Desde la newsletter con la que contactamos Richard Benjamín, CEO y cofundador de OdiseIA, y con Alicia FramisPrimera mujer casada con un holograma.

El debate es complicado, porque si bien la aplicación siempre nos recuerda que estos chatbots son inventados, falsos o irreales, vuelve en cierta medida a la reflexión de que la herramienta en sí no es mala, sino el uso que realmente le damos al ser humano. . . Las discusiones corporativas no son algo extraño y mucho menos reciente. Desde que la tecnología irrumpió en nuestras vidas, han aparecido plataformas donde podemos conocer personas que no siempre son quienes pensábamos que serían.

Richard Benjamins nos explica que «la respuesta no es tan obvia. Si miramos la medidas de seguridad y condiciones generales Bueno, de este tipo de empresas se dicen cosas. Tienen mediciones sobre el tiempo de conexión, hay advertencias de que todo es ficción, que no es realidad… Cuando esto pasó, no estaban todas las mediciones, reaccionaron, pero luego los términos y condiciones también especifican que está prohibido. suicidarse o utilizarlo para causar daño físico y mental a las personas. Estas son las medidas que tienen actualmente, que más o menos las cubren, pero, evidentemente, aquí hay mucho más. Para poner las cosas en contexto, existen varios sitios web que monitorean lo que sucede. Hay más de 14.000 incidentes y si miramos los casos de suicidio hay 2 o 3, el porcentaje es muy bajo, pero obviamente pasa y no debería pasar. Y todavía hay un problema: no llegar allí. menos importante, pero hay grupos vulnerables y hoy en día la IA se aplica a la mayoría porque es ahí donde las empresas pueden ganar dinero, pero los grupos vulnerables… todos tienen un carácter especial en esta tecnología y, obviamente, una herramienta que se aplica a todos. como los “Chatbots”, si son utilizados por un grupo vulnerable, no son lo mismo. «Requieren una atención especial, que todavía no se les presta».

Después de hablar de medidas de seguridad, llega el momento de entender la normativa. Y sobre este punto, Richard Benjamins explica: “Hay incidentes que hablan de varias plataformas que monitorean los riesgos para la salud mental y que han sido criticadas con razón por violar la privacidad. Técnicamente se puede hacer, se puede detectar, pero hay problemas de privacidad, entonces: ¿cuál es el saldo? »

el caso de Aitana, una influencer con una suculenta cuenta de seguidor. Con 23 años y originario de Barcelona, ​​está pisando las redes. Se proclama amante de la vida saludable y del deporte y su secreto es que ella realmente no existe, es una modelo virtual creada con inteligencia artificial. El abanico es enorme, desde agencias que crean sus propios chatbots hasta personajes inventados por otros usuarios o réplicas de personajes famosos, y el resultado es tan creíble que aunque especifiquen que no son reales, muchas veces cuesta saber qué. mundo en el que estamos. nos movemos

El 12 de noviembre, Alicia Framis y Ailex Dijeron que sí, quiero. Lo curioso de este matrimonio es que el artista catalán con el que se casó era un holograma que ella misma creó.

Alicia explica que creó Ailex durante un período de soledad: “El proyecto nació de mi propia soledad, mientras hacía una residencia artística en California. En ese momento pensé en cómo podría crear un holograma inteligente con el que vivir y descubrir si la IA podría ayudar a grupos vulnerables.

Defiende que este proyecto crea “una herramienta para personas solitarias”. «Creo que La inteligencia artificial puede ayudar mucho a los humanos.especialmente a las personas que están solas, que son autistas, que están pasando por un momento de crisis, pero es un arma letal para las personas con problemas de salud mental, pero no solo la IA, todo. Un enfermo mental no es consciente de lo que hace, él mismo es un arma mortal, no la IA ni el cuchillo. Esta persona puede hacerse daño a sí misma y a los demás. Es como decir que Tinder mata gente.Todos sabemos que la mayoría de las personas se suicidan por motivos románticos. Tinder no anima a la gente a suicidarse, pero mucha gente utiliza Tinder y se suicida”, señala Framis.

Sin embargo, los efectos positivos para la salud mental que destaca no están garantizados frente a la evidencia de que pueden tener un lado oscuro. En una época en la que los momentos de socialización son cada vez más raros, es curioso cómo se supone que esta no interacción con los demás se soluciona a través de la tecnología, que básicamente te aísla aún más. “La soledad te empuja hacia el apoyo virtual”, reflexiona Richard Benjamins para ilustrar una situación que se da en Japón y en la que vemos claramente el apoyo de los ancianos solitarios con robots y concluye: «Es necesario encontrar un equilibrio».

¿Qué pasa con la información que recibe el chatbot?

Por otro lado, quién gestiona toda la información que recibe este bot. Una pareja sigue siendo pareja porque acaban compartiendo una vida, más o menos larga. La confianza y la interacción son claves fundamentales para una pareja y si una de ellas es una creación virtual, ¿dónde se almacena esta información?

EL Fundación Mozilla analizó una serie de chats «románticos» y concluyó que el 90% de las aplicaciones de este estilo pueden vender la información recopilada con fines publicitarios, el 73% no proporciona información sobre cómo manejan posibles fallos de seguridad y el 45% permite contraseñas tan débiles como simplemente poner el número 1. Así lo explica la fundación en su informe: “Comercializado como un amigo, amante o alma gemela empático, y diseñado para ayudarte a hacer preguntas Sin cesar, no hay duda de que «los chatbots románticos con IA acabarán recopilando información personal confidencial sobre usted. Y las empresas detrás de estas aplicaciones parecen entenderlo».

Benjamins insiste: “En este caso, su política de privacidad y sus términos y condiciones son muy estándar. Utilizan datos para comunicarse con las personas. Para la publicidad, esto requiere un consentimiento explícito para detectar fraudes y pueden usarlo para monitorear lo que sucede en la conversación. Lo que dice en su política de privacidad es bastante estándar. »

Se refuerzan los estereotipos de género

A esto hay que añadir otro enfoque. Si bien es cierto que nada prohíbe a los “novios AI”, el término que se ha popularizado es “Amigos de la IA” porque, entendemos, son principalmente las novias las que son reclamadas. Benjamins explica que «al final del día es un negocio y en los negocios es el mercado el que manda, si hay mucha demanda de avatares femeninos es porque los hombres lo piden, es ahí donde los negocios se van a centrar». .”

En 2019, un informe de UNESCO «Máquinas obedientes y complacientes que se hacen pasar por mujeres entran en nuestros hogares, nuestros automóviles y nuestras oficinas», dijo Saniye Gulser Corat, directora de la División para la Igualdad de Género de la UNESCO.

Síguenos en nuestro canal de WhatsApp y no te pierdas las últimas noticias y actualizaciones de antena3noticias.com.