Economia

La gente habla de ética en inteligencia artificial, nunca lo hubiera imaginado hace diez años

La gente habla de ética en inteligencia artificial, nunca lo hubiera imaginado hace diez años
Avatar
  • Publishedjulio 20, 2025



El nombre de Margaret Mitchell es bien conocido en los mentideros del sector de la inteligencia artificial. Lingüista computacional y con una dilatada carrera en las principales enseñas de este mercado, como Microsoft o Google, su rostro se hizo popular en los anales de la actualidad era de esta tecnología al ser de las primeras profesionales en incorporar la ética al corazón del desarrollo de la IA que usamos hoy en día.

Alcanzó el pico de popularidad como cofundadora del equipo de ética en inteligencia artificial de Google -junto a Timnit Gebru-, puesto del que fue despedida en 2021 tras denunciar prácticas poco transparentes en la compañía, lo que desató una fuerte polémica global sobre libertad académica, diversidad y rendición de cuentas en la industria digital.

Lejos de abandonar su activismo, Mitchell se unió poco después a Hugging Face, una de las plataformas de IA abierta más influyentes del momento, como Chief Ethics Scientist. Desde esta empresa participa activamente en debates regulatorios, científicos y sociales sobre cómo construir una IA más segura, justa y representativa. Para ella, la ética debería ser considerada como práctica estructural que debe guiar desde el diseño hasta la implementación de cualquier sistema automatizado.

De visita en Málaga con motivo del reciente DES 2025, Margaret Mitchell se sienta con DISRUPTORES – EL ESPAÑOL para analizar grandes dilemas como el ‘etichs washing’, la falta de diversidad en los datos, la regulación europea, el auge de los agentes autónomos o la necesidad urgente de crear IA culturalmente contextualizada.

Pregunta: ¿Cómo empezó tu trayectoria profesional en este campo de la ética en inteligencia artificial?

Margaret Mitchell: Empecé mi carrera estudiando lingüística computacional. He trabajado en muchas de las grandes empresas como Microsoft o Google, pero vengo desde un enfoque algo diferente. Creo que esto se debe en parte a que muchos ingenieros están muy centrados en aspectos clásicos, como los de OpenAI, en crear la inteligencia artificial. Pero nadie hablaba de ética. Yo era parte de esa ola de tecnólogos, aunque hace diez años se hablaba más de “machine learning”, dividido en tareas como procesamiento de lenguaje natural, visión por computador, etc. Me centré en generación de lenguaje, lo que hoy se conoce como IA generativa.

P: Mucho antes del auge de los transformers y toda la ola actual…

Mitchell: Fue antes incluso del deep learning. El gran cambio hacia el deep learning ocurrió más o menos en 2012 o 2013, pero el problema era que necesitaba cada vez más datos. Así que de aquella trabajaba en obtener datos de internet y me enfocaba en generación de lenguaje. Específicamente, en traducir imágenes a lenguaje, describiendo escenas para personas con discapacidad visual. Y ahí empecé a ver los errores que cometía el sistema.

En un momento dado, estaba trabajando en un sistema al que le di una serie de imágenes de una gran explosión, donde más de 40 personas habían sido heridas. Le pasé esas imágenes al sistema y respondió: “This is awesome. This is a great view”. Había sido entrenado con imágenes de Flickr, obtenidas de internet, con toneladas de contenido. Y claro, cuando la gente describe sus imágenes en internet, dicen cosas como “esto es genial”, “lo pasamos increíble”. Nadie sube fotos de funerales; la gente tiende a compartir cosas felices. Así que el sistema veía algo que había sido una tragedia, con posibles pérdidas humanas graves, y lo interpretaba como algo positivo.

«El sesgo de la IA es que todo es felicidad e increíble, pero interpreta las tragedias como algo positivo»

Ahí vi que teníamos un punto ciego enorme en cómo estábamos desarrollando la tecnología. Obteníamos más y más datos, como fuera, y con ello estábamos codificando todos los sesgos presentes en esos datos. En este caso, el sesgo era que todo era feliz, todo era increíble. Luego entrenábamos sistemas que aplicábamos en situaciones que no estaban representadas en esos datos de entrenamiento y aparecían los problemas.

Llevo con esta preocupación muchos años. Hace 13 años me di cuenta de que íbamos directos hacia darles más y más autonomía sin tener un análisis crítico de la relación entre entrada y salida. Y en cuanto uno de estos sistemas esté conectado, por ejemplo, a un sistema de lanzamiento de misiles o algo similar, podría provocar explosiones por todo el mundo porque cree que una puesta de sol es bonita…

P: ¿Y qué aprendiste de esos primeros pasos?

Mitchell: Aprendí que formaba parte de ese progreso, de esa trayectoria, de que no estábamos mirando problemas clarísimos y cómo se iba a desarrollar la tecnología. Así que empecé a hablarlo con mis colegas, y simplemente no había mucho interés en lo que yo decía. Era una situación donde pensaba: “Alguien tiene que estar pensando en esto”. Yo estaba en la frontera de la tecnología. Veía cómo podía ser súper útil para las personas, pero también cómo estaba codificando otros sesgos, como que las personas blancas eran llamadas simplemente “personas” y las personas negras eran “personas negras”. Como si lo blanco fuera el valor por defecto. Y pensaba: ¿no deberíamos estar pensando en esto desde la frontera tecnológica? Pero no había mucho interés. Porque si estás en una empresa tecnológica, no te contratan para pensar en estas cosas. 

Yo soy muy multidisciplinar: soy programadora, pero también puedo hablar de ética. Así que pensé: bueno, si alguien tiene que trabajar en esto, supongo que tengo que ser yo. Alguien tiene que hacerlo… y empecé en eso. Fue hacia 2015 cuando dije: vale, me dedico a la ética de la IA porque es importante y la gente necesita saber cómo debe desarrollarse esta tecnología a la luz de los daños previsibles.

P: ¿Te consideras activista?

Mitchell: (Ríe) Soy una terrible activista. No soy lo suficientemente activista para los activistas y demasiado para los no activistas. Me considero más una reformadora, o una defensora. Trabajo en una empresa con fines de lucro, así que ya estoy dentro del sistema capitalista. Eso choca con muchos principios activistas. Intento hacer puente entre lo que valoro como persona y lo que tiene sentido para la empresa.

Mucha gente se olvida de que tú no eres tu empresa. Es posible que la empresa tenga valores y tú también, y que no sean exactamente los mismos. Pero tras dos años en una empresa, empiezas a creer lo que a la empresa le interesa que creas; es como un lavado de cerebro.

Pregunta: Y cuando sales, ves la ficción que te habías creído…

Mitchell: Exacto. En OpenAI tienen ese problema ahora. No me refiero a los hechos concretos, sino al pensamiento en grupo. Después de dos años, ya estás dentro, pero una empresa no tiene moralidad. Así que tienes que mantener tu criterio personal.

«Una empresa no tiene moralidad, así que hay que mantener tu criterio personal»

La gente que trabaja en ética comete a veces el error de solo señalar lo negativo. Y eso hace que nadie quiera escucharte. Lo digo por experiencia. Si solo hablas de los riesgos, te conviertes en la aguafiestas. Y encima te ven como alguien que pone trabas, que restringe. Pero la ética también sirve para ver lo bueno. Una de las cosas que hago en Hugging Face es decirle a la gente: “esto que estás haciendo es bueno por esto, esto y esto”. Eso también ayuda a planificar.

Las excusas de las empresas

P: Llevas trabajando en ética todo este tiempo, más de diez años. ¿Has visto alguna mejora en cómo se desarrolla la tecnología, cómo se gestionan los sesgos? ¿O seguimos igual que antes? Porque incluso los modelos actuales entrenados con datos sintéticos siguen replicando los sesgos que ya tenían.

Mitchell: Hace diez años, la ética no formaba parte de la conversación; el sesgo tampoco. Así que es una mejora que eso se haya convertido en parte no solo del discurso tecnológico, sino del público general. ¡La gente habla de ética! Nunca hubiera imaginado eso hace diez años. ¡Eso es una locura! Y la mayoría de las empresas están haciendo algún tipo de progreso en temas de IA responsable o IA segura.

P: Todas tienen su propio código de principios éticos…

Mitchell: Pero no es suficiente, porque la cultura tecnológica no ha cambiado de forma fundamental. La forma en que entrevistamos y contratamos gente no está preparada para reconocer a personas que tienen buena capacidad de previsión, que piensan en pros y contras. Se sigue contratando a quienes saben usar programar mejor. La cultura tech no ha mejorado de forma fundamental, por lo que muchos de los problemas persisten. Y muchas de las formas en que se desarrolla la tecnología siguen siendo las mismas que hace diez o quince años; aunque haya, al menos, cierta entrada de conceptos de IA responsable

P: Estamos muy acostumbrados a hablar de sostenibilidad, de empresas que se venden como verdes, responsables… ¿Crees que hay algo parecido al greenwashing en el mundo de la inteligencia artificial?

Mitchell: Sí, totalmente. Existe lo que se llama ethics washing como parte del branding y el marketing. Hay una gran diferencia entre lo que las empresas dicen externamente y lo que realmente sucede internamente. También influye cómo se presenta todo. Yo he escrito notas de prensa, tanto en Google como ahora en Hugging Face. Sé muy bien cómo decir “vale, tenemos un problema, ¿cómo lo decimos de forma que suene bien?”. Si eres una empresa con fines de lucro, estás sujeta a tus accionistas, y necesitas empujar las cosas para que todo el mundo piense que la acción va a seguir subiendo, que se va a generar beneficio, cosas así. Hay presiones de mercado que te llevan a ser un poco superficial, forma parte de las dinámicas de mercado.

Pero dicho esto, hay oportunidades reales de negocio para hacer cambios significativos. Creo que las generaciones más jóvenes ahora realmente se preocupan más por estas cosas. La gente nacida después del 2000 ha crecido en un mundo donde el cambio climático es real. Así que hay apetito real por un cambio positivo, tanto en lo climático como en lo relacionado con la IA ética. Pero creo que la industria tecnológica -al menos las grandes empresas- no han sabido adaptarse bien a ese entorno cambiante. 

P: ¿Hasta qué punto las empresas pueden eludir esas responsabilidades aludiendo a que la IA tiene ‘cajas negras’ y es difícil comprender el camino que toman para llegar a un resultado?

Mitchell: No tiene por qué ser una caja negra. Me preocupa que ese concepto se utilice como herramienta de marketing para eludir responsabilidades. Decir “nadie puede saber cómo funciona, así que yo no me hago cargo”. Pero Apple ha publicado recientemente un paper muy interesante sobre cómo tener trazabilidad en los sistemas de IA, en el que usaban la palabra “razonamiento”, aunque para mí es raro usar ese término porque “razonar” es un proceso humano, y cuando se aplica a sistemas de IA, puede generar confusión.

Margaret Mitchell, en el DES 2025.


Margaret Mitchell, en el DES 2025.

Una colega mía, Emily Bender, lo llama “mathy maths”, como para quitarle ese halo místico. Cuando decimos que algo es “inteligente”, asumimos que es algo bueno. Pero ni siquiera los humanos nos ponemos de acuerdo en qué significa ser inteligente. Así que cuando lo aplicamos a máquinas, lo estamos cargando de un valor positivo que no siempre tiene sentido.

Trabajo con agentes en Hugging Face. Me interesa estar en la frontera para entender bien de qué hablo. Y los agentes pueden generar registros (logs) de todo lo que hacen. Incluso pueden tener trazas, como las del paper de Apple, que permiten ver paso a paso cómo toman decisiones. Eso proporciona cierto nivel de transparencia. Son básicamente auditorías. Pero uno de los avances tecnológicos críticos que necesitamos ahora es en seguridad y privacidad de los agentes, porque ahora pueden ejecutar código malicioso sin que nadie se entere.

P: ¿Cómo podemos afrontar esos retos en ciberseguridad y limitar sus riesgos?

Mitchell: Sí, hay marcos de seguridad como Docker, donde puedes especificar qué librerías puede usar un agente, pero no hay garantías completas. Por ejemplo, los sistemas pueden alucinar métodos o paquetes e intentar importarlos y ejecutarlos. Y los atacantes, al ver eso, pueden crear esos paquetes alucinados como vector de ataque. Si no defines de forma muy específica qué funciones puede ejecutar un agente y qué coordinadores utilizar, no tienes garantías.

P: Eso limita también la flexibilidad…

Mitchell: Exacto. La flexibilidad es buena para vender, pero también es la principal vulnerabilidad. Yo veo mucho potencial, por ejemplo, para catástrofes. Imagina que miles de personas tienen que evacuar por un incendio o una inundación. Si hay dispositivos edge distribuidos, pueden comunicarse entre sí y decir: “por aquí hay tráfico”, “esto está bloqueado”… Eso es muy potente. Y los agentes pueden ayudar en eso. Pero el problema es que ahora no tenemos control total.

Regular es posible (y necesario)

P: ¿Y sobre la regulación? Se habla mucho de la AI Act europea, pero también de que regular una tecnología que evoluciona tan rápido es imposible…

Mitchell: Hay mucho que decir. La idea de que la regulación no puede seguir el ritmo de la tecnología es una narrativa que beneficia mucho a las grandes tecnológicas. Es algo que empujan activamente para evitar controles, que les sirve para evitar responsabilidades. Pero los reguladores no están ahí para entender cada línea de código. Están para proteger los derechos fundamentales: si te centras en las personas, sabes cuáles son sus derechos, independientemente de la tecnología.

Siempre hay un riesgo cuando las regulaciones intentan definir qué debe hacer exactamente la tecnología. Por ejemplo, cuando salió el GDPR, se hablaba de prohibir inferir el género. Pero si estás intentando eliminar sesgos de género, necesitas poder inferirlo. En ese momento estábamos muy preocupados: “¿Y si no podemos hacer esto?”. Pero al final no fue un problema. La clave está en que la regulación se centre en los objetivos -“no se debe discriminar”, “se debe respetar la privacidad”-, no en los medios exactos.

Yo he hablado de esto en el Congreso y en el Senado de Estados Unidos; he defendido la necesidad de que las empresas hagan due diligence: que demuestren que han hecho los deberes para identificar daños y beneficios, y que su sistema respeta la privacidad, la seguridad, la no discriminación…

Pregunta: Todo esto es ética por diseño.

Mitchell: Así es. Los reguladores deben marcar el destino. Las empresas tecnológicas deben encontrar el camino para llegar allí. El argumento de “no se puede regular esto porque va muy rápido” es una excusa, una mentira útil para quienes no quieren rendir cuentas.

El criterio personal ‘vs’ el empresarial

Pregunta: Has lanzado recientemente SHADES, un dataset multilingüe contra los estereotipos. ¿Cómo funciona?

Margaret Mitchell: SHADES incluye 16 idiomas, entre ellos español y portugués. El problema es que los LLM (Large Language Models) se entrenan principalmente en inglés. Y cuando se trabaja el sesgo, se hace en inglés. Luego se traduce. Pero eso no es suficiente. Cada país tiene sus propios estereotipos. En Estados Unidos por ejemplo, está el estereotipo de que las rubias son tontas, pero en Rumanía no. Sin embargo, el modelo en rumano igualmente generaba ese estereotipo. Por eso hace falta contar con gente local, que entienda los matices culturales y lingüísticos, para construir datasets que realmente permitan detectar y corregir sesgos específicos en cada idioma.

P: Hugging Face está viviendo una particular era dorada, ¿por qué decidiste unirte a ellos?

Mitchell: Me interesó porque Hugging Face fue fundada sobre principios éticos. No sé si lo formularon así al principio, pero el open source en sí mismo operacionaliza valores: transparencia, apertura, colaboración, rendición de cuentas. En código abierto puedes ver quién escribió cada parte del código, hay trazabilidad.

Yo venía de Microsoft y Google, donde estás intentando meter valores en estructuras que no fueron creadas para eso… y puede ser hostil. En Hugging Face entré cuando éramos 40 personas; ahora somos unas 200. Quería ver si se podía construir una empresa desde cero, basada en valores, y ha funcionado. Nuestro CEO habla constantemente de transparencia, responsabilidad, apertura. Y no como marketing, sino porque lo cree. No tenemos procesos éticos perfectos (somos una startup), pero esa base de valores lo cambia todo.



Puedes consultar la fuente de este artículo aquí

Compartir esta noticia en: