Más allá de la conexión, un oscuro entramado de algoritmos y vigilancia corporativa pone en riesgo el bienestar mental, especialmente de niños, niñas, jóvenes y mujeres

La era digital ha transformado la forma en que interactuamos, nos informamos y, en gran medida, cómo percibimos el mundo y a nosotros mismos. Las redes sociales, en particular, se han incrustado en el tejido de nuestras vidas diarias, ofreciendo una promesa seductora de conexión, creatividad y comunidad. Desde compartir momentos personales hasta acceder a información en tiempo real, estas plataformas se han vuelto casi indispensables. Sin embargo, detrás de esta fachada de conectividad y entretenimiento, Amnistía Internacional (AI) ha lanzado varias advertencias sobre el uso de estas tecnologías y las empresas que están detrás de ellas: el modelo de negocio de estas plataformas no solo socava el derecho a la privacidad, sino que representa una amenaza creciente y directa para la salud mental de millones de personas, en particular de niños, niñas y jóvenes.

La salud mental, definida por la Organización Mundial de la Salud como "un estado de bienestar en el cual el individuo se da cuenta de sus propias aptitudes, puede afrontar las presiones normales de la vida, puede trabajar productiva y fructíferamente y es capaz de hacer una contribución a su comunidad", no es un privilegio, sino un derecho humano fundamental. Sin embargo, la arquitectura misma de las redes sociales, diseñada para maximizar el tiempo de permanencia y el lucro, se ha convertido en un caldo de cultivo para la ansiedad, la depresión, la baja autoestima y, en los casos más extremos, la promoción de autolesiones y el suicidio.

El problema no reside solo en el contenido que se comparte, sino en el corazón del modelo de negocio de las grandes empresas tecnológicas. En su contundente informe "Gigantes de la Vigilancia: La amenaza que el modelo de negocios de Google y Facebook representa para los derechos humanos", la organización sentencia que el modelo de negocio de Google y Facebook es la vigilancia. Ambas empresas se lucran obteniendo y monetizando los datos personales de las personas en una escala masiva y sin precedentes. Esta afirmación, aunque centrada en dos titanes, es extrapolable a la mayoría de las plataformas dominantes, incluida TikTok, cuyo ascenso meteórico ha puesto de manifiesto los peligros inherentes a esta lógica empresarial.

La recolección masiva de datos y la minería de información personal son el combustible que alimenta los algoritmos. Estos complejos sistemas informáticos, lejos de ser neutros, están diseñados con un objetivo primordial: mantener a los usuarios "enganchados" a la plataforma el mayor tiempo posible. Este "engagement" no solo se traduce en mayores ingresos publicitarios para las empresas, sino que, de manera insidiosa, moldea la experiencia del usuario, dirigiéndolos hacia contenidos que, aunque aparentemente relevantes, pueden resultar profundamente dañinos para su bienestar psicológico.

En el caso específico de TikTok, Amnistía Internacional ha profundizado en esta preocupación. Su informe "Domar el algoritmo: desafíos para la salud mental y privacidad de Argentina en el uso de TikTok" subraya cómo la plataforma, aunque se presenta como un espacio de "entretenimiento, creatividad y comunidad", tiene una "contracara ligada a riesgos para la salud mental y la privacidad". Los usuarios, a menudo sin plena conciencia, se ven inmersos en un ciclo de uso que, lejos de enriquecer sus vidas, genera una dependencia preocupante. La organización advierte que el tiempo de uso no es solo una métrica, sino una mercancía valiosa para las empresas, y su maximización es el motor detrás de un diseño que puede ser inherentemente perjudicial.

La Oscuridad del Algoritmo: TikTok y la espiral del contenido nocivo 

La preocupación de Amnistía Internacional sobre el impacto de los algoritmos en la salud mental se ha materializado en una serie de investigaciones específicas sobre TikTok, una plataforma que ha conquistado a millones de niños, niñas y jóvenes en todo el mundo. Los informes "Empujados a la oscuridad: El feed ‘Para ti’ de TikTok fomenta la autolesión y la ideación suicida" y "Siento que no se me protege: Emboscada en la red de vigilancia de TikTok" revelan un panorama alarmante.

La investigación expone cómo la función de descubrimiento algorítmico de TikTok, la página "Para ti" (For You Page, FYP), puede arrastrar a niños, niñas y jóvenes hacia "espirales de contenidos potencialmente nocivos, incluidos vídeos que idealizan y fomentan el pensamiento depresivo, las autolesiones y el suicidio". Esta no es una consecuencia accidental, sino el resultado de un algoritmo que, al aprender de los intereses iniciales de un usuario, tiende a amplificar y polarizar esos intereses, incluso cuando se trata de temas delicados y peligrosos. 

El proceso es insidioso. Un joven que manifiesta un interés inicial por la salud mental, quizás buscando apoyo o comprensión, puede ser rápidamente dirigido por el algoritmo hacia un torbellino de contenido que, en lugar de ofrecer ayuda, normaliza o incluso glorifica estados mentales destructivos. "TikTok podría agravar los problemas que este grupo de población tiene con la depresión, la ansiedad y las autolesiones, y poner en peligro la salud física y mental de las personas jóvenes", advierte Amnistía Internacional.

La clave de este peligro reside en cómo el algoritmo de TikTok prioriza el "engagement". Cuanto más un usuario interactúa con un tipo de contenido, más de ese contenido le será mostrado, creando una burbuja algorítmica de retroalimentación. Esto es particularmente problemático cuando el contenido se relaciona con temas sensibles como la autolesión o el suicidio, donde la exposición repetida y la idealización pueden tener consecuencias devastadoras en mentes vulnerables y en desarrollo. Los jóvenes, en particular, se sienten desprotegidos y carecen de control sobre la información que les llega, lo que genera una sensación de "emboscada en la red de vigilancia de TikTok", como lo describe uno de los informes.

Más allá del contenido directamente dañino, el modelo de negocio de TikTok, al igual que el de otras gigantes tecnológicas, fomenta una adicción conductual. El diseño de la plataforma, con sus recompensas intermitentes, sus notificaciones constantes y la gratificación instantánea, está optimizado para mantener a los usuarios en línea el mayor tiempo posible. Este "tiempo de uso" no es solo una métrica, sino el valor monetizable que las empresas venden a los anunciantes. Subraya que las empresas persisten en hacer de sus plataformas espacios adictivos, a pesar de la "creciente evidencia científica de los graves riesgos para la salud asociados con el uso compulsivo de las redes sociales por parte de los niños y niñas". Los efectos reportados por los usuarios, como el aumento de la ansiedad, la disminución de la autoestima y las afectaciones físicas y mentales, son un testimonio de la peligrosa interconexión entre el diseño algorítmico y el bienestar psicológico.

Violencia Online

 La influencia de las redes sociales en la salud mental no se limita únicamente al impacto de los algoritmos adictivos o la exposición a contenido nocivo. También ha puesto el foco en cómo estas plataformas se han convertido en escenarios propicios para la violencia online, un fenómeno que tiene ramificaciones profundas y a menudo devastadoras en el bienestar psicológico de las víctimas. 

La violencia online, que abarca desde discursos de odio y acoso hasta campañas de desprestigio y amenazas, representa una amenaza directa a los derechos humanos fundamentales. No solo vulnera el derecho a la libertad de expresión, sino que también atenta contra la privacidad, la dignidad, la igualdad y la no discriminación. Las redes sociales, por su naturaleza abierta y su alcance masivo, pueden amplificar estos abusos de manera exponencial, convirtiendo el espacio digital en un campo de batalla para quienes son blanco de ataques.

El informe "Muteadas: El impacto de la violencia digital contra las periodistas" de Amnistía Internacional es un testimonio escalofriante de cómo la violencia online puede tener un "efecto silenciador" en las víctimas. Aunque el informe se centra en las periodistas, sus hallazgos son extrapolables a otros grupos vulnerables que sufren acoso y amenazas en línea. Las mujeres y las niñas, las personas LGBTI, los defensores de derechos humanos y las minorías son desproporcionadamente atacados, lo que a menudo las lleva a la autocensura, a abandonar los espacios virtuales o incluso a modificar sus rutinas de vida para sentirse seguras.

 La violencia de género en entornos digitales, por ejemplo, no es una molestia menor; es una forma de discriminación y agresión que puede generar un daño psicológico significativo. El informe "Muteadas" detalla cómo estas agresiones digitales producen "afectaciones físicas y psicológicas" que incluyen "estrés, ansiedad, temor, insomnio y otros problemas de salud mental". Las amenazas de violación, muerte, el "doxing" (publicación de información personal con fines maliciosos) y las campañas de desprestigio masivas pueden llevar a las víctimas a un estado de angustia constante, afectando su capacidad para trabajar, socializar y participar plenamente en la vida pública.

 Además, el informe "Domar el Algoritmo" también resalta cómo la exposición a "violencias en red", como el bullying y los discursos de odio, incide negativamente en la salud mental de los usuarios. La impunidad con la que a menudo operan los perpetradores de estos ataques, sumada a la lenta o ineficaz respuesta de las plataformas para moderar y eliminar el contenido abusivo, agrava el problema. Las empresas, al no asumir su responsabilidad de diligencia debida, se convierten en cómplices pasivos de la vulneración de los derechos humanos en sus propios espacios.

La violencia online no solo silencia voces y limita la libertad de expresión, sino que erosiona la confianza en los espacios digitales, transformándolos de foros de conexión en lugares de miedo y hostilidad. La inacción de las plataformas y la falta de una regulación estatal efectiva en este ámbito son inaceptables, pues demuestran una peligrosa despreocupación por el bienestar y la seguridad de los usuarios.

 La exigencia de rendición de cuentas

Frente a la creciente evidencia de los daños que las redes sociales infligen a la salud mental y a los derechos humanos, Amnistía Internacional no solo denuncia la problemática, sino que emite un llamado contundente a la acción, dirigido tanto a las empresas tecnológicas como a los gobiernos de todo el mundo. La organización subraya la urgencia de establecer un marco regulatorio que ponga fin a la impunidad y priorice el bienestar de las personas sobre los beneficios corporativos.

La flagrante falta de transparencia y rendición de cuentas por parte de las grandes empresas tecnológicas es preocupante. La opacidad de sus algoritmos, que operan como cajas negras determinando la experiencia de millones de usuarios, es inaceptable. Como se menciona en "Empujados a la oscuridad": TikTok debe revisar de forma urgente sus procesos de recopilación de datos y amplificación, y ejercer de manera integral la diligencia debida en materia de derechos humanos. Esta exigencia se extiende a todas las plataformas, que deben asumir la responsabilidad de evaluar y mitigar el impacto de sus productos en la salud mental y otros derechos.

Los gobiernos deben actuar con urgencia para introducir y hacer cumplir leyes integrales que frenen los modelos empresariales basados en la vigilancia. La organización argumenta que las medidas voluntarias de las empresas no son suficientes para refrenar un modelo que es "intrínsecamente incompatible con los derechos humanos". Es fundamental que los Estados tomen medidas positivas para reducir los daños generados por este modelo de negocio, lo que incluye la adopción de políticas públicas que garanticen el acceso universal y el pleno ejercicio de los derechos humanos en el entorno digital.

Entre las demandas específicas de Amnistía Internacional se encuentran: 

- Regulación efectiva y obligatoria: Los gobiernos deben crear y aplicar leyes que regulen a las empresas tecnológicas y las obliguen a operar de acuerdo con las normas internacionales de derechos humanos. Esto implica no solo proteger la privacidad de los datos, sino también establecer límites claros a la forma en que los algoritmos amplifican contenido dañino y garantizar mecanismos de reparación para las víctimas.

- Responsabilidad de las empresas: Las compañías tecnológicas deben ser transparentes sobre cómo funcionan sus algoritmos y cómo utilizan los datos de los usuarios. Deben rendir cuentas por los abusos contra los derechos humanos que se producen en sus plataformas, implementando mecanismos efectivos para la moderación de contenido y la protección de los usuarios.

- "Reescribir el código" para proteger derechos: Se hace un llamado a un rediseño fundamental de las plataformas. En lugar de optimizar para el "engagement" a toda costa, los algoritmos deben ser diseñados para priorizar la protección de los derechos humanos y el bienestar de los usuarios. Esto implica eliminar sesgos, prevenir la discriminación y evitar la amplificación de contenido perjudicial. Como se señala en "Gigantes de la Vigilancia": "Google, Facebook y otras empresas de tecnología deben terminar con la vigilancia omnipresente y pasar a un modelo de negocios que respete los derechos."

- Tolerancia cero con la violencia y los discursos de odio: Las plataformas deben implementar políticas estrictas y mecanismos de moderación eficientes para erradicar los discursos de odio, el acoso y todas las formas de violencia en línea. Esto incluye la eliminación rápida y efectiva de contenido abusivo, la sanción a los perpetradores y la protección activa de las víctimas. Amnistía Internacional recalca que la inacción frente a estas violencias no solo es una falla ética, sino una complicidad que vulnera derechos fundamentales como la libertad de expresión, la dignidad y la no discriminación.

- Fin de la publicidad segmentada a menores: Una demanda crucial para proteger la privacidad y el bienestar de los niños, niñas y jóvenes es prohibir la recopilación de datos y la segmentación publicitaria dirigida a ellos. Esta práctica expone a los menores a riesgos desproporcionados y los convierte en blanco de un modelo de negocio que no prioriza su seguridad.

- Fortalecer la capacidad de los Estados: Los gobiernos deben invertir en capacidades regulatorias y de supervisión para poder hacer frente a la complejidad de las plataformas digitales y garantizar que las empresas cumplan con sus obligaciones de derechos humanos.

La inacción no es una opción. Los Estados tienen la obligación de proteger a sus ciudadanos, y esto incluye salvaguardar su salud mental en el espacio digital. La era de la autorregulación de las empresas tecnológicas debe terminar para dar paso a un marco de responsabilidad y cumplimiento de los derechos humanos.

La problemática de la salud mental en la era de las redes sociales es un desafío complejo que exige una respuesta global y coordinada. No se trata de demonizar la tecnología, sino de reconocer los riesgos inherentes a un modelo de negocio que ha priorizado el lucro a expensas del bienestar humano. La balanza, actualmente inclinada a favor de las corporaciones y sus algoritmos, debe reequilibrarse para proteger los derechos fundamentales de las personas.

Informes citados:

Siento que no se me protege: https://amnistia.org.ar/wp-content/uploads/delightful-downloads/2023/11/I-Feel-Exposed-Spanish.pdf

Domar al algoritmo: https://amnistia.org.ar/wp-content/uploads/delightful-downloads/2023/11/InformeTikTok_FINAL-1.pdf

Muteadas: https://amnistia.org.ar/wp-content/uploads/delightful-downloads/2024/10/Muteadas_InformeCompleto.pdf

Gigantes de la vigilancia: https://amnistia.org.ar/wp-content/uploads/delightful-downloads/2019/12/Surveillance-giants-b_SP_V3.pdf

Empujadas a la oscuridad: https://www.amnesty.org/es/wp-content/uploads/sites/4/2023/11/POL4073502023SPANISH.pdf