Repensar los estudios culturales a partir de la inteligencia artificial
El auge de la inteligencia artificial (IA) nos obliga a los estudiosos de la cultura a replantearnos muchos de los principios de este campo. En el ensayo que sigue, primero trazo algunos principios con que se debatió el valor de la industria cultural, sobre todo el consumo, entendido como empobrecimiento del espíritu o empoderamiento de los sectores populares. A continuación se considera el desplazamiento que se opera de los medios a las mediaciones (Martín-Barbero, 1987), la posibilidad de alcanzar la ciudadanía a través del consumo (García Canclini, 1995), la creciente ampliación de lo que se considera cultura en el circuito de la cultura (Johnson, 1986-1987; DuGay et al., 1997). El siguiente apartado trata de la IA en los softwares de reconocimiento basados en patrones de relacionamiento. Luego se pasa a las características de la IA generativa, como ChatGPT, y un resumen de sus ventajas y peligros. El ensayo concluye explorando la inteligencia no como interna a individuos sino como pensamiento de patrones en redes de humanos y no humanos en cosmovisiones indígenas o en nuevas epistemologías de ensamblamientos.
Los debates en torno al consumo cultural
Acaso sea el consumo el aspecto cultural que se manifiesta más vistosamente en la IA. Pero antes de abordar cómo la IA viene transformando el consumo, cabría resumir los dos acercamientos históricos al tema. En el primero, se argumenta que los consumidores son sometidos a un lavado de cerebro a través de la teoría de la aguja hipodérmica o de la bala mágica de los efectos mediáticos. Remontándose a los estudios de propaganda del sociólogo Harold Lasswell (1927), la noción fue elaborada a lo largo de los años por figuras como Max Horkheimer y Theodor Adorno (1971, originalmente 1944), para quienes la industria cultural perpetúa el control social y obstaculiza el pensamiento crítico, haciendo hincapié en la dominación de los intereses capitalistas en la configuración de la producción y el consumo culturales. Para Daniel Bell (1971), Cristopher Lasch (1978), Neil Postman (1985) y Pierre Bourdieu (1997), los medios de comunicación e industrias culturales producen banalización, narcotización, falta de pensamiento crítico, narcisismo, despolitización, etc., y son demoledores de los lazos sociales. En América Latina, el libro de Armand Mattelart y Ariel Dorfman, Cómo leer al Pato Donald (1971), promueve la idea de que el imperialismo cultural estadounidense enajena a los lectores al moldear sus creencias, actitudes y comportamientos.
Por otra parte, los que suscriben a la premisa del receptor activo rechazan los hipotetizados efectos psicológico-cognitivos del imperialismo cultural, pues como escribe Schmucler, “El ‘poder’ de los medios puede ser nulo e incluso revertirse en la medida que el mensaje es ‘recodificado’ y sirve de confirmación del propio código de lectura”. No obstante, no se descarta la existencia de un imperialismo a nivel infraestructural, que hay que combatir modificándolo, pues esa infraestructura incide en las condiciones de recepción: “No se trata de modificar los mensajes solamente para provocar actuaciones determinadas; es fundamental modificar las condiciones en que esos mensajes van a ser receptados” (Schmucler, 1975, p. 12). Como veremos luego, esta advertencia respecto a la titularidad de infraestructuras, y cómo condiciona la recepción, también se aplica a la IA, ya que su desarrollo requiere enormes cantidades de capital para investigación, adquisición y análisis de una vasta cantidad de datos, potencia informática de alto rendimiento, un equipo altamente cualificado y consideraciones regulatorias y éticas para garantizar el cumplimiento de las leyes de privacidad, la seguridad de los datos y las directrices éticas. Por ahora, solo megaplataformas como Google, Microsoft, Amazon, Facebook, OpenAI y algunos gobiernos como el estadounidense o el chino tienen los recursos para inversión de esta envergadura.
Este factor infraestructural mitiga las entusiastas reivindicaciones de la agencia de consumidores y receptores contra la teoría de la aguja hipodérmica. Uno de los fundadores de los estudios culturales británicos, Stuart Hall, hizo hincapié en la relativa autonomía de la descodificación de los mensajes mediáticos. Y John Fiske (1987), otra figura importante en el desarrollo del campo, amplió las ideas de Hall y desarrolló la teoría de la “audiencia activa”. Fiske sostenía que el público se relaciona con los textos de los medios de comunicación de formas que no están determinadas únicamente por las intenciones de los productores. Destacó las prácticas creativas y de resistencia del público a la hora de interpretar el contenido de los medios. Esta tendencia llega a su máxima expresión en el trabajo de Henry Jenkins (1992) sobre las actividades apropiativas de los fanáticos y posteriormente en sus estudios sobre la cultura participativa (Jenkins, Ito y Boyd, 2015).
En América Latina, Jesús Martín-Barbero, si bien parece favorecer la convicción en la agencia receptiva de las clases populares frente al fatalismo que implica caracterizar como pasivo su consumo cultural, también critica “la tendencia a atribuirle en sí misma una capacidad de impugnación ilimitada, una alternatividad metafísica” (1987, p. 86). E introduce una innovación en el debate al desplazarlo a las mediaciones, “los lugares de los que provienen las constricciones que delimitan y configuran la materialidad social y la expresividad cultural de la televisión” (p. 233). Es decir, la agencia de los receptores no se ve en principio mermada por el poder que ejercen los propietarios de los medios de comunicación y los programadores, ni se ejerce milagrosamente sin restricciones. Más bien, existen múltiples lecturas y apropiaciones de los mensajes mediáticos, que están influenciadas por la diversidad de experiencias, contextos y posiciones sociales de los receptores. Como en Raymond Williams (2009, originalmente 1977), las mediaciones se refieren a los procesos y mecanismos a través de los cuales se producen, circulan e interpretan los significados sociales y culturales. Martín-Barbero menciona tres mediaciones: la cotidianidad familiar, espacio relacional en que todavía en los 80 se consumía la televisión, contexto que ha dejado de ejercer fuerza desde los walkman, los teléfonos móviles, las redes sociales y la inteligencia artificial (pp. 233-236); la temporalidad social, sobre todo cómo “la serie y los géneros hacen ahora la mediación entre el tiempo del capital y el tiempo de la cotidianidad” (p. 237), algo que también hay que revisar en la actualidad; la competencia cultural, tanto su transformación a partir de los nuevos movimientos sociales, y sobre todo entendida desde la mediación operada por los géneros “entre las lógicas del sistema productivo y del sistema de consumo” (p. 239), que parecería seguir operando en la era de las redes sociales y la inteligencia artificial.
Con anterioridad a De los medios a las mediaciones, de Jesús Martín-Barbero, Néstor García Canclini (1982) ya había hecho hincapié en las complejas mediaciones (creencias religiosas, agencias burocráticas, mercados, medios de comunicación, urbanización, turismo, internacionalización, etc.) que inciden en la producción y el consumo cultural. Es justo esa complejidad de las mediaciones que lleva a García Canclini (1995) a declarar que “el consumo sirve para pensar”, citando a Mary Douglas y Baron Isherwood (1979) en Consumidores y ciudadanos. Y no solo pensar. El consumo tiene implicaciones políticas en términos de ciudadanía.
Para que el consumo pueda articularse con un ejercicio reflexivo de la ciudadanía deben reunirse, al menos, estos requisitos: a) Una oferta vasta y diversificada de bienes y mensajes representativos de la variedad internacional de los mercados, de acceso fácil y equitativo para las mayorías; b) información multidireccional y confiable acerca de la calidad de los productos, con control efectivamente ejercido por parte de los consumidores y capacidad de refutar las pretensiones y seducciones de la propaganda; c) participación democrática de los principales sectores de la sociedad civil en las decisiones del orden material, simbólico, jurídico y político donde se organizan los consumos: desde la habilitación sanitaria de los alimentos hasta las concesiones de frecuencias radiales y televisivas, desde el juzgamiento de los especuladores que ocultan productos de primera necesidad hasta los que administran informaciones clave para tomar decisiones. (pp. 52-53)
El libro de García Canclini, Ciudadanos reemplazados por algoritmos, cuestiona su idea anterior de que el consumo es bueno para pensar. La previa premisa era que podía haber decisiones críticas e informadas sobre el consumo en la organización de la vida. Cuando los algoritmos deciden por las personas, la ciudadanía disminuye si es que no desaparece. Los algoritmos producen algo como avatares virtuales de las personas, cuyas decisiones las toman las GAFAM (Google, Apple, Facebook, Alphabet, Microsoft, etc.) mediante el procesamiento de trillones de datos. Escribe García Canclini (2019):
El saber gigantesco de los algoritmos, su capacidad de empalmar miles de millones de comportamientos individuales, aparece como el nuevo poder estructurador. Pero la lógica totalitaria de su apropiación de datos personales y la ineptitud de los sistemas algorítmicos para crear gubernamentabilidad social dejan fuera, sin intervenciones eficaces, a los ciudadanos-consumidores-usuarios. (p. 153)
Uno de los mayores retos es que los consumidores, o usuarios, desean participar en las redes sociales con el fin de mantener relaciones afectivas. Pero ese deseo está canalizado por algoritmos. Así que la cuestión de la agencia, que estaba en el centro de los debates sobre el consumo, se desplaza a las decisiones que se toman por nosotros. García Canclini concluye con una serie de preguntas que no contesta satisfactoriamente (¿es posible hacerlo?): ¿Qué debemos hacer? ¿Qué nos está permitido esperar? ¿Qué son los humanos? Y podríamos añadir, ¿qué es la mediación? Y estas preguntas se hacían antes del vistoso auge de los chats generativos como ChatGPT, Bard y otros en 2023.
El circuito de la cultura
El uso que hace García Canclini del término ciudadanos-consumidores-usuarios es una versión más políticamente cargada del término prosumidor, introducido por Toffler en La tercera ola (1980), libro que argumenta que los avances tecnológicos, como las computadoras, la inteligencia artificial y otras herramientas, permitirían a los individuos participar activamente en el proceso de producción, difuminando la línea tradicional entre productores y consumidores. Richard Johnson (1986/1987, pp. 46-47) sintetizó en un cuadro el “circuito de la cultura”, según el cual cada momento o aspecto (producción, textos, lecturas o recepción y culturas vividas/relaciones sociales) depende de los demás y es indispensable para el conjunto. Explica que si bien “cada momento es distinto e implica cambios característicos de forma,” no obstante no se puede entender el fenómeno de cada uno si no se establecen las relaciones entre todos. De ahí que “las condiciones de producción de los ‘textos’ [y podría ampliarse a ‘bienes de consumo’] no pueden deducirse examinándolos como tales” o que las “lecturas” o usos no se puedan determinar sin tener en cuenta las condiciones de producción y consumo y las relaciones sociales en las que tienen lugar.
En Doing Cultural Studies: The Story of the Sony Walkman, Paul du Gay y coautores (1997) amplían el esquema de Johnson, enfatizando la articulación entre cinco aspectos: producción y consumo, que ya vimos en Johnson, textos, ahora caracterizados como representaciones, y las culturas vividas / relaciones sociales como identidad. El quinto aspecto, que no estaba en Johnson, es la regulación (p. 3).
El libro procura establecer el sentido, o los sentidos que diferentes personas pueden tener, de los artefactos culturales, en este caso el walkman. Lo que está en juego es cómo podemos vivir en el mundo a partir de cómo entendemos el mundo, lo cual necesariamente remite a la producción de sentido compartido y por ende a la cultura (p. 8). Un artefacto es cultural porque se vincula a prácticas sociales particulares (como escuchar música) de ciertos tipos de personas, en ciertos lugares, y es representado de distintas maneras y en relación a todo eso va adquiriendo una identidad (pp. 10-11). La representación es el proceso discursivo mediante el cual se genera y da forma al significado cultural: «Damos significado a las cosas por la forma en que las representamos» (Hall, 1997, p. 3). Como tal, el significado no es estático ni inherente a las representaciones, sino que se construye socialmente a través de sistemas simbólicos o discursos. La producción tiene lugar a varios niveles (la competencia individual, la cultura organizativa y las contingencias circunstanciales) y se orienta hacia consumidores imaginados según perfiles identitarios (nivel socioeconómico, edad, etnicidad, orientación sexual, etc.), por lo general mediante procesos gerenciados por ejecutivos y gerentes masculinos y ejecutados por mano de obra femenina y minoritaria o del Sur Global. El sentido y valor de lo producido no se agotan en el bien sino que requieren del consumo. Por tanto, “El papel del productor y el del llamado consumidor de cultura se están volviendo mucho más intercambiables. El consumo se está convirtiendo en un acto personal de ‘producción’ por derecho propio» (Du Gay et al., 1997, p. 21). El momento de la regulación abarca el intento de controlar la actividad cultural, desde los controles formales o legales de las infraestructuras tecnológicas, los organismos reguladores y los sistemas educativos institucionalizados hasta los controles informales o locales de las normas y expectativas culturales. Un ejemplo sencillo de cómo el walkman incide en la regulación en este último sentido es que si bien antes de los 70 se solía participar en actividades de entretenimiento en la casa o en espacios designados como teatros o salas de concierto, con el walkman y luego el teléfono móvil se sale de lo privado o comercial al espacio público general. Por otra parte, desde mediados de los 90 la industria musical y audiovisual impuso un régimen de barreras al copiado digital (DRM o Digital Rights Management, en inglés), que tuvo que abandonarse hacia fines de la primera década del milenio debido a la fuerte resistencia de los consumidores. En el siguiente gráfico elaboro el circuito de cultura de Johnson y Du Gay et al.
De las mediaciones a los patrones de relacionamiento
El desglose de las mediaciones que se ve en el gráfico y que se operó a lo largo de los años en los estudios culturales también opera en la creación de algoritmos en las industrias culturales, de modo que cada uno de los factores ilustrados en el gráfico se convierte en un punto de datos que servirá de entrada a diversos algoritmos y modelos para aprender patrones, hacer predicciones o realizar tareas específicas. Antes de las IA generativas de 2023, ya se estaban procesando datos de uso para los softwares de recomendación como el filtrado colaborativo de Last.fm, iniciado en 2002, que utiliza datos en lugar de la curaduría humana para orientar el consumo de música de los usuarios. Se trata de rastrear los hábitos de escucha y crear perfiles basados en sus preferencias musicales, que luego se utilizan para sugerir artistas y canciones similares. WOMRAD (2010) examina varios sistemas de recomendación, como el análisis de las clasificaciones o etiquetas (tags) hechas por usuarios. Vemos en el gráfico de WOMRAD que, dependiendo del sistema, se analizan datos de temporalidad de uso, estado de ánimo, lugar, red de relaciones, etc. y así se pueden hacer recomendaciones supuestamente más acertadas que las de un curador humano.
Mapa social del usuario. Fuente: WOMRAD (2010, p. 30).
Así, se puede descubrir en qué momento del día o semana y con quienes se escuchan ciertos géneros. Esta y otras herramientas se usan en el análisis de sentimientos, que podría considerarse como una suerte de minería de subjetividad de los usuarios de internet, apps y redes sociales. Como investigador de la industria de la música, me topé con el análisis de sentimiento como usuario de Spotify. Para una presentación en mayo de 2014 para el Mercado de Industrias Culturales del Sur (MICSUR), aproveché mi uso de la app Moodagent, que simplemente parecía solo crear automáticamente nuevas listas de reproducción de Spotify basadas en las pistas seleccionadas o en el estado de ánimo deseado (Yúdice, 2014, 2016). Yo ya había creado playlists para relajar, hacer ejercicio, bailar, recordar momentos y personas clave de mi vida, o como dice la empresa de diseño digital Ideup, para mi propia banda sonora. En el gráfico abajo se ve cómo Ideup usa Spotify y Moodagent para una curadoría de experiencias.
Fuente: Departamento de diseño y experiencia de usuario, “Persona, Escenario y… ¡Acción!”, 9 de septiembre de 2013. http://www.ideup.com/blog/persona-escenario-y-accion
Pero en realidad es una tecnología más compleja. Combina análisis de grandes volúmenes de textos (opiniones y reacciones de usuarios, publicaciones en redes sociales, respuestas a encuestas), etiquetación (tagging) y extracción de características que comunican sentimiento; el establecimiento mediante algoritmos de patrones y relaciones entre las características extraídas y las etiquetas de sentimiento asignadas, que permite clasificar textos nuevos jamás vistos antes; el entrenamiento del modelo o aprendizaje automático (machine learning), técnicas de IA, análisis de audio y musicología humana. Así se obtiene información sobre la opinión pública, el sentimiento de consumidores y usuarios o la percepción de la marca (sea comercial o política).
Esta tecnología se ha utilizado para influir en los resultados electorales a través de microtargeting y perfiles de votantes; la generación y distribución de grandes volúmenes de contenido, incluyendo artículos de noticias, publicaciones en redes sociales y comentarios, a menudo para difundir información errónea a los usuarios perfilados; también manipula redes sociales mediante la creación de bots automatizados y cuentas falsas para amplificar ciertas narrativas o participar en astroturfing (la apariencia de apoyo de base); y producir deepfake videos y audios. Abundan los reportajes sobre el uso de la IA en diseminación de información falsa en las elecciones de Trump, Bolsonaro y Macron y ya se han dado ejemplos de esa interferencia en los procesos electorales de cara a 2024 (Gracia del Río, 2023). No hace falta tampoco dar muchos ejemplos de los videos deepfake, cada vez menos detectables como tales, en que una persona influyente sale dando una opinión política o racista. Un deepfake del actor estadounidense Morgan Freeman apareció criticando al presidente Biden (a quien apoya), si bien se nota que no es real. Pero ya circulaba otro deepfake de Freeman titulado “This is Not Morgan Freeman – A Deepfake Singularity,” indistinguible del verdadero Freeman. El propósito de este deepfake es mostrar la capacidad de engañar a los que lo ven.
La inteligencia artificial generativa
La IA generativa puede generar música, inclusive bandas sonoras para películas. OpenAI ha creado el programa MuseNet, una red neuronal avanzada “capaz de generar composiciones musicales de cuatro minutos con diez instrumentos diferentes y de combinar estilos que van del country a Mozart, pasando por los Beatles. MuseNet no se programó explícitamente con nuestra comprensión de la música, sino que descubrió patrones de armonía, ritmo y estilo aprendiendo a predecir el siguiente token en cientos de miles de archivos MIDI”. Además de generar música en el estilo de un compositor o grupo musical, también se pueden mezclar estilos (MuseNet da el ejemplo de Bon Jovi y el Nocturno Op. 27 N° 2 de Chopin) para producir resultados sorprendentes y estéticamente interesantes o desagradables. En el contexto latinoamericano destaca Futurx, una suerte de think tank enfocada en la experimentación y la práctica (Madoery, 2023). Futurx se describe como “la primera comunidad latinoamericana de aprendizaje e intercambio sobre música y tecnología basada en la Web3”. Los gestores de la plataforma pasaron de la producción de música a la mentoría de músicos, sobre todo en relación a la tecnología, y a la experimentación. Además de sus trabajos con NFT y criptomonedas, el experimento más reciente es la creación de una cantora latinoamericana, para la cual se entrena con “SO Vits, una IA generativa de clonación de voz, con audios de diez mujeres clave de la música latinoamericana”. El objetivo principal no es el lucro, si bien se busca asistir a los músicos en su uso de la IA para adaptarse al futuro de la industria, sino entender “las posibilidades creativas y alcance de estas herramientas y reflexionar sobre las implicancias éticas de este tipo de proyectos” (Futurx, 2023).
Más allá de los textos y la música, también se ha logrado crear nuevas obras de arte visual generadas por IA en el estilo de pintores consagrados en la historia del arte, como el caso de “The Next Rembrandt”. Y también se han creado obras de arte visual generadas por IA en un estilo no atribuible a otros artistas y que ya han logrado venderse por centenares de miles de dólares, como el retrato “Edmond de Belamy, de la familia de Belamy”, “creado” por el colectivo francés Obvious con algoritmos GAN (Redes Generativas Adversariales), que se vendió en 2018 por US$ 432.500 en la casa de subastas Christie’s (Cohn, 2018). Interesa mucho tener en cuenta que el retrato se vendió en la misma subasta por casi 250% más que la suma que se pagó por dos obras de Warhol y Liechtenstein, lo que implica consideraciones de valor ya no solo monetario sino de criterio estético, y acaso que se ponga en tela de juicio el criterio mismo de lo estético respecto al arte visual. En el campo del cine, IA ha generado guiones escritos por una red neuronal llamada corta-memoria a largo plazo, o LSTM por sus siglas en inglés, y que se autodenominó Benjamin. Con sus guiones se han hecho películas como Sunspring, It’s No Game y Zone Out, esta última también dirigida con actores deepfake y con banda sonora también compuesta por Benjamin. Hasta la fecha, el ejemplo más impresionante es The Frost (2023). Realizado por la empresa Waymark, el guion de la película, de doce minutos de duración, fue escrito por el productor ejecutivo de la empresa, Josh Rubin, e introducido en el modelo de creación de imágenes DALL-E 2 de OpenAI para generar cada uno de los planos. Luego utilizaron D-ID, una herramienta de IA que puede añadir movimiento a imágenes fijas, para animar estas tomas, haciendo que los ojos parpadearan y los labios se movieran (Heaven, 2023).
En respuesta a las preocupaciones sobre los posibles peligros de estas nuevas tecnologías, los portavoces de Waymark afirman que aumentan la creatividad de los profesionales, democratizan el campo para las pequeñas empresas y aumentan la agencia de los no profesionales (Persky-Stern, 2023). Pero no todos los profesionales creativos son tan optimistas o ingenuos. Hay gran preocupación en la actualidad de que los deepfakes o simulaciones creadas por la IA generativa puedan eliminar el empleo de guionistas, actores y músicos. En EE.UU., el gremio de 11.000 escritores, Writers Guild of America, se declaró en huelga en 2 de mayo de 2023 y el siguiente 13 de julio se les unió el sindicato The Screen Actors Guild – American Federation of Television and Radio Artists, que agrupa a 160.000 actores, paralizando la industria audiovisual estadounidense (Horton, 2023). Por una parte, los guionistas ya no reciben titulares y se les paga a destajo. La gran mayoría de actores también son pagados una sola vez sin obtener pagos residuales por futuras emisiones por streaming (Stevens, 2023). Además, ya se han dado casos en que sus rasgos físicos y vocales se han usado para sintetizar nuevas comunicaciones y videos. De ahí que ambos grupos también quieran que se pongan límites robustos al uso de la inteligencia artificial para preservar el empleo (Rivera, 2023). Es decir, se pide que se concretice otro aspecto del circuito de cultura que abordamos más arriba: la regulación.
La IA generativa ha creado nuevas posibilidades que ni se imaginaban hace un par de años. Consiste en generar nuevos contenidos, como imágenes, texto, música o videos, que parecen creados por seres humanos a partir del entrenamiento de modelos de aprendizaje profundo automático (Machine Learning y Large Language Models LLM) que reconocen patrones y estructuras a partir de grandes conjuntos de datos, que crecen rápidamente cada año debido a la mayor capacidad tecnológica. Por contraste a previos modelos de IA que solían basarse en el aprendizaje supervisado con datos etiquetados, los modelos de IA generativa “aprenden” a partir de datos no etiquetados, extrayendo información y patrones sin orientación explícita. Esto permite a los modelos “aprender” a reconocer representaciones de los datos y generar nuevos resultados. Los creadores de IA generativa buscan crear contenidos que no solo sean novedosos, sino que también se ajusten a las características y distribuciones inherentes observadas en los datos de entrenamiento. Para ello, es necesario que los modelos capten los matices, las variaciones y las dependencias presentes en los datos para producir resultados significativos y coherentes. Desde luego, la desigualdad mundial se ve reflejada en la cantidad de datos generados y almacenados en distintos países y regiones dentro de ellos.
La IA está impulsando un aumento de la producción, cómo se lleva a cabo y su adecuación al mundo. Sigue en pie la idea del circuito de cultura en que se articulan los diversos momentos: contexto vital, producción, formas, consumo, pero cada vez más incorporados a la IA. La IA generativa no opera solo a partir de contenidos generados por consumidores, como en los softwares de recomendación, sino por todos los datos que se encuentran en internet. Se estima que para fines de 2023 habrá 17 mil millones de dispositivos conectados a la Internet de las Cosas (IoT) (Sinha, 2023). La IoT es una red de dispositivos físicos, vehículos, electrodomésticos y otros objetos dotados de sensores, software y capacidades de conectividad que les permiten recopilar e intercambiar datos a través de internet. Estos dispositivos “inteligentes” pueden comunicarse entre sí, realizar tareas automatizadas y proporcionar información valiosa a través de los datos que recopilan. Todos los aspectos de la vida que tienen registro en datos pueden ser usados para entrenar el aprendizaje automático. Si bien la IoT predomina en el Norte Global y en las metrópolis del mundo, cada vez más infraestructura como alumbrado o cajeros en tiendas de comestibles están conectados, aun en pequeños pueblos periféricos. Esto significa que la generación de datos es exponencial, por lo que la potencia y la velocidad de computación han tenido que seguir el ritmo de los datos para proporcionar los deseados conocimientos.
Podemos apreciar, pues, que empresas que se iniciaron en una industria cultural como videojuegos, o en las redes sociales como Facebook, inviertan en las tecnologías necesarias para lograr esos conocimientos. NVidia, por ejemplo, empezó hace treinta años especializándose en el desarrollo y la producción de unidades de procesamiento gráfico (GPU) avanzadas esenciales para generar imágenes, gráficos y videos en computadoras, consolas de videojuegos, centros de datos y otros dispositivos. Jensen Huang, su director ejecutivo, explica que a medida que tuvieran éxito en los videojuegos pudieron invertir en desarrollar su tecnología, sobre todo para la computación acelerada. Y a partir de esa base se fueron diversificando para proporcionar soluciones de computación en tiempo real a una diversidad de industrias, desde simulaciones de dinámica molecular hasta investigación de la ciencia climática, la ciencia de los materiales, la computación cuántica, la robótica, coches autoconducidos y ChatGPT, entre otras. La empresa fue pionera en la generación automática de software. “En lugar de que los humanos tecleen un programa de software, los datos crean el software. Esa forma de utilizar la experiencia o los datos para que un software sea capaz de hacer predicciones futuras fue muy profunda” (Huang, 2023). Esa es la tecnología que NVidia proporcionó a OpenAi, la empresa matriz de ChatGPT. Ahora, dice Huang, “cualquiera es programador”, aseveración que actualiza en versión informática la idea de finales del siglo XX de que los consumidores y usuarios también son productores. Es decir, los usuarios dan instrucciones en lenguaje natural sin tener que programar.
Además del impacto de la IA en lo que podemos considerar fenómenos culturales (textos, imágenes, videos, música, diseño, etc.) y en el comportamiento de los lectores, espectadores y oyentes, también ha revolucionado otras áreas, como la medicina, con una mayor precisión que la de humanos en el diagnóstico de enfermedades, la interpretación de imágenes, la cirugía asistida por IA y la robótica asistencial para personas con discapacidad; la automatización industrial; los vehículos autoconducidos; el análisis financiero; el comercio electrónico; la optimización energética; el aprendizaje adaptativo y el procesamiento del lenguaje natural en la educación; la ciberseguridad, etc. Al mismo tiempo, la IA se ha convertido en motivo de preocupación, como demuestra la carta abierta publicada por el Future of Life Institute y firmada por más de mil líderes de tecnología, investigadores y otras personas preocupadas por los problemas éticos que plantea. En ella se alega que los desarrolladores de IA están “empeñados en una carrera fuera de control para desarrollar y desplegar mentes digitales cada vez más poderosas que nadie —ni siquiera sus creadores— puede entender, predecir o controlar de forma fiable” (Metz y Schmidt, 2023). Los signatarios piden una moratoria en el desarrollo y la formulación de medidas reguladoras para evitar resultados desastrosos. Algunos han puesto a la IA en la misma categoría que las pandemias y hasta hay quienes afirman que es peor que una guerra nuclear, como se declara en otra carta firmada por más de 350 ejecutivos, investigadores e ingenieros que trabajan en IA, publicada por el Centro para la Seguridad de la IA (Roose, 2023). No obstante, una investigación de la revista Wired comprobó que aun los más asiduos partidarios de una moratoria del desarrollo de la IA han seguido explorando su potencial. Está claro que nadie quiere quedarse atrás (Knight, 2023).
Volvemos a un debate semejante al que denostaba y alababa el consumo de industrias culturales en el siglo XX, con que iniciamos este ensayo, solo que ahora no solo se pone en tela de juicio la ideología que presumiblemente subyace lo que se consume, para bien o mal, sino que se teme que se extinga la humanidad. Sigue vigente el estudio de 2017 del Pew Research Center sobre IA, con una encuesta a expertos en tecnología, académicos, profesionales de empresas y dirigentes gubernamentales, de los que respondieron 1302 (Rainie y Anderson, 2017).
Retomemos las preocupaciones y desafíos, sobre todos los que puedan agudizar aún más las desventajas de los desfavorecidos, debido a los sesgos en la metodología y recolección de datos, el desplazamiento de la capacidad de decisión o agencia, la exclusión, la posible pérdida de ciertos saberes y conocimientos, etc.. Ya constatamos la preocupación por las culturas populares en el trabajo de Martín-Barbero y la inquietud de García Canclini por no relegarlas a la premodernidad, ya que demuestran, en sus investigaciones antropológicas y comunicacionales, competencia en la negociación de los aspectos tecnológicos, comerciales y transnacionales de vivir en el mundo actual. Los debates sobre las culturas populares en lo que podría llamarse “estudios culturales latinoamericanos”, etiqueta incómoda para estos estudiosos puesto que sus trabajos no derivan de los estudios culturales angloamericanos, se retoman bajo otros marcos analíticos en los estudios subalternos, descoloniales, indígenas, afrodescendientes, feministas, LGBTQIA+, de discapacidad, y otros. Lo que está en juego es cómo se ejerce la agencia en un mundo que cambia constantemente, generando desafíos a esa agencia. Para los grupos indígenas y afrodescendientes latinoamericanos, hay prácticas asociadas a la IA y otras tecnologías que erosionan esa agencia, desplazándolos de sus territorios, por ejemplo, en busca de minerales que den viabilidad a los dispositivos en que opera la IA, o que las empresas farmacéuticas y de bioingeniería se apropien de sus saberes medicinales.
Inteligencia como pensamiento de patrones o red de humanos y no humanos
Los pueblos indígenas no pueden permitirse el lujo de desvincularse, como quisieran algunos estudiosos descoloniales, precisamente porque la AI está vinculando a los pueblos de formas que no siempre son visibles y que es necesario entender, abordar y modificar. No hay duda de que los pueblos indígenas, afrodescendientes, asiáticos, islámicos y otros han sufrido violencia epistémica, además de genocidio y graves ofensas sociales debido a la occidentalización del mundo. Deshacer esos agravios es necesario, pero, como sostengo aquí, desvincularse (Mignolo, 2013), sobre todo de ciertas innovaciones y movimientos sociales de Occidente que buscan restaurar el bienestar del planeta, puede ahondar las desventajas. La IA es una de esas innovaciones. En Autonomía y diseño, Arturo Escobar (2016) aboga por una transición que se aleje del universalismo occidental, más que por una desvinculación de las prácticas occidentales potencialmente alineables con los intereses de los pueblos del Sur Global. Más que un proyecto epistemocéntrico, como el de los descoloniales, Escobar propone “diseños para el pluriverso” que se conviertan en herramientas para reimaginar y reconstruir mundos locales. Aboga por transiciones hacia un pluriverso (pp. 157-187) que se basen tanto en “nociones y movimientos emergentes en el Norte Global, como el decrecimiento, la comunalidad, la convivialidad y una variedad de iniciativas pragmáticas de transición”, como en los debates y luchas en el Sur Global, “en torno al Buen Vivir, los derechos de la naturaleza, las lógicas comunales y las transiciones civilizatorias”. La autonomía no significa la independencia respecto a los demás como la del clásico yo-mismo occidental, sino el ser-en-relacionalidad: “La autonomía es una teoría y práctica de la inter-existencia y el inter-ser, un diseño para el pluriverso” (p. 201). Veremos más abajo la compatibilidad de la visión de Escobar con la IA indígena.
Urge que los pueblos indígenas y otros subordinados tengan protagonismo en el desarrollo de la IA. Y más aún, ahora que los técnicos, desarrolladores y autoridades gubernamentales reclaman una regulación y unas normas éticas para IA, los sistemas de conocimiento y las ontologías indígenas deben formar parte de la conversación para que las epistemologías racionalistas occidentales, a partir de las cuales se está desarrollando la IA, no reproduzcan en última instancia la subordinación que los pueblos indígenas y otros pueblos marginados han sufrido durante siglos. Del mismo modo que los lenguajes informáticos tienen protocolos que se refieren a conjuntos de reglas y convenciones que rigen el intercambio de información y la comunicación entre diferentes sistemas, componentes o entidades, los pueblos indígenas también tienen protocolos que pueden ser valiosos para producir IA que sea útil para estos pueblos y para el mundo en general.
De ahí la importancia de las investigaciones presentadas en Indigenous Protocol and Artificial Intelligence (Protocolo Indígena e Inteligencia Artificial). Centrado en las investigaciones de los pueblos originarios de Hawái, pero con la participación de investigadores de otras partes del mundo, el proyecto afirma que su objetivo es “articular una multiplicidad de sistemas de conocimiento y prácticas tecnológicas indígenas que pueden y deben tenerse en cuenta en la ‘cuestión de la IA’” (pp. 4-5). El proyecto se inspira en parte de lo que los estudiosos de los pueblos aborígenes en Australia llaman “pensamiento de patrones”, que a su vez puede desplazar el compartimentalismo existencial de la tecnociencia occidental a otro reino de interrelación e interconexión, que es lo que parecen requerir la Internet de las Cosas (IoT) y una IA amplia y útil. La antropóloga Vicki Grieves (2009) explica que, para los pueblos aborígenes de Australia, las líneas de canto (songlines) “se entrecruzan y cruzan a intervalos, [son] una red de rutas para el comercio, la iniciación, la caza estacional, el parto y la muerte”, “cada una de las líneas representa la ley o el conocimiento que prescribe estas conexiones y proporciona el plan para garantizar que sigan” (p. 200). “En el pensamiento de patrones, la roca tiene valor, significado y lugar, al igual que el ser humano y los mundos animal, vegetal, cosmológico y metafísico combinados. Todas las cosas crean la complejidad de la red del Pensamiento Patrón en una relación matizada de ser+saber entrelazados” (Abdilla y Fitch, 2017).
Este pensamiento de protocolos me hace pensar en el perspectivismo que Eduardo Viveiros de Castro discierne en la concepción amerindia en que “el modo en que los humanos ven a los animales y otras subjetividades que pueblan el universo —dioses, espíritus, muertos, habitantes de otros niveles cósmicos, plantas niveles cósmicos, plantas, fenómenos meteorológicos, accidentes geográficos, objetos y artefactos— es profundamente diferente de la forma en que estos seres ven a los humanos y a sí mismos” (2002, p. 350). Esta visión es congruente con la Teoría de Actor Red (ANT) en que se relacionan objetos, sujetos, conceptos, humanos, máquinas, naturaleza e ideas. Como escribe Haraldseid (2019, p. 259), “la ANT proporciona lentes analíticas para entender las relaciones entre los diferentes actores locales y no locales relacionados con la emergencia de la creatividad social”.
Y desde una “política-más-que-humana” (la política entendida como el arte de la toma de decisiones, es decir, una forma de inteligencia) entre esos actores habría que incluirse la inteligencia artificial (IA) (Bridle, 2022). Pero no se trata de la inteligencia que solo compone sinfonías, pinta cuadros, diseña realidades virtuales o escribe libros, y menos aún la que ha sido optimizada para extraer los recursos necesarios para mantener nuestro actual ritmo de crecimiento, contribuyendo a la destrucción del planeta y los seres que lo habitan. No se trata de una IA modelada en la inteligencia humana, y menos en la empresarial.
Más allá del estrecho marco que proponen tanto las empresas tecnológicas como la doctrina de la singularidad humana (la idea de que, entre todos los seres, la inteligencia humana es singular y preeminente) existe todo un ámbito de otras formas de pensar y hacer inteligencia. La tarea de este libro es hacer algo de esa reimaginación: mirar más allá del horizonte de nuestros propios seres y nuestras propias creaciones para vislumbrar otro tipo, o muchos tipos diferentes, de inteligencia, que han estado aquí, justo delante de nosotros, todo el tiempo, y en muchos casos nos han precedido. Al hacerlo, podríamos cambiar nuestra forma de pensar sobre el mundo, y así trazar un camino hacia un futuro menos extractivo, destructivo y desigual, y más justo, amable y regenerador. (p. 10)
Apoyándose en varias investigaciones en evolución, biología, zoología, botánica, astrofísica, cibernética y otras disciplinas y en sus propios experimentos, Bridle llega a la conclusión de que la inteligencia, y por ende las creaciones de la inteligencia, no se dan dentro de individuos sino entre una diversidad de seres (p. 31). Si entendemos la inteligencia no a partir de la especificidad humana sino de las interrelaciones entre todo tipo de inteligencias —de animales, plantas, minerales, etc.—, “entonces la inteligencia artificial proporciona una forma muy real de llegar a un acuerdo con todas las demás inteligencias que pueblan y se manifiestan en el planeta” (p. 57). Desde luego, para que esto se dé la inteligencia artificial debe formar parte de un contexto ecológico diferente al que se orienta a una productividad destructiva, como la que alienta el capitalismo, y en su lugar, debe formar parte de una ecología de compartición entre los muchos mundos diferentes de este planeta y del universo (p. 67).
¿Sería la ecología más que humana de Bridle una vuelta a la concepción romántica de la naturaleza como fuerza creativa, en respuesta opuesta a las nuevas tecnologías de finales del siglo XVIII y principios del XIX? Hasta cierto punto, sí, pero en esta ecología del siglo XXI, “lo tecnológico es continuo con lo ambiental” (p. 173). Y la manera en que Bridle elabora esta premisa muestra un tipo de relacionalidad diferente a la romántica, según la cual la imaginación, al menos en los escritos de Coleridge, es una facultad creativa humana con capacidad de dar forma y unificar. Para Bridle, por contraste, la inteligencia artificial relacional (por contraste con la empresarial) “se basa en el desconocimiento y requiere una especie de confianza, incluso de solidaridad, predisponiéndonos a la creación de condiciones más de acuerdo [entre nuestra y otras inteligencias] de manera que se inclinen a ayudarnos”. Por lo tanto, el desconocimiento no es una forma de impotencia, sino que “hace posible la creación no solo de mejores relaciones, sino de mejores mundos” (p. 213).
Hay que insistir en que la inteligencia artificial será parte de la vida de casi todos los seres humanos, y por cierto ya lo es, pues en 2023 más de 6,7 mil millones o casi 86% de la población mundial tiene smartphones que operan con IA y que probablemente en un futuro muy próximo vendrán equipados con ChatGPT u otra IA generativa, inclusive adaptada para los usuarios. En este momento los buscadores de internet ya están potenciados por IA generativa. Muchos de los lectores de este ensayo son docentes y ya habrán constatado que sus alumnos usan la tecnología para hacer sus tareas. De ahí que se requiera no solo la regulación exigida a que se hizo referencia más arriba sino la experimentación colaborativa, de manera que nadie quede excluido, para orientar sus usos.
Bibliografía
Abdilla, A. y Fitch, R. (2017). FCJ-209 Indigenous Knowledge Systems and Pattern Thinking: An Expanded Analysis of the First Indigenous Robotics Prototype Workshop. The Fibreculture Journal, 28. Disponible en: https://fibreculturejournal.org/fcj-209-indigenous-knowledge-systems-and-pattern-thinking-an-expanded-analysis-of-the-first-indigenous-robotics-prototype-workshop-3/
Anguiano, D. (2023). Hollywood writers agree to end five-month strike after new studio deal. The Guardian. Disponible en: https://www.theguardian.com/culture/2023/sep/26/hollywood-writers-strike-ends-studio-deal
Bell, D. (1977). Las contradicciones culturales del capitalismo. Madrid: Alianza Editorial.
Bourdieu, P. (1997) Sobre la televisión. Barcelona: Anagrama.
Bridle, J. (2022). Ways of Being: Beyond Human Intelligence. Nueva York: Farrar, Straus and Giroux.
Cohn, G. (2018). AI Art at Christie’s Sells for $432,500. The New York Times. Disponible en: https://www.nytimes.com/2018/10/25/arts/design/ai-art-sold-christies.html
Coleridge, S. T. (1954). Biographia Literaria… with the Aesthetical Essays. Londres y Nueva York: Oxford University Press.
Douglas, M. e Isherwood, B. (1979). The World of Goods. Nueva York: Basic Books.
Du Gay, P., Hall, S., Janes, L., Mackay, H. y Negus, K. (1997). Doing Cultural Studies: The Story of the Sony Walkman. Londres: Sage Publications.
Escobar, A. (2016). Autonomía y diseño: La realización de lo comunal. Popayán: Universidad del Cauca.
Fernández, M. (2023). Huelga de actores traerá pérdidas millonarias para Hollywood. Cultura colectiva. Disponible en: https://news.culturacolectiva.com/mundo/actores-huelga-hollywood/
Futurx. (2023). Sobre la creación de una cantora latinoamericana. Disponible en: https://futurx.mirror.xyz/qwvZkEyGnBoQZSqU8mpcKfY7fyHo0-hl8_p9VBkq-Q0
García Canclini, N. (1982). Las culturas populares en el capitalismo. México: Nueva Imagen.
García Canclini, N. (1995). Consumidores y ciudadanos: Conflictos multiculturales en la globalización. México: Grijalbo.
García Canclini, N. (2019). Ciudadanos reemplazados por algoritmos. Guadalajara: Centro Maria Sibylla Merian de Estudios Latinoamericanos Avanzados en Humanidades y Ciencias Sociales.
Gracia del Río, J. (18 de enero de 2023). Los algoritmos que elegirán al próximo presidente del gobierno. El País. Disponible en: https://elpais.com/tecnologia/2023-01-19/los-algoritmos-que-elegiran-al-proximo-presidente-del-gobierno.html
Hall, S. (1973). Encoding and Decoding in the Television Discourse. Birmingham: Centre for Contemporary Cultural Studies. En S. Hall, D. Hobson, A. Lowe y P. Willis (Eds.), Culture, Media, Language: Working Papers in Cultural Studies.
Hall, S. (1997). Representations: Cultural Representations and Signifying Practices. Londres: Sage/Open University.
Haraldseid, T. (2019). Exploring social creativity in place-making: A case study from a coastal town in Northern Norway. Norsk Geografisk Tidsskrift–Norwegian Journal of Geography, 73(5), 257-272.
Heaven, W. D. (2023). Welcome to the new surreal. How AI-generated video is changing film. MIT Technology Review. Disponible en: https://www.technologyreview.com/2023/06/01/1073858/surreal-ai-generative-video-changing-film/
Horkheimer, M. y Adorno, T. (1971). Dialéctica del iluminismo. Buenos Aires: Sur.
Horton, A. (15 de julio de 2023). Hollywood grinds to a halt on first full day of joint actors and writers strikes. The Guardian. Disponible en: https://www.theguardian.com/culture/2023/jul/15/actors-writer-strike-stop-hollywood-what-movies-tv
Huang, J. (19 de marzo de 2023). Nvidia CEO Jensen Huang On How His Big Bet On A.I. Is Finally Paying Off – Full Interview. CNBC. Disponible en: https://www.youtube.com/watch?v=_-wjA4XlBl4
Jenkins, H. (1992). Textual Poachers: Television Fans & Participatory Culture. Studies in culture and communication. Nueva York: Routledge.
Jenkins, H., Ito, M. y Boyd, D. (2015). Participatory Culture in a Networked Era: A Conversation on Youth, Learning, Commerce, and Politics. Cambridge: Polity Press.
Johnson, R. (1986-1987). What Is Cultural Studies Anyway? Social Text, 16, 38-80.
Kenway, A. (18 de mayo de 2023). How the VIRAL AI Drake Song ‘Heart On My Sleeve’ was Made. Disponible en: https://www.youtube.com/watch?v=pkbQV71ZvK4
Knight, W. (28 de septiembre de 2023). Six Months Ago Elon Musk Called for a Pause on AI. Instead Development Sped Up. Wired. Disponible en: https://www.wired.com/story/fast-forward-elon-musk-letter-pause-ai-development/
Lasch, C. (1978). The culture of narcissism: American life in an age of diminishing expectations. Nueva York: Norton.
Lasswell, H. (1927). Propaganda Technique in the World War. Nueva York: P. Smith.
Law, M. (24 de mayo de 2023). Top 10 no-code tools revolutionising the world of AI. AI Magazine. Disponible en: https://aimagazine.com/top10/top-10-no-code-ai-tools
Lessig, L. (2001). The Future of Ideas: The Fate of the Commons in a Connected World. Nueva York: Random House.
Lewis, J. E. (Ed.) (2020). Indigenous Protocol and Artificial Intelligence Position Paper. Honolulu, Hawái: The Initiative for Indigenous Futures and the Canadian Institute for Advanced Research (CIFAR). Disponible en: https://www.indigenous-ai.net/position-paper
Madoery, N. (19 de septiembre de 2023). Entrevista, por George Yúdice.
Martín-Barbero, J. (1987). De los medios a las mediaciones. Comunicación, cultura y hegemonía. México: Gustavo Gili.
Mattelart, A. y Dorfman, A. (1971). Para leer al Pato Donald. Valparaíso: Ediciones Universitarias de Valparaíso.
Metz, C. y Schmidt, G. (29 de marzo de 2023). Elon Musk and Others Call for Pause on A.I., Citing ‘Profound Risks to Society’. The New York Times. Disponible en: https://www.nytimes.com/2023/03/29/technology/ai-artificial-intelligence-musk-risks.html
Mignolo, W. (2013). Re-emerger: el retorno del lejano este y del sur global. Una entrevista con Walter Mignolo, por Norma Giarraca. Causa Sur, 1-12. Disponible en: https://www.academia.edu/27400284/EL_RETORNO_DEL_SUR_Y_DEL_ESTE_LEJANO_EN_EL_OCASO_DEL_NORTE_Y_DEL_OESTE_CAUSA_SUR_Buenos_Aires_Argentina_Febrero_2013
Miller, T. y Yúdice, G. (2004) Política cultural. Barcelona: Gedisa.
Pérez Colomé, J. (11 de abril de 2023). Los actores de voz se unen al ver peligrar su trabajo por la inteligencia artificial: ‘Hay que regularlo’. El País. Disponible en: https://elpais.com/tecnologia/2023-04-11/los-dobladores-se-unen-al-ver-peligrar-su-trabajo-por-la-inteligencia-artificial-hay-que-regularlo.html
Persky-Stern, A. (24 de marzo de 2023). Humans at the Helm – What Gen AI Means for Creative Professionals. Waymark. Disponible en: https://waymark.com/post/humans-at-the-helm-what-gen-ai-means-for-creative-professionals
Postman, N. (1985). Amusing Ourselves to Death: Public Discourse in the Age of Show Business. Nueva York: Penguin.
Rainie, L. y Anderson, J. (8 de febrero de 2017). Code-Dependent: Pros and Cons of the Algorithm Age. Pew Research Center. Disponible en: https://www.pewresearch.org/internet/2017/02/08/code-dependent-pros-and-cons-of-the-algorithm-age/
Rivera, L. (3 de julio de 2023). La inteligencia artificial se entrena con el trabajo robado a millones de artistas. Página 12. Disponible en: https://www.pagina12.com.ar/564467-la-inteligencia-artificial-se-entrena-con-el-trabajo-robado-
Roose, K. (30 de mayo de 2023). A.I. Poses ‘Risk of Extinction’ Industry Leaders Warn. The New York Times. Disponible en: https://www.nytimes.com/2023/05/30/technology/ai-threat-warning.html
Schmucler, H. (1975). La investigación sobre comunicación masiva. Comunicación y Cultura, 4.
Sinha, S. (24 de mayo de 2023). State of IoT 2023: Number of connected IoT devices growing 16% to 16.7 billion globally. IoT Analytics. Disponible en: https://iot-analytics.com/number-connected-iot-devices/
Stevens, M. (14 de julio de 2023). What to know about the Actors Strike. The New York Times.
Toffler, A. (1979). La tercera ola. Barcelona: ePubLibre.
Williams, R. [1977 (2009)]. Marxismo y literatura. Buenos Aires: La Cuarenta.
Viveiros de Castro, E. (2002). A inconstância da alma selvagem e outros ensaios de antropologia. São Paulo: Cosac & Naify.
WOMRAD (26 de septiembre de 2010). Workshop on Music Recommendation and Discovery. Barcelona. Disponible en: https://ceur-ws.org/Vol-633/wom2010_complete.pdf#page=61
Yúdice, G. (2002). El recurso de la cultura: Usos de la cultura en la era global. Barcelona: Gedisa.
Yúdice, G. (2008). El copyright: Instrumento de expropiación y resistencia. En A. López Cuenca y E. Ramírez Pedrajo (Eds.), Propiedad intelectual, nuevas tecnologías y libre acceso a la cultura. México: Centro Cultural de España en México. Disponible en: http://cceguatemala.org/wp-content/uploads/2018/11/propiedadint-ilovepdf-compressed-ilovepdf-compressed.pdf
Yúdice, G. (15 de mayo de 2014). Escenarios futuros de las industrias culturales. MICSUR (Mercado de Industrias Culturales de Sudamérica), Mar del Plata.
Yúdice, G. (2016). Os desafios do novo cenário midiático para as políticas públicas. Revista Observatório, 20, 87-112. Disponible en: https://issuu.com/itaucultural/docs/obs20_book_af-4__issuu_
Dejar un comentario
¿Quieres unirte a la conversación?Siéntete libre de contribuir!