¿Quién alucina más —o mejor o con mayor detalle—, la IA o la fisiología?

 

El hype sigue: otra típica crisis capitalista y vaticinios pro-todo y anti-todo. En esta oportunidad, Chat GPT3 toma la palabra (de Naomi Klein) para decirnos lo siguiente (en español):

Las máquinas de inteligencia artificial no están «alucinando». Pero sus creadores sí.* **

*Tomado de The Guardian 

** Traducción: Chat GPT3

Por Naomi Klein

Los CEOs de la tecnología quieren que creamos que la IA generativa beneficiará a la humanidad. Se están engañando a sí mismos.

Dentro de los muchos debates que rodean el rápido despliegue de la llamada inteligencia artificial, hay una escaramuza relativamente oscura centrada en la elección de la palabra «alucinar».

Este es el término que los arquitectos y defensores de la IA generativa han adoptado para caracterizar las respuestas que ofrecen los chatbots que son completamente fabricados o simplemente incorrectos. Por ejemplo, cuando le pides a un bot la definición de algo que no existe y te da una, completa con notas al pie inventadas, de manera bastante convincente. «Nadie en el campo ha resuelto todavía los problemas de alucinación», dijo recientemente Sundar Pichai, CEO de Google y Alphabet, a un entrevistador.

Eso es cierto, pero ¿por qué llamar a los errores «alucinaciones» en absoluto? ¿Por qué no «basura algorítmica»? ¿O fallos? Bueno, la alucinación se refiere a la capacidad misteriosa del cerebro humano para percibir fenómenos que no están presentes, al menos no en términos convencionales materialistas. Al apropiarse de una palabra comúnmente utilizada en psicología, psicodélicos y diversas formas de misticismo, los defensores de la IA, aunque reconocen la falibilidad de sus máquinas, están alimentando simultáneamente la mitología más preciada del sector: que al construir estos modelos de lenguaje grandes y entrenarlos en todo lo que los humanos hemos escrito, dicho y representado visualmente, están en proceso de dar a luz una inteligencia animada a punto de provocar un salto evolutivo para nuestra especie. ¿Cómo sino podrían bots como Bing y Bard estar tripeando allí en el éter?

Efectivamente, hay alucinaciones distorsionadas en el mundo de la IA, pero no son los bots los que las tienen; son los CEOs de la tecnología que los desataron, junto con una falange de sus seguidores, que están bajo el dominio de alucinaciones salvajes, tanto individual como colectivamente. Aquí defino alucinación no en el sentido místico o psicodélico, estados alterados de la mente que pueden ayudar de hecho a acceder a verdades profundas e inéditas. No. Estas personas están simplemente trippeando: viendo, o al menos afirmando ver, evidencia que no está en absoluto allí, incluso conjurando mundos enteros que pondrán sus productos en uso para nuestra elevación y educación universales.

Nos dicen que la IA generativa acabará con la pobreza. Curará todas las enfermedades. Resolverá el cambio climático. Hará que nuestros trabajos sean más significativos y emocionantes. Liberará vidas de ocio y contemplación, ayudándonos a recuperar la humanidad que hemos perdido con la mecanización del capitalismo tardío. Acabará con la soledad.

Continuing with the translation:

Esto hará que nuestros gobiernos sean racionales y receptivos. Estas, temo, son las verdaderas alucinaciones sobre la IA, y todos las hemos estado escuchando en un bucle desde que Chat GPT se lanzó a finales del año pasado.

Existe un mundo en el que la IA generativa, como una poderosa herramienta de investigación predictiva y realizadora de tareas tediosas, podría ser utilizada en beneficio de la humanidad, otras especies y nuestro hogar compartido. Pero para que eso suceda, estas tecnologías tendrían que ser implementadas dentro de un orden económico y social muy diferente al nuestro, uno que tuviera como propósito satisfacer las necesidades humanas y proteger los sistemas planetarios que sostienen toda la vida.

Y como aquellos de nosotros que no estamos actualmente alucinando bien entendemos, nuestro sistema actual no se parece en nada a eso. Más bien, está construido para maximizar la extracción de riqueza y beneficio, tanto de los humanos como del mundo natural, una realidad que nos ha llevado a lo que podríamos considerar como la etapa tecno-necro del capitalismo. En esa realidad de poder y riqueza hiperconcentrados, la IA, lejos de cumplir con todas esas alucinaciones utópicas, es mucho más probable que se convierta en una temible herramienta de mayor desposesión y despojamiento.

Ahora me adentraré en por qué es así. Pero primero, es útil pensar en el propósito que están sirviendo las alucinaciones utópicas sobre la IA. ¿Qué trabajo están haciendo estas historias benevolentes en la cultura mientras encontramos estas nuevas y extrañas herramientas? Aquí hay una hipótesis: son las poderosas e incitantes historias de portada para lo que podría resultar ser el robo más grande y consecuente de la historia humana. Porque lo que estamos presenciando es que las compañías más ricas de la historia (Microsoft, Apple, Google, Meta, Amazon…) se apropian unilateralmente de la suma total del conocimiento humano que existe en forma digital y raspable, y lo encapsulan dentro de productos propietarios, muchos de los cuales apuntarán directamente a los humanos cuya vida de trabajo capacitó a las máquinas sin dar permiso o consentimiento.

Esto no debería ser legal. En el caso del material con derechos de autor que ahora sabemos que entrenó los modelos (incluyendo este periódico), se han presentado diversas demandas que argumentarán que esto fue claramente ilegal. ¿Por qué, por ejemplo, se debería permitir que una empresa con fines de lucro alimente las pinturas, dibujos y fotografías de artistas vivos en un programa como Stable Diffusion o Dall-E 2 para que luego se puedan usar para generar versiones doppelganger de las obras de esos mismos artistas, con los beneficios fluyendo para todos menos para los propios artistas?

La pintora e ilustradora Molly Crabapple está ayudando a liderar un movimiento de artistas que desafían este robo. «Los generadores de arte de IA están entrenados en enormes conjuntos de datos, que contienen millones y millones de imágenes con derechos de autor, recopiladas sin el conocimiento, ni la compensación ni el consentimiento de sus creadores. Esto es efectivamente el mayor robo de arte de la historia. Cometido por entidades corporativas respetables respaldadas por el capital de riesgo de Silicon Valley. Es un robo a plena luz del día», afirma una nueva carta abierta que ella co-redactó.

La trampa, por supuesto, es que Silicon Valley rutinariamente llama «disrupción» al robo, y con demasiada frecuencia se sale con la suya. Conocemos esta estrategia: avanzar hacia un territorio sin ley; afirmar que las viejas reglas no se aplican a su nueva tecnología; gritar que la regulación solo ayudará a China, todo mientras se afianzan firmemente en el terreno. Para cuando nos recuperamos de la novedad de estos nuevos juguetes y comenzamos a evaluar los daños sociales, políticos y económicos, la tecnología ya es tan ubicua que los tribunales y los responsables políticos levantan las manos.

Lo vimos con la digitalización de libros y obras de arte de Google. Con la colonización del espacio de Musk. Con el ataque de Uber a la industria del taxi. Con el ataque de Airbnb al mercado de alquileres. Con la promiscuidad de Facebook con nuestros datos. A los disruptores les gusta decir: no pidas permiso, pide perdón. (Y lubrica las solicitudes con generosas contribuciones de campaña).

En «La era del capitalismo de vigilancia», Shoshana Zuboff detalla meticulosamente cómo los mapas de Street View de Google aplastaron las normas de privacidad al enviar sus autos con cámaras a fotografiar nuestras carreteras públicas y los exteriores de nuestras casas. Cuando llegaron los juicios que defendían los derechos de privacidad, Street View ya era tan omnipresente en nuestros dispositivos (y tan genial y conveniente) que pocos tribunales fuera de Alemania estuvieron dispuestos a intervenir.

Ahora está sucediendo lo mismo que sucedió con los exteriores de nuestras casas con nuestras palabras, nuestras imágenes, nuestras canciones, toda nuestra vida digital. Todo está siendo confiscado y utilizado para entrenar a las máquinas para simular el pensamiento y la creatividad. Estas empresas deben saber que están cometiendo un robo, o al menos que se puede argumentar fuertemente que lo están haciendo. Solo esperan que el viejo libro de jugadas funcione una vez más, que la escala del robo ya sea tan grande y que se desarrolle con tanta rapidez que los tribunales y los responsables políticos vuelvan a levantar las manos ante la supuesta inevitabilidad de todo.

Es por eso que sus alucinaciones sobre todas las cosas maravillosas que la IA hará por la humanidad son tan importantes. Porque esas afirmaciones elevadas disfrazan este robo masivo como un regalo, al mismo tiempo que ayudan a racionalizar los indudables peligros de la IA.

A estas alturas, la mayoría de nosotros hemos oído hablar de la encuesta que preguntó a investigadores y desarrolladores de inteligencia artificial sobre la probabilidad de que los sistemas de IA avanzados causen «la extinción humana o un desempoderamiento humano permanente y severo de manera similar». De manera preocupante, la respuesta mediana fue que había un 10% de posibilidades.

¿Cómo se justifica ir a trabajar y crear herramientas que llevan riesgos existenciales tan grandes? A menudo, la razón dada es que estos sistemas también tienen enormes beneficios potenciales, excepto que estos beneficios son, en su mayor parte, ilusorios. Analicemos algunos de los más salvajes.

Ilusión #1: la IA resolverá la crisis climática

Casi invariablemente encabezando las listas de beneficios de la IA está la afirmación de que estos sistemas de alguna manera resolverán la crisis climática. Lo hemos escuchado de todos, desde el Foro Económico Mundial hasta el Consejo de Relaciones Exteriores y Boston Consulting Group, que explica que la IA «puede usarse para apoyar a todas las partes interesadas en tomar un enfoque más informado y basado en datos para combatir las emisiones de carbono y construir una sociedad más verde. También se puede utilizar para reequilibrar los esfuerzos climáticos globales hacia las regiones más en riesgo». El ex CEO de Google, Eric Schmidt, resumió el caso cuando dijo al Atlantic que los riesgos de la IA valían la pena porque «Si piensas en los mayores problemas del mundo, todos son realmente difíciles: el cambio climático, las organizaciones humanas, y así sucesivamente. Y así, siempre quiero que la gente sea más inteligente».

Según esta lógica, el fracaso en «resolver» grandes problemas como el cambio climático se debe a una falta de inteligencia. No importa que personas inteligentes, con numerosos doctorados y premios Nobel, hayan estado diciéndole a nuestros gobiernos durante décadas lo que se necesita para salir de este lío: reducir nuestras emisiones, dejar el carbono en el suelo, abordar el consumo excesivo de los ricos y el consumo insuficiente de los pobres porque ninguna fuente de energía es gratuita en términos ecológicos.

La razón por la cual este consejo muy inteligente ha sido ignorado no se debe a un problema de comprensión de lectura o porque necesitemos que las máquinas piensen por nosotros. Es porque hacer lo que la crisis climática nos exige nos dejaría con trillones de dólares de activos de combustibles fósiles varados, mientras que desafiaría el modelo de crecimiento basado en el consumo en el corazón de nuestras economías interconectadas. La crisis climática no es en realidad un misterio o un acertijo que aún no hemos resuelto debido a conjuntos de datos insuficientemente robustos. Sabemos lo que se necesita, pero no es una solución rápida, es un cambio de paradigma. Esperar a que las máquinas produzcan una respuesta más aceptable y/o rentable no es una cura para esta crisis, es un síntoma más de ella.

Continuando con la traducción: Al eliminar las alucinaciones, parece mucho más probable que la IA sea comercializada de maneras que profundicen activamente la crisis climática. En primer lugar, los servidores gigantes que hacen posible los ensayos y obras de arte instantáneos de los chatbots son una fuente enorme y creciente de emisiones de carbono. En segundo lugar, a medida que empresas como Coca-Cola comienzan a hacer grandes inversiones para usar la IA generativa y vender más productos, está quedando cada vez más claro que esta nueva tecnología se utilizará de la misma manera que la última generación de herramientas digitales: lo que comienza con promesas elevadas sobre la difusión de la libertad y la democracia termina con publicidad microdirigida para que compremos más cosas inútiles que emiten carbono.

Y hay un tercer factor, este un poco más difícil de definir. Cuanto más se inunden nuestros canales de medios con deep fakes y clones de varios tipos, más tendremos la sensación de hundirnos en arenas movedizas informativas. Geoffrey Hinton, a menudo llamado «el padrino de la IA» porque la red neuronal que desarrolló hace más de una década forma los bloques de construcción de los modelos de lenguaje grandes de hoy en día, entiende esto bien. Acaba de renunciar a un cargo importante en Google para poder hablar libremente sobre los riesgos de la tecnología que ayudó a crear, incluido, como dijo al New York Times, el riesgo de que las personas «ya no puedan saber qué es verdad».

Esto es muy relevante para la afirmación de que la IA ayudará a combatir la crisis climática. Porque cuando desconfiamos de todo lo que leemos y vemos en nuestro entorno mediático cada vez más extraño, nos volvemos aún menos capaces de resolver problemas colectivos apremiantes. La crisis de la confianza precede a ChatGPT, por supuesto, pero no hay duda de que la proliferación de deep fakes irá acompañada de un aumento exponencial de culturas conspirativas que ya están floreciendo. Entonces, ¿qué diferencia hará si la IA encuentra avances tecnológicos y científicos? Si el tejido de la realidad compartida se deshace en nuestras manos, nos encontraremos incapaces de responder con coherencia en absoluto.

Alucinación #2: La IA entregará una gobernanza sabia.

Continuando con la traducción: 

Esta alucinación evoca un futuro cercano en el que políticos y burócratas, aprovechando la vasta inteligencia agregada de los sistemas de IA, pueden «ver patrones de necesidad y desarrollar programas basados en evidencia» que tienen mayores beneficios para sus constituyentes. Esta afirmación proviene de un artículo publicado por la fundación del Boston Consulting Group, pero está siendo repetida dentro de muchos think tanks y consultoras de gestión. Y es significativo que estas empresas en particular, las firmas contratadas por gobiernos y otras corporaciones para identificar ahorros de costos, a menudo despidiendo a grandes cantidades de trabajadores, hayan sido las más rápidas en subirse al tren de la IA. PwC (anteriormente PricewaterhouseCoopers) acaba de anunciar una inversión de mil millones de dólares, y Bain & Company y Deloitte aparentemente están entusiasmados con usar estas herramientas para hacer que sus clientes sean más «eficientes».

Al igual que con las afirmaciones sobre el clima, es necesario preguntarse: ¿es la razón por la cual los políticos imponen políticas crueles e ineficaces que sufren de falta de evidencia? ¿Una incapacidad para «ver patrones», como sugiere el artículo de BCG? ¿No comprenden los costos humanos de la falta de atención a la salud pública en medio de pandemias, o de la falta de inversión en vivienda no mercado cuando los parques urbanos se llenan de tiendas de campaña, o de aprobar nueva infraestructura de combustibles fósiles mientras las temperaturas se disparan? ¿Necesitan la IA para hacerlos «más inteligentes», para usar el término de Schmidt, o son precisamente lo suficientemente inteligentes como para saber quién financiará su próxima campaña o, si se desvían, financiará a sus rivales?

Sería muy agradable si la IA realmente pudiera cortar el vínculo entre el dinero corporativo y la política imprudente, pero ese vínculo tiene todo que ver con por qué se ha permitido que empresas como Google y Microsoft lancen sus chatbots al público a pesar de la avalancha de advertencias y riesgos conocidos. Schmidt y otros han estado en una campaña de cabildeo durante años diciendo a ambos partidos en Washington que si no están libres de seguir adelante con la IA generativa, sin una regulación seria, entonces las potencias occidentales serán dejadas en el polvo por China. El año pasado, las principales empresas de tecnología gastaron un récord de $70 millones en cabildeo en Washington, más que el sector de petróleo y gas, y esa suma, señala Bloomberg News, está en la cima de los millones gastados «en su amplia gama de grupos comerciales, organizaciones sin fines de lucro y think tanks».

Sin embargo, a pesar de su conocimiento íntimo de cómo el dinero moldea la política en nuestras capitales nacionales, cuando se escucha a Sam Altman, el CEO de OpenAI, creador de ChatGPT, hablar sobre los escenarios ideales para sus productos, todo esto parece ser olvidado. En cambio, parece estar alucinando un mundo completamente diferente al nuestro, uno en el que los políticos y la industria toman decisiones basadas en los mejores datos y nunca ponen en riesgo innumerables vidas por ganancias y ventaja geopolítica. Lo que nos lleva a otra alucinación.

Alucinación #3: los gigantes tecnológicos pueden ser confiados para no romper el mundo

Cuando se le preguntó si está preocupado por la fiebre del oro que ChatGPT ya ha desatado, Altman dijo que lo está, pero añadió con optimismo: «Espero que todo salga bien». Sobre sus colegas CEOs de tecnología, los que compiten por sacar sus chatbots rivales, dijo: «Creo que los mejores ángeles prevalecerán».

¿Mejores ángeles? ¿En Google? Estoy bastante seguro de que la compañía despidió a la mayoría de ellos porque publicaban documentos críticos sobre IA, o acusando a la compañía de racismo y acoso sexual en el lugar de trabajo. Más «mejores ángeles» se han retirado alarmados, siendo el más reciente Hinton. Esto se debe a que, contrario a las alucinaciones de las personas que más se benefician de la IA, Google no toma decisiones basadas en lo que es mejor para el mundo, sino en lo que es mejor para los accionistas de Alphabet, quienes no quieren perderse la última burbuja, no cuando Microsoft, Meta y Apple ya están dentro.

Alucinación #4: la IA nos liberará de la tediosidad

Si las alucinaciones benevolentes del Valle del Silicio parecen plausibles para muchos, hay una razón simple para ello. La IA generativa se encuentra actualmente en lo que podríamos llamar su etapa de «falso socialismo». Esto es parte de un juego habitual en el Valle del Silicio. Primero, se crea un producto atractivo (un motor de búsqueda, una herramienta de mapeo, una red social, una plataforma de video, un servicio de transporte compartido…); se regala gratis o casi gratis durante unos años, sin un modelo de negocio viable discernible («Juega con los bots», nos dicen, «ve qué cosas divertidas puedes crear!»); se hacen muchas afirmaciones elevadas sobre cómo solo se está haciendo para crear una «plaza pública» o un «bien común de información» o «conectar a la gente», todo mientras se difunde la libertad y la democracia (y no ser «malvado»). Luego se observa cómo la gente se engancha usando estas herramientas gratuitas y cómo tus competidores declaran la bancarrota. Una vez que el campo está despejado, se introducen los anuncios dirigidos, la vigilancia constante, los contratos policiales y militares, las ventas de datos en cajas negras y las crecientes cuotas de suscripción.

No te preocupes, alucinan los entusiastas de la IA, todo será maravilloso. ¿A quién le gusta trabajar de todos modos? Se nos dice que la IA generativa no será el fin del empleo, solo del «trabajo aburrido», con chatbots que amablemente hacen todas las tareas repetitivas y desesperantes, y los humanos simplemente supervisándolos. Altman, por su parte, vislumbra un futuro donde el trabajo «puede ser un concepto más amplio, no algo que tienes que hacer para poder comer, sino algo que haces como una expresión creativa y una forma de encontrar realización y felicidad».

Esa es una visión emocionante de una vida más hermosa y tranquila, que muchos izquierdistas comparten (incluyendo al yerno de Karl Marx, Paul Lafargue, quien escribió un manifiesto titulado El derecho a la pereza). Pero los izquierdistas también sabemos que si ganar dinero ya no es el imperativo principal de la vida, entonces debe haber otras formas de satisfacer nuestras necesidades humanas básicas de vivienda y sustento. Un mundo sin trabajos malos significa que el alquiler debe ser gratuito, la atención médica debe ser gratuita y cada persona debe tener derechos económicos inalienables. Y entonces, de repente, ya no estamos hablando de IA en absoluto, sino de socialismo.

Porque no vivimos en el mundo racional y humanista inspirado en Star Trek en el que Altman parece estar alucinando. Vivimos bajo el capitalismo, y bajo ese sistema, los efectos de inundar el mercado con tecnologías que pueden realizar plausiblemente las tareas económicas de innumerables trabajadores no significa que esas personas sean de repente libres de convertirse en filósofos y artistas. Significa que esas personas se encontrarán mirando al abismo, y los verdaderos artistas serán los primeros en caer.

Ese es el mensaje de la carta abierta de Crabapple, que pide a «artistas, editores, periodistas, editores y líderes sindicales de la prensa que hagan un compromiso por los valores humanos en contra del uso de imágenes generadas por la IA» y «se comprometan a apoyar el arte editorial hecho por personas, no por granjas de servidores». La carta, firmada ahora por cientos de artistas, periodistas y otros, afirma que el trabajo de todos los artistas, excepto los más elitistas, está «en peligro de extinción». Y según Hinton, el «padrino de la IA», no hay razón para creer que la amenaza no se propagará. Los chatbots quitan «el trabajo de la rutina», pero «podrían quitar más que eso”.

Crabapple y sus coautores escriben: «El arte de la IA generativa es vampírico, se alimenta de generaciones pasadas de obras de arte incluso mientras succiona la sangre de los artistas vivos». Pero hay formas de resistir: podemos negarnos a usar estos productos y organizarnos para exigir que nuestros empleadores y gobiernos los rechacen también. Una carta de destacados académicos de ética en IA, incluyendo a Timnit Gebru, quien fue despedida por Google en 2020 por desafiar la discriminación en el lugar de trabajo, establece algunas de las herramientas regulatorias que los gobiernos pueden introducir de inmediato, incluyendo la plena transparencia sobre qué conjuntos de datos se están utilizando para entrenar los modelos. Los autores escriben: «No solo siempre debe quedar claro cuando estamos encontrando medios sintéticos, sino que las organizaciones que construyen estos sistemas también deberían estar obligadas a documentar y revelar los datos de entrenamiento y las arquitecturas del modelo…. Deberíamos construir máquinas que trabajen para nosotros, en lugar de ‘adaptar’ la sociedad para que sea legible y escribible por la máquina».

Aunque a las empresas tecnológicas les gustaría que creyéramos que ya es demasiado tarde para revertir este producto que reemplaza a los humanos y lo imita en masa, existen precedentes legales y regulatorios altamente relevantes que se pueden aplicar. Por ejemplo, la Comisión Federal de Comercio de EE. UU. obligó a Cambridge Analytica, así como a Everalbum, el propietario de una aplicación de fotos, a destruir algoritmos enteros que se descubrieron haber sido entrenados con datos apropiados ilegalmente y fotos robadas. En sus primeros días, la administración Biden hizo muchas afirmaciones audaces sobre la regulación de la gran tecnología, incluida la represión del robo de datos personales para construir algoritmos patentados. Con una elección presidencial que se acerca rápidamente, ahora sería un buen momento para cumplir esas promesas y evitar el próximo conjunto de despidos masivos antes de que sucedan.

Un mundo de falsificaciones profundas, bucles de imitación y desigualdad creciente no es una inevitabilidad. Es un conjunto de decisiones políticas. Podemos regular la forma actual de chatbots vampíricos hasta que desaparezcan y comenzar a construir el mundo en el que las promesas más emocionantes de la IA serían más que alucinaciones de Silicon Valley.

Porque entrenamos a las máquinas. Todos nosotros. Pero nunca dimos nuestro consentimiento. Se alimentaron de la ingeniosidad colectiva, la inspiración y las revelaciones de la humanidad (junto con nuestros rasgos más venales). Estos modelos son máquinas de apropiación y cercamiento, devorando y privatizando nuestras vidas individuales, así como nuestras herencias intelectuales y artísticas colectivas. Y su objetivo nunca fue resolver el cambio climático o hacer que nuestros gobiernos fueran más responsables o nuestras vidas diarias más ociosas. Siempre fue obtener ganancias a expensas de la inmisión masiva, que, bajo el capitalismo, es la consecuencia lógica y evidente de reemplazar las funciones humanas con bots.

¿Es todo esto demasiado dramático? ¿Una resistencia rígida y reflexiva a la innovación emocionante? ¿Por qué esperar lo peor? Altman nos tranquiliza: «Nadie quiere destruir el mundo». Quizás no. Pero como nos muestran las crisis del clima y la extinción cada día, muchas personas e instituciones poderosas parecen estar muy bien sabiendo que están ayudando a destruir la estabilidad de los sistemas de soporte vital del mundo, siempre y cuando puedan seguir obteniendo beneficios récord que creen que los protegerán a ellos y a sus familias de los peores efectos. Altman, como muchos habitantes del Valle del Silicio, es en sí mismo un preparador: en 2016, presumió: «Tengo armas, oro, yodo de potasio, antibióticos, baterías, agua, mascarillas antigás del Ejército de Defensa de Israel y una gran parcela de tierra en Big Sur a la que puedo volar».

Estoy bastante seguro de que esos hechos dicen mucho más sobre lo que Altman realmente cree sobre el futuro que está ayudando a desencadenar que cualquier alucinación floral que elija compartir en entrevistas de prensa.

Reemplaz0
Reemplaz0 on FacebookReemplaz0 on InstagramReemplaz0 on TwitterReemplaz0 on Youtube