Montajes de audio con Inteligencia Artificial en contextos políticos: ¿Realidad o marketing? 

En las últimas dos semanas, justo antes de las elecciones del 29 de octubre, cuatro políticos colombianos han denunciado públicamente que fueron víctimas de la falsificación de su voz.  

Carlos Fernando Galán, Alejandro Eder, John Carrero y William Dahu, han acusado a contendores políticos de crear estrategias sucias de comunicación política donde se usa una técnica nueva en Colombia que consiste, según ellos, en la creación de audios falsos de sus propias voces. 

Una situación en extremo peligrosa porque tener la capacidad técnica de falsificar la voz de un candidato a una alcaldía puede afectar gravemente un resultado electoral.

Con el agravante de que los expertos coinciden en que no existe aún una herramienta que permita identificar con precisión si un audio es falso o no.  

A esto se le suma la posibilidad de que las denuncias hechas por los políticos no tengan evidencias y solo se trate de una estrategia más de marketing político que usa la falta de verificación periodística para obtener publicaciones que los beneficien ad portas de las elecciones.

Se realizó una recopilación de todos los políticos que han denunciado supuestos audios falsos y se intentó crear la voz de Carlos Fernando Galán como parte de un ejercicio técnico que busca crear conocimiento que al final permita determinar si un audio es falso o no.

Un total de cinco políticos colombianos ha acudido a la idea de la falsificación de su voz. Estos son:

Gorky Muñoz, Alcalde de Neiva.  
Fecha de la denuncia: 11 de junio de 2023. 
Audio que supuestamente fue creado con Inteligencia Artificial: 


Contexto del audio: Es la conversación del alcalde con una mujer donde le pide que le muestre la cola.  
Evidencias de que circula en Redes sociales:  Se registran varias piezas digitales circulando pero después de la denuncia.  La mayoría en tono de burla.
Acción o respuesta ante Audio falso: Declaraciones del alcalde

William Dahu, Alcalde de Cartagena 
Fecha de la denuncia: 29 de septiembre de 2023. 
Audio que supuestamente fue creado con Inteligencia Artificial: No se conoce a pesar de que la noticia fue difundida ampliamente en medios tradicionales, RCN Radio, LA FM, Pulzo
Contexto del audio: No se conoce con precisión. El alcalde habla de un audio donde supuestamente se le involucra en política. Sin embargo, no es claro de qué habla. El alcalde dice que tomaron partes de discursos suyos y que se usó la IA. No muestra evidencia.
Evidencia de que circula en redes sociales: NO. Se hizo una búsqueda en Twitter y Facebook y no se encontró nada.   Es importante saber que de este alcalde existe un caso similar pero en el 2022. De 2023 no se encontró nada.
Acción o respuesta ante Audio falso: Extenso y confuso video divulgado por la Oficina de Prensa

Carlos Fernando Galán, candidato a la alcaldía de Bogotá 
Fecha de la denuncia: 21 de octubre de 2023. Hora 5:50
Audio que supuestamente fue creado con Inteligencia Artificial:

Solo se conoce una versión de este audio originalmente compartido por el periodista de Caracol Radio, Gustavo Gomez y luego replicado por otros periodistas y figuras públicas.
Contexto del audio:  Pieza digital en formato video que simula ser un pantallazo de Whastapp que muestra una frecuencia de audio.  Habla de un pago a encuestas y una supuesta reunión en Palacio. 
No se conoce evidencia del audio en bruto, sin la presencia de la marca de agua en Rojo que lo califica de Falso. No se conocen otros formatos que podrían ser utilizados para compartir el audio.
Evidencia de que circula en redes sociales:   
Se hizo una búsqueda en redes sociales tanto en Twitter como en productos Meta. Se usaron palabras clave como “Carlos Fernando Audio”, “Audio Galán” pero no se encontró ninguna evidencia del audio sin la marca de agua que lo califica de Falso y que compartió el periodista de Caracol Radio.  

Se le preguntó al candidato vía Twitter para que informara sobre dónde circulaba el supuesto audio y no respondió.  

Igualmente se hizo una búsqueda de imagen inversa usando Google Image para detectar posibles perfiles que publican el audio sin o con la marca de agua de Falso. Se encontraron seis perfiles y todos con la versión ya desmentida. 

Dado lo anterior no se observan señales o evidencias de una Operación de Información que use el supuesto audio falso para afectar al candidato.  

Sí se evidencia la circulación del audio con el tag de Falso posterior a las 5:50 del 21 de octubre, posterior a la publicación de Gomez. Daniel Samper Ospina (21 de octubre 7:25 pm) Viral24 (21 de Octubre – 8:32 pm) Jorge Enrique Abello (21 de octubre, replica el mensaje de Gomez)

Actualización, viernes 27 de octubre, 2:09

Gracias a varios tuiteros se logró detectar una posible poublicación, sin marca de agua, que pudo ser publicada antes del 21 de octubre, lo cual es una señal de una posible Operación de Información que intentó afectar al candidato Galán.

El usuario en Twitter Elkin Isaza publicó el video sin marca de agua el 22 de octubre a las 6:45 de la mañana. Si bien es posterior a la fecha de la publicación del periodista de Caracol en esta oportunidad se compartió otra versión del video, una publicación de la red social Tik Tok.

El video que publica Isaza fue republicado de la cuenta Jaz.Santana2 de TikTok.

El perfil fue borrado de la red social pero varias huellas de sus publicaciones aún quedan en el cache de Google y variaz piezas digitales que creó y que quisieron desaparecer aún circulan.

La cuenta Jaz Santana existió al menos hasta algún momento de los primeros 6 días de octubre. Se puede saber porque Google indexó su contenido en video y lo marcó automáticamente. Una consulta hoy detecta que dos de sus videos fueron publicados hace 3 semanas.

Teniendo en cuenta el contenido que se puede rastrear de esta cuenta se puede inferir que el perfil era parte de una Operación de Información, que en el caso específico del audio de Galán, buscaba posicionar la idea de la relación entre el candidato del Nuevo Partido Liberal con Gustavo Bolivar para beneficiar alguna de las otras candidaturas.

La cuenta Jaz. Santana2, según los videos que se han logrado recuperar porque fueron republicados por otros perfiles, es una cuenta que hace parte de una posible Operación de Información de gran magnitud compuesta de un ejercito de cuentas anónimas que publican contenido desinformador. (Investigación que estoy llevando a cabo)

La cuenta Jaz. Santana ha publicado contenido como este:

O este:

El contenido de la cuenta que probablemente hace parte de una cyber troop anónima que fue republicada por la candidata al Concejo de Bogotá, Claudia López, por el Centro Democrático como lo puestra este video cuyo objetivo es el mismo del audio creado supuestamente con Inteligencia Artificial. https://ghostarchive.org/archive/P5eEL

Acción o respuesta ante Audio falso: Video en Instagram y extenso cubrimiento mediático.

Jhon Carrero, candidato a la alcaldía de Tunja.  
Fecha de la denuncia: 19 de Octubre de 2023. 
Audio que supuestamente fue creado con Inteligencia Artificial:

Contexto del audio: Voz de Carrero agrediendo a su contendor y pidiendo una campaña de desprestigio.  

Evidencia de circulación en redes: Ninguna. Se hizo una búsqueda con palabras claves como “ruso Carreño” “John desprestigio” y no se encontró nada.

Sí se encontró un perfil de un político de la corriente de Carrero compartiendo el audio.
Acción o respuesta ante Audio falso: Extenso cubrimiento mediático.

Alejandro Eder, Candidato a la alcaldía de Cali.  
Fecha de denuncia: 22 de Octubre de 2023. 
Contexto del audio: Esta denuncia tiene una diferencia respecto a las otras. El video donde se explica sobre el supuesto audio falso no se publicó el día 22 en ninguna de las redes sociales del candidato.

Se realizó una revisión el día 21 y 22 de octubre en Twitter, Facebook, Instagram y Tik Tok y el candidato nunca publicó el video de la denuncia. Dado lo anterior, es posible que el video fuese enviado a medios de comunicación directamente que lo publicaron a sus audiencias sin verificar lo que afirma el político.

Audio que supuestamente fue creado con Inteligencia Artificial: No se conoce. Tal y como a Galán se realizó un búsqueda en Twitter y productos Meta. Se usaron palabras clave como “Eder piloto paz”, “Eder Audio” y no se encontró nada.  

Se le preguntó al candidato por Twitter y no respondió.  

Dado lo anterior no se puede afirmar que exista una Operación de Información que use el supuesto audio falso para afectar al candidato. 

Gobernador Roberto Jairo Jaramillo.
Fecha de Denuncia:
27 de octubre de 2023. W radio.
Audio que supuestamente fue creado con Inteligencia Artificial:

Contexto del audio: El gobernador del departamento de Quindío, Roberto Jaramillo, supuestamente habla con Juan Miguel Galvis, un candidato al mismo cargo.

La denuncia se hace en la emisora W Radio en la sección Reporte Coronell. En el relato el periodista afirma “que conoció una grabación”, sin mencionar cómo tuvo acceso al audio. Igualmente afirma que un experto anónimo le dijo que el audio no tiene señales de ser falso.

Jaramillo negó que sea él quien aparece en la voz e indicó que fue creada con Inteligencia Artificial.

Igualmente, el periodista Coronell indicó que el acusado le dijo que usando el aplicativo AI-SPY se detectó que el 76% del audio es creado por Inteligencia Artificial.

Se descargó el aplicativo y los resultados son diferentes. Claramente este aplicativo no es una prueba para determinar si un audio es falso o no. No se conoce cuál es su marco de referencia ni los elementos que analiza.

Sería muy útil para la comunidad de investigadores que Coronell indicara cuál es el experto internacional que es capaz de comprobar si un audio es creado con inteligencia artificial. El mundo OSINT y de investigadores se lo agradecerá.

Respuesta ante el audio: El gobernador intentó usar una app dudosa para certificar que es un audio falso, así mismo amedrentó al medio de comunicación Publimetro por la publicación. A su vez intentó argumentar que el audio falso es un delito en Colombai cuando en realidad es una idea debatible.

Actualización, viernes 25, 3:06.

Según el Portal La Silla Vacia dos fuentes anónimas confirmaron la veracidad del audio.

Creando la voz de Galán 

Para tratar de comprender las posibilidades que tendría cualquier persona con un conocimiento básico de cómo podría simularse o clonar una voz se utilizó un popular servicio en línea que promete ejecutar la acción.  

El costo de este ejercicio fue de 1 dólar.  

El sistema usado promete clonar cualquier voz. Tiene dos requisitos. El primero de ellos es alimentar una página web con audios de la persona a la que se le quiere clonar la voz y aceptar una serie de términos y condiciones donde claramente se pide que no se utilizará el audio ilegalmente.  

Se seleccionó este servicio luego de una búsqueda en Google a pesar de que existen multiples sitios web que ofrecen el mismo servicio. Algunos de ellos gratuitos.  

Para crear una versión de la voz del candidato Carlos Fernando Galán se subieron 25 muestras de su voz.  Se cortó una entrevista de Carlos Fernando Galán a  la revista Semana en pedazos y se subieron sus fragmentos. Igualmente, se bajaron 17 clips de la cuenta de Instagram del político para alimentar la IA. 

Según explica la página se puede usar dos modelos diferentes de IA para recrear la voz. Se selecciona la versión 2 de Eleven Multilingual.   

Este servicio tiene una serie de Voice Settings que se pueden modificar. Se puede modificar la claridad, similitud, el estilo y la exageración.  
Se realizaron cinco intentos diferentes para tratar de llegar al tono que se podría parecer.

Igualmente se transcribió un fragmento de unos de los videos originales del candidato para crear el mismo audio con Inteligencia Artificial y tener un punto de comparación.  

Los resultados:

Audio Original: Extracto de audio sobre imagen extraido de canal de Instagram del candidato.

Audio creado con Inteligencia Artificial: Modelado con 25 ejemplos de audio del candidato y usando una plataforma que cobra 5 dólares mensuales pero que por promoción dejó el servicio en 1 dólar.

 

Igualmente se redactó un texto falso que jamás diría Carlos Fernando para establecer si es posible crear audios falsos, el resultado.  

En este ejercicio surgen muchas variables. La capacidad técnica del computador, los settings seleccionados, las variaciones que se puedan hacer al audio con programas especializados, la calidad de la exportación, el dispositivo donde se reproduce, las ayudas visuales que ayuden a construir la narrativa falsa, el costo de la herramienta, el modelo de lenguaje, entre otros.

En síntesis se podría concluir que sí existe la posibilidad técnica de crear audios falsos a bajo costo pero las denuncias de los candidatos, ante la ausencia de evidencias, parecen más acercarse a estrategias de marketing político que a ataques reales que se multiplican en el ecosistema de medios colombianos por la ausencia de verificación.


Comments

Una respuesta a «Montajes de audio con Inteligencia Artificial en contextos políticos: ¿Realidad o marketing? »

  1. […] Este es un segundo caso documentado en este blog del uso de herramientas digitales relacionadas a IA que pueden afectar las discusiones públicas. El primero se realizó con audios en épocas de elecciones. […]

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *