Metamorfosis del Cuerpo en Datos
Sovereign Bodies es una instalación interactiva que cobra vida gracias a un agente de Inteligencia Artificial que explora la transformación del cuerpo humano en datos. A través de Modelos de Lenguaje Local (Qwen), análisis de movimiento ViViT y IA Generativa (StreamDiffusion), el movimiento corporal se orquesta y procesa en un flujo automatizado de cine y efectos visuales que invita a cuestionarnos sobre vigilancia, agencia y creación en la era digital.
La obra propone una metodología híbrida que fusiona danza expandida, un autómata conversacional estructurado y la generación automatizada de video, elevando la instalación a un ecosistema donde la IA decide, analiza espacialmente (Laban) y estiliza la información corporal capturada.
En el contexto contemporáneo, donde los cuerpos son constantemente escaneados y analizados por sistemas algorítmicos, surge la imperiosa necesidad de interrogar las dinámicas de poder que operan en esta transformación. Sovereign Bodies emerge como una respuesta artística: un sistema autónomo donde el cuerpo del espectador no solo es sujeto de vigilancia, sino también el generador de nuevas estéticas videográficas.
La obra comenzó en la tradición de la danza expandida, proyectando partículas visuales interactuando con el cuerpo. Sin embargo, su evolución actual añade una capa más profunda: ya no solo se dibuja con el cuerpo en "tiempo real", sino que un agente inteligente graba el movimiento, lo juzga poéticamente, y dirige la creación de piezas visuales completas utilizando transferencia de estilo por IA (Video-to-Video).
Esta investigación se nutre del trabajo de Olof Misgeld sobre mediación del movimiento en danzas folclóricas suecas, que explora cómo la captura de movimiento puede revelar conocimientos tácitos en la interacción entre música y danza. Sin embargo, Sovereign Bodies traslada esta pregunta al territorio de la crítica política: ¿quién posee los datos generados por nuestros cuerpos en movimiento?
El proyecto Sovereign Bodies se construye sobre un stack tecnológico diverso que prioriza el procesamiento local y el código abierto, evitando la dependencia de infraestructuras cloud propietarias. Esta elección no es meramente técnica, sino política: garantiza que los datos corporales capturados nunca abandonen el dispositivo local, manteniendo la "soberanía" sobre la información generada.
El núcleo de la captura de movimiento utiliza MediaPipe, framework de visión por computadora desarrollado por Google que permite el seguimiento de landmarks corporales en tiempo real. Específicamente, la implementación emplea:
La elección de MediaPipe responde a su capacidad de procesamiento local eficiente, capaz de operar en dispositivos de baja potencia sin requerir conexión a internet, alineándose con la ética de soberanía de datos del proyecto.
Complementando MediaPipe, el sistema pasó de detectar meramente objetos (con modelos como YOLOS-tiny) a analizar cadenas completas de video. Hoy el motor visual utiliza Hugging Face y modelos avanzados de compresión gráfica para interpretar dinámicas espacio-temporales del movimiento capturado en tiempo real, marcando una transición del mapeo simple de coordenadas al verdadero "entendimiento" del cuerpo.
Un componente distintivo del proyecto integrado es un agente de Inteligencia Artificial construido con LangChain y modelos locales (Ollama/Qwen) que opera como el director del sistema. Este agente procesa instrucciones en lenguaje natural, toma decisiones en formato JSON y ejecuta herramientas complejas de forma autónoma.
En conjunto con el modelo ViViT de Google para clasificación de video y el Análisis de Movimiento Laban (que evalúa el Tiempo, Peso, Espacio y Flujo del cuerpo), el agente no solo captura movimiento, sino que comprende la energía real y el estilo (ej. ballet, hip hop) para generar retroalimentación y dirigir el flujo de postproducción automáticamente.
El procesamiento visual se completa con OpenCV, que maneja operaciones de bajo nivel: detección de burbujas mediante SimpleBlobDetector, efectos visuales de partículas, y sistemas de visualización que proyectan los datos procesados en superficies del espacio escénico.
El proceso creativo de Sovereign Bodies sigue una metodología híbrida que entrelaza la práctica coreográfica con la programación creativa:
El usuario activa al agente por voz o texto, definiendo parámetros como el formato (vertical 9:16, horizontal, cuadrado) y la duración. Una cámara conectada captura el movimiento y extrae las coordenadas 3D limpias vía MediaPipe.
Los datos de pose se almacenan en formato JSON y son procesados por el autómata conversacional. Se utiliza el modelo ViViT para la clasificación del tipo de danza y un motor de Análisis Laban para medir la energía corporal (velocidad, aceleración, peso, flujo). El LLM local sintetiza estos datos crudos en una interpretación natural y comprensible.
Una vez guardada la base de coordenadas, el sistema inicia un servidor web en segundo plano para renderizar silenciosamente el metraje. Al finalizar, el agente dispara de forma autónoma procesos de Style Transfer utilizando StreamDiffusion y scripts de post-procesamiento integrados, completando una tubería de cine generativo sin intervención manual.
La fase final del proyecto incorpora la gestión inteligente de archivos. El agente paquetiza los resultados (coordenadas, metadatos, video raw y generativo) en sesiones únicas con marcas de tiempo (timestamp). Opcionalmente, prepara los artefactos resultantes para publicación, documentando la intervención efímera del cuerpo.
Muestra del artista + agente
Sovereign Bodies plantea preguntas fundamentales sobre la relación entre cuerpo, tecnología y poder. La obra no es neutral: hace visible el aparato de extracción de datos y la toma de decisiones autónomas de un Agente (LLM) que habitualmente operan invisibilizados en nuestras interacciones digitales.
La tensión central del proyecto radica en la ambivalencia de la metamorfosis: el cuerpo se transforma en datos, pero esta transformación puede ser tanto un acto de vigilancia (el sistema que nos escanea y categoriza) como de agencia creativa (el espectador que co-crea el arte mediante su presencia).
El uso de tecnologías open source, procesamiento local con Ollama (Qwen) y OpenCV constituye un acto de resistencia técnica: negamos la lógica de centralización de datos propia de las grandes corporaciones cloud. Al mantener todo el procesamiento en el dispositivo local mediante GPU Nvidia sin conexión a internet, garantizamos la seguridad de la información.
Sin embargo, la ironía inherente persiste: para hacer visible la crítica a la vigilancia, debemos usar las mismas herramientas de visión por computadora que operan en sistemas de vigilancia masiva. La obra no resuelve esta paradoja, pero la expone, invitando al espectador a reflexionar sobre su propia vulnerabilidad y agencia en la era algorítmica.
Sovereign Bodies propone una poética de los datos corporales donde la información extraída del movimiento humano no se convierte en commodity para mercados de datos, sino en material sensible para la creación artística. La instalación demuestra que es posible operar con tecnologías de IA y visión por computadora manteniendo principios éticos de soberanía de datos y procesamiento local.
El stack tecnológico representa un ecosistema de herramientas open source que democratizan el acceso a tecnologías avanzadas de captura de movimiento, permitiendo que artistas con recursos limitados puedan explorar estas fronteras sin depender de infraestructuras corporativas.
Como archivo viviente del cruce entre cuerpo y tecnología, Sovereign Bodies contribuye al CESUR (Cuerpo Expandido Sur) documentando una metodología específica: la fusión de danza, programación creativa y crítica de la vigilancia, operando en los límites entre ser visto y ser invisible, entre control y creación.
Muestra del artista + agente
Muestra del artista + agente
Muestra del artista + agente