{"id":82,"date":"2025-07-29T13:19:51","date_gmt":"2025-07-29T13:19:51","guid":{"rendered":"https:\/\/kapaitech.com\/blog\/?p=82"},"modified":"2025-07-29T13:19:52","modified_gmt":"2025-07-29T13:19:52","slug":"visualizacion-de-representaciones-de-aprendizaje-con-pca-y-umap","status":"publish","type":"post","link":"https:\/\/kapaitech.com\/blog\/es\/visualizacion-de-representaciones-de-aprendizaje-con-pca-y-umap\/","title":{"rendered":"Visualizaci\u00f3n de Representaciones de Aprendizaje con PCA y UMAP"},"content":{"rendered":"\n

<\/code>Los modelos de aprendizaje profundo, como las redes neuronales, construyen representaciones abstractas de los datos durante la fase de entrenamiento. En esta etapa, el objetivo es optimizar una funci\u00f3n de costo, ya sea minimiz\u00e1ndola o maximiz\u00e1ndola, mediante algoritmos como los de la familia del gradiente descendente.<\/p>\n\n\n\n

En las redes neuronales, este proceso se aplica a cada una de las capas del modelo. As\u00ed, cada capa aprende una representaci\u00f3n espec\u00edfica de los datos. Dado que las capas est\u00e1n conectadas entre s\u00ed, se forma una estructura jer\u00e1rquica: las capas m\u00e1s profundas \u2014aquellas m\u00e1s cercanas a la salida\u2014 capturan patrones complejos generados por las capas anteriores.<\/p>\n\n\n\n

Un aspecto particularmente interesante es entender c\u00f3mo se estructura la informaci\u00f3n en estas capas profundas. Esta es un \u00e1rea de investigaci\u00f3n activa, ya que las redes neuronales profundas suelen tratarse como cajas negras (black boxes<\/em>).<\/p>\n\n\n\n

Durante el desarrollo de nuestra tesis de maestr\u00eda en Ciencia de Datos, nos enfrentamos a este desaf\u00edo. Dise\u00f1amos un modelo de deep learning<\/em> que combinaba informaci\u00f3n de im\u00e1genes y series de tiempo, utilizando una red convolucional y una red convolucional temporal. Este modelo se aplic\u00f3 a un problema de clasificaci\u00f3n binaria.<\/p>\n\n\n\n

Con el objetivo de analizar c\u00f3mo influ\u00eda la incorporaci\u00f3n progresiva de informaci\u00f3n en la toma de decisiones del modelo, seleccionamos una variable de inter\u00e9s denominada \\(\\text{Seq}\\), distribuida en cinco columnas: \\(\\text{Seq}_1, \\text{Seq}_2, \\ldots, \\text{Seq}_5\\).<\/p>\n\n\n\n

Seleccionamos una muestra representativa de ambas clases y la ingresamos al modelo, registrando las activaciones generadas en la pen\u00faltima capa para cada iteraci\u00f3n, a medida que se agregaban progresivamente las variables \\(\\text{Seq}_i\\).<\/p>\n\n\n\n

Esto nos permiti\u00f3 construir una matriz de activaciones:<\/p>\n\n\n\n

$$
M \\in \\mathbb{R}^{m \\times n}
$$<\/p>\n\n\n\n

donde \\(m\\) representa el n\u00famero de muestras seleccionadas y \\(n\\) el n\u00famero de neuronas en la pen\u00faltima capa.<\/p>\n\n\n\n

Dado que \\(M\\) es de alta dimensionalidad, fue necesario aplicar t\u00e9cnicas de reducci\u00f3n de dimensiones para visualizar las representaciones aprendidas. El objetivo era proyectar \\(M\\) en un nuevo espacio de dimensi\u00f3n \\(k\\), tal que \\(k < n \\):<\/p>\n\n\n\n

$$
M’ = f(M), \\quad M’ \\in \\mathbb{R}^{m \\times k}
$$<\/p>\n\n\n\n

Para esta tarea, utilizamos dos algoritmos ampliamente conocidos:<\/p>\n\n\n\n

An\u00e1lisis de Componentes Principales (PCA)<\/h2>\n\n\n\n

PCA transforma los datos mediante combinaciones lineales ortogonales que maximizan la varianza. Matem\u00e1ticamente, busca una matriz de proyecci\u00f3n \\(W\\) tal que:<\/p>\n\n\n\n

$$
M’ = M W
$$<\/p>\n\n\n\n

donde las columnas de \\(W\\) son los vectores propios de la matriz de covarianza de \\(M\\), asociados a los mayores valores propios.<\/p>\n\n\n\n

Uniform Manifold Approximation and Projection (UMAP)<\/h2>\n\n\n\n

UMAP es una t\u00e9cnica no lineal que preserva tanto la estructura local como global de los datos. A diferencia de PCA, UMAP construye un grafo de proximidad en el espacio de alta dimensi\u00f3n y lo proyecta en un espacio de menor dimensi\u00f3n, optimizando la preservaci\u00f3n de la topolog\u00eda. Aunque su formulaci\u00f3n matem\u00e1tica es m\u00e1s compleja, se basa en minimizar la divergencia entre distribuciones de probabilidad en ambos espacios<\/p>\n\n\n\n

Visualizaci\u00f3n<\/h2>\n\n\n\n

Para la visualizaci\u00f3n, decidimos considerar un espacio reducido de dimensi\u00f3n \\(k = 2\\). Iteramos de manera incremental por las variables \\(\\text{Seq}_1\\) hasta \\(\\text{Seq}_5\\), capturando las activaciones correspondientes en cada paso.<\/p>\n\n\n\n

Los resultados obtenidos al aplicar PCA<\/strong> se muestran a continuaci\u00f3n:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Como se puede observar, a medida que se incrementa el n\u00famero de variables, la separaci\u00f3n entre clases se vuelve m\u00e1s evidente. Adem\u00e1s, se aprecia que la estructura del espacio de clases se transforma progresivamente, siendo con \\(\\text{Seq}_5\\) m\u00e1s diferenciable y clara la separaci\u00f3n entre las clases.<\/p>\n\n\n\n

Este comportamiento tambi\u00e9n se manifiesta al aplicar UMAP<\/strong>:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

En estas visualizaciones, se aprecia c\u00f3mo las clases se separan con mayor claridad conforme se incorpora m\u00e1s informaci\u00f3n de la variable \\(\\text{Seq}\\). Al comparar ambas t\u00e9cnicas, notamos que el modelo mejora su capacidad de diferenciaci\u00f3n entre clases a medida que se enriquece la entrada de datos.<\/p>\n\n\n\n

Contar con dos enfoques de visualizaci\u00f3n nos permite evaluar la relevancia de la variable \\(\\text{Seq}\\) desde perspectivas complementarias: PCA desde una visi\u00f3n lineal y global, y UMAP desde una perspectiva no lineal que preserva la topolog\u00eda local.<\/p>\n\n\n\n

Finalmente, para observar de forma m\u00e1s din\u00e1mica c\u00f3mo se transforma el espacio de representaciones, decidimos crear una animaci\u00f3n utilizando las visualizaciones obtenidas con UMAP. El resultado se muestra a continuaci\u00f3n:<\/p>\n\n\n\n

\n