Agrupación del INB per cápita a nivel continental

Introducción

La presente entrada cubre el aprendizaje automático no supervisado. El este tipo de aprendizaje automático no fragmenta los datos, sino que construye el modelo con el conjunto de datos completo y permite que el modelo descubra patrones en los datos por sí mismo, sin supervisión. Dado que la presente entrada cubre el análisis de conglomerados, se expone el modelo de aprendizaje automático no supervisado más simple, llamado k-means. El método de k-medias es fácil de comprender. Cuando realiza un análisis de conglomerados, no hay una variable de respuesta real: Trata todas las variables de la misma manera. Tampoco hay variable predictora (independiente), por lo que no hay caso de predicción/pronóstico. Solo analiza los patrones en los datos.

El modelo de k-medias agrupa los valores en función de sus similitudes. Primero, el modelo encuentra valores que están cerca uno del otro y estima la distancia entre ellos. Posteriormente, determina el centro del grupo de valores y extiende esos valores de tal manera que los valores están dentro de un grupo. Encuentra similitudes en grupos implementando la estimación de distancia. El método de estimación de distancia más común es la estimación de distancia euclidiana. La ecuación (1) muestra la ecuación euclidiana.

J=k∑i=1c∑i=1|xJi−Cj|2

Donde J representa la función objetivo, k representa el número de conglomerados, n representa el número de casos, xJi representa el Casoj , y Cj representa los centroides de j.

Este modelo difiere de otros modelos en el sentido de que supone que encuentra la cantidad de clústeres en función del análisis de datos. Para determinar el número de conglomerados, aplique la curva del codo o el gráfico de sedimentación.

Contexto

La presente entrada aborda el problema con la suposición de que hay tres grupos en los datos. A partir de lo cual, se agrupan los países africanos aplicando tres etiquetas:

• INB (ingreso nacional bruto) per cápita bajo.
  
• INB (ingreso nacional bruto) per cápita moderado.
  
• INB (ingreso nacional bruto) per cápita alto.
  

Así pues, se aplica la curva del codo para determinar si esta suposición con respecto a los datos es correcta. Luego se utiliza el modelo de k-medias en todos los datos del INB per cápita de los países africanos. Dado que hay muchas variables, no describe todos los datos.

Para realizar el análisis de conglomerados, primero debe realizarse un análisis descriptivo y luego realizarse una reducción de dimensión para reducir los datos de alta dimensión en unas pocas dimensiones. La técnica de reducción de dimensiones es mejor conocida como Análisis de Componentes Principales (PCA). Esta técnica reduce los datos para que puedan representarse en dos dimensiones mediante la aplicación de un gráfico de dispersión.

El siguiente código recupera los datos del INB per cápita (consultar la tabla final).

import warnings
warnings.filterwarnings('ignore')

import wbdata

# Cargar los datos del INB per cápita de África:
paises = ["AGO", "BDI", "BEN", "BWA", "CAF", "CIV",
          "COD", "DZA", "EGY", "ETH", "GAB", "GHA",
          "GIN", "GMB", "GNQ", "KEN", "LBR", "LBY",
          "LSO", "MAR", "MLI", "MOZ", "MWI", "NAM",
          "NER", "NGA", "RWA", "SDN", "SEN","SOM",
          "SWZ", "TCD", "TUN", "TZA", "UGA", "ZAF",
          "ZMB", "ZWE"]
indicadores = {"NY.GNP.PCAP.CD":"inb_per_capita"}
df = wbdata.get_dataframe(indicadores, 
                          country = paises,
                          convert_date = False)

# Datos del INB per cápita de África:
df.head()

El siguiente código desapila los datos: Cambia el índice de un índice múltiple a uno único.

# Desapilar datos:
df = df["inb_per_capita"]
df = df.unstack(level = 0)
df.iloc[0:10, 0:10]

El siguiente código sustituye los valores faltantes con el valor promedio. Debe tenerse en cuenta que este ejemplo no maneja valores atípicos. Dado que hay tantas variables, que resultaría agotador hacerlo en un ejemplo tan simple. Sin embargo, en el mundo real, es fundamental manejar los valores atípicos, ya que pueden afectar negativamente las conclusiones.

# Reemplazar valores atípicos con valores promedio:
df["Algeria"] = df["Algeria"].fillna(df["Algeria"].mean())
df["Angola"] = df["Angola"].fillna(df["Angola"].mean())
df["Benin"] = df["Benin"].fillna(df["Benin"].mean())
df["Botswana"] = df["Botswana"] .fillna(df["Botswana"] .mean())
df["Burundi"] = df["Burundi"].fillna(df["Burundi"] .mean())
df["Central African Republic"] = df["Central African Republic"].fillna(df["Central African Republic"].mean())
df["Chad"] = df["Chad"].fillna(df["Chad"].mean())
df["Congo, Dem. Rep."] = df["Congo, Dem. Rep."].fillna(df["Congo, Dem. Rep."].mean())
df["Cote d'Ivoire"] = df["Cote d'Ivoire"].fillna(df["Cote d'Ivoire"].mean())
df["Egypt, Arab Rep."] = df["Egypt, Arab Rep."].fillna(df["Egypt, Arab Rep."].mean())
df["Equatorial Guinea"] = df["Equatorial Guinea"].fillna(df["Equatorial Guinea"].mean())
df["Eswatini"] = df["Eswatini"].fillna(df["Eswatini"].mean())
df["Ethiopia"] = df["Ethiopia"].fillna(df["Ethiopia"].mean())
df["Gabon"] = df["Gabon"].fillna(df["Gabon"].mean())
df["Gambia, The"] = df["Gambia, The"].fillna(df["Gambia, The"].mean())
df["Ghana"] = df["Ghana"].fillna(df["Ghana"].mean())
df["Guinea"] = df["Guinea"].fillna(df["Guinea"].mean())
df["Kenya"] = df["Kenya"].fillna(df["Kenya"].mean())
df["Lesotho"] = df["Lesotho"].fillna(df["Lesotho"].mean())
df["Liberia"] = df["Liberia"].fillna(df["Liberia"].mean())
df["Libya"] = df["Libya"].fillna(df["Libya"].mean())
df["Malawi"] = df["Malawi"].fillna(df["Malawi"].mean())
df["Mali"] = df["Mali"].fillna(df["Mali"].mean())
df["Morocco"] = df["Morocco"].fillna(df["Morocco"].mean())
df["Mozambique"] = df["Mozambique"] .fillna(df["Mozambique"].mean())
df["Namibia"] = df["Namibia"].fillna(df["Namibia"].mean())
df["Niger"] = df["Niger"].fillna(df["Niger"].mean())
df["Nigeria"] = df["Nigeria"].fillna(df["Nigeria"].mean())
df["Rwanda"] = df["Rwanda"].fillna(df["Rwanda"].mean())
df["Senegal"] = df["Senegal"].fillna(df["Senegal"].mean())
df["Somalia"] = df["Somalia"].fillna(df["Somalia"].mean())
df["South Africa"] = df["South Africa"].fillna(df["South Africa"].mean())
df["Sudan"] = df["Sudan"].fillna(df["Sudan"].mean())
df["Tanzania"] = df["Tanzania"].fillna(df["Tanzania"].mean())
df["Tunisia"] = df["Tunisia"].fillna(df["Tunisia"].mean())
df["Uganda"] = df["Uganda"].fillna(df["Uganda"].mean())
df["Zambia"] = df["Zambia"].fillna(df["Zambia"].mean())
df["Zimbabwe"] = df["Zimbabwe"].fillna(df["Zimbabwe"].mean())

Estadísticas descriptivas

El siguiente código recupera una tabla que muestra las estadísticas de tendencia central y dispersión de los datos:

# Resumen descriptivo (estadísticas descriptivas):
df.describe().transpose()

El siguiente código determina el INB per cápita de los primeros cinco países a lo largo del tiempo (consulte el gráfico):

import matplotlib.pyplot as plt

# Gráfico lineal del INB per cápita de África:
df.iloc[::,0:5].plot()
plt.title("INB per cápita, gráfico lineal del método Atlas (US$ actuales)")
plt.xlabel("Fecha")
plt.ylabel("INB per cápita, método Atlas (US$ actuales)")

# GNI per cápita de África:
plt.show()

El gráfico muestra que, desde 1960 hasta 2020, Burundi tiene el INB per cápita más bajo entre los cinco países. También muestra que el INB per cápita de Argelia, Angola, Benin y Botswana aumentó a principios de la década de 2000.

Reducción de dimensiones

El siguiente código aplica el análisis de componentes principales para reducir los datos en dos dimensiones y luego el siguiente código representa gráficamente los datos reducidos utilizando un diagrama de dispersión bidimensional (vease el gráfico resultante). Antes de realizar un análisis de dimensiones, se deben estandarizar los datos (centrar los datos para que el valor medio sea 0 y la desviación estándar sea 1):

import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler

# Estandarizar los datos: 
escalador = StandardScaler()
df_estandarizado = escalador.fit_transform(df)

from sklearn.decomposition import PCA

# Reducir los datos:
acp2 = PCA(n_components = 3)
acp2.fit(df_estandarizado)
x_3d = acp2.transform(df_estandarizado)
plt.scatter(x_3d[:, 0], 
            x_3d[:, 2], 
            c = df['South Africa'],
            cmap = "viridis",
            s = 200)
plt.title("Datos 2-D de desigualdad en África")
plt.xlabel("y")

# Datos bidimensionales:
plt.show()

El gráfico anterior muestra el INB per cápita de los países africanos en un gráfico de dispersión bidimensional.

Detección de número de clúster

El siguiente código usa la curva del codo para identificar el número de conglomerados que se incluirán antes de entrenar el modelo de k-medias. Un gráfico del codo traza el valor propio o eigenvalor (un vector escalar después de una transformación lineal) en el eje y y el número de k en el eje x.

# Curva del codo:
acp = PCA(n_components = 3).fit(df_estandarizado)
acp_df = acp.transform(df_estandarizado)

from sklearn.cluster import KMeans

# Número de clústeres:
Nc = range(1, 20)
kmedias = [KMeans(n_clusters = i) for i in Nc]

# Puntuaciones:
puntuaciones = [kmedias[i].fit(acp_df).score(acp_df) for i in range(len(kmedias))]

# Gráfico:
fig, ax = plt.subplots()
plt.plot(Nc, 
         puntuaciones, 
         color = "navy", 
         lw = 4)
plt.xlabel("Número de clústeres")
plt.title("Curva del codo")
plt.ylabel("Puntuación")

# Curva del codo:
plt.show()

El gráfico muestra la curva del codo. El eje x es el número de k (que representa el número de grupos) y el eje y es la distorsión (que representa los valores propios, un escalar recuperado después de una transformación lineal). El eje y revela mucho sobre la severidad de la correlación entre las variables en estos datos, también llamados WSS (o dentro de grupos de sumas de cuadrados, por sus siglas en ingles: “within clusters of sums of squares”). Para determinar cuántos conglomerados debe incluir, debe determinar el punto de corte. Para seleccionar el punto de corte, debe identificar el punto en el que la curva del codo comienza a doblarse drásticamente. En este caso, el número de clústeres es tres.

Desarrollo del modelo de K-medias

El siguiente código entrena el modelo de k-medias aplicando todos los datos y el número de conglomerado (tres):

# Desarrollo del modelo de K-medias:
kmedias = KMeans(n_clusters = 3,
                 copy_x = False,
                 max_iter = 1,
                 n_init = 10,
                 tol= 1.0)
salida_kmedias = kmedias.fit(acp_df)

# Configuración k-medias:
salida_kmedias

KMeans(copy_x=False, max_iter=1, n_clusters=3, tol=1.0)

Predicciones

El siguiente código predice las etiquetas (ver la tabla resultante):

import pandas as pd

# predicciones:
y_predicciones_kmedias = pd.DataFrame(salida_kmedias.labels_, 
                                      columns = ["Clústeres"])

# Etiquetas pronosticadas:
y_predicciones_kmedias

El código anterior no revela mucho acerca de cómo el modelo de k-medias estima las etiquetas.

Detección de centros de clústeres

El siguiente código recupera una tabla que muestra el valor medio de cada grupo:

# Buscar centros de clústeres:
centros = salida_kmedias.cluster_centers_
centroidess = pd.DataFrame(centros).transpose()
centroidess.columns = ["Clúster 1", "Clúster 2", "Clúster 3"]

# Centros de conglomerados:
centroidess

El siguiente código genera un gráfico que muestra las etiquetas estimadas:

# Dispersión del INB per cápita de África:
fig, ax = plt.subplots()
plt.scatter(acp_df[:, 0],
            acp_df[:, 1],
            c = salida_kmedias.labels_,
            cmap = "viridis",
            s = 200)
plt.scatter(centros[:, 0], 
            centros[:, 1], 
            color = "red")
plt.title("INB per cápita de África, clústeres del método Atlas (US$ actuales)")
plt.xlabel("y")

# África INB per cápita modelo k-medias:
plt.show()

El gráfico muestra los puntos de datos (resaltados en amarillo, morado y verde) en sus respectivos grupos (puntos rojos).

Análisis de resultados de conglomerados

Para comprender mejor las etiquetas pronosticadas del siguiente código, consulte la tabla resultante:

# Tabla de conglomerados del INB per cápita de África:
stocks = pd.DataFrame(df.columns)
etiquetas_cluster = pd.DataFrame(kmedias.labels_)
stock_clusteres = pd.concat([stocks, etiquetas_cluster], 
                            axis = 1)
stock_clusteres.columns = ["País", "Clústeres"]
stock_clusteres = stock_clusteres.replace({0: "INB per cápita bajo",1: "INB per cápita moderado",2: "INB per cápita alto"})

# Tabla de conglomerados del INB per cápita de África:
stock_clusteres.head(20)

El siguiente código simplifica los datos de la tabla anterior (consultar la gráfica resultante):

# Número de conglomerados del INB per cápita de África: 
serie_clases = stock_clusteres.groupby("Clústeres").size()
serie_clases.name = "Cuenta"
serie_clases.plot.pie(autopct = "%2.f",
                      cmap = "Blues_r")
plt.title("Gráfico circular de clústeres")

# Recuento de conglomerados del INB per cápita de África:
plt.show()

El gráfico muestra que el 27 tiene un INB per cápita alto, el 23 de los países tiene un INB per cápita moderado y el 50 tiene un INB per cápita bajo.

Evaluación del modelo de K-Means

El modelo de k-medias no hace suposiciones extremas sobre los datos. Se puede aplicar sin una hipótesis predeterminada: Establece la verdad sobre los datos en lugar de probar afirmaciones. Tampoco cuenta con matrices robustas de evaluación de modelos.

Los métodos de la silueta

Puede confiar en el método de Silhouette para determinar hasta qué punto el modelo realiza estimaciones inteligentes (consulte el siguiente código). En este contexto, estima la diferencia entre la distancia media del cúmulo más cercano y la distancia dentro del cúmulo y la distancia media máxima del cúmulo más cercano y la distancia dentro del cúmulo. Devuelve valores que van de −1 a 1, donde:

• −1 indica un modelo deficiente.
  
• 0 indica un modelo mediocre.
  
• 1 indica un modelo que es ejemplar en la realización de cálculos aproximados.

# Encontrar la puntuación de silueta:
from sklearn import metrics
metrics.silhouette_score(df, y_predicciones_kmedias)

0.4332307316309596

La puntuación de la silueta es 0.4332307316309596. Lo cual significa que el clasificador es mediocre al estimar etiquetas de INB per cápita para los países africanos.

Conclusión

En la presente entrada expongo un modelo de aprendizaje automático no supervisado para la agrupación en clústeres, llamado modelo k-means. Desarrolló un modelo con hiperparámetros predeterminados. Estimó la distancia entre los valores del INB per cápita en los países de África. Posteriormente, agrupó a los países en clusters por INB per cápita. Finalmente, concluyo con una breve discusión sobre el aprendizaje automático no supervisado.