Aprendizaje automático para el análisis de riesgos móviles

Tales algoritmos de transformación de palabras como Word2vec, GloVe y fastText ayudan a transformar la colección de documentos en espacio vectorial. El tamaño del espacio vectorial no supera unos pocos cientos.

Para simplificar, se puede describir este método de la siguiente manera: los algoritmos intentan predecir una palabra basándose en las palabras cercanas. Como resultado de este algoritmo, los vectores obtenidos de palabras conectadas se encuentran uno cerca del otro en el espacio vectorial. Por ejemplo, las palabras más cercanas al "rey" serán "reina", "princesa".

Para obtener un vector de todo el documento (es decir, de la descripción de aplicación), como regla general, los vectores de palabras se suman. Aquí podemos ver una evidente desventaja que es que un vector obtenido se ve afectado por los vectores de palabras que no están relacionados con el significado del texto. La transformación de palabras en vectores funciona muy bien para las palabras sueltas, bien para las combinaciones de palabras y mal para las frases. Para documentos largos este método no funciona en absoluto. Para mejorar la transformación de textos en vectores, necesitamos eliminar las palabras insignificantes del texto a analizar o usar la suma ponderada de los vectores. La elección del algoritmo no siempre es evidente.

Otra desventaja de este método es la dependencia de la calidad del modelo del tipo de colección de documentos que se utilizó para el aprendizaje automático. Para el idioma ruso, por ejemplo, para llevar a cabo el aprendizaje automático con éxito, es necesario recopilar una colección de documentos temática bastante grande, generalmente con más de 10 millones de palabras.

El autocodificador es un algoritmo para el aprendizaje automático no supervisado que utiliza una red neuronal para que el vector de entrada de los valores de X desencadene una respuesta de la red de los valores de Y iguales al vector de entrada (Y = X).

Ejemplo de autocodificador:

Aquí hay algunas maneras que se utilizan comúnmente en la minería de datos para reducir el tamaño de la base de datos. Vamos a echarles un vistazo y comparar.

Una forma de reducir el tamaño del conjunto de datos con una pérdida de datos mínima es con el análisis de componentes principales. Con la selección de proyecciones óptimas el algoritmo elimina la redundancia y la correlación en la matriz de vectores de entrada. Como resultado, obtenemos un conjunto de componentes significativos y no correlacionados. La principal desventaja de este método radica en el hecho de que las proyecciones esenciales se hacen por la matriz de covarianza, cuyo tamaño es proporcional al tamaño del conjunto de datos de entrada. Por lo tanto, para un gran conjunto de datos este método de búsqueda de vectores propios podrá ser imposible.

La descomposición en valores singulares se utiliza para la factorización de la matriz de las características del texto. La matriz de entrada se descompone en varios componentes, cuya esencia física son operadores lineales secuenciales de rotación y extensión de los vectores de entrada. Los componentes de la descomposición singular visualizan los cambios geométricos al modificar el tamaño del espacio vectorial.

El mapa autoorganizado de Kohonen es un tipo de redes neuronales que se entrena mediante el aprendizaje no supervisado. El objetivo principal de este algoritmo es encontrar patrones ocultos en el conjunto de datos al disminuir el tamaño del espacio del vector de entrada.
Las características importantes de tales mapas es que visualizan el espacio reducido de manera que la topología del espacio de entrada no cambia. Esto significa que las proyecciones obtenidas pueden compararse entre sí, el tamaño entre ellas puede medirse, etc.
La ventaja de los SOM es su estabilidad, incluso con datos ruidosos y un proceso de aprendizaje rápido. La desventaja es que el resultado final del trabajo de las redes neuronales depende de la configuración de la red inicial.

Es un algoritmo popular para reducir el tamaño del conjunto de datos. Este algoritmo permite reducir cientos de dimensiones hasta sólo dos manteniendo las correlaciones significativas entre los conjuntos de datos sin cambios: cuanto más cerca estén los objetos en el espacio de entrada, más corta será la distancia entre estos objetos en el espacio reducido. t-SNE funciona bien con conjuntos de datos reales de pequeño y mediano tamaño y no requiere muchos ajustes para los hiperparámetros.

En el análisis de grupos hay varios métodos aproximados para encontrar este número. Uno de ellos, supuestamente el más claro y el más intuitivo, es el método de Elbow. Este método supone creación de un gráfico que muestre la correlación entre la dispersión de la calidad del agrupamiento y el número de los grupos k.

Ahora realizamos el agrupamiento utilizando los algoritmos K-means con k = 100 y verificamos las descripciones de las aplicaciones dentro de los grupos obtenidos.