Cómo clasificar textos multiidioma en 5 minutos con ayuda de la IA

Transcript:
(00:00) muy buenas bienvenidas y bienvenidos a un nuevo vídeo de social web yo soy Luis Fernández y en este caso seguimos con la serie de vídeos de Inteligencia artificial aplicada al seo vamos a ver un vídeo bastante interesante Espero que os guste en el que nos salimos un poco de la temática habitual de openea y gpt y vamos a ver qué alternativas muy funcionales y muy útiles para un montón de tareas en este caso vamos a utilizar un modelo Transformer también distintas gpt pero que es completamente gratuito y que podemos instalar directamente en
(00:30) collage y usarlo desde ahí paramos utilizar la librería sentes Transformers y lo que vamos a hacer es un clasificador de textos en distintos idiomas una búsqueda semántica simétrica que suene un poco chino pero lo que nos va a hacer es comparar textos en distintos idiomas imaginaos español e inglés y asignarnos entre sí los que sean más parecidos semánticamente Esto es algo brutal para cuando estamos haciendo una migración multidioma y no tenemos todos los postres quemados uno a uno o en las urls de producto o cuando estamos por ejemplo
(01:01) asignando hr Flans que nos faltan y queremos automatizar el proceso porque claro he puesto con 40 post en un blog que estamos migrando Sería fácil pero si necesitamos migrando 6 blogs en distintos dominios todos a un dominio único y queremos meterle el multidioma de forma correcta ahí se nos complica hacer la revisión manual entonces con esto la verdad que lo puedes hacer de forma gratuita con un par de clics lo hemos dejado totalmente preparado Así que os lo voy a explicar paso a paso para que lo podéis ejecutar vosotros y
(01:30) luego como Esto es algo más complejo una vez explique cómo se usais alguna demo para los que quieran quedarse a ver un poco cómo funciona os voy a hacer una breve explicación como siempre vamos a hacer un Collage para que lo podáis utilizar fácilmente y lo podéis compartir aquí tenéis toda la información comentarios al respecto este escribiendo generado yo os podéis seguirme aquí en Twitter si queréis ver más cosas de ella y vamos a hacerle el trabajo habitual instalamos las dependencias yo lo ejecutado todo De antemano Para que no
(01:56) haya que esperar pero básicamente es proceso estándar instalamos las dependencias en este caso lo sentís Transformers importamos las dependencias Aquí vamos a elegir el modelo en este caso esta avanza muy rápido en este caso estoy utilizando Este modelo para frames multilingual mini lm l2v2 de los modelos que tiene disponible esta librería podéis buscarlo en su documentación yo hice una prueba una batida en los proyectos que lo he utilizado y este es el que mejor me ha funcionado hasta ahora esto como siempre si sale un
(02:24) proyecto nuevo y lo tengo que ejecutar la acción más inteligente que no lleva nada es probar otros modelos y ver cuál te funciona mejor aquí veis que lo Descarga todo un dato interesante cuando hagáis este tipo de cosas es que podéis utilizar una carpeta de caché para que si lo tenéis que ejecutar o instalar de nuevo se acaba la sesión no pasa nada no tienes que esperar porque lo tienes ya guardado y así que se acelero un poco el proceso aquí os dejo un poco de info de los modelos que actualmente por si queréis
(02:50) probarlos Este es el que hemos utilizado y a continuación hacemos la subida típica de archivos a colab en este caso voy a subir un archivo es y un archivo en aquí tenéis una pequeña demo y como veis tenemos simplemente una plantilla de ejemplo con la columna title con el cabezado title y aquí tenemos títulos de post Este es el ejemplo más clásico que puedes utilizar aquí podéis utilizar productos o textos completos incluso aquí depende de la velocidad de cada de procesamiento y del número de contenidos que quieres
(03:22) utilizar pero lo que tienes que tener aquí es texto texto identificable en este caso hemos utilizado títulos del poste y del blog de social web podéis echar un ojo también son vídeos de YouTube que hemos subido y como veis tenemos en español y en inglés podríamos subir más idiomas y hacer el macheo en más idiomas normalmente trabajamos se puede trabajar sobre dos idiomas Pero esto lo hemos aplicado hasta en siete idiomas distintos en la documentación podéis ver por ejemplo que distinlus veis utiliza 15 idiomas los
(03:51) más comunes así del mundo entre ellos español italiano alemán chino y el que estamos utilizando utiliza más de 50 idiomas es decir que no os preocupéis a no ser que tengáis idiomas un poco raros probablemente funcione con mayor o menor acierto porque es verdad que los idiomas más extraños han sido entrenados con menos texto y tiene menor precisión pero una gran labor de ayudas puede hacer entonces tendríamos estos documentos que hemos subido aquí nosotros los subiríais aquí correctamente yo en este caso los
(04:20) he llamado es ym por comodidad os recomiendo hacerlo así si cambiáis su nombre acordes de cambiarlo aquí porque aquí los Vais a tener que leer y si el nombre es distinto os va a dar error y aquí los podéis leer en el Data frame lo leemos un Data frame seguimos ejecutando todo esto ya no no tiene mucha relevancia ya que es algo más complejo que tiene una pequeña explicación de cómo funciona Iris ejecutando todo hasta llegar a esta última celda en esta última es celda simplemente marcáis el idioma tenéis que decidir primero es el cierto
(04:52) Qué idioma queréis marchar A quién por ejemplo en este caso queremos asignarlos Pues en inglés al español entonces lo que vamos a marcar aquí es que nuestro lenguaje original Aquí está comentado es titaneses va a ser el español una vez tengamos el español marcado como idioma original si vosotros queréis utilizar otro idioma le cambiéis el nombre nos vamos abajo del todo y seleccionamos el otro contenido que queremos pasar en este caso el de inglés y aquí lo llamamos Data frame y ponemos en para que nos lo pongan el resultado
(05:23) final ejecutaríamos esto y podéis ver que nos sale aquí esto es muy rápido porque son cuatro posts nos abriría una barra que ejecutando también podéis ir aquí a la función vamos a hacer un poco cutre pero vamos a pasarle por aquí el modo de bug lo ejecutamos que nos lo marque y podéis ejecutarlo de nuevo e iréis viendo cómo va ejecutando título a título y si hay algún error si se para en algún sitio Pues podría ir viéndolo veis que se baja automáticamente yo he bajado aquí un par de demos os tengo aquí incluido el ejemplo de resultado si
(05:58) solo incluimos el title lo que nos va a hacer es Añadir columnas extra en este caso tenemos los resultados en inglés digamos que sigue el orden sería auto strack entity lo tenemos aquí y nos lo machea como esta entidad desde una URL con open aquí en Google Sí la verdad que está da un error de formato esto lo podemos ajustar nos lo habéis encontrado alguna vez si se ponen comas o puntos os lo puedo transformar automáticamente a un formato se la puede saltar entonces tendréis que ir a datos la perdona formato número y podéis quitar el
(06:34) automático o ponerlo en formato sin formato sin formato o número tenéis que ajustar por ahí aquí podéis ver los resultados que os da en realidad tenemos el match score que sería la confiabilidad del 0 a 1 con la que este título te lo asigna este es decir Este título y luego tenéis otra machis esto sirve porque muchas veces va a haber cosas parecidas esto en este caso es muy fácil porque son traducciones exactas Pero hay veces que Vais a trabajar con traducciones inexactas o títulos bastante incluso distintos entonces para
(07:12) facilitar la hora de trabajo esto siempre recomiendo hacer una revisión manual sobre todo en los que tienen una puntuación de confiabilidad menor a 0,9 podéis revisar y por ejemplo veis que aquí nosotros resultados nos da el principal con 09 38 y luego nos da otro como 0475 y otro con cero dos nueve ocho aquí igual y aquí igual Aquí vemos que está muy clara todo el macheo porque la introducción es exactas pero pensad que en un proyecto más complejo esto se puede complicar entonces este campo al menos en los casos que hemos utilizado
(07:43) nosotros no es muy útil para hacer revisiones Y eso sería todo luego podéis ver por ejemplo en un Sport de un wordpress aquí tengo un archivo que hemos usado en varios idiomas aquí tenemos cuatro idiomas he borrado los datos para no revelar nada pero veis que tenemos la idea del post esto sería un caso en un wordpress aquí tendríamos asignado el match en español que como borrado por nombre lo está encontrando pero ya tendríamos para el import perfecto vemos si está duplicado por si se nos han salido Machos duplicados esto es un
(08:14) aquí lo pegado Pero bueno sería un tipo is en el típico recuento de Google sites aquí tendríamos los resultados que teníamos aquí de title image de title y match title las Core aquí veis que ya tiene formato bien colocado tendríamos los otros maches y podéis ver que aquí hay casos muy similares aquí este nos lo ha dado con uno con 100% de confiabilidad pero cuando trabajamos en blogs que tienen con decenas y decenas y cientos de contenidos sabéis que existen las canalizaciones y hay contenidos muy parecidos Entonces en este caso vez que
(08:48) el primero tiene confiabilidad de uno pero el segundo tiene cero nueve dos con cinco y os aseguro que si bajáramos abajo y os enseñará el contenido hay muchos que están con confiabilidad 7 y luego hay otro que confiar ir a 5 que tendríamos que echarle un ojo Para estar seguros de que está correcto y vemos que aquí tenemos el resto de datos del Sport de wordpress pues la fecha el tipo de post El permalin que lo he borrado y el estado de publicación Y eso es todo simplemente tenéis que cambiar estas líneas que os he comentado
(09:16) en el vídeo estos pequeños detalles de texto con vuestros con los idiomas Que queréis cambiar y es ejecutar Funciona muy rápido Está bastante optimizado y espero que sea de mucha ayuda para los que queréis ver un poco cómo funciona nos quedamos aquí anteriormente y vemos que leemos todo en Data frames para luego poder utilizarlo formatearlo bien en csv Añadir columnas nos sacamos todos los textos a unas listas para pasarlo a formato Stream fácilmente y aquí es la primera cosa un poco extraña esto simplemente es el topk lo que vamos a
(09:48) hacer lo vamos a utilizar para optimizar esto un poco y para marcar el número de ese resultados que queremos que nos dé el número de machis aquí hemos puesto que vaya de 3 hasta es decir que nos dé tres resultados y va a compararlo con la longitud de el idioma original decirlo va a completar con todo nuestro Corpus Por así decirlo si queréis tener más resultados aquí en el odermachis simplemente podéis subir esto y os mostraría mucho más resultados y aquí tenemos las dos funciones que son el meollo de la función que básicamente
(10:23) lo que hace es generar en beadings está aquí todo explicado luego calculamos la distancia coseno entre ambos y nos quedamos con el más similar veis que aquí abajo hacemos giramos el Corpus esto básicamente es con el idioma original lo pasamos todo veis que él Llevamos aquí a originals lo pasamos todo en bedings los en si no estáis Así un poco metidos en el mundo del nlp y la Inteligencia artificial son formas de representar palabras en vectores en números pero que mantengan sus propiedades semánticas si es una forma
(10:55) de representar palabras numéricamente en las que Nuestro objetivo es que se muestran como vectores y en teoría palabras similares semánticamente son vectores en una posición similar en el plano hablamos de vectores n dimensionales no son vectores de x y simplemente me suena un poco complejo Pero bueno que es la verdad que está hoy en día básicamente para implementar esto si tenéis que llamar una función y se ejecute no hace falta saber el bagaje técnico de ello y a continuación tenemos la función Machine de match single model
(11:28) que nos coge los enberings de nuestro idioma original y nos los va a comparar con el idioma que queremos en este caso el inglés si nos va a comprar español con inglés y aquí tienes la ejecución de la función nos va a pasar el texto en el idioma lo pasa en Bering también y Aquí vamos a hacer la comparación esto es una forma un poco elaborada de hacer el producto de coseno que básicamente mide la distancia entre esos dos vectores que hemos conseguido y como os dije los vectores más cercanos tienen son similarmente semánticos entonces nos
(12:04) quedamos con la distancia más corta y aquí ya es cuestión de formatear y pues hacemos una score hacemos un Corpus ID lo formateamos todo esto es en el caso de que metamos debug Este es el caso de que no y vamos devolviendo todo y devolvemos pues el High el Core es decir la el título más próximo las Core en sí y other machis Y eso sería todo cualquier duda que tengáis al respecto Y si queréis profundizar ya sabéis tenemos más vídeos en el canal podéis seguirnos también en el blog de social web y un placer Gracias por vuestro tiempo
(12:36) nos vemos en el próximo vídeo