Mo d el o p ar a el an ál i si s d e l as eval u aci o n ...

Modelo para el análisis de las evaluaciones

de un producto de tecnología en una

plataforma de comercio electrónico

Lesty Yoladi Delgado Palacios

Universidad Nacional de Colombia

Facultad de Minas, Área Curricular de Sistemas e Informática

Medellín, Colombia

Modelo para el análisis de las evaluaciones

de un producto de tecnología en una


Lesty Yoladi Delgado Palacios

Tesis o trabajo de investigación presentada(o) como requisito parcial para optar al título

de:

Magíster en Ingeniería – Ingeniería Analítica

Director (a):

PhD. Fernán Alonso Villa Garzón

Universidad Nacional de Colombia

Facultad de Minas, Área Curricular de Sistemas e Informática

Medellín, Colombia

2021

Dedicatoria

A mi madre, por ser mi mayor ejemplo y

motivación para alcanzar mis metas y cumplir

mis sueños.

Resumen y Abstract IV

Resumen

Modelo para el análisis de las evaluaciones de un producto de tecnología en una


Según Nasdaq, 2020 en la actualidad cada vez más personas están realizando compras

de productos a través de plataformas de comercio online, y a su vez cada año más

empresas migran su actividad o al menos una parte de ella al e-commerce, debido a esto

hay una gran cantidad de información disponible de opiniones de compradores, acerca

del grado de satisfacción obtenido después de haber adquirido los productos, que en

algunos casos no están siendo aprovechada (Mosley, 2020). Como resultado de lo

anterior, el presente trabajo plantea una solución mediante la implementación de

algoritmos estadísticos, que permiten interpretar el lenguaje humano de forma rápida,

eficiente e identificar los sentimientos que subyacen detrás de cada uno de los

comentarios, para que las empresas puedan actuar rápidamente frente a las

necesidades de los consumidores finales. Además, se abordan diferentes enfoques para

clasificar las opiniones y poder determinar el grado de polaridad de estas mismas, para

lograrlo se plantean distintos escenarios con diferentes tipos de pre procesamiento y

evaluando diversos tipos sentimientos.

Palabras clave: Análisis de sentimientos, productos de tecnología, clasificación,

producto de tecnología, comercio electrónico.

Resumen y Abstract IX

Summary

A model for analysis of evaluations of a technological product on an electronic

commerce platform.

According to Nasdaq, 2020 nowadays more people are shopping their products through

an electronic commerce platform online, and every year there are more businesses doing

migrations of their activities or at least one part to the e-commerce, due to that there is a

big amount of available information from buyers’ opinions about the level of satisfaction

that has been obtained after buying the products which in some cases has not been

taken in advantage. (Mosley, 2020) As a result of the above, the present project poses a

solution through the implementation of statistic algorithms that allow the interpretation of

the human language in a fast & efficient way & identify the feelings that underlie behind

each comment, so the businesses can act in a fast way to the final consumers’ needs.

Besides, different approaches are addressed to classify the opinions and to be able to

determine distinct scenarios with different kinds of pre-processing & evaluate different

types of feelings

Keywords: Analysis of feelings, technological products, product classification &

electronic commerce.

Contenido VI

Contenido

Contenido

1. Entendimiento del problema abordado 5

2. Justificación 8

3. Objetivos 93.1.1 Objetivo General 93.1.2 Objetivos Específicos 9

4. Exploración de la literatura 104.1 Minería de datos 104.2 Minería de texto 114.3 Procesamiento del lenguaje Natural (NPL) 124.4 Análisis de sentimientos 134.5 Inventario de modelos (Aprendizaje supervisado) 14

4.5.1 Regresión logística 144.5.2 Naive bayes 154.5.3 Modelo de máxima entropía (MaxEnt) 154.5.4 Support Vector Machines 164.5.5 Decision Trees 17

4.6 Matriz de confusión 17

5. Antecedentes 19

6. Metodología CRISP-DM 22

7. Alcance del trabajo 25

8. Entendimiento de los datos 278.1 Obtención de los datos 278.2 Información disponible - Análisis del conjunto de datos 288.3 Pre procesamiento de los datos 378.4 Tokenización 388.5 Lematización 39

9. Corpus de entrenamiento 419.1 Entrenamiento de los datos 42

10. Modelo y evaluación 5210.1 Inventario y métricas de evaluación de modelo 5210.2 Naive Bayes 54


10.3 X GBoost 5610.4 Evaluación de los modelos 6010.5 Calibración y validación de modelos 6010.6 Conclusiones de la evaluación de modelos 61

11. Conclusiones generales 64

12. Resultados 6612.1 Objetivos específicos 66

13. Trabajos futuros 67

14. Inconvenientes 69

15. Referencias 70

Contenido VIII

Lista de figurasPág.

Figura 1. Proceso de investigaciones de minería de texto 11Figura 2. Flujo del proceso de entrenamiento del lenguaje natural 13Figura 3. Representación matemática de la regresión logística 14Figura 4. Representación matemática del algoritmo Naive Bayes 15Figura 5. Representación matemática del modelo de máxima entropía 16Figura 6. Representación matemática del modelo de SVM 16Figura 7. Ejemplo de SVM para dos clases 17Figura 8. Representación de la matriz de confusión 18Figura 9. Fases de la metodología CRISP-DM 22Figura 10. Estructura del conjunto de datos final 36Figura 11. Imagen de la distribución general de los datos 43Figura 12. Dist. de sentimientos Negativos con 2 categorías : Positiva y negativa 44Figura 13. Dist. de sentimientos Positivos con 2 categorías: Positiva y negativa 44Figura 14. Dist. de sentimientos Negativos con 3 categorías : Pos, neutr,neg 45Figura 15. Dist. de sentimientos Positivos con 3 categorías : Pos,neu,neg 45Figura 16. Dist. de sentimientos Neutros con 3 categorías : Pos,neu y neg 46Figura 17. Nube de palabras todas las categorías 47Figura 18. Nube de palabras positivas - 2 categorías 48Figura 19. Nube de palabras positivas - 3 categorías 48Figura 20. Nube de palabras negativas- 2 categorías 49Figura 21. Nube de palabras negativas - 3 categorías 49Figura 22. Nube de palabras neutrales - 3 categorías 50Figura 23. Matriz de confusión para 2 categorías positivas y negativas 51Figura 24. Matriz de confusión para 3 categorías positivas y negativas 55Figura 25. Ejemplo del algoritmo Xg Boost 57Figura 26. Matriz de confusión para 2 categorías positivas y negativas 58Figura 27. Matriz de confusión para 2 categorías positivas y negativas 59


Lista de tablasPág.

Tabla 1. Etapas del proyecto adaptada a la metodología CRISP-DM 23Tabla 2. Descripción general de los datos Data 1 28Tabla 3. Descripción de las variables de Data 1 28Tabla 4. Descripción general de los datos Data 2 30Tabla 5. Descripción de las variables de Data 2 30Tabla 6. Descripción general de los datos Data 3 31Tabla 7. Descripción de las variables de Data 3 32Tabla 8. Total de datos en cada una de las puntuaciones para el dataset 1 34Tabla 9. Total de datos en cada una de las puntuaciones para el dataset 2 34Tabla 10. Total de datos en cada una de las puntuaciones para el dataset 3 35Tabla 11. Total de datos de la suma de los 3 dataset 38Tabla 12. Ejemplo de oraciones después del proceso de tokenización 38Tabla 13. Ejemplos del proceso de Lematización 40Tabla 14. Cantidad de datos del conjunto de entrenamiento final 41Tabla 15. Resumen de estadísticos básicos de los datos de puntuación 42Tabla 16. Resul de la clasificación de sentimientos - Positivo y negativo 54Tabla 17. Resul de la clasificación de sentimientos - Positivo, negativo y neutro 55Tabla 18. Resul de la clasificación de sentimientos - Positivo y negativo 57Tabla 19. Resul de la clasificación de sentimientos - Positivo y negativo 58

2 Introducción

IntroducciónEn el contexto del comercio electrónico o e-commerce (Rodriguez, 2016) a nivel de

Latinoamérica, este trabajo se orienta a fortalecer la gestión de las empresas dedicadas

a la venta de tecnología por medio de plataformas de comercio electrónico. Según Sean

Summers, vicepresidente de MercadoLibre, las ventas online de productos electrónicos

en Latinoamérica representan alrededor del 40% de las ventas totales online, siendo la

subcategoría de video y gaming la que presentó mayores ventas (Summers, 2019).

Debido a la creciente importancia de las ventas a través de plataformas de e-commerce a

nivel nacional y mundial, se requiere identificar y analizar la información suministrada por

los clientes a través de medios electrónicos sobre las características de los productos,

con el fin de mejorar la toma de decisiones por parte de los oferentes en sus procesos y

características de sus productos.

De acuerdo con la Guía Práctica para el desarrollo de plataformas de comercio

electrónico en América Latina, E-commerce es la distribución, venta, compra, marketing y

suministro de información de productos o servicios a través de internet (Visa, 2019). El

proceso de ventas online a nivel mundial se ha fortalecido por la aparición de diferentes

plataformas de e-commerce tales como www.Mercadolibre.com ®, www.amazon.com ®,

www.ebay.com ®, www.alibaba.com ®, entre otras (Summers, 2019). La importancia del

comercio electrónico se debe a que es una metodología moderna para hacer negocios

que detecta la necesidad de las empresas, comerciantes y consumidores de reducir

Introducción 3

costos, así como también la necesidad de mejorar la calidad de los bienes y servicios

ofrecidos (Vallejos,2015).

El comercio electrónico a nivel mundial ha ido en aumento debido a la globalización, la

cual está produciendo una revolución en la forma de llevar a cabo las transacciones

comerciales, según datos a nivel mundial, los países con mayor porcentaje de

internautas que adquirieron productos en plataformas de comercio electrónico en el año

2019 fueron Indonesia con un 86%, China con un 82% y Alemania con un 81% (Del Río,

2020). La media del porcentaje de internautas que han adquirido algún producto o

servicio vía online alcanzó el 75% en 2019 y se espera que para los próximos años el

porcentaje de personas que utilicen el comercio electrónico para realizar sus compras

sea cada vez mayor (Galeano, 2019).

El comercio electrónico a nivel de estados unidos ha evolucionado en los últimos años,

cada día más personas están utilizando las diferentes plataformas de e-commerce.

Según datos del 2019 de Trianario, las cifras generadas por el comercio electrónico los

últimos años han ido en aumento desde el año 2014 hasta el año 2020 (2014 - 1.3

Trillones, 2015 - 1.5 Trillones, 2016 - 1.9 Trillones, 2017 - 2.3 Trillones, 2018 - 2.8

Trillones, 2019- 3.3 Trillones, 2020- 3.9 Trillones) (trianario,2019), de continuar esta

tendencia se espera que para el año 2021 las ventas asciendan a 4.5 Trillones de dólares

y para el año 2040 se estima que el 95 % de las ventas serán realizadas de forma online.

(Nasdaq, 2020).

Localmente, el comercio electrónico en Colombia también va en ascenso, Según

información de la revista cronista.com en el año 2019 en Colombia, el 30% de los

actuales consumidores de e-commerce eran primerizos, y de ellos, el 73% planea

comprar de esta forma nuevamente. Además, según datos de la revista Black Sip, para el

año 2019 el país ocupó el cuarto lugar en la lista de naciones de América latina que más

ventas realizó a través de e-commerce (Silva, 2019). De acuerdo con La Cámara

Colombiana de Comercio Electrónico, se estima que en 2019 –último cálculo disponible–,

el valor de las ventas a través de canales electrónicos en el país alcanzó los $16 billones

de pesos. Mal contados, esos son unos US$5 millones de dólares. Aún no contamos con

cifras del 2020, pero creemos que ese monto se incrementó en un 20% respecto al año

4 Introducción

anterior, dato que revela que el crecimiento estaría por encima del crecimiento de otros

países de la región (Portafolio, 2020). En la actualidad, se espera que, para el año 2021,

las ventas online en Colombia sean superiores a los USD 26.073 millones de dólares

(Asobancaria, 2020). Las ciudades registran la mayor cantidad de empresas

incursionando en el comercio electrónico son Bogotá, Medellín, Cali y Barranquilla

(Forero, 2020).

Debido al creciente interés de los consumidores por realizar compras online a nivel local,

regional y mundial, el comercio electrónico se presenta como una gran oportunidad para

las empresas de mejorar el posicionamiento en el mercado local, regional y mundial, a

través de la aplicación del análisis de sentimientos de los comentarios emitidos por

compradores acerca de productos o algunas características específicas de sus

productos, lo anterior permitirá generar información valiosa para la toma de decisiones

por parte de empresarios y / o distribuidores de los productos , mediante el conocimiento

previo del impacto de sus productos en el mercado, quejas , sugerencias y oportunidades

de mejoras emitidas directamente por el consumidor final de dichos productos.

1.Entendimiento del problemaabordado

Debido al creciente interés por parte de los consumidores de tecnología en adquirir

productos por medio de plataformas de e-commerce, cada vez más empresas ven en el

comercio online como una forma de acceder a potenciales clientes, por este motivo

deciden migrar o complementar sus estrategias de ventas con el comercio electrónico.

En este contexto, el problema que se presenta es conocer ¿qué tanto provecho obtienen

las empresas a partir de la información generada por las opiniones de usuarios y

compradores de sus productos tecnológicos? y ¿cómo pueden mejorar sus procesos y

productos basados en la retroalimentación que reciben de sus consumidores en las

diferentes plataformas de e-commerce?

Diversas empresas utilizan plataformas de ventas (i.e. Mercado libre, Amazon, Ebay,

entre otras) para realizar ventas a nivel nacional, regional y / o mundial; sin embargo, no

todos aprovechan el potencial de sus datos, según Dave Mosley CEO de Seagate, las

empresa no utilizan el 68% de la cantidad de datos disponibles, solamente el 32% de los

datos disponibles son aprovechados, esto basado en una encuesta realizada a 1.500

líderes empresariales globales (Mosley, 2020). De acuerdo con lo anterior, se puede

inferir que existen empresas qué no tienen en cuenta la retroalimentación de sus

consumidores en estas plataformas de comercio electrónico, para realizar cambios y

mejoras a sus productos, la no consideración de dicha información puede generar

lentitud en los procesos de innovación y de adaptación a las nuevas exigencias del

mercado, lo cual puede ocasionar malestar en los consumidores, generando que se

pierdan potenciales clientes, esto último terminará por afectar el proceso de venta,

fidelización de compradores actuales y de consecución de compradores futuros.

De acuerdo con esto, las empresas pueden plantearse inquietudes alrededor de los

gustos, necesidades, preferencias o tendencias de los usuarios al momento de adquirir

6 Modelo para evaluaciones de un producto de tecnología

un producto electrónico. Según información de la Cámara Colombiana de Comercio

Electrónico, a agosto del año 2020 el acumulado de las ventas totales del año supera los

$17,1 billones por medios digitales, caso $3 billones por encima del mismo periodo en el

año 2019, en el cual la cifra llegó a cerca de 14 billones de pesos (CCCE, 2020). Las

preguntas son: ¿Qué características de los productos electrónicos es más valorada?,

¿Qué características de los productos electrónicos es menos valorada?, ¿Qué tan

significativo es para los compradores características específicas de los productos

electrónicos como: ¿cámara, sonido, pantalla, tamaño, entre otros?, ¿Cuál es la opinión

de los compradores acerca de aspectos estéticos de sus productos electrónicos?, en

términos generales, ¿qué tanto les gusta el producto a los compradores?.

Para responder las anteriores inquietudes, en la realización de este trabajo se construirá

un modelo para clasificar las opiniones emitidas por usuarios compradores, de un grupo

de productos electrónicos en la página de venta online Amazon.com ®, lo anterior, trae

los siguientes beneficios para las empresas: (1) conocer la opinión de sus consumidores

sobre sus productos, (2) Ahorro de tiempo procesando e interpretando opiniones de

compradores, (3) generar valor a partir de información de consumidores una vez se

realizó el proceso de venta (post-venta).

La identificación de sentimientos en las opiniones emitidas por clientes una vez se realizó

el proceso de venta online es de gran importancia ya que permite aprovechar las

ventajas del comercio B2C (empresa-consumidor) para generar valor a partir de las

opiniones acerca de los productos, ya que la cantidad de unidades vendidas puede no

ser un factor 100% confiable respecto a la calidad del producto o el grado de aceptación

de este último, ya que dichas cifras pueden estar influenciadas por una agresiva

campaña publicitaria o por la confianza previamente depositada de los usuarios en la

marca por experiencias del pasado y no necesariamente reflejan la opinión respecto al

producto que se está comprando.

Es importante realizar algunas aclaraciones requeridas para el desarrollo de este trabajo:

Trabajo de grados - Maestría 7

1. La fuente de datos a partir de la cual se realizará la extracción y estudio analítico,

son plataformas de e-commerce o comercio electrónico, en este caso se ha elegido

información de usuarios de la plataforma de comercio electrónico Amazon.com ®.

2. El corpus de datos que se pretende recolectar, estudiar, explorar desde la

analítica se obtendrán en idioma inglés.

3. El corpus se creará a partir de opiniones emitidas por los usuarios de diferentes

países del mundo registrados en amazon.com ®, no se realiza una diferenciación entre

usuarios de diferentes países.

8 Modelo para evaluaciones de un producto de tecnología

2. Justificación

El análisis de sentimiento es bastante útil en el monitoreo de las redes sociales y / o

plataformas con opiniones ya que permite hacernos una idea de la opinión pública

general sobre ciertos temas y productos. Los beneficios del análisis de sentimiento son

numerosos e importantes. La habilidad de extraer información de datos de las redes

sociales es una práctica que ya están adoptando las organizaciones. A su vez este

proceso no es implementado solamente en la industria, sino que se ha efectuado en

diferentes temas sociales, culturales y políticos a nivel mundial (Brandwatch.com, 2015).

Para mejorar o mantener su nivel de crecimiento, las empresas necesitan tomar

decisiones rápidamente, respecto al impacto que sus productos o alguna de sus

características, para lograrlo es importante conocer la percepción que tienen los

consumidores sobre estos, es decir, obtener retroalimentación sobre sus productos. En la

actualidad, gracias al auge de las plataformas de e-commerce es posible tener acceso a

una gran cantidad de opiniones de personas sobre su experiencia con el uso de

diferentes productos, estas opiniones si se utilizan correctamente podrían ayudar a las

organizaciones a tomar mejores decisiones.

La importancia de este trabajo radica en la implementación de un modelo para la

identificación de sentimientos negativos, positivos o neutros en las opiniones emitidas por

usuarios en una plataforma de comercio electrónico sobre determinados productos y sus

características, obtener esta información ayudará a las empresas a conocer cuáles son

los puntos a mejorar de sus productos, teniendo en cuenta las opiniones de usuarios, se

puede conocer las características menos valoradas, lo cual permitirá realizar


modificaciones y cambios que permitan afianzarse en el mercado y mejorar la

aceptabilidad de los productos por parte de los consumidores.

3.Objetivos

3.1.1 Objetivo General

Desarrollar un modelo para el análisis de sentimientos de las evaluaciones de productos

de tecnología, donde se clasifiquen sentimientos considerando las opiniones emitidas por

consumidores en una plataforma de e-commerce.

3.1.2 Objetivos Específicos

▪ Caracterizar las variables para las cuales se efectuará un análisis de sentimientos de

evaluaciones post-venta del producto.

▪ Implementar un modelo de análisis de sentimientos considerando las evaluaciones

emitidas por consumidores en una plataforma de comercio electrónico.

▪ Validar un modelo de análisis de sentimientos considerando las opiniones emitidas

por consumidores en una plataforma de venta online.

10

Modelo para evaluaciones de un producto de tecnología

4.Exploración de la literatura

En este apartado se presentarán los conceptos relacionados con el análisis de

sentimientos de acuerdo a reconocidos autores en el tema, en un primer momento se

expondrán los diferentes conceptos de minería de datos, minería de texto, procesamiento

del lenguaje natural, análisis de sentimientos, las técnicas de clasificación más utilizadas

a lo largo de la revisión del estado del estado de la cuestión para Colombia sobre análisis

de sentimientos -Regresión logística, Naive Bayes, Modelo de máxima entropía

(MaxEnt), Support Vector Machines, Decision trees - y el concepto de matriz de

confusión.

4.1 Minería de datosExisten numerosas definiciones de minería de datos, Microsoft define la minería de datos

como el proceso de detectar información procesable de grandes conjuntos de datos

mediante la utilización de análisis matemático para deducir patrones y tendencias que

existen en los datos (Microsoft, 2019). Similar a esto, Fayyad, define la minería de datos

como un proceso no trivial de identificación válida, novedosa, potencialmente útil y

entendible de patrones comprensibles que se encuentran ocultos en los datos (Fayyad,

1996). Algunos autores se refieren a la minería de datos como el conocimiento de las

bases de datos, otros consideran que este proceso es una etapa, la cual, mediante la

aplicación de algoritmos permiten extraer patrones y el conocimiento completo de la base

de datos es KDD o Knowledge Discovery in databases, es decir, identificación del

problema, pre-procesamiento minería de datos y pos-procesamiento (Linoff, 2000),

(Berry, 2004).


Las tareas asociadas a la minería de datos combinan bases de datos y data

warehousing, técnicas de machine learning y estadística (Fayyad, 1996). Los patrones

encontrados se pueden definir como modelo de minería de datos y se pueden aplicar a

diferentes escenarios: Pronóstico, Riesgo y probabilidad, Recomendaciones, Búsqueda

de secuencias, Agrupación, (Microsoft, 2019). Es decir, tareas descriptivas y tareas

predictivas (Kamber, 2001). Gráficamente el proceso de un proyecto de minería de datos

está dado por el siguiente flujo:

Figura 1. Proceso de investigaciones de minería de texto

Tomado de: Elaboración propia.

4.2 Minería de textoSullivan define la minería de texto como cualquier operación realizada para extraer y

analizar textos procedentes de distintas fuentes externas con el objetivo de obtener

inteligencia. Además, indica que la minería de texto consiste en el descubrimiento de

información y conocimiento que anteriormente no se conocía, a partir de corpus

textuales. (Sullivan, 2001). Por su parte Hearst define que la minería de texto permite

descubrir información y conocimiento que previamente se desconocía, y que no aparecía

12


en ninguno de los documentos analizados. (Hearst, 1999). De acuerdo a estas

definiciones, la minería de texto es un proceso que pretende descubrir nuevos

conocimientos a partir de conexiones ocultas entre textos.

La minería de texto es la agrupación de texto o palabras que se han extraído de un

documento, esta es la unidad de texto que se puede manipular y analizar, con la minería

de texto se puede realizar la extracción de términos, búsqueda de palabras y temas

(Oracle, 2001). El análisis puede ser realizado a un texto de cualquier tema y longitud

(IBM, 2005). Esta puede identificar relaciones en bases de datos estructuradas y no

estructuradas como formularios, revistas, páginas, entre otros. Esto mediante la

identificación de patrones dentro de los textos, teniendo en cuenta el uso de palabras,

estructura sintáctica, dependencias y correlaciones de los términos. (Alvarado, 2013).

4.3 Procesamiento del lenguaje Natural (NPL)Es un área de estudio enfocado en comprender el lenguaje humano a través del

ordenador, consiste en analizar el lenguaje humano, interpretarlo y dar un significado

para que sea empleado de manera práctica, tiene aplicaciones como la traducción de

idiomas, resumen automático de textos, análisis de sentimientos, reconocimiento del

habla, etc, así como también contempla parte de la ciencia de datos, la inteligencia

artificial y la lingüística (Arcila, 2018).

De acuerdo con Cortez Vásquez (2019), el lenguaje natural (LN) es el medio que

utilizamos de manera cotidiana para establecer nuestra comunicación con las demás

personas. El LN ha venido perfeccionándose a partir de la experiencia a tal punto que

puede ser utilizado para analizar situaciones altamente complejas y razonar muy

sutilmente. Los lenguajes naturales tienen un gran poder expresivo y su función y valor

como una herramienta para razonamiento. Por otro lado, la sintaxis de un LN puede ser

modelada fácilmente por un lenguaje formal, similar a los utilizados en las matemáticas y

la lógica.


En un primer resumen, los lenguajes naturales se caracterizan por las siguientes

propiedades:

1. Un lenguaje natural se define a partir de una gramática G, sin embargo, este se

enriquece progresivamente modificando así también la gramática que la define. Esto

dificulta la formalización de la definición de G.

2. Un LN tiene un gran poder expresivo debido a la riqueza del componente semántico

(poli semántica). Esto dificulta aún más la formalización completa de su gramática.

Figura 2. Flujo del proceso de entrenamiento del lenguaje natural

Tomado de: Cortez Vásquez, Augusto, et al. "Procesamiento de lenguaje natural." Revista de investigaciónde Sistemas e Informática, vol. 6, no. 2, July-Dec. 2009, pp. 45+. Gale OneFile: Informe Académico,link.gale.com/apps/doc/A309314630/IFME?u=anon~79a18a11&sid=googleScholar&xid=ddf67c25. Accessed24 Nov. 2021.

4.4 Análisis de sentimientosEl análisis de sentimientos está estrechamente relacionado con la lingüística

computacional, procesamiento del lenguaje natural y la minería de textos. Existen

diversos nombres para referirse a este tema: minería de opinión, extracción de

evaluación y análisis de subjetividad (Pang, 2008). Los sentimientos pueden reflejarse de

varias formas: explícita o implícitamente, en el primer caso la frase cargada de

subjetividad expresa una opinión (“Es un hermoso día”), mientras que implícitamente

cuando el texto expresa una opinión (“Los audífonos se quebraron en dos días”) (Liu,

14


2006). La revisión del estado de la cuestión reflejó que la mayoría de las investigaciones

y artículos consultados se enfocaron más en el análisis explícito.

El análisis de sentimientos realiza la división de cada documento de texto en

componentes, como son: las oraciones, frases y tokens esta es una instancia de un tipo

de texto dado. Identificando cada frase que compone el sentimiento y asignando una

puntuación a cada frase (Lexalytics, 2018). Otra definición es la de Arcila es que “El

análisis de sentimientos analiza el vocabulario de un texto para determinar sus cargas

emocionales” (Arcila, 2016). El análisis de textos como tarea del procesamiento de

lenguaje natural (PLN) se centra en la categorización automática de textos, lo cual

permite ordenar la información para acceder a ella de forma eficiente. El análisis de

sentimientos permite extraer la polaridad de la opinión de un texto e identificar las

intenciones y orientación del texto, utilizando un enfoque explícito e implícito.

En la actualidad existen dos enfoques de análisis de sentimientos, un enfoque de

aprendizaje automático y otro semántico en cual destaca el trabajo de Turney , en el que

se aplica análisis de sentimientos a reviews de películas para clasificarlas como

recomendadas o no recomendadas, se destaca también la combinación del análisis de

sentimientos y el topic modeling para obtener resultados más concretos. Se puede

aplicar análisis de sentimientos a diferentes fuentes: redes sociales, blog, plataformas de

e-commerce, entre otros (Turney, 2002).

4.5 Inventario de modelos (Aprendizaje supervisado)

4.5.1 Regresión logísticaSegún Amat la Regresión Logística Simple, desarrollada por David Cox en 1958, es un

método de regresión que permite estimar la probabilidad de una variable cualitativa

binaria en función de una variable cuantitativa. Una de las principales aplicaciones de la

regresión logística es la de clasificación binaria, en el que las observaciones se clasifican

en un grupo u otro dependiendo del valor que tome la variable empleada como predictor.

En regresión logística se utiliza la siguiente función logística:


Figura 3. Representación matemática de la regresión logística

Tomado de: Regresión logística simple y múltiple by Joaquín Amat Rodrigo, available under a Attribution 4.0

International (CC BY 4.0) at

https://www.cienciadedatos.net/documentos/27_regresion_logistica_simple_y_multiple.html

Donde Pr(Y=k|X=x) es la probabilidad de que la variable cualitativa Y adquiera el valor k(el nivel de referencia, codificado como 1), dado que el predictor X tiene el valor x.

4.5.2 Naive bayesEs un método de clasificación supervisado y generativo que se basa en el teorema de

Bayes. El paradigma clasificatorio en el que se utiliza en este teorema está en conjunción

con la hipótesis de independencia condicional de las variables predictoras dada la clase.

Se conoce bajo diversos nombres que incluyen los de idiota Bayes (Ohmann y col. 1988),

naıve Bayes (Kononenko, 1990), simple Bayes (Gammerman y Thatcher, 1991) y Bayes

independiente (Todd y Stamper, 1994). La ecuación bajo la cual se puede obtener la

probabilidad de que un texto o partes del texto pertenezca a una determinada clase está

dada por:

Figura 4. Representación matemática del algoritmo Naive Bayes


16


Tomado de: Regresión logística simple y múltiple by Joaquín Amat Rodrigo, available under a Attribution 4.0

International (CC BY 4.0) at

https://www.cienciadedatos.net/documentos/27_regresion_logistica_simple_y_multiple.ht

ml

Donde fk son los atributos del documento, C es la clase y P(fk |Ci) es la probabilidad de

ocurrencia del atributo en la clase dada. La clase seleccionada por el clasificador será la

que maximice la probabilidad anterior. Las implementaciones del algoritmo de Naive

Bayes difieren principalmente en la aproximación de P(fk |Ci) y las técnicas de smoothing

2 utilizadas para el tratamiento de probabilidades bajas o nulas.

4.5.3 Modelo de máxima entropía (MaxEnt)El modelo de máxima entropía es un método de clasificación discriminativo donde los

documentos del conjunto de datos son descritos a partir de una lista de atributos, siendo

cada uno una restricción del modelo. Este método se basa en seleccionar la distribución

de probabilidad que satisfaga todas las restricciones del modelo y maximice la entropía.

Esto apunta a preservar la incertidumbre tanto como sea posible. La probabilidad de que

un texto pertenezca a una clase está dada por la siguiente figura:

Figura 5. Representación matemática del modelo de máxima entropía

Tomado de: Modelo de máxima entropía (Modelo de máxima entropía) by programador at

https://programmerclick.com/article/13001703362/

Donde, c es la clase que se desea evaluar, x es el documento, fi es cada atributo, wci es

el peso de ese atributo para la clase c que se esté evaluando y wcii es el peso del

atributo en cada una de las posibles clases.




4.5.4 Support Vector MachinesEs un método supervisado de clasificación binaria en el cual el entrenamiento consiste en

encontrar un hiperplano que separe los vectores de atributos que representan los

documentos del conjunto de datos en dos grupos, siendo esta separación la más grande

posible. Aquellos vectores que definen los márgenes de la máxima separación entre las

clases se conocen como support vectors(Zhang,2005)

La probabilidad de que un texto pertenezca a una clase está dada por la siguiente

imagen

Figura 6. Representación matemática del modelo de SVM

Tomado de: Automated Text Binary Classification using Machine Learning Approach. (2020).

Siendo, x el vector de atributos del documento a clasificar, ai cada uno de los pesos que

ponderan los vectores de atributos identificados como support features, xi cada uno de

los support features y b el término independiente. Un valor de —1 indicará que el

documento pertenece a una clase y un valor de +1 a la otra, lo que representa de qué

lado del hiperplano se encuentra x. El espacio bidimensional se puede representar en la

siguiente figura

Figura 7. Ejemplo de SVM para dos clases

18


Tomado de: Universidad Nacional de Loja(UNL), “Investigación | Universidad Nacional de Loja,” 2014

4.5.5 Decision TreesEs un método de clasificación supervisado en el que el entrenamiento consiste en la

construcción de un árbol de decisión de múltiples caminos en el que para cada nodo se

busca el atributo que provee mayor ganancia de información para la clase (Clark,2010).

El árbol crece hasta su tamaño máximo y luego es acotado para mejorar su capacidad de

generalización para los datos que no ocurren en el conjunto de datos de entrenamiento.

A partir de este modelo se infieren reglas de decisión sobre las cuales se basa la

clasificación.

4.6 Matriz de confusiónDe acuerdo a Deng y Luque et al., la matriz de confusión es un concepto del aprendizaje

automático, que contiene información sobre clases reales y predichas, realizadas por un

sistema de clasificación. Una matriz de confusión tiene dos dimensiones, una dimensión

está indexada por el valor de la clase real de un objeto, el otro está indexado por la clase

que predice el clasificador. La Fig. 2 presenta la forma básica de una matriz de confusión

para una tarea de clasificación de clases múltiples, con las clases A1, A2 y An. En la

matriz de confusión, Nij representa el número de muestras que realmente pertenecen a la

clase Ai, pero clasificadas como clase Aj.

De acuerdo con López, una matriz de confusión o matriz de error, es una tabla de

contingencia que sirve como herramienta estadística para el análisis de observaciones

emparejadas. Según Deng y Luque et al., la matriz de confusión es un concepto del

aprendizaje automático, que contiene información sobre clases reales y predichas,

realizadas por un sistema de clasificación.

En esta línea, la matriz de confusión aparece reconocida en la Norma Internacional ISO

19157, relativa a la calidad de la información geográfica, como un mecanismo para

ofrecer los resultados de la calidad temática de productos vectoriales o derivados de

imágenes (p.ej. clasificación de una imagen). El contenido de una matriz de confusión es


un conjunto de valores que contabilizan el grado de semejanza entre observaciones

emparejadas: un conjunto de datos bajo control (CDC) y un conjunto de datos de

referencia (CDR), para los que se ha establecido una clasificación. Usualmente el CDR

es la verdad terreno, es decir, la realidad, y suele conocerse por medio de un muestreo.

La matriz de confusión puede construirse a partir de píxeles, agrupaciones de píxeles o

cualquier tipo de objeto geográfico (p.ej. polígonos). Con independencia de su tipología,

los elementos del CDC se comparan con sus homólogos en el CDR (Lopez,2018).Lo

anterior, puede verse reflejado a continuación.

Figura 8. Representación de la matriz de confusión

Tomado de: Deng 2016, “An improved method to construct basic probability assignment based on the

confusion matrix for classification problem”.

20


5.Antecedentes

En Colombia, se han realizado investigaciones sobre el análisis de sentimientos con

diversos enfoques, los más recurrentes en la búsqueda han sido el análisis de

sentimientos respecto a temas políticos, económicos y sociales (i.e Jep, libre comercio,

proceso electoral, entre otros) basado en minería de texto en Twitter, o Facebook, en el

caso específico de análisis de sentimientos para características de un producto, se

encontró una menor cantidad de investigaciones. Las investigaciones consultadas hacen

parte de tesis de estudiantes de Doctorado de diferentes universidades del país o de

otros países, publicadas por las universidades a través de su biblioteca online, además,

solo se revisaron investigaciones y publicaciones realizadas recientemente y se

seleccionaron máximo dos (2) artículos por tema.

De acuerdo con (Ortiz,2016 et al.), realizaron un estudio de análisis de sentimientos

político mediante la aplicación de herramientas de minería de datos a través del uso de

redes sociales, en este artículo se realizó un análisis basado en los debates de opinión

generados en redes sociales en vísperas de fechas electorales en el país y los

acontecimientos que sucedían previo a elecciones, se realizó un análisis de sentimientos

para medir los efectos de las opiniones en las redes sociales Twitter y la relación con las

elecciones a la alcaldía de Bogotá del año 2015. Utilizaron un corpus en español con

alrededor de 1638 Tweet. Se aplicó un modelo de correlaciones estadísticas para cada

uno de los candidatos teniendo en cuenta distintas variables tales como: menciones,

sentimientos positivos, sentimientos negativos y SIMScore.

En esta misma línea Paez, realizó un modelo de análisis de sentimientos sobre la JEP

basado en minería de datos en Twitter, se implementaron tres algoritmos en los cuales se

realizó una comparación con las características de unigramas y bigramas, se utilizaron


las categorías –positivo, negativo y neutro. Como resultado se obtuvo que en general las

personas no estaban de acuerdo con la jep pero específicamente con los rubros

asignados y los gastos de la JEP. Se utilizaron algoritmos de aprendizaje supervisados

como Naive Bayes, Random Forest y Máquinas de Soporte Vectorial. El mejor método de

análisis de sentimientos fue Random Forest con métricas de precisión del 74,56 % recall

70,15% y F1-Score con un resultado del 68,10%. (Paez 2020)

De otro lado, Henríquez realizó Análisis de sentimientos a nivel de aspecto usando

ontologías y aprendizaje automático, lo cual permitió extraer automáticamente las

características de una opinión y determinar la polaridad de estas últimas. Se utilizó un

clasificador basado en Máquinas de soporte Vectorial para la asignación de la polaridad a

los aspectos detectados. La métrica utilizada fue Accuracy, y se obtuvo un 84.79%

(Henríquez, 2018).

Además de los anteriores estudios, se ha realizado análisis de sentimientos aplicado a

temas tan diversos como el transporte, un ejemplo de esto es la investigación realizada

por Ríos, donde presenta un análisis de sentimientos enfocados al servicio de transporte

masivo aplicando tecnologías de Big Data. Utilizó varias técnicas de aprendizaje

supervisado y obtuvo un accuracy de 79% (Ríos, 2018). Similar a este, otro estudio

donde se aplicó análisis de sentimientos fue la investigación de Gil, donde se realizó

análisis de sentimientos sobre el impacto social de proyectos de vivienda en América

Latina, específicamente Colombia), donde se utilizaron 5 categorías: Negativo, Neutral,

Positivo, Muy Negativo, Muy Positivo (Gil, 2018).

A nivel internacional, pero enfocado en el tema de análisis de sentimientos de productos

está la investigación realizada en España por Fernández, donde trabajó en un modelo de

análisis de sentimientos para la empresa Dell Technologies Inc. Basado no solo en

opiniones, sino en evaluaciones, en entidades como productos, servicios,

organizaciones, individuos, cuestiones, eventos, tópicos y atributos. Se utilizó la métrica

de precisión con la cual se obtuvo una precisión en la clasificación del 80%. Además, se

utilizaron modelos de Naivy Bayes, KNN, SMV. (Fernandez, 2018).

22


Después de realizar una revisión por el estado del arte más reciente se puede evidenciar

que, aunque el tema de análisis de sentimientos ha sido tratado con diversos enfoques

–político, social, entre otros-, no se encontraron una gran cantidad de estudios o

investigaciones aplicados al análisis de sentimientos para características de un producto

en la revisión realizada a nivel nacional. En general, las métricas más utilizadas fueron la

“precisión” y en todas las investigaciones revisadas se utilizaron entre 2 o máximo 3

categorías - positivo, negativo o positivo, negativo, neutro-, algunas pocas,

investigaciones utilizaron las categorías de negativo, positivo, neutro, muy negativo, muy

positivo, en el caso de investigaciones con más de 3 categorías obtuvieron peor

resultado que en los casos donde solo había 3 categorías. En todas las fuentes

consultadas se aplicaban diferentes modelos, los cuales una vez eran evaluados se

elegía el modelo con mejor resultado de acuerdo a la métrica utilizada. Los modelos más

utilizados fueron Random Forest-SVM, y Neivy Bayes, los que mejores resultados

arrojaron fueron los trabajos donde se utilizó el modelo de Neivy Bayes.

Debido a las pocas investigaciones encontradas en la realización del estado del arte

sobre el tema específico de análisis de sentimientos para características de un producto,

se puede evidenciar que el problema no tiene una respuesta completa, sino parcial, ya

que hay muchos trabajos de análisis de sentimientos, pero no enfocados al tema de

investigación tratado en este trabajo, con lo cual con la realización de este trabajo

brindará un nuevo enfoque a un tema no abordado profundamente, manteniendo la

calidad en las métricas de evaluación de los diversos modelos. Para solucionar el

problema se utilizaran modelos elegidos a partir de la revisión del estado del arte (SMV,

Naivy Bayes, Random Forest) , los cuales una vez aplicados y evaluados , se elegirá el

más adecuado para nuestro problema.


6.Metodología CRISP-DM

La metodología utilizada en este trabajo tendrá un enfoque cualitativo de diseñoexperimental, dado que está basado en un caso de estudio que recoge y analiza laaplicación de la técnica de análisis de sentimientos para opiniones de usuarios ycompradores de productos electrónicos, como herramienta para la solución de problemasrelacionados con la calidad de las características de productos, mercadeo y atención alcliente. La metodología de minería de datos seleccionada es CRISP-DM (Cross IndustryStandard Process for Data Mining) que está basada en un proceso integral para llevar acabo proyectos de minería de datos (Wirth, R., & Hipp, J., 2000) ya que proporciona unadescripción normalizada del ciclo de vida de un proyecto estándar de análisis de datos. Elmodelo CRISP-DM consta de 6 etapas.

Las etapas de la metodología CRISP - DM están dadas por la siguiente figura:

Figura 9. Fases de la metodología CRISP-DM

Tomado de: Moine, 2013

24


A continuación, se describe los pasos a seguir, de acuerdo a la metodología CRISP-DM,aplicado al caso del análisis de sentimientos para productos de tecnología:

Tabla 1. Etapas del proyecto adaptado a la metodología CRISP-DM

Etapa Proceso Descripción

1 Definición de

necesidades del cliente

(Comprensión del

negocio)

Se enfoca en la comprensión de los objetivos del

proyecto, es decir, entender el proceso de

recolección de datos por parte de la empresa para

definir cuáles son los puntos a favor y en contra de

sus productos electrónicos comercializados.

2 Estudio y comprensión

de los datos

Comienza con la obtención de opiniones de

consumidores de productos electrónicos,

posteriormente se realiza la familiarización con los

datos, se define la familia de productos que se

utilizaran para el estudio y se relacionarán las

diferentes bases de datos obtenidos de la

plataforma de comercio electrónico Amazon.

3 Preparación de los

datos

Se construye un conjunto de datos limpios. Las

tareas incluyen selección de tablas, registros y

atributos, transformación y limpieza de los datos

para generar modelos de calidad.

4 Modelado Selección y ejecución de varias técnicas de

modelado, estimar la importancia de cada variable

en el modelo de clasificación y encontrar una

solución óptima. Se utilizarán algoritmos de Naivy

Bayes, SMV, regresión logística, entre otros.


5 Evaluación Revisar los diferentes resultados arrojados por los

modelos construidos, hacer ajustes y ejecutar

pruebas para posteriormente validar el modelo.

6 Despliegue Utilizar los conocimientos obtenidos para generar

acciones dentro del negocio, es decir, disminuir los

tiempos de recolección y análisis de los datos e

identificar posibilidades de mejora en los

productos.

26


7.Alcance del trabajo

El alcance de este trabajo será identificar sentimientos en las categorías depositivo-negativo y positivo-neutro-negativo para características de productostecnológicos. Los productos elegidos para realizar el análisis fueron: Computers, Tablets,eBook Readers, Frys, Networking, Kindle, Fire Tablet Accessories, Electronics, Back ToCollege, College Ipads, Featured Brands, Amazon Devices,Movies, Music. Se escogieronestos productos por la facilidad para obtener datos exactos sobre un producto evitandoasí el sesgo que puede presentarse con otro tipo de producto, por ejemplo en el caso deproductos como ropa, las opiniones pueden variar en función de la tela, tamaño, colorentre otros aspectos, todo esto puede afectar el resultado del modelo.

Las opiniones serán obtenidas de Amazon ya que según datos de la bbc para el 2020,Amazon contaba con más de 190 millones promedio mensual de usuarios únicossolamente en EEUU, ingresos totales de US 260.509 millones en ventas, lo cual loconvierte en una de las plataformas más importantes de comercio electrónico a nivelmundial (Olsavsky, 2018). Actualmente tiene presencia en casi todos los países delmundo, a excepción de China, Japón, Arabia Saudí, Argelia, Australia, Bahrein,Bangladesh, Bosnia Herzegovina, Brunei, Bután, Egipto, Jordania, Israel, Kuwait, Libia,Malasia, Marruecos, Myanmar (Birmania), Omán, Pakistán, Qatar, Corea del Norte,Cuba, Irán, Irak, Siria, Sudán del Norte, Sudán del Sur, Singapur y Túnez. Debido a lagran cantidad de compradores y vendedores con los que cuenta Amazon, los cualesconstantemente generan datos Amazon es una plataforma escogida para extraer lasopiniones de usuarios compradores de productos de tecnología.

Las actividades que se realizarán para la elaboración del modelo de análisis desentimientos son los siguientes:

1. Analizar los requisitos de las empresas para las cuales se quiere implementar elsistema de análisis de sentimientos, identificando características específicas de losproductos como cámara, tamaño, color, entre otros.

2. Identificar para qué productos o características específicas aplica el análisis desentimientos.


3. Se realizará búsqueda minuciosa en sitios que contengan bases de datos comokaggle, directamente de amazon, para los siguientes productos: Computers, Tablets,eBook Readers, Frys, Networking, Kindle, Fire Tablet Accessories, Electronics, Back ToCollege, College Ipads, Featured Brands, Amazon Devices,Movies, Music.

4. Almacenar la información encontrada de Amazon sobre productos tecnológicosespecíficos en una base de datos.

5. Se implementará el modelo de análisis de sentimientos utilizando diversosalgoritmos (SMV, Naivy Bayes, clasificación de entropía máxima, entre otros), paraevaluar e implementar el algoritmo que mejor clasifique de acuerdo a la métrica elegida.

6. Las opiniones serán divididas en 3 categorías (positivas- neutras y negativas) yen 2 categorías (positivas y negativas). Las opiniones serán consideradas positivascuando expresan intenciones de compra o satisfacción, neutrales, cuando expresan unnivel de satisfacción medio y negativos cuando manifiestan disgusto o insatisfacciónsobre los productos o características de los productos.

7. Evaluar el rendimiento de la técnica basada en minería de datos utilizando lamétrica de precisión, recall, F1-score y exactitud, para identificar cuál fue el mejorresultado.

8. Definir una prueba piloto para validar la efectividad del modelo de análisis desentimiento.

9. Conocer el impacto del análisis de sentimientos como herramienta para lasolución de problemas relacionados con el control de calidad de productos.

28


8.Entendimiento de los datos

Durante el desarrollo de este trabajo se utiliza el lenguaje de programación Python parael proceso de desarrollo, evaluación e implementación de los modelos de análisis desentimientos. Para la realización de este trabajo fue necesario seguir varias etapas, laprimera de ellas corresponde a la obtención de los datos, la segunda hace referencia alpre procesamiento de los datos, lo cual incluye limpiar, normalizar y/o eliminar lasopiniones “inconsistentes”, en la tercera etapa se realiza el proceso de tokenización, esteconsiste en dividir las opiniones en tokens, a partir de estas divisiones se extraen lascaracterísticas principales que representan las opiniones de acuerdo a la calificación delusuario, finalmente, en la cuarta etapa se realiza el entrenamiento de los algoritmos.

8.1 Obtención de los datosPara el desarrollo de este trabajo se utilizaran datos de Amazon , la base de datoscontiene las opiniones de usuarios acerca de productos electrónicos, el dataset final es launión de 3 dataset que contienen información de opiniones manifestadas en diferentesfechas por diferentes usuarios pero haciendo referencia a las mismas categorías deproductos electrónicos en todos los conjuntos de datos, los tres (3) conjuntos de datosfueron obtenidos de Kaggle, esta última es un sitio Web de retos que permite a losusuarios encontrar y publicar datasets, construir modelos y trabajar con otros datascientists y machine learning enginner, en la búsqueda de soluciones a diferentes retos(Kaggle, 2021).

Durante el proceso de obtención inicial de datos se realizó una minuciosa búsqueda deopiniones de usuarios sobre productos tecnológicos en plataformas de comercio onlinereconocidas a nivel nacional e internacional como es el caso de Mercadolibre®, la cual esla plataforma de comercio electrónico online más importante a nivel Latinoamericano ycuenta con una gran cantidad de usuarios: compradores y vendedores registrados en laplataforma, a pesar de estas ventajas MercadoLibre no fue utilizada como fuenteprincipal de datos, porque no cuenta con una gran cantidad de opiniones de calidad,debido a que en algunos casos las opiniones de un producto se encuentra duplicadas en


otros productos diferentes del mismo vendedor, lo anterior, genera problemas de sesgoya que los comentarios suelen ser iguales para todos los productos de un determinadovendedor sin discriminar entre marca, color, categoría del producto, entre otros, loanterior, supone un inconveniente al momento de consolidar la información debido a queno es posible contar con una cantidad significativa de datos y además, genera problemasde inconsistencia en la información porque no es posible identificar la verdaderapublicación a la cual pertenecían los comentarios.

Inicialmente el análisis sería realizado con productos celulares de la marca xiaomi de laslíneas Redmi Note 6, Redmi Note 7, Redmi Note 8 y Redmi Note 9, pero debido a losinconvenientes anteriormente mencionados para obtener la información de mercadoLibre® y a que la pagina principal www.mi.com.co no tiene habilitados comentarios para quelos compradores puedan manifestar su opiniòn sobre las características de los celulares,esto sumado al incorrecto etiquetado de algunos de los equipos en diversas páginas,como de la línea “Redmi Note X” qué realmente corresponden a otros equipos, ademásse encontró qué la diferencia entre las características de cada uno de los equipos no eratan pronunciada como para poder realizar un análisis comparativo de cada una de lossentimientos asociados a cada equipo, ya qué los sentimientos manifestados eran muysimilares, por los motivos indicados anteriormente , se desistió de la idea de realizar elanálisis de este producto y se optó por utilizar bases de datos más heterogéneas, quépermitieran capturar gran cantidad de sentimientos producidos por diversos productos.

8.2 Información disponible - Análisis del conjunto dedatos

Se analizaran tres dataset de kaggle, estos contenían información de las opiniones de

compradores de productos, específicamente de la categoría de productos electrónicos,

las cuales contienen los siguientes productos: Computers, Tablets, eBook Readers, Frys,

Networking, Kindle, Fire Tablet Accessories, Electronics, Back To College, College Ipads,

Featured Brands, Amazon Devices,Movies, Music. Los datos fueron tomados en

diferentes periodos de tiempo y los usuarios que registraron sus opiniones son de

diferentes países del mundo. Inicialmente, los dataset contenían la información tal cual se

visualiza en las tablas 2, 3, 4, 5,6 y 7 respectivamente, en estas imágenes se puede

30


apreciar la cantidad y el nombre de las columnas, el tipo de datos y la descripción de

cada una de las columnas que componen los tres conjuntos de datos.

Tabla 2. Descripción general de los datos Data 1

Nombre dearchivo

Formato Fuente Número deatributos

Número deregistros

Data 1 CSV Amazon 14 26.631

Tabla 3. Descripción de las variables de Data 1

Variable Descripción Tipo Restricciones decolumna

Id Se refiere al número deidentificación único del usuario

Alfanumérico N/A

Name Se refiere al nombre delencabezado del producto

Alfanumérico N/A

Asins Se refiere al id único deencabezado de producto

Alfanumérico N/A

Brand Se refiere a la categoría delproducto - marca amazon

Texto N/A

Categories Se refiere a la categoría delproducto

Alfanumérico N/A

Keys Se refiere a las palabras claves dela búsqueda

Texto N/A

Manufacturer Se refiere a la categoría amazon oamazon digital services

Texto Audio, Pc,Gamer,tablet ,etc

Reviews.didpurchase

Se refiere a la fecha de compra Alfanumérico dd-mm-yyyy

Reviews.Reco Se refiere a sí la persona Texto N/A


mmended recomienda o no el producto

Reviews.rating

Se refiere a la calificación que losusuarios otorgan al producto

Numérico Admite 1 decimal

Reviews.sourceURLS

Se refiere a la URL del producto Alfanumérico N/A

Reviews.text Se refiere a las opiniones de losusuarios sobre los productos

Alfanumérico N/A

Reviews.title Se refiere al título de loscomentarios de las opiniones delos usuarios, es una visiónresumida del texto

Texto N/A

Reviews.username

Se refiere al nombre de usuariodel comprador

Alfanumérico N/A

El Dataset 2 contiene 18 columnas y 3.986 registros.


Nombre dearchivo


Número deregistros

Data 2 CSV Amazon 18 3.986



Id Se refiere al número deidentificación único delusuario

Alfanumérico N/A

32


DateAdded Se refiere a la fecha decompra del producto

Alfanumérico dd-mm-yyyy

Name Se refiere al nombre delencabezado del producto

Alfanumérico N/A

Asins Se refiere al id único deencabezado de producto

Alfanumérico N/A

Brand Se refiere a la categoría delproducto - marca amazon

Texto N/A

Categories Se refiere a la categoría delproducto

Alfanumérico N/A

PrimaryCategories

Se refiere a la categoríageneral del producto

Texto N/A

ImageURLs Se refiere a la URL delproducto

Alfanumérico N/A

Keys Se refiere a las palabrasclaves de la búsqueda

Texto N/A

Manufacturer Se refiere a la categoríaamazon o amazon digitalservices


reviews.date Se refiere a la fecha en laque el usuario realizó elreview


reviews.dateAdded

Se refiere a la fecha en laque el usuario realizó la



compra

reviews.doRecommend

Se refiere a sí la personarecomienda o no el producto

Texto N/A

reviews.rating Se refiere a la calificaciónque los usuarios otorgan alproducto


reviews.sourceURLs

Se refiere a la URL delproducto

Alfanumérico N/A

reviews.text Se refiere a las opiniones delos usuarios sobre losproductos

Alfanumérico N/A

reviews.title Se refiere al título de loscomentarios de las opinionesde los usuarios, es unavisión resumida del texto

Texto N/A

reviews.username

Se refiere al nombre deusuario del comprador

Alfanumérico N/A

El Dataset 3 contiene 17 columnas y 20.716 registros.


Nombre dearchivo


Número deregistros

Dataset 3 CSV Amazon 17 20.716

34




Id Se refiere al número deidentificación único delusuario

Alfanumérico N/A

DateAdded Se refiere a la fecha decompra del producto


Name Se refiere al nombre delencabezado delproducto

Alfanumérico N/A

Asins Se refiere al id único deencabezado deproducto

Alfanumérico N/A

Brand Se refiere a la categoríadel producto - marcaamazon

Texto N/A

Categories Se refiere a la categoríadel producto

Alfanumérico N/A

PrimaryCategories

Se refiere a la categoríageneral del producto

Texto N/A

ImageURLs Se refiere a la URL delproducto

Alfanumérico N/A

Keys Se refiere a laspalabras claves de la

Texto N/A


búsqueda

Manufacturer Se refiere a la categoríaamazon o amazondigital services


reviews.date Se refiere a la fecha enla que el usuario realizóel review


reviews.doRecommend

Se refiere a sí lapersona recomienda ono el producto

Texto N/A

reviews.rating Se refiere a lacalificación que losusuarios otorgan alproducto


reviews.sourceURLs

Se refiere a la URL delproducto

Alfanumérico N/A

reviews.text Se refiere a lasopiniones de losusuarios sobre losproductos

Alfanumérico N/A

reviews.title Se refiere al título delos comentarios de lasopiniones de losusuarios, es una visiónresumida del texto

Texto N/A

reviews.userna Se refiere al nombre de Alfanumérico N/A

36


me usuario del comprador

Solo se seleccionaron 2 variables cada uno de los datasets, las variables seleccionadas

fueron reviews.text y reviews.rating, la primera variable contiene la puntuación dada por

compradores basados en el grado de satisfacción con el producto, de acuerdo a lo

anterior, 1.0 podría ser considerado como Totalmente insatisfecho, 2.0 Insatisfecho, 3.0

algo satisfecho, 4.0 satisfecho y 5.0 muy satisfecho, así mismo, la variable reviews.text

contiene la información de las opiniones de los usuarios, en esta variable los

compradores expresaron de forma amplia y detallada su opinión acerca del

funcionamiento de los productos electrónicos adquiridos.

Cada uno de los datasets contiene una cantidad de registros que pueden ser

segmentados de acuerdo a la puntuación otorgada a los diferentes productos, así pues,

la distribución de los diferentes conjuntos de datos de acuerdo a las puntuaciones de los

usuarios se puede visualizar en las siguientes tablas:

Dataset 1: El dataset número uno (1) contiene la mayor cantidad de opiniones, pero el

menor porcentaje de opiniones negativas.

Tabla 8. Total de datos en cada una de las puntuaciones para el dataset 1

Reviews.rating Cantidad de evaluaciones

5.0 19.742

4.0 7.101

3.0 1.215

2.0 295

1.0 278


Dataset 2: Es el dataset con la segunda mayor cantidad de datos, además, contiene el

mayor porcentaje de opiniones positivas, pero mayor porcentaje de opiniones negativas.



5.0 14.792

4.0 3.699

3.0 879

2.0 501

1.0 845

Dataset 3: Es el dataset con menos cantidad de datos, además, contiene el mayor

porcentaje de opiniones positivas, pero el segundo con menor porcentaje de opiniones

negativas.



5.0 2.708

4.0 1.021

3.0 162

2.0 37

1.0 58

38


En general, una vez se concatenan los 3 conjuntos de datos estos conservan la

tendencia de cada uno de los conjuntos de datos por separado, en el dataset final

encontramos con que la mayoría de los datos son positivos y la cantidad de datos

negativos es poco representativa respecto al total de los datos. En las imágenes se

puede observar claramente los porcentajes de datos de acuerdo a las calificaciones

otorgadas son:

Tabla 11. Total de datos de la suma de los 3 dataset

Reviews.Ranking Cantidad Porcentaje

5.0 37.242 70%

4.0 11.821 22.1%

3.0 2.256 4.2%

2.0 1.198 2.2%

1.0 816 1.5%

Total 53.333 100%

Tal como se observa en la tabla anterior, el porcentaje de valoraciones negativas -1.0 y

2.0- , no es representativo con respecto al total de los datos, ya que las opiniones

negativas solo representan el 3.7 % de las opiniones totales, algo similar ocurre con las

opiniones neutras que representan el 4.2% del total de los datos, caso contrario ocurre

con las opiniones catalogadas como positivas - 4.0 y 5.0-, ya que estas representan el

92.2% de la base de datos, es decir, tenemos demasiados datos de opiniones positivas,

frente a muy pocos datos de opiniones negativas. Una vez los tres (3) conjuntos de

datos fueron concatenados, en total el conjunto de datos final contenía 53.333

puntuaciones y 53.333 opiniones realizadas por compradores de productos tecnológicos

en Amazon ®. A continuación, se visualiza una parte del conjunto de datos final con el

cual se resolverá la pregunta de investigación.

Figura 10. Estructura del conjunto de datos final


Tomado de : Elaboración propia.

8.3 Pre procesamiento de los datosPara realizar el proceso de entrenamiento del algoritmo de análisis de sentimientos fuenecesario identificar y descartar opiniones en la data de entrenamiento, sin calificacioneso con calificaciones no acorde al contenido de las opiniones, caracteres extraños y/oerrores de ortografìa, además, se normalizaron los datos mediante la aplicación defunciones de transformación de datos, para asegurar que no existan palabrasincompletas y/o caracteres extraños que distorsionen o modifiquen el sentido de lasoraciones , las modificaciones realizados fueron:

Estandarización de mayúsculas y minúsculas

Se transforman las opiniones con letras mayusculas en minusculas, ya que para losalgoritmos es diferente tener las palabras “Think”, ”Perfect”, ”Good”, que tener “think”,”perfect”, ”good” ò “THINK”, ”PERFECT”, ”GOOD”, éstas no serían consideradas comoun único grupo de palabras , sino como 3 grupos de palabras distintos, es por esto quese hace necesario normalizar todas las palabras, para facilitar el entrenamiento de losalgoritmos.

Eliminación de tildes

Aunque no es muy común, en inglés existen palabras con tildes (acento), se eliminan lastildes de las palabras, debido a que no es posible garantizar que todas las personas queemiten las opiniones tengan el mismo grado de calidad ortográfica, es por lo anterior, que

40


para evitar pérdidas de información, pérdida de relación semántica y evitar errores en elentrenamiento del algoritmo es necesario eliminar las tildes de las palabras.

Eliminación de números

Se eliminan los números y /o caracteres especiales en las opiniones, ya que estasafectan el sentido de la oración y no pueden ser interpretados de forma textual, unejemplo de lo anterior es: “This phone is very nice is of 5.0 star” or “This tablet is reallybad it has 1.0 over 5.0 star”, los números 5.0 y 1.0 no pueden ser interpretados por elalgoritmo en contexto, por este motivo son eliminados.

Eliminación de apóstrofe o genitivo sajón (‘)

No se eliminan las palabras que contengan apóstrofe, ya que por lo general los

apóstrofes son utilizados para indicar correctamente propiedad en sustantivos comunes y

propios, se reemplazan por la palabra completa, un ejemplo de lo anterior es la palabra

There’s fue reemplazada por There is, para evitar generar ruido en el modelo, ya que no

es igual tener “The waiter’s tray is broken”, que tener “The waiter of tray is broken”.

Eliminación de stopwords

Durante el proceso de vectorización se eliminan palabras que aunque son necesarias no

agregan valor al significado de las oraciones, es decir, palabras sin aparente carga de

significados, como los pronombres, las conjunciones, las preposiciones y las palabras

asociadas al verbo ‘haber’. La lista de palabras que fueron eliminadas porque no aportan

valor a las oraciones y al análisis final fueron:

['i', 'me', 'my', 'myself', 'we', 'our', 'ours', 'ourselves', 'you', "you're", "you've", "you'll",

"you'd", 'your', 'yours', 'yourself', 'yourselves', 'he', 'him', 'his', 'himself', 'she', "she's", 'her',

'hers', 'herself', 'it', "it's", 'its', 'itself', 'they', 'them', 'their', 'theirs', 'themselves', 'what',

'which', 'who', 'whom', 'this', 'that', "that'll", 'these', 'those', 'am', 'is', 'are', 'was', 'were', 'be',

'been', 'being', 'have', 'has', 'had', 'having', 'do', 'does', 'did', 'doing', 'a', 'an', 'the', 'and',

'but', 'if', 'or', 'because', 'as', 'until', 'while', 'of', 'at', 'by', 'for', 'with', 'about', 'against',

'between', 'into', 'through', 'during', 'before', 'after', 'above', 'below', 'to', 'from', 'up', 'down',

'in', 'out', 'on', 'off', 'over', 'under', 'again', 'further', 'then', 'once', 'here', 'there', 'when',

'where', 'why', 'how', 'all', 'any', 'both', 'each', 'few', 'more', 'most', 'other', 'some', 'such',


'no', 'nor', 'not', 'only', 'own', 'same', 'so', 'than', 'too', 'very', 's', 't', 'can', 'will', 'just', 'don',

"don't", 'should', "should've", 'now', 'd', 'll', 'm', 'o', 're', 've', 'y', 'ain', 'aren', "aren't", 'couldn',

"couldn't", 'didn', "didn't", 'doesn', "doesn't", 'hadn', "hadn't", 'hasn', "hasn't", 'haven',

"haven't", 'isn', "isn't", 'ma', 'mightn', "mightn't", 'mustn', "mustn't", 'needn', "needn't",

'shan', "shan't", 'shouldn', "shouldn't", 'wasn', "wasn't", 'weren', "weren't", 'won', "won't",

'wouldn', "wouldn't"].

8.4 TokenizaciónTokenizar un texto consiste en dividir el texto en las unidades que lo conforman,entendiendo por unidad el elemento más sencillo con significado propio para el análisisen cuestión, en este caso, las palabras (Gilse, 2017). En otras palabras es elreconocimiento automático de palabras dado un tipo específico. En esta etapa sedividieron las oraciones en unidades más pequeñas, así pues, oraciones como “Thetablet works fine''. It is responsive with good resolution”, una vez se aplica el proceso detokenización quedarán de la siguiente manera:(‘The’,‘tablet’,’works’,’fine’,’it’,’is’,’responsive’,’with’,’good’,’resolution’), estas serán laspalabras con las que nuestro modelo se entrenaría. El resultado del proceso detokenización puede verse en la siguiente tabla:

Tabla 12. Ejemplo de oraciones después del proceso de tokenización

Oración antes de la tokenización Oración después de la tokenización

Doesn’t look like a laptop or tablet but prettyclose. My 8 year old devoured it in 2 daysand now recites facts and stats from thisbook to me all the time.

‘Doesn’t’, ‘look’, ‘like’, ‘a’, ‘laptop’, ‘or,’ ‘tablet’,‘but’, ‘pretty’, ‘close’, ‘My’, ‘8’, ‘year’, ‘old’,‘devoured’, ‘it’, ‘in’, ‘2’, ‘days’, ‘and’, ‘now’,‘recites’, ‘facts’, ‘and’, ‘stats’, ‘from’, ‘this’,‘book’, ‘to’, ‘me’, ‘all’, ‘the’, ‘time’

I bought it for my school's library as thestudents love this type of book. It was wellreceived.

‘I’, ‘bought’, ‘it’, ‘for’, ‘my’, ‘schools’, ‘library’,‘as’, ‘the’, ‘students’, ‘love’, ‘this’, ‘type’, ‘of’,‘book’, ‘It’, ‘was’ ,‘well’, ‘received’

Very cool book. My son loves it ‘Very’, ‘‘cool’, ‘book’, ‘My’, ‘son’, ‘loves’, ‘it’

This is a unique and interesting hardcover ‘This’, ‘is’ , ‘a’ ‘unique’, ‘and’, ‘interesting’,

42


book. It's perfect for a coffee table orreading area as everyone who sees it wantsto pick it up and start reading through it.The pages are filled with colorful photosand one can get lost for a pleasurable longamount of time reading about thetechnologies described. Great for all ages.

‘hardcover’, ‘book’, ‘Its’, ‘perfect’, ‘for’, ‘a’,‘coffee’, ‘table’, ‘or’, ‘reading’,‘area’, ‘as’,‘everyone’, ‘who’, ‘sees’, ‘it’, ‘wants’ ,‘to’, ‘pick’,‘it’ ,‘up’, ‘and’, ‘start’, ‘reading’, ‘through’, ‘it’,.‘The’, ‘pages’, ‘are’ ,‘filled’, ‘with’, ‘colorful’,‘photos’, ‘and’, ‘one’, ‘can’, ‘get’, ‘lost’, ‘for’, ‘a’,‘pleasurable’, ‘long’, ‘amount’, ‘of’, ‘time’,‘reading’, ‘about’, ‘the’, ‘technologies’,‘described’, ‘Great’, ‘for’, ‘all’, ‘ages’

This Phone is so amazing , i am very happyfor this

‘The’ ,‘Phone’ ,‘is’, ‘so’, ‘amazing’, ‘i’, ‘am’,‘very’, ‘happy’, ‘for’, ‘this’.

My grandmother lover her gift ‘My’, ‘grandmother’, ‘lover’, ‘her’, ‘gift’

8.5 LematizaciónLa lematización es el proceso mediante el cual las palabras de un texto que pertenecen a

un mismo paradigma flexivo o derivativo son llevadas a una forma normal que representa

a toda la clase (Bassi, 2019). Se realiza la normalización morfológica de las palabras

para identificar la relación que tienen algunas palabras con su raíz. Por ejemplo, la

palabra children's, fue reemplazada por su lema que en este caso es children etc.

Tabla 13. Ejemplos del proceso de Lematización

Palabra Lema

es ser

repetible Repetir

tranquilamente Tranquilo

Suavemente Suave

Hablando Hablar


Diciendo Decir

9.Corpus de entrenamiento

Uno de los principales inconvenientes que presenta el corpus de entrenamiento se debe

al desbalance en los datos ya que en un modelo de análisis de sentimientos en 2

categorías, alrededor del 97% de los datos pertenecen a las categorías Positivas ,

mientras que en el análisis de sentimientos con 3 categorías, las opiniones positivas

representan el 92% del total de los datos, este inconveniente podría afectar

considerablemente el proceso de entrenamiento de los algoritmos ya que es posible que

se generen inconvenientes de overfitting debido a que nuestro modelo es entrenado con

demasiados datos con calificaciones positivas y muy pocos datos de calificaciones

negativas y/o neutras ya que en nuestra base estos últimos representan tan solo en 4 %

de nuestros datos.

Para dar solución al problema del desbalance de los datos, se seleccionaron todos los

datos negativos de los 3 conjuntos de datos y una cantidad similar de datos positivos y

neutros, esto con el objetivo de evitar problemas asociados al overfitting durante el

proceso de entrenamiento de los datos, con lo cual, el conjunto de datos a entrenar

contiene los valores visualizados en la siguiente tabla

44


Tabla 14. Cantidad de datos del conjunto de entrenamiento final

Reviews.Ranking Cantidad Porcentaje

5.0 6.999 40%

4.0 5.000 29%

3.0 2.902 17%

2.0 1.438 8%

1.0 1.072 6%

Total 17.312 100%

9.1 Entrenamiento de los datosLos mensajes encontrados fueron divididos en varias categorías con el fin de dar

respuesta a este trabajo, en un primer momento se crearon 2 categorías -Positivo y

negativo-, las categorías asociadas a sentimientos positivos contienen las puntuaciones

de 4.0 y y las categorías asociadas a sentimientos negativos estaban representadas

por las puntuaciones 3.0, 2.0 y 1.0, en un segundo momento, se crearon modelos para

predecir 3 categorías -Positivo, neutro y negativo- la categoría negativa están

representadas por las puntuaciones 1.0 y 2.0, la categoría neutro está representada por

3.0 y 4.0 y la categoría positiva está representada por 5.0.

Se realizó un análisis estadístico para validar por medio del cálculo de los percentiles la

distribución e identificar en cuales calificaciones existe mayor concentración de datos en

los percentiles 0% ó mínimo, 25% , 50%, 75% y 100% ó máximo.

Tabla 15. Resumen de estadísticos básicos de los datos de puntuación


Variable

Count

Mean Std Min 25% 50% 75% Max

Rating 17411

4.5583

0.8310

1.0 3.0 4.0 5.0 5.0

Además del análisis estadísticos se puede observar gráficamente la distribución general

de las puntuaciones asignadas por compradores de productos electrónicos, en la imagen

11 se observa claramente la diferencia entre la cantidad o frecuencia de las calificaciones

bajas - incluye 1.0, 2.0 y 3.0- con respecto al resto de las puntuaciones, en este caso el

total de las puntuaciones 1.0, 2.0 y 3.0 no son significativamente grandes con respecto a

las puntuaciones 4.0 y sobre todo 5.0.

Figura 11. Imagen de la distribución general de los datos


46


En el análisis de sentimientos con 2 categorías, positiva y negativa donde la categoría

negativa contiene las puntuaciones 1.0 y 2.0, se puede observar gráficamente en la

distribución de los datos negativos, que el conjunto de datos cuenta con más datos de

clientes totalmente insatisfechos que de clientes parcialmente insatisfechos, con lo cual

el modelo será evaluado utilizando para las categorías negativas más datos de personas

totalmente insatisfechas o 100% insatisfechas con la atención o el producto obtenido a

través de la plataforma de comercio online. La imagen 12 muestra la distribución de los

datos negativos para 2 categorías.

Figura 12. Gráfico de distribución de sentimientos Negativos con 2 categorías: Positiva y negativa


De otro lado, el análisis de sentimientos con 2 categorías, donde la categoría positiva

contiene las puntuaciones 3.0 , 4.0 y 5.0, se puede observar gráficamente en la

distribución de los datos negativos, que el conjunto de datos contiene muy pocos datos

de clientes de calificaciones satisfactorias (3.0) con respecto a las calificaciones de los

clientes satisfechos (4.0) y especialmente respecto a los clientes totalmente satisfechos o

muy satisfechos (5.0), las categorías positivas serán evaluadas utilizando datos

mayormente satisfechas con la atención o el producto obtenido a través de la plataforma

de comercio online. La figura 13 muestra la distribución de los datos positivos para 2

categorías.


Figura 13. Gráfico de distribución de sentimientos Positivos con 2 categorías: Positiva y negativa


En el análisis de sentimientos con 3 categorías, positiva, neutra y negativa donde la categoría

negativa contiene las puntuaciones 1.0, 2.0 y 3.0, se puede observar gráficamente en la distribución

de los datos negativos, que dentro de la segmentación de datos negativos, la mayoría de los datos

de la categoría están compuestos por datos de personas que califican productos con 3.0, es decir,

para la categoría negativa, el modelo será entrenado y evaluado con datos de puntuaciones 3.0 y

1.0, que contienen comentarios del tipo “algo satisfecho y totalmente insatisfecho” con la atención

o el producto obtenido a través de la plataforma de comercio online. La imagen 14 muestra la

distribución de los datos negativos para 3 categorías.

Figura 14. Gráfico de distribución de sentimientos Negativos con 3 categorías: Positiva, neutra y negativa:

(negativa 1.0, 2.0, 3.0)

48



De otro lado, el análisis de sentimientos con 3 categorías, donde la categoría positiva

contiene la puntuación 5.0, se puede observar gráficamente en la distribución de los

datos positivos, que el conjunto de datos contiene una gran cantidad de datos de clientes

de calificaciones muy satisfactorias (5.0), las categorías positivas serán evaluadas

utilizando datos solamente de calificaciones consideradas muy satisfactorias, es decir ,

clientes que consideraron que su experiencia con el producto obtenido a través de la

plataforma de comercio online fue inmejorable. La imagen 15 muestra la distribución de

los datos positivos para 3 categorías.

Figura 15. Gráfico de distribución de sentimientos Positivos con 3 categorías: Positiva, neutra y negativa:

(5.0)


En el análisis de sentimientos con 3 categorías, positiva, neutra y negativa donde la

categoría neutra contiene las puntuaciones 4.0, se puede observar gráficamente en la

distribución de los datos neutros, para la categoría negativa, el modelo será entrenado y

evaluado con datos de puntuaciones 4.0, que contienen comentarios del tipo

“Parcialmente satisfecho” con la atención o el producto obtenido a través de la plataforma

de comercio online. La figura 16 muestra la distribución de los datos neutros para 3

categorías.

Figura 16. Gráfico de distribución de sentimientos Neutros con 3 categorías: Positiva, neutra y negativa:

(4.0)



Además de la distribución, se realizó un análisis de las palabras más repetidas para

identificar de forma ordenada qué palabras están más relacionadas con las puntuaciones

en cada una de las categorías -positivas y negativas- y -positivas, neutra y negativas- con

los diferentes sentimientos. Se crea una nube de tags o nube de etiquetas la cual es una

representación gráfica de las etiquetas, este proceso se realizó previamente al proceso

de lematización y tokenización, esto garantiza que solo se visualizan palabras que

agreguen valor a las oraciones y se omiten palabras como pronombres. El tamaño de las

palabras de la nube indican la cantidad de veces que aparecen en las opiniones, las

palabras mayor tamaño son las palabras que más importancia tienen en las opiniones

debido a las veces que fueron repetidas.

Observando detalladamente la figura 18 la nube de palabras general que contiene la

información de las palabras más repetidas de todas las categorías, es decir, las palabras

del total de opiniones del conjunto de datos emitidas por parte de compradores de

productos electrónicos en Amazon, encontramos que las más usuales dentro del total de

datos una vez se ha realizado el proceso de eliminación de stopwords son : Use, Love,

50


Good, easy, bought, device, kid, time, purchased, price, batterie, great, product, thing,

recommend , work, entre otras. Basado en lo anterior se puede observar que las palabras

más repetidas, a excepción de “batterie” no necesariamente hacen referencia a partes

específicas de los productos sino a sentimientos y percepciones del precio del producto

indicadas por los compradores con respecto a los productos , por ejemplo, good, love,

price, purchased , time , entre otras.

A continuación se puede ver la nube de palabras de todas las categorías:

Figura 17. Nube de palabras todas las categorías


En las categorías positivas en la segmentación de 2 categorías donde la categoría

positiva contiene las puntuaciones 3.0 , 4.0 y 5.0, las palabras que más se se repiten son

: Use , great, tablet, love, bought, good, tablet, product, purchased, device, game, work,

batterie , con lo cual se observa que los compradores más satisfechas con sus productos

electrónicos destacan como positivo, la usabilidad, la batería, la facilidad para obtener y/o

manejar el producto y en este caso , como se trata de diversos productos se destaca la

tablet como producto que más asocian los compradores con cosas positivas o que cuya

compra resultó tener menos inconvenientes y ser la más satisfactoria.


A continuación se puede ver la nube de palabras de opiniones clasificadas como positiva

en la segmentación de 2 categorías:

Figura 18. Nube de palabras positivas - 2 categorías


De otro lado, las categorías positivas en la segmentación de 3 categorías donde la

categoría positiva contiene solamente la puntuación 5.0, las palabras que más utilizadas

para expresar sentimiento positivo son: Use, love, tablet, easy, price, bought, batterie,

kindle, fire tv, lo anterior podría significar que los compradores más satisfechos con sus

productos electrónicos destacan como positivo, la batería, la facilidad para obtener y/o

manejar el producto, la usabilidad, la batería, el precio , entre otros, al tratarse de un

análisis basado en diversos productos se destaca la tablet, el kindle o libro electrónico,

como productos que más asocian los compradores con cosas positivas o que cuya

compra resultó tener menos inconvenientes y ser la más satisfactoria.

A continuación se puede ver la nube de palabras de opiniones clasificadas como positiva


Figura 19. Nube de palabras positivas - 3 categorías

52



Las categorías negativas en la segmentación de 2 categorías donde la categoría positiva

contiene solamente la puntuación 1.0, 2.0, y 3.0 las palabras que más utilizadas para

expresar sentimiento negativo son : Amazon, batterie, tablet, app, duracell, ipap, money ,

remote, charge,different, quickly , lo anterior muestra que los compradores más

insatisfecho con sus productos electrónicos destacan como negativos, el servicio

prestado por la plataforma, la batería, la cantidad de dinero que costó el producto, la

rapidez del servicio y sugieren realizar cambios en el proceso por daños presentados,

entre otros, a nivel específico los productos que generan más reacciones negativas en

los usuarios son , duracell, ipad y tablet.

A continuación se puede ver la nube de palabras de opiniones clasificadas como

negativas en la segmentación de 3 categorías:

Figura 20. Nube de palabras negativas- 2 categorías



De otro lado, las categorías negativas en la segmentación de 3 categorías donde la

categoría positiva contiene solamente la puntuación 1.0, 2.0 y 3.0, las palabras que más

utilizadas para expresar sentimiento positivo son: tablet, use, price, time, alexa, kindle,

tablet, music, lo anterior indica que los compradores más insatisfechos con sus productos

electrónicos destacan como negativo, el precio, la aplicación alexa, música, wife, entre

otros. Debido a que el trabajo está basado en un análisis que contiene diversos

productos se destaca la tablet, el kindle o libro electrónico y productos de música, como

productos que más asocian los compradores con cosas negativas o que cuya compra

resultó tener más inconvenientes y ser menos satisfactoria.

A continuación se puede ver la nube de palabras de opiniones clasificadas como

negativo en la segmentación de 3 categorías:

Figura 21. Nube de palabras negativas - 3 categorías

54



La categoría neutra en la segmentación de 3 categorías donde la categoría neutra

contiene solamente la puntuación 4.0, las palabras que más utilizadas para expresar

sentimiento neutro son: tablet, great, price, use, app, nice, music, game, kindle,

good,easy, time, alexa, reading, kid, lo anterior indica que los compradores de productos

electrónicos con comentarios neutrales o parcialmente satisfactorios destacan la batería,

la facilidad para obtener y/o manejar el producto, la usabilidad, la batería, el precio , los

productos que más generaron opiniones neutrales fue la tablet, es decir, este es el

producto que más asocian los compradores con cosas neutrales o que cuya compra

resultó tener parcialmente satisfactoria.

A continuación se puede ver la nube de palabras de opiniones clasificadas como neutras


Figura 22. Nube de palabras neutrales - 3 categorías

56


10. Modelo y evaluación

10.1 Inventario y métricas de evaluación de modeloBasados en la revisión del estado del arte de estudios de análisis de sentimientosaplicados a diferentes ámbitos tanto políticos, económicos y tecnológicos a nivel nacionale internacional, los modelos que mejor resultados generaron fueron los de Support VectorMachine (SVM), el modelo multinomial de Bayes y el modelos Xg Boost, siendo los dosúltimos los que presentaron mayor capacidad de clasificación al momento de identificarcorrectamente las opiniones positivas, negativa y / neutral emitidas por usuarios.

Para el proceso de modelamiento se tendrán en cuenta los siguientes modelos:

- Naive Bayes

- X Boost

El conjunto de datos será divido en dos, una parte de la data será utilizada para entrenarlos modelos y otra parte para realizar el proceso de test, el porcentaje de asignado alconjunto de entrenamiento será de un 80% mientras que el porcentaje asignado alconjunto de datos destinado al proceso de test y/o validación del modelo será del 20%.

Para medir el rendimiento de los modelos de forma objetiva se utilizarán diferentesmétricas, las métricas utilizadas son : Precisión, Recall y f1-score basados en losresultados obtenidos en la matriz de confusión, para esto es importante no solo tener encuenta las opiniones positivas, negativas o neutras clasificadas correctamente oincorrectamente, también es necesario interpretar las opiniones que eran positivas yfueron clasificadas de forma negativa y/o neutra y las que eran negativas y fueronclasificadas de forma positiva y/o negativa.

Las categorías de la matriz de confusión son:

Verdaderos positivos - True Positives: Son las opiniones que eran verdaderas y fueron

clasificadas como verdaderas.


Verdaderos Negativos - True Negatives: Son las opiniones que eran falsas y fueron

clasificadas como falsas.

Falsos positivos- False Negatives: Son las opiniones verdaderas que fueron

clasificadas como falsas.

Falso Negativos - False Negatives: Son las opiniones falsas que fueron clasificadas

como verdaderas.

Las métricas utilizadas para evaluar nuestros modelos serán:

Precisión: TP / TP + FP, es la razón entre las opiniones clasificadas correctamente de

una categoría y el número total de opiniones que han sido clasificados de esa categoría


Recall: TP/TP + FN + FNeu, es la razón entre las opiniones clasificadas correctamente y

la sumatoria de todas las opiniones de la clase correcta (A).


F1-score: es la media armónica entre la cobertura y exhaustividad y es utilizado como

referencia para comparar el rendimiento entre varios modelos. La fórmula utilizada para

el cálculo del valor-F es una combinación de la cobertura y exhaustividad de forma

ponderada a través de un parámetro β lo cual permite dar mayor relevancia a una clase

que a otra:

58



Para el proceso de selección final del mejor modelo se considera como óptimo el modelo

que tenga las mejores métricas, es decir, el modelo final será aquel que clasifique las

opiniones positivas, neutras y negativas, especialmente estas últimas, ya que como se

pudo observar a lo largo de este trabajo en un gran porcentaje de las bases de datos

consultadas, plataformas de comercio electrónico y trabajos similares relacionados, es

menos probable encontrar información negativa sobre un producto, entonces se

considerara mejor modelo, el modelo que clasifique mejor las opiniones negativas o

neutras.

10.2 Naive Bayes

Los clasificadores bayesianos son modelos particulares de las redes bayesianas que se

aplican en la tarea de clasificación supervisada con datos discretos. Se han propuesto

diferentes tipos dependiendo de las relaciones de dependencia de las variables

contempladas entre variables predictoras, entre ellos se tienen: naïve bayes, naïve bayes

selectivo, semi naïve Bayes, k-dependiente, y naïve bayes aumentado a árbol

(TAN)(Vega, D. A, 2008).

El clasificador de naïve bayes es el modelo de clasificación construido asumiendo que

todas las variables predictoras (variables de los síntomas) son independientes dada la

variable de clase C (variable a diagnosticar). (Ghosh A.K, 2004).

Los resultados obtenidos varían en función de la cantidad de sentimientos clasificados,

en el caso específico de los modelos aplicados a clasificar 2 sentimientos -Positivos y

negativos- se obtuvieron los siguientes datos:


Tabla 16. Resultados obtenidos en la clasificación de sentimientos - Positivo y negativo

Naivy Bayes Precisión Recall F1- Score Support

0 0.73 0.79 0.76 1102

1 0.90 0.86 0.88 2381

El accuracy fue de 0.84%

Figura 23. Matriz de confusión para 2 categorías positivas y negativas


De otro lado, los resultados obtenidos con el modelo Naive Bayes para clasificar 3

sentimientos -positivo, negativo y neutro- se pueden observar en la siguiente tabla:

Tabla 17. Resultados obtenidos en la clasificación de sentimientos - Positivo, negativo y neutro

Naivy Bayes Precisión Recall F1- Score Support

0 0.79 0.72 0.76 1102

60


1 0.50 0.25 0.34 967

2 0.61 0.86 0.72 1414

El accuracy obtenido fue de 65%



10.3 X GBoost


El algoritmo XG Boost (Extreme Gradient Boosting) es una técnica de aprendizaje

supervisado (Chen y Guestrin, 2016) basada en árboles de decisión y que es

considerada el estado del arte en la evolución de estos algoritmos.

El algoritmo XG Boost tiene las siguientes características (Chen y Guestrin, 2016):

1. Consiste en un ensamblaje secuencial de árboles de decisión (este ensamblado se

conoce como CART, acrónimo de “Classification and Regression Trees”). Los árboles se

agregan secuencialmente a fin de aprender del resultado de los árboles previos y corregir

el error producido por los mismos, hasta que ya no se pueda corregir más dicho error

(esto se conoce como “gradiente descendente” (Figura a continuación).

2. La principal diferencia entre los algoritmos XGBoost y Random Forest es que en el

primero el usuario define la extensión de los árboles mientras que en el segundo los

árboles crecen hasta su máxima extensión.

3. Utiliza procesamiento en paralelo, poda de árboles, manejo de valores perdidos y

regularización (optimización que penaliza la complejidad de los modelos) para evitar en lo

posible sobreajuste o sesgo del modelo.

El algoritmo Xgboost es una combinación perfecta de técnicas de optimización de

software y hardware para producir resultados superiores utilizando menos recursos

informáticos en el menor tiempo posible.

Figura 25: Ejemplo del algoritmo Xg Boost

http://www.scielo.org.mx/scielo.php?pid=S1405-77432020000300002&script=sci_arttext#B4

http://www.scielo.org.mx/scielo.php?pid=S1405-77432020000300002&script=sci_arttext#B4

http://www.scielo.org.mx/scielo.php?pid=S1405-77432020000300002&script=sci_arttext#f3

62


Tomado de : Aplicación de algoritmos Random Forest y XGBoost en una base de solicitudes de tarjetas de

crédito . Espinosa , 2020

El resultado obtenido con la implementación del modelo Xg Boost para el análisis e

identificación de 2 sentimientos -positivo y negativos, se puede observar en la siguiente

tabla:


Xgboost Precisión Recall F1- Score Support

0 0.80 0.84 0.82 1102

1 0.93 0.90 0.91 2381

El algoritmo de Xgboost en la clasificación de 2 sentimientos, clasifica las opiniones

negativas con una precisión del 80% y positivas del 93%, un recall de opiniones

negativas del 84% y positivas del 90%, f1-score del 82% en la clasificación de opiniones

negativas y 91% de opiniones positivas.

A continuación se observa la matriz de confusión con los resultados obtenidos en la

evaluación y entrenamiento del modelo.




De otro, el algoritmo Xgboost en la clasificación de 3 sentimientos, genera los siguientes

resultados:


Xgboost Precisión Recall F1- Score Support

0 0.83 0.81 0.82 1102

1 0.51 0.35 0.42 967

64


2 0.64 0.79 0.71 1414

El algoritmo de Xgboost en la clasificación de 3 sentimientos -positivos, negativos y

neutros, clasifica las opiniones negativas con una precisión del 83%, las opiniones

positivas del 64% y las opiniones neutras del 51%, un recall de opiniones negativas del

81%, positivas del 79% y las opiniones neutras del 35%, f1-score del 82% en la

clasificación de opiniones negativas, 71% de opiniones positivas y 42% para opiniones

neutras.

A continuación se observa la matriz de confusión con los resultados obtenidos en la

evaluación y entrenamiento del modelo




10.4 Evaluación de los modelos

De acuerdo con el criterio de los diferentes analistas y científicos de datos de lacompañía, se determinó que los modelos de análisis de sentimientos para característicasde productos y sus diferentes categorías entregan información valiosa delcomportamiento de sus productos en el mercado, así pues, por medio de dichos modelosserá posible conocer qué características de los productos es más valorada por losconsumidores y cual es menos deseada, lo anterior es útil al momento de tomardecisiones respecto a las características mínimas que tendría un producto en el mercadopara generar impacto positivo en los consumidores.

A partir de este trabajo se pueden tomar diferentes decisiones ya que es posible realizarel análisis no solo por la categoría general de productos electrónicos, sino que ademásse puede realizar el análisis de forma específica, es decir, es posible implementar análisisde sentimientos para celulares, audífonos, computadores, videojuegos, tabletas,televisores, bocinas, cámaras de video, entre otros productos. Adicionalmente, se podrásegmentar el análisis no solo por categorías y clases sino por marcas, así pues, lasempresas podrían conocer no solo que producto son mejor valorados por su categoría,sino que además que marca presenta mejores valoraciones de sus productos, para asícon esta información poder tomar decisiones, que pueden ir desde intentar imitar lascaracterísticas de los productos de determinada marca hasta identificar si factoresdiferentes al producto o características del producto pueden influir en la valoración finaldel consumidor sobre los productos una vez los ha utilizado.

Los modelos construidos e implementados satisfacen los requerimientos de compañíasque quieren conocer los sentimientos que generan sus productos en el mercado y lascaracterísticas más deseadas y valoradas dentro de los productos , ya que con base enestas opiniones podrán tomar decisiones de producción teniendo en cuenta lascaracterísticas más valoradas para ciertos productos, se pueden realizar campañasmasivas de marketing orientadas a resaltar este tipo de características y no otras, que talvez no son tan valoradas por parte de futuros compradores.

10.5 Calibración y validación de modelosPara evaluar que el modelo de análisis de sentimientos para características de unproducto continúa siendo vigente en el corto, mediano y largo plazo, se propone realizar

66


un seguimiento bi-mensual , realizando un backtesting que permita identificar y compararlos resultados de ejecuciones actuales con los resultados anteriormente obtenidos en laejecución de los modelos , para esto se define como punto de alerta un grado deprecisión inferior al 75% en la clasificación de opiniones negativas o minoritarias,además un AUC inferior al 80%, lo anterior, teniendo en cuenta que en todos losconjuntos de datos y revisión literatura , siempre se encontró que era menos probableencontrar datos negativos que positivos con los cuales realizar los análisis.

En caso que la precisión del modelo sea inferior al rango indicado con anterioridad, seránecesaria la intervención inmediata del equipo de trabajo quienes basándose en elconocimiento del negocio podrán identificar las causas del inconveniente y fijar un nuevoestándar, incluir o excluir variables para mejorar el poder de clasificación del modelo odefinir más sentimientos a identificar, todo esto siempre y cuando tenga sentido a la luzdel negocio. Adicionalmente, se deberá realizar un seguimiento periódico de las variablesutilizadas, para definir nuevas variables, modificar las actuales y realizar un análisisacerca de la polarización de algunas palabras, ya que es posible que al momento derealizar el análisis tenían un sentido positivo, negativo o neutro y dado ciertascondiciones del negocio este sentido puede haber variado.

10.6 Conclusiones de la evaluación de modelosUna vez se ha realizado el proceso de modelamiento y estimación de las métricas decalidad de los modelos implementados para los dos escenarios -2 y 3 categoríasrespectivamente-, los resultados se consolidan en la siguientes tablas.

Tabla 20. Resumen de los resultados obtenidos en para dos categorías

Positivo - Negativo

ModeloEntrenamiento

Categoría Precisión Rcall F1-Score

Neivy Bayes 0 0,73 0,79 0,761 0,90 0,86 0,88

Xgboost 0 0,80 0,84 0,821 0,93 0,90 0,91

Tabla 21. Resumen de los resultados obtenidos en para tres categorías

Positivo - Negativo-Neutro

ModeloEntrenamiento


Categoría Precisión Rcall F1-Score

Neivy Bayes

0 0,79 0,72 0,761 0,50 0,25 0,342 0,61 0,86 0,72

Xgboost

0 0,83 0,81 0,82

1 0,51 0,35 0,42

2 0,64 0,79 0,71

1. En el caso de análisis de sentimientos para 2 categorías, el modelo que mejor

clasifica las opiniones tanto negativas como positivas de los usuarios

compradores de tecnología en una plataforma de comercio electrónico, es el

modelo de Xgboost con una precisión del 80% y 93% respectivamente. En un

segundo lugar pero no muy lejos, está el modelo de Naivy Bayes el cual tiene

una precisión del 90% en la identificación de opiniones positivas y un 73% en la

identificación de opiniones negativas. La diferencia entre la precisión del modelo

de Xgboost y Neivy Bayes no es considerable al momento de identificar opiniones

positivas ya que es un 3%, pero en la identificación de comentarios negativos hay

una diferencia de 7% que puede afectar considerablemente la toma de decisiones

de las empresas.

2. Los resultados obtenidos en el análisis de sentimientos con 2 categorías, son

sobresalientes, lo anterior teniendo en cuenta que durante la revisión del estado

del arte sobre problemas similares, los resultados no fueron superiores al 70%,

esto debido a que durante el proceso previo al entrenamiento o etapa de

preprocesamiento no se contemplaban actividades diferentes a eliminación de

tildes, comas, y caracteres especiales.

3. De otro lado, en el caso del análisis de sentimientos con 3 categorías- positivo,

negativo y neutro-, el algoritmo que mejor clasifica las opiniones negativas es el

Xgboost, pero en este caso la diferencia de clasificación de los diferentes

algoritmos no es tan notable como en el caso de los modelos realizados para

68


clasificar 2 categorías de sentimientos, contrario al aumento en la precisión que

se obtuvo en la clasificación de comentarios negativos, en el caso específico de la

identificación de comentarios positivos, el algoritmo desmejora su capacidad de

clasificar las opiniones positivas considerablemente y para los comentarios

neutros con una precisión del 50% y 51% con los algoritmos de Neivy Bayes y

Xgboost no presentan resultados sobresalientes.

4. A medida que se agregan más categorías al análisis de sentimientos , los

algoritmos disminuyen la capacidad de clasificar las opiniones, un claro ejemplo

de lo anterior, es el análisis realizado con 3 categorías , con los cuales se puede

comprobar que los algoritmos disminuyen la precisión para clasificar las opiniones

positivas y las opiniones neutras, cada una evaluada a partir de las calificaciones

de 5.0 y 4.0 respectivamente, esto se debe a que las palabras utilizadas para

expresar sentimientos suelen ser más similares entre categorías con valores

simultáneas, en este caso se sugiere realizar el análisis con 2 categorías.


11. Conclusiones generales

Una vez ha culminado la realización del trabajo se ha dado cumplimiento a cada uno delos objetivos específicos que permitieron cumplir el objetivo general, se plantean lassiguientes conclusiones:

1. El análisis de sentimiento es una técnica de alta complejidad, tanto por el procesoprevio que se debe realizar antes del entrenamiento de los datos, que va desde filtrar,eliminar, hasta identificar jergas provenientes de alguna región específica, la cual no esfácilmente clasificada por los algoritmos convencionales, como por el reto de precisiónque supone identificar los sentimientos debido a lo ambiguo que puede ser el estado deánimo de las personas.

2. Los algoritmos de análisis de sentimientos utilizados tienden a ser muy sensiblesfrente al desbalance de los conjuntos de datos, con lo cual, entre más igualado sea elconjunto de datos con el que se entrenará el modelo, mejores resultados se obtendrán.

3. El análisis de sentimientos como tarea de clasificación masiva de documentos esefectiva, para identificar los sentimientos que existen detrás de las opiniones de losusuarios en las plataformas de comercio online.

4. El preprocesamiento de los datos tiene gran relevancia en el resultado obtenido, asípues, para un mismo conjunto de datos y aplicando iguales algoritmos, es probable quese obtengan resultados mucho mejores en los casos en los que se realizó unpreprocesamiento más detallado (eliminación de comas, tildes, palabras con caracteresextraños, palabras asociadas a una determinada jerga, entre otros.), que en casos dondesolo se realizaron pre procesamientos convencionales (eliminaron Stopword , tildes, etc).

5. Aunque en el modelo de 3 categorías se clasifica mejor el sentimiento “negativo” queen los modelos de 2 categorías, en general, la división de los sentimientos en 3categorías no aporta gran valor al análisis ya que los resultados empeoran a medida quese van agregan categorías, y esto debido a lo similar del lenguaje y las palabras paraexpresar un comentario “neutro” de un comentario “positivo”, lo ideal es realizar un

70


análisis clasificando solo 2 sentimientos, siempre y cuando se segmentenadecuadamente los puntajes que se otorgan a cada sentimiento.

6. Por medio del análisis de sentimientos es posible identificar el grado de satisfacción delos usuarios y tomar decisiones de producción, marketing o ventas, que mejoren larelación cliente-producto-marca e impacte positivamente en la compañía.

7. Se ha mostrado la eficiencia de diferentes clasificadores basados en aprendizajesupervisado para diferentes categorías, en la tarea de clasificar opiniones y determinarsentimientos con base en la polaridad de las opiniones.

8. Los modelos de sentimientos implementados durante la realización de este trabajo yque a su vez permitieron llegar a las conclusiones manifestadas en el mismo, seencuentran en la siguiente ubicaciónhttps://github.com/Lestydelgado1/AnalisisdesentimientosTDGLesty .

https://github.com/Lestydelgado1/AnalisisdesentimientosTDGLesty


12. Resultados

12.1 Objetivos específicosObjetivo 1: Caracterizar las variables para las cuales se efectuará un análisis desentimientos de evaluaciones post-venta del producto.

En las secciones 8.0 y 9.0 se hizo un análisis detallado sobre los requisitos mínimos conlos que debe contar una empresa y un producto para poder implementar algoritmos deanálisis de sentimientos de forma exitosa, además se identificaron las variablesnecesarias para realizar dicho análisis, en el caso específico de este trabajo, lasvariables utilizadas y caracterizadas fueron las variables de texto y de ranking, estascontienen la información suministrada por compradores de forma numérica y textualacerca de su percepción sobre los productos adquiridos.

Además, se realiza un detallado análisis sobre la importancia de la polaridad, ya que enel caso específico de productos las características asociadas como positivos para unproducto, no necesariamente suele ser positivo para otro, así pues, identificar esaspalabras claves y el significado en contexto que tienen para las empresas, es importanteal momento de clasificar de forma correcta las opiniones.

Objetivo 2 y Objetivo 3: Implementar un modelo de análisis de sentimientosconsiderando las evaluaciones emitidas por consumidores en una plataforma decomercio electrónico y validar un modelo de análisis de sentimientos considerando lasopiniones emitidas por consumidores en una plataforma de venta online.

Durante el desarrollo de este trabajo se implementaron y evaluaron 2 modelos: NaivyBayes y Xgboost, ambos modelos fueron entrenados con el 80% del total de los datos yvalidados con el 20%, los modelos fueron aplicados a diferentes clases de sentimientos,en un primer momento se implementaron y evaluaron los modelos para 2 categorías–positivo y negativo- y posteriormente se implementaron y evaluaron los modelos para 3categorías – positivo, negativo y neutro-, el modelo que mejor clasificó las opiniones es el

72


modelo Xgboost , con base en los resultados se identificó que se obtenían mayorprecisión cuando se utilizan menor cantidad de categorías.

13. Trabajos futuros

Para obtener mejores resultados y mayor aplicabilidad para futuras investigaciones otrabajos, a continuación se plantean diferentes enfoques y posibles mejoras que podríanser planteadas a partir de la realización de este trabajo.

1. En trabajos futuros se podrá evaluar el comportamiento de los modelos paradeterminados tipos de productos electrónicos haciendo uso del conjunto deentrenamiento propuesto en este trabajo, es decir, se filtraría específicamente por lacategoría de productos que se deseen analizar de forma individual, además, es posiblerealizar otros pre procesamientos y tipos de atributos que permitan mejorar los resultadosy generalizar los clasificadores.

2. En adelante y a partir de este trabajo se puede aplicar el análisis de sentimientos nosolo a 3 o 2 categorías, también sería interesante poder realizar análisis de sentimientoscon más categorías.

3. Es posible incrementar la base de datos con opiniones de compradores no solo dediferentes productos sino además en español, ya que en la realización de este trabajo yconsulta de las diferentes bases de datos, se evidenció qué no existen una gran cantidadde bases de datos de productos con información en idioma español.

4. El análisis de sentimientos puede ser aplicado no solo a opiniones de compradores deproductos electrónicos, sino a otro tipo de productos o de fenómenos sociales, ejemplo,análisis a fenómenos políticos con el objetivo de identificar el grado de aceptación decandidatos en elecciones de acuerdo a la cantidad de mensajes de Twitter, o identificar elgrado de aceptación de una política pública con base en opiniones emitidas por usuariosen redes sociales.


5. El análisis de sentimientos puede ser realizado a empresas y opiniones decompradores de productos electrónicos a páginas de comercio online comoMercadoLibre ®, EBay®, entre otros.

6. El análisis de sentimientos además de realizarse a artículos electrónicos específicos,también puede ser aplicado para resolver problemas asociados con otro tipo deproductos de la empresa u opiniones de usuarios sobre productos en Twitter u otra redsocial.

74


14. Inconvenientes

A continuación se presentaran alguno de los inconvenientes presentados durante larealización de este trabajo

1. Los conjuntos de datos encontrados y en general los datos de las páginas decomercio online a las que se podría hacer web scrapping cuentan con muy pocoscomentarios negativos y neutros en relación a la gran cantidad de comentarios positivos,esto genera que los modelos sean entrenados con un conjunto de datos desbalanceado.

2. La principal fuente de información sobre el análisis de sentimientos aplicado atemas específicos se encuentra de trabajos de grados de estudiantes de maestría ydoctorado, y en el caso específico de análisis de sentimientos aplicados a opiniones deusuarios de plataforma de comercio electrónico no hay muchos trabajos relacionados,con lo cual no es fácil encontrar información organizada sobre el tema de análisis desentimientos.

3. Muchos de los comentarios encontrados contienen caracteres especiales ocontracciones de las palabras que hacen parte de la jerga o del estilo de hablar propio dela región o país donde se encuentren, por este motivo se descartaron comentarios quéen un primer momento cumplian con los estandares minimos de aceptabilidad para serincluidos en el análisis, por lo anterior, en algunos casos fue necesario descartar almenos el 10% de los comentarios de la base de datos, porque aunque no teníancaracteres especiales no eran fácilmente interpretables por los algoritmos.

4. Durante el proceso de búsqueda de información y selección de páginas paraobtener la información de páginas de comercio electrónico en español , se encontró quealgunas páginas de comercio online tienden a tener comentarios repetidos dentro de lasección de comentarios, con lo cual, la calidad y cantidad de la información que se puedeobtener no es la mejor ni la más confiable , ya que en algunos casos se encuentran losmismo comentarios (exactamente iguales) realizados por diferentes usuarios en


diferentes productos , en diferentes lapsos de tiempo o que no tienen consistencia entrelo que compraron y lo que realmente evalúan de acuerdo al comentario realizado.

15. Referencias

● Lucas, Marty (1999). “Mining in textual mountains”. [Entrevista a Marti Hearst].Consultado en: 27-12-03. Obtenido de: http://mappa.mundi.net/trip-m/hearst.

● B. Lu, L. Zhang “A survey of opinion mining and sentiment analysis”, ed. C. C.Aggarwal and C. X. Zhai. Boston, MA: Springer US, 2012, pp. 415—463. ISBN:978-1-4614-3223-4. DOI=10.1007/978-1-4614-3223- 4_13.

● M. Sahami (1996). Proceedings of the 2nd International Conference onKnowledge Discovery and Data Mining. In Learning limited dependence Bayesianclassifiers., 335–338.

● Sullivan, Dan (2001). Document warehousing and text mining. New York [etc.]:Wiley Computer Publishing, 2001, xviii, 542 p.

● Wiebe, J. M., Wilson, T., Bruce, R., Bell, M., and Martin, M. (2004). Learningsubjective language. In Computational Linguistics, 30:277–308.

● P. D. Turney (2002). Proceedings of the 40th Annual Meeting on Association forComputational Linguistics in Morristown. In Association for Computational Linguistics, pp.417-424.

76


● Holts A., Riquelme C., Alfaro R (2010). Automated Text Binary Classification usingMachine Learning Approach. In XXIX International Conference of the Chilean ComputerScience Society.

● Pang, B. and Lee, L. (2008). Opinion mining and sentiment analysis. InFoundation and Trends in Information Retrieval, 2(1-2):1–135.

● Carrillo, C. Urueña, J. Forero, J. Caicedo, L. (2015) . Análisis del sentimientopolítico mediante la aplicación de herramientas de minería de datos a través del uso deredes sociales. Bogotá D.C Obtenido de:https://repository.javeriana.edu.co/bitstream/handle/10554/20516/CaicedoOrtizLuisEduardo2016.pdf?sequence=1&isAllowed=y

● Lithium (2001) “Lithium: deliver better customer experiences through digitalchannels”. Obtenido de: https://www.lithium.com/

● Araujo N. (2009), Método Semi Supervisado para la Clasificación Automática deTextos de Opinión. INAOE 2009. Obtenido de: .https://ccc.inaoep.mx/~villasen/tesis/TesisMaestria-NadiaAraujo.pdf

● Stanford NLP Core. (2014) “Stanford CoreNLP - Core Natural LanguageSoftware”. Obtenido de: https://stanfordnlp.github.io/CoreNLP/

● Stanford NLP Group (2010) “The Stanford Natural Language Processing Group”.Obtenido de: https://nlp.stanford.edu/

● Stanford NLP Core. (2014) “Stanford CoreNLP - Core Natural LanguageSoftware”. Obtenido de: https://stanfordnlp.github.io/CoreNLP/

● B. Liu, M. Hu, J. Cheng. Opinion Observer: Analyzing and Comparing Opinions onthe Web. In “Proceedings of the 14th international 80 conference on World Wide Web”,in New York, NY, USA, ACM, 2005, pp. 342-351.

● Dubian et al. (2013). “Análisis de Sentimientos sobre un Corpus en Español:Experimentación con un Caso de Estudio”. Buenos Aires, Argentina. Obtenido de:https://core.ac.uk/download/pdf/301090363.pdf

● Guarnizo, E. Monroy, A. (2020) “Implementación de un modelo de análisis desentimientos con respecto a la jep basado en minería de datos en twitter.” Bogotá D.C.Obtenido de:https://repository.ucatolica.edu.co/bitstream/10983/24981/1/JEPDocumentoFinal.pdf

● Enríquez, Carlos; Pla, Ferran; Hurtado, Lluís-F.; Guzmán, Jaime (2017). Análisisde sentimientos a nivel de aspecto usando ontologías y aprendizaje automático


Procesamiento del Lenguaje Natural, núm. 59, pp. 49-56 Sociedad Española para elProcesamiento del Lenguaje Natural Jaén, España. Obtenido de:https://www.redalyc.org/pdf/5157/515754427005.pdf

● Rios. L (2019), “Análisis de datos de sentimientos enfocados al servicio detransporte masivo Transmilenio s.a aplicando tecnologías big data”. Bogotá d.c. Obtenidode :http://hdl.handle.net/11371/2907

● Carlos Arcila-Calderón, Félix Ortega-Mohedano, Javier Jiménez-Amores y SofíaTrullenque (2017). Supervised sentiment analysis of political messages in spanish:Real-Time of tweets based on machine learning. Disponible en <http://www.elprofesionaldelainformacion.com/contenidos/2017/sep/18.pdf >

● Ankita, Nabizath Saleenaa (2018). An Ensemble Classification System for TwitterSentiment Analysis. Disponible en <https://www-sciencedirectcom.ucatolica.basesdedatosezproxy.com/science/article/pii/S1877050918308 41X>

● A. Gammerman, A. R. Thatcher (1991). Bayesian diagnostic probabilities withoutassuming independence of symptoms . In Methods of Information in Medicine, 30,15–22.30(1):15-22. PMID: 2005829 . Obtenido de :https://pubmed.ncbi.nlm.nih.gov/2005829/

● Yagui, M. Maia,L. Oliveira, J, Vivacqua, V (2018). Data mining of socialmanifestations in Twitter: Analysis and aspects of the social movement "Bela, recatada edo lar" (Beautiful, demure and housewife). Disponible en <http://web.a.ebscohost.com.ucatolica.basesdedatosezproxy.com/ehost/pdfviewer/pdfviewer?vid=1&sid=85eafd29-f950-4be5-94fdac673c3bef37%40sessionmgr4008 >

● Eric Rochester (2014). Mastering Clojure Data Analysis, Understanding sentimentanalysis. Publicado por Packt Publishing Ltd. ISBN 978-1-78328-413-9

● Breiman, L., Friedman, J., Olshen, R., and Stone, C., (1984), Classification andRegresion Trees, Wadsworth International Group.

● K. y. Nasukawa, (2006). “Fully automatic lexicon expansion for domain-orientedsentiment analysis” In Proceedings of the Conference on Empirical Methods in NaturalLanguage Processing (EMNLP). Omnipress Inc. PA 18360.

http://hdl.handle.net/11371/2907

78


● Kim, S., & Hovy, E. (2004). Determining the sentiment of opinions. In Proceedingsof the international conference on computational linguistics (COLING 2004) EastStroudsburg, PA, 1367.

● A. Tumasjan, (2010). “Prediction elections with Twitter_ What 140 charactersreveal about political sentiment,” Proceedings of the Fourth International al AAAIConference on Weblogs and Social Media.

● Dubiau, L. Ale. M (2013). “Análisis de Sentimientos sobre un Corpus en español:Experimentación con un Caso de Estudio”. Buenos Aires, Argentina.

● E. J. Keogh. M. Pazzani (1999). Learning augmented Bayesian classifiers: acomparison of distribution-based and non distribution-based approaches. In Proceedingsof the 7th International Workshop on Artificial Intelligence and Statistics, 225– 230.

● Baccianella, S., Esuli, A., & Sebastiani, F. (2010). SentiWordNet 3.0: An enhancedlexical resource for sentiment analysis and opinion mining. In Proceedings of the 7thconference on international, language resources and evaluation (www.irecconf.org).

Mo d el o p ar a el an ál i si s d e l as eval u aci o n ...

Documents

Transcript of Mo d el o p ar a el an ál i si s d e l as eval u aci o n ...