| Universitas Psychologica | Colombia | V. 17 | No. 2 | 2018 | ISSN 1657-9267 |

a Autor de correspondencia. Correo electrónico:ajcangas@ual.es

Para citar este artículo: Cangas, A. J., Carmona, J. A., Langer, Á. I., Gallego, J., & Scioli, A. (2018). Análisis de la validez del programa de simulación 3D My-School para la detección de alumnos en riesgo de consumo de drogas y acoso escolar. Universitas Psychologica, 17(2), 1-11. doi: https://doi.org/10.111 44/Javeriana.upsy.17-2.avps

DOI: https://doi.org/10.11144/Javeriana.upsy.17-2.avps

Análisis de la validez del programa desimulación 3D My-School para la detección

de alumnos en riesgo de consumo de drogasy acoso escolar*

Analysis of the validity of the My-School 3D simulation program forthe detection of students at risk of drug use and bullying

Fecha de recepción: 06 Febrero 2013 | Fecha de aprobación: 01 Diciembre 2017

Adolfo J. CangasUniversidad de Almería, España

ORCID: http://orcid.org/0000-0002-5646-5582

José A. CarmonaUniversidad de Almería, España

Álvaro I. LangerUniversidad Austral de Chile, Chile

José GallegoUniversidad de Almería, España

Antonio ScioliAsrem Azienda Sanitaria Regionale Molise, Italia

a

RESUMENEl presente escrito está dirigido al análisis de las propiedades psicométricas del programa de simulación 3D My-School (MS), el cual fue diseñado para detectar alumnos en riesgo de consumo de drogas y acoso escolar. En concreto, se han llevado a cabo dos estudios empíricos encaminados a evaluar, por un lado, la validez de contenido de las escenas, y por otro la validez de criterio (predictiva) del programa informático. Si atendemos a la evaluación de la validez de contenido, los resultados mostraron la existencia de un acuerdo sustancial entre el total de jueces expertos con respecto a la relevancia, coherencia, claridad y poca tendenciosidad de las situaciones. Con respecto a la validez de criterio, no existieron diferencias entre las respuestas dadas en el programa y las entrevistas, el programa informático MS habría mostrado poseer adecuadas propiedades de validez para detectar alumnos en riesgo de consumo de sustancias y acoso escolar.Palabras claverealidad virtual; consumo de drogas; acoso escolar; propiedades psicométricas; evaluación.

ABSTRACTThe present paper analyses the psychometric properties of the My-School (MS) 3D simulation program, which was designed to detect students at risk of drug abuse and bullying. In particular, two empirical studies have been carried out to evaluate, on the one hand, the content validity of the scenes, and on the other, the validity criterion (predictive) of the software. Specifically, in terms of the evaluation of content validity, the results showed the existence of a substantial agreement among the expert judges

Adolfo J. Cangas, José A. Carmona, Álvaro I. Langer, et al.

| Universitas Psychologica | V. 17 | No. 2 | 2018 |2

regarding the relevance, coherence, clarity and low biasof situations. In relation to the criterion validity, therewere no differences between the answers given in theprogram and the interviews. The MS software thus hasadequate validity properties for detecting students at riskof substance use and bullying.Keywordsvirtual reality; drug use; bullying; psychometric properties;assessment.

En educación cada vez es mas común recurrira las nuevas tecnologías para el aprendizaje dediversas habilidades académicas (como puedenser destrezas matemáticas, velocidad lectora,aprendizaje de idiomas, etc.). De hecho, existenmultitud de recursos electrónicos, disponibles através de la Web, para la ayuda en el aprendizajede estas materias. Igualmente, cada vez esmás frecuente el uso de entornos exploratoriosbasados en tecnología 3D. Estos pueden teneruna serie de ventajas sobre procedimientostradicionales de enseñanza, como es el casode la posibilidad de realizar un aprendizaje“multimodal”, o la de facilitar los procesos detransferencia de las habilidades aprendidas deun contexto a otro. Así, el aprendizaje puededarse de una manera más experiencial y menoslimitado que en las aproximaciones tradicionales(Freitas & Neumann, 2009). Por ejemplo, unestudio de Kim, Park, y Baek (2009) mostró queel uso de videojuegos, cuando se realiza juntocon determinadas estrategias meta-cognitivas,produce una mejora tanto del aprendizajeacadémico como del propio desempeño en eljuego.

Por otro lado, también existen cada vezmás recursos informáticos encaminados ala evaluación de los diferentes problemaspsicológicos habituales en los centros educativos,como pueden ser el consumo de sustancias,acoso escolar, trastorno por déficit de atención,fobia escolar, ansiedad ante los exámenes, etc(Gutiérrez-Maldonado, Alsina-Jurnet, Carvallo-Becíu, Letosa-Porta, & Magallón-Neri, 2007;Carmona, Cangas, & Langer, 2012; Kyriakakis,Van Rooyen, & Sisemore, 2000; McCabe, Boyd,Young, Crawford, & Pope, 2005; Zoll, Enz,Schaub, Aylett, & Paiva, 2006).

Desde luego, el empleo de los recursoselectrónicos en la población juvenil posee variasventajas en relación a los medios tradicionalesde evaluación psicológica. Por un lado, losadolescentes están muy familiarizados con lasnuevas tecnologías, que tienen para ellos ungran atractivo e interés. Por otro lado, sonprocedimientos que se pueden aplicar fácilmentea poblaciones muy amplias, es posible darretroalimentación inmediata a los participantes,se pueden incluir más recursos técnicos (comoluces y sonidos) que ayudan a centrarse más enla tarea, etc. (Bates & Cox, 2008; Buchanan,Johnson, & Goldberg, 2005; Johnson, 2005;Reips, 2000).

Recientemente, en la universidad de Almeríase ha desarrollado una herramienta informáticaque utiliza entornos de simulación 3D paraevaluar el comportamiento del alumno antesituaciones de acoso escolar y consumo desustancias. Diseñada para ser utilizada comoherramienta de evaluación tipo screening enordenadores convencionales, el programa desimulación denominado My-school (MS) constade un total de 17 escenas, las cuales muestrandiversas situaciones conflictivas de consumo desustancias y acoso escolar, ante las cuales elalumno ha de indicar cuál sería su manerade responder al verse inmerso en ese tipode situaciones de riesgo. Una descripciónpormenorizada del programa informático puedeser consultada en Carmona, Cangas, García,Langer, y Zárate (2012) y Carmona, Espínola,Cangas, e Iribarne (2010a, 2010b, 2011).

El programa MS ha mostrado una fiabilidadbuena (Carmona et al., 2012), ya que ahoracompleta sus pruebas psicométricas con medidasde validez. Específicamente, en el presenteestudio se han utilizado dos procedimientoshabituales en la construcción de instrumentosde evaluación nuevos, como son el estudiode la validez de contenido y la validez decriterio predictiva (López Feal, 1986). Así,a partir del criterio de expertos, se persigueevaluar la pertinencia del contenido de lasdiferentes situaciones de consumo de sustanciasy acoso escolar que pretende evaluar el programainformático; asimismo, a partir de la utilización

Análisis de la validez del programa de simulación 3D My-School para la detección de alumnos...

| Universitas Psychologica | V. 17 | No. 2 | 2018 | 3

de un criterio externo (como es la entrevista)se pretende evaluar la validez predictiva de laherramienta informática. De esta manera, elpresente trabajo se divide en dos estudios, cadauno de ellos encaminado a mostrar los resultadosde las dos pruebas de validez utilizadas.

Método

Estudio I

Participantes

Al ser la finalidad del presente estudio analizar laspropiedades psicométricas relativas a la validezde contenido de los ítems que componen elprograma de simulación 3D My-School (MS),se recurrió a una muestra de expertos conexperiencia específica en el ámbito de loscomportamientos de consumo de drogas y acosoescolar. En total participaron cuatro jueces (N= 4), dos expertos en el campo del consumo dedrogas (n = 2) y dos expertos en el campo de loscomportamientos de acoso escolar (n = 2), todosellos pertenecientes a centros de investigación oinstituciones sanitarias de reconocido prestigio.Si atendemos a los participantes que colaboraronen este estudio (N = 4), un 50 % fueronhombres (n = 2), y un 50 % mujeres (n =2). Las características sociodemográficas puedenconsultarse en la Tabla 1. Con respecto a losámbitos específicos de experiencia, dos de losexpertos presentaban una amplia experienciaen el campo del consumo de drogas (n = 2)y los otros dos expertos en el campo de loscomportamientos de acoso escolar (n = 2).

Tabla 1Características sociodemográficas de la muestra

Instrumentos

Para la recogida de información de los juiciosdados por los expertos, los autores del presenteestudio diseñaron una escala ad hoc, conun puntaje de cero a cien para medir lapertinencia de los ítems en términos derelevancia, coherencia, claridad y tendenciosidadde las situaciones del programa MS paradetectar comportamientos de consumo de drogasy acoso escolar. En base a lo sugerido porOsterlind (1989), se decidió no incluir unsistema de respuestas dicotómicas acuerdo/desacuerdo por no ser suficientemente adecuadopara la evaluación del contenido de los ítemscon respecto al acuerdo existente entre losevaluadores expertos.

De manera pormenorizada, la plantilla delprotocolo de juicios de expertos utilizada incluyóuna descripción tanto del propósito del juiciode expertos como del de la prueba objeto deevaluación, en donde se especifica claramentela finalidad para la que sería utilizada lainformación procedente de sus respuestas. Asu vez, también se incluyó en dicha plantillael objetivo general y los específicos del estudioque se estaba llevando a cabo, además de unaconceptualización del universo del contenidoreferido a la definición de comportamientosde consumo de sustancias y acoso escolar.A continuación, se incluyó una tabla coninformación acerca de la operacionalización delas variables relevantes a tener en cuenta para elproceso de evaluación de los distintos dominiospresentes en el programa MS. Con toda estainformación se persiguió unificar los criteriosutilizados por los expertos con la finalidad deinstruir claramente al juez en la dimensióny el indicador que mide cada ítem o grupode ellos, algo que es clave para establecerla correcta fiabilidad de los datos obtenidosmediante el juicio de los diferentes expertosimplicados en este tipo de procedimientos(Escobar-Pérez & Cuervo-Martínez, 2008). Porúltimo, se especificó una descripción tanto delos indicadores utilizados para la evaluación delprograma MS, como del sistema de puntuaciones.

Adolfo J. Cangas, José A. Carmona, Álvaro I. Langer, et al.

| Universitas Psychologica | V. 17 | No. 2 | 2018 |4

En concreto, si atendemos a las puntuaciones,estas estaban comprendidas según una escala decero a 100, en donde cero se correspondía conno cumplir con el criterio o indicador, y 100 concumplir con el criterio.

Procedimiento

Siguiendo la recomendación de Millman yGreene (1989), la elección de los expertos fuerealizada con base en el propósito o finalidad parael cuál fue construido el programa informáticoMS, en donde se tuvo en cuenta, por tanto,que el grupo de expertos elegido representasesuficientemente una diversidad de puntos devista con respecto al contenido de las situacionesque componen dicho programa. Finalmente,los expertos seleccionados procedieron delámbito de la psicología, psiquiatría y de laeducación, asegurándose así la independenciaentre los mismos. Por su parte, para la eleccióndel número de expertos a incluir se siguióla recomendación, sugerida por Lynn (1986)(citado en McGartland, Berg-Weger, Tebb, Lee,& Rauch, 2003), de incluir un mínimo de tresjueces expertos. El tiempo total empleado porcada uno de los participantes en contestar ala plantilla estuvo comprendido entre los 30y 40 minutos de duración total. Cada uno delos participantes respondió a dicha plantilla demanera individualizada.

Resultados

Con la finalidad de evaluar la validez decontenido de las situaciones del programa MS serecurrió al uso del coeficiente de concordanciaw de Kendall (Kendall & Babington, 1939) decara a evaluar el grado de acuerdo existenteentre los evaluadores con respecto a la valoracióndel contenido de las diferentes situaciones delprograma. Así, tal y como se muestra en la Tabla2, se obtuvo para el total de las situaciones uníndice w de Kendall de 0.71 (x2 = 315.264; p =0).

Tabla 2Índice de concordancia entre las valoraciones de losjueces acerca del total de ítems del programa MS

Para cada uno de los ítems se obtuvouna ordenación de cuatro variables (relevancia,coherencia, claridad y tendenciosidad) segúnuna escala ordinal con valores de cero a 100.En primer lugar, se muestran los estadísticosdescriptivos obtenidos tras la aplicación delprocedimiento no paramétrico referido a losrangos y las medias obtenidas por cuanto ala valoración por parte de los expertos delcontenido de las situaciones relacionadas conacoso escolar (Tabla 3) y consumo de drogas(Tabla 4).

Tabla 3Estadísticos descriptivos asignados a los ítems deacoso escolar

Análisis de la validez del programa de simulación 3D My-School para la detección de alumnos...

| Universitas Psychologica | V. 17 | No. 2 | 2018 | 5

Tabla 4Estadísticos descriptivos asignados a los ítems deconsumo de drogas

Por cuanto a la dirección de las valoraciones,si nos centramos en cada uno de los valoresobservados para cada ítem específico, podemoscomprobar que la media de las puntuacionesotorgadas por los jueces, referidos a las variablesrelevancia, coherencia y claridad del contenidode los ítems es alta en todas las variables(véanse tablas 3 y 4). Por su parte, la variabletendenciosidad del contenido de los ítemsmostraría, por el contrario, valores bajos de mediaen todos los ítems analizados.

A su vez, se realizó un análisis individualpor separado de cada uno de los ítems, con lafinalidad de analizar el grado de concordanciaespecífico existente entre las valoraciones delos expertos con respecto a cada una de lasvariables analizadas. Para ello, se utilizó de nuevoel estadístico w de Kendall (véase Tabla 5).

Tabla 5Grado de concordancia existente entre los juecesexpertos para cada una de las situaciones delprograma MS

Pues bien, si atendemos a los resultadosobtenidos para cada uno de los ítems, laprueba mostró la existencia de relacionesestadísticamente significativas (p < 0.05) entrelas valoraciones de los expertos para todoslos ítems analizados, con la excepción deun solo caso (ítem 13 referido al consumode drogas con el grupo de amigos), para elcual la prueba no mostró valores significativos.En conclusión, estos resultados indicarían laexistencia de concordancia entre los juecesexpertos con respecto a la valoración de cada unade las situaciones cuando estas son analizadasde manera específica o individualizada. Así, losíndices w de Kendall se encontrarían en unintervalo comprendido entre 0.651 y 0.932.

Estudio II

Participantes

Con la finalidad de calcular la validezpredictiva de los datos obtenidos medianteel programa My-School (MS), se utilizó unamuestra de estudiantes de Educación SecundariaObligatoria (ESO) y Bachillerato, procedente de

Adolfo J. Cangas, José A. Carmona, Álvaro I. Langer, et al.

| Universitas Psychologica | V. 17 | No. 2 | 2018 |6

dos centros escolares elegidos aleatoriamente,situados en la provincia de Almería (España).Como medida de evaluación de la validezpredictiva del programa MS se recurrió ala entrevista en profundidad como criterioexterno para confirmar las respuestas dadasseis meses antes en el programa MS por unasubmuestra procedente de 570 participantes, querespondieron al programa con anterioridad. Laselección de la muestra se realizó por estratos conasignación óptima y sin reemplazo. Los gruposcontemplados se correspondieron con cada unade las variables independientes del estudio,a saber: ser acosado/acosador, consumidor detabaco, alcohol, marihuana, cocaína, MDMAo éxtasis y no ser consumidores de ningunasustancia. Bajo estos criterios se conformó unasubmuestra compuesta por un total de 58participantes, los cuales correspondieron al 10 %del total de los 570 participantes que contestaronpreviamente al programa MS. Un resumende las características sociodemográficas puedeconsultarse en la Tabla 6.

Tabla 6Descripción de las características sociodemográficasde la muestra

Instrumentos

A continuación, se presentan los instrumentosutilizados en este estudio.

Entrevista semiestructurada. Se realizó unaentrevista semiestructurada, ex profeso, parala presente investigación, con la finalidad deobtener ⸺o no⸺ la corroboración de losresultados obtenidos mediante el programade simulación 3D MS. La entrevista estuvocompuesta por cuatro partes diferenciadas enfunción del contenido al que hacía mención.Una primera parte la formaban preguntas concontenidos neutros genéricos no relacionadoscon el consumo de drogas ni el acoso escolar. Unasegunda parte estuvo compuesta por cuestionesrelacionadas con acoso escolar, como es el

ser víctima, acosador o testigo de este tipode situaciones. En tercer lugar se presentaun conjunto de cuestiones relacionadas conla historia de consumo de sustancias delalumno y del grupo de amigos. La cuartaparte de la entrevista hace referencia acuestiones relacionadas con el ambiente familiary cuestiones de personalidad.

Programa My-School (MS). El programade simulación MS utiliza entornos virtualestridimensionales para recrear determinadoscontextos de consumo de drogas y acosoescolar con la finalidad de detectar a modode herramienta tipo screening estos tiposde comportamientos de riesgo. Para ello, elprograma MS consta de un total de 17 escenasde simulación, las cuales recrean, mediantela utilización de gráficos tridimensionales (alestilo de los actuales videojuegos), diferentessituaciones de consumo de sustancias y acosoescolar con personajes que interactúan entresí en situaciones conflictivas y ante las cualesel participante ha de elegir cómo comportarse,dadas las diferentes opciones de respuesta quese le ofrecen. Para una descripción detallada delprograma, el lector puede remitirse a Carmona etal. (2010a, 2010b, 2011).

Procedimiento

Una vez seleccionada la submuestra compuestapor 58 alumnos, con la finalidad de nocomprometer su participación, así como con laintención de no alterar o influir en la sinceridadde las respuestas de los participantes que fueronentrevistados, se les informó, tanto a los propiosparticipantes de las entrevistas como al resto decompañeros no entrevistados, que se trataba de“un estudio dirigido a recabar información sobreellos con la finalidad de conocer mejor a losjóvenes de estas edades”, informándoles acercade la voluntariedad y confidencialidad de susrespuestas. Cada una de las entrevistas realizadasfue llevada a cabo de manera individual porun total de dos entrevistadores con experienciaprevia tanto en la evaluación como en eltratamiento de estos tipos de comportamientos.

Análisis de la validez del programa de simulación 3D My-School para la detección de alumnos...

| Universitas Psychologica | V. 17 | No. 2 | 2018 | 7

Las entrevistas se realizaron en el interiorde despachos privados habilitados para tal finpor los responsables académicos del centro.Los investigadores eran ciegos a las respuestasemitidas previamente por los participantes. Lasentrevistas tuvieron una duración aproximadade 20 minutos por alumno, dependiendo dichaduración de la propia dinámica de cadauna de las entrevistas realizadas. Previo a larealización de las entrevistas, se les informóacerca del anonimato, la voluntariedad y laconfidencialidad de sus respuestas.

Resultados

En primer lugar, se analizó la posible existenciade respuestas congruentes entre los participantescon respecto a la información obtenida através de las entrevistas y las respuestasdadas seis meses antes en el programaMS, para lo cual se conformaron tablasde contingencia dicotómicas con el total decongruencias observadas. A continuación, ysiguiendo con los análisis estadísticos realizados,se utilizó la prueba de McNemar paramuestras dependientes (McNemar, 1947), comomedida para identificar la posible existencia dediferencias estadísticamente significativas entrelas respuestas emitidas en MS y la entrevista.Al ser la finalidad de dicho análisis la posiblecorroboración de los datos obtenidos medianteambas mediciones.

En concreto, con respecto a losresultados obtenidos, la comparación realizadamediante la prueba estadística McNemar paramuestras dependientes reveló que no existendiferencias estadísticamente significativas entrelas respuestas obtenidas mediante el uso delprograma de simulación MS y las obtenidasmediante las entrevistas individualizadas (x2

= 3.2; p > 0.05). Así, la inexistenciade diferencias significativas entre los datosprocedentes de ambos tipos de medidas distintasnos indicaría que existiría una correspondenciasignificativa (validez de criterio predictiva) entrelas respuestas que los participantes dieron através del programa MS y las respuestas dadas por

esos mismos participantes en la vida real medidomediante el uso de la entrevista. Un resumen dedichos resultados puede consultarse en la Tabla 7.

Tabla 7Correspondencias entre las respuestas del programainformático MS y las respuestas de las entrevistas

Tal y como puede observarse en la Tabla 7,con respecto a los participantes relacionados conalguna de las condiciones de acoso escolar, seobserva que existe correspondencia entre MSy las entrevistas en el total de alumnos queparticiparon (n = 17), en donde no existe, portanto, ningún participante para el que no secorroborase en las entrevistas, seis meses después,sus respuestas del programa MS (n = 0). Porsu parte, con respecto al consumo de sustancias,para cada una de las evaluadas (tabaco, alcohol,marihuana, cocaína y MDMA) existiría unalumno para el que no se habría encontrado queexista correspondencia entre sus respuestas enMS con respecto a esas sustancias en concreto ylas respuestas dadas en la entrevista (n = 5). Noobstante, para el resto de participantes (n = 36)sí existiría correspondencia entre sus respuestasde consumo de sustancias obtenidas mediante elprograma MS y las registradas en la entrevista seismeses después.

Si atendemos a los porcentajes de alumnosque en sus respuestas se habrían mostradocoincidentes en ambas pruebas, el 100 % de losde ellos, bien como implicados en situacionesde acoso escolar o bien como no acosados,habrían mostrado respuestas similares tanto enel programa MS como en las entrevistas. Elporcentaje de alumnos que se habrían mostrado

Adolfo J. Cangas, José A. Carmona, Álvaro I. Langer, et al.

| Universitas Psychologica | V. 17 | No. 2 | 2018 |8

incongruentes con sus respuestas en ambasmedidas fue 0. Con respecto al consumo desustancias, un 87.8 % de los alumnos habríamostrado respuestas coincidentes en ambasmedidas de evaluación. Sin embargo, el 12.2 %de alumnos restante no habría mostrado dichacoincidencia entre la entrevista y sus respuestasde consumo de drogas en el programa MS.

En definitiva, y si tenemos en cuenta losdatos de manera global, los análisis muestranla inexistencia de diferencias estadísticamentesignificativas entre las respuestas mostradas por elprograma se simulación 3D MS y las entrevistas,corroborándose así la correspondencia entre lasrespuestas de consumo de sustancias y acosoescolar obtenidas mediante el programa MS y lasrespuestas dadas por esos mismos participantes enlas entrevistas seis meses después.

Discusión

El presente artículo ha buscado analizar laspropiedades psicométricas referidas a la validezdel programa de simulación 3D My-School(MS) para detectar alumnos consumidores desustancias o implicados en acoso escolar. Paraello, en primer lugar, se llevó a cabo el análisisde la validez del contenido de las situacionesque componen el programa MS, utilizandocomo criterio externo jueces expertos en elcampo de los comportamientos de consumode drogas y acoso escolar. En segundo lugar,se analizó la validez de criterio predictiva dedicha herramienta, para lo cual, como medidao criterio externo, se procedió a la realizaciónde entrevistas individualizadas, las cuales fueronrealizadas seis meses después de la aplicacióndel programa MS en esa misma muestra departicipantes.

Pues bien, si atendemos al primer estudiodirigido al análisis de la validez del contenidode las situaciones del programa, la obtención deun índice w de Kendall de 0.71 para el total deítems o situaciones del programa MS (p = 0)nos indicaría la existencia de una concordanciamedia-alta o acuerdo sustancial entre los cuatrojueces expertos con respecto a las variables

estudiadas (Landis & Koch, 1977). Es relevantedestacar la pertinencia de analizar la dirección oel significado de las valoraciones realizadas porlos expertos respecto a las variables relevancia,coherencia, claridad y tendenciosidad para cadauno de los ítems o situaciones individualmente.A este respecto, y tal y como señalan Siegely Castellan (1995), es importante analizar si laconcordancia entre los jueces, medida medianteel estadístico w de Kendall, responde a queestén de acuerdo acerca de la idoneidad del ítemque estén clasificando o, por el contrario, existaconcordancia con respecto a la baja idoneidaddel ítem en particular en base a las variablesutilizadas para su clasificación. En este sentido,tal y como puede observarse en las Tablas 3 y 4,los resultados mostraron valores de media altospara las tres variables relevancia, coherencia yclaridad, y bajos para la variable tendenciosidad.Es decir, existiría entre los jueces un acuerdosustancial a la hora de valorar el contenido delas diferentes situaciones del programa MS comorelevantes, coherentes y claros con respecto a losdominios a los que se refieren, esto es, consumode drogas o acoso escolar. A su vez, los valoresbajos en las medias de las valoraciones referentesa la variable tendenciosidad nos indicaría laexistencia de acuerdo o concordancia entre losjueces por cuanto a la baja tendenciosidad quemostraría el contenido de las situaciones delprograma MS.

Mención aparte merece el análisis de laconcordancia realizado a cada uno de los ítemsde manera individual. En este sentido, el análisisindividualizado reveló valores w de Kendallsignificativos para todas las situaciones delprograma MS, con la excepción de la situación13 (véase Tabla 5). De manera específica, elhecho de que los índices w de Kendall seencuentren en un intervalo comprendido entre0.651 y 0.932 implicaría un acuerdo sustancialo casi perfecto (Landis & Koch, 1977) entre losjueces, respecto a la validez del contenido decada una de las situaciones para la detección decomportamientos de acoso escolar y consumo dedrogas.

Por su parte, con respecto a los resultadosdel estudio II, relativos a la validez de

Análisis de la validez del programa de simulación 3D My-School para la detección de alumnos...

| Universitas Psychologica | V. 17 | No. 2 | 2018 | 9

criterio predictiva del programa MS paradetectar alumnos consumidores de sustancias oimplicados en acoso escolar, los datos obtenidosmediante el estadístico McNemar muestranque no existen diferencias significativas entrelas respuestas obtenidas mediante el uso delprograma de simulación MS y las obtenidasmediante las entrevistas individualizadas. Existe,por tanto, una correspondencia entre lo quelos alumnos dicen cuando son entrevistadoscon respecto a su consumo de drogas y suimplicación en situaciones de acoso escolar, y loque respondieron seis meses antes en el programainformático MS cuando se vieron inmersosen ese mismo tipo de situaciones simuladasvirtualmente.

Con respecto a la elección de la muestraespecífica seleccionada para las entrevistas,cabe puntualizar que dado que el número deacosadores y acosados, así como de consumidoresde determinadas sustancias, como cocaína oMDMA, fue minoritario, lo que coincide conlas prevalencias observadas para estas edades(Observatorio Español Sobre Drogas, 2008;Serrano & Iborra, 2005), la muestra finalutilizada fue seleccionada para incluir a aquelnúmero reducido de alumnos que mostrabanestos tipos de comportamientos, por lo que estano es proporcional al total de la poblaciónoriginal de participantes que respondieron seismeses antes al programa MS, sino representativade aquellos implicados en situaciones de acosoescolar y consumo de drogas, así como deno consumidores y no acosados/acosadores, endonde la muestra final utilizada corresponde al 10% del total de la muestra inicial de 570 alumnos.De esta manera, fue posible analizar y validardichas situaciones del programa informático MSen base a la muestra utilizada.

A modo de conclusión, con respecto alestudio I, podemos afirmar que la importanciade los resultados obtenidos con base al acuerdosustancial observado entre los jueces ⸺conrespecto a la validez del contenido de lassituaciones que componen el programa MS⸺se presentaría como un aval empírico quefundamentaría el uso de dicho programa parala detección de estos tipos de comportamientos

en jóvenes. En segundo lugar, con respecto alestudio II, el uso de entrevistas individualizadashabría permitido corroborar la validez predictivade la herramienta MS para la detección decomportamientos de acoso escolar y consumode drogas en jóvenes estudiantes. En definitiva,los resultados obtenidos se presentarían como unaval empírico de la validez de contenido y decriterio, predictiva del programa de simulación3D MS para detectar alumnos en riesgo deconsumo de sustancias y acoso escolar.

Referencias

Bates, S. C., & Cox, J. M. (2008). The impactof computer versus paper–pencil survey,and individual versus group administration,on self-reports of sensitive behaviours.Computers in Human Behavior, 24(3),903-916. https://doi.org/10.1016/j.chb.2007.02.021

Buchanan, T., Johnson, J.A., & Goldberg,L.R. (2005). Implementing a five-factorpersonality inventory for use on theInternet. European Journal of PsychologicalAssessment, 21(2), 115-127. https://doi.org/10.1027/1015-5759.21.2.115

Carmona, J. A., Cangas, A. J., & Langer, A.I. (2012). Applications of 3D simulationin Mental Health: Utilities and newdevelopments. En L. L’Abate (Ed.),Mental Illnesses. Evaluation, Treatments andImplications (pp. 37-56). Rijeka: Intech.

Carmona, J. A., Cangas, A. J., García, G.R., Langer, A. I., & Zárate, R. (2012).Early Detection of Drug Use and Bullyingin Secondary School Children Using a3-D Simulation Program CyberPsychology,Behavior, and Social Networking, 15(1),43-49. https://doi.org/10.1089/cyber.2010.0589

Carmona, J. A., Espínola, M., Cangas, A. J.,& Iribarne, L. (2010a). MII School: New3D Technologies Applied in Educationto Detect Drug Abuses and Bullying inAdolescents. En M. Lytras et al. (Eds.),Technology Enhanced Learning: Quality of

Adolfo J. Cangas, José A. Carmona, Álvaro I. Langer, et al.

| Universitas Psychologica | V. 17 | No. 2 | 2018 |10

Teaching and Educational Reform (pp.65-72). Heidelberg: Springer.

Carmona, J. A., Espínola, M., Cangas, A. J.,& Iribarne, L. (2010b). Detecting DrugUse in Adolescents Using a 3D SimulationProgram. Psychology, Society, & Education,2(2), 143-153. Recuperado de http://ojs.ual.es/ojs/index.php/psye

Carmona, J. A., Espínola, M., Cangas, A. J.,& Iribarne, L. (2011). MII-School: A3D Videogame for the Early Detection ofAbuse of Substances, Bullying and MentalDisorders in Adolescents. European Journalof Education and Psychology, 4(1), 75-85.Recuperado de http://www.formacionasunivep.com/ejep/

Escobar-Pérez, J., & Cuervo-Martínez, A. (2008).Validez de contenido y juicio de expertos:Una aproximación a su utilización. Avancesen Medición, 6(1), 27-36.

Freitas, S., & Neumann, T. (2009).The use of “exploratory learning” forsuppporting immersive learning in virtualenvironments. Computers & Education,52(2), 343-352. https://doi.org/10.1016/j.compedu.2008.09.010

Gutiérrez-Maldonado, J., Alsina-Jurnet, I.,Carvallo-Becíu, C., Letosa-Porta, A., &Magallón-Neri, E. (2007). Aplicacionesclínicas de la realidad virtual en el ámbitoescolar. Cuadernos de medicina psicosomáticay psiquiatría de enlace, 82, 32-51.Recuperado de http://www.editorialmedica.com/editorialmedica_publicacion.php

Johnson, J. A. (2005). Ascertaining the validityof individual protocols from Webbasedpersonality inventories. Journal of Researchin Personality, 39(1), 103-129. https://doi.org/10.1016/j.jrp.2004.09.009

Kendall, M. G., & Babington, B. (1939). TheProblem of m Rankings. The Annals ofMathematical Statistics, 10(3), 275-287. https://doi.org/10.1214/aoms/1177732186

Kim, B., Park, H., & Baek, Y. (2009). Notjust fun, but serious strategies: usingmeta-cognitive strategies in game-basedlearning. Computers & Education, 52(4),

800-810. https://doi.org/10.1016/j.compedu.2008.12.004

Kyriakakis, C., Van Rooyen, A., & Sisemore,D. (2000). The virtual classroom:a virtual reality environment forthe assessment and rehabilitation ofattention deficits. CyberPsychology &Behavior, 3(3), 483-499. Recuperadode http://www.liebertpub.com/overview/cyberpsychology-behavior-and-social-networking/10/

Landis J. R., & Koch G. G. (1977).The measurement of observer agreementfor categorical data. Biometrics, 33(1),159-174. Recuperado de http://www.biometrics.tibs.org/

López Feal, R. (1986). Construcción deinstrumentos de medida en cienciasconductuales y sociales. Barcelona: Alamex.

McCabe, S. E., Boyd, C. J., Young, A., Crawford,S., & Pope, D. (2005). Mode effects forcollecting alcohol and tobacco data among3rd and 4th grade students: A randomizedpilot study of Web-form versus paper-form surveys. Addictive Behaviors, 30(4),663-671. https://doi.org/10.1016/j.addbeh.2004.08.012

McGartland, D., Berg-Weger, M., Tebb, S.S., Suzanne, E., & Rauch, S. (2003).Objectifying content validity: Conductinga content validity study in social workresearch. Social Work Research, 27(2),94-104. Recuperado de http://www.naswpress.org/publications/journals/swr.html

McNemar, Q. (1947). Note on the samplingerror of the difference between correlatedproportions or percentages. Psychometrika,12(2), 153-157.

Millman, J., & Greene, J. (1989). Thespecification and development of testof achievement and ability. En R. L.Linn (Ed.), Educational Measurement (pp.335-366). Londres: Macmillan.

Observatorio Español sobre Drogas. (2008).Encuesta Estatal Sobre Uso de Drogasen Enseñanzas Secundarias (ESTUDES).Madrid: Delegación del Gobierno para elPlan Nacional sobre Drogas.

Análisis de la validez del programa de simulación 3D My-School para la detección de alumnos...

| Universitas Psychologica | V. 17 | No. 2 | 2018 | 11

Osterlind, S. J. (1989). Constructing test items.Boston: Kluwer Academic Publishers.

Reips, U. D. (2000). The web experimentmethod: Advantages, disadvantages, andsolutions. En M.H. Birnbuam (Ed.),Psychological experiments on the internet (pp.89-117). San Diego: Academic Press.

Serrano, A., & Iborra, I. (2005). Informe Violenciaentre compañeros en la escuela. Valencia,España: Centro Reina Sofía para el Estudiode la Violencia. Recuperado de http://www.centroreinasofia.es

Siegel, S., & Castellan, N. J. (1995). Estadísticano paramétrica aplicada a alas ciencias de laconducta. México D. F.: Trillas.

Zoll, C., Enz, S., Schaub, H., Aylett, R., & Paiva,A. (2006, abril). Fighting bullying with thehelp of autonomous agents in a virtualschool environment. The 7th InternationalConference on Cognitive Modeling. Trieste,Italia. Recuperado de http://www.inesc-id.pt/ficheiros/publicacoes/3057.pdf

Notas

* Artículo de investigación.