Diseño y elaboración de un cuestionario acorde con el método Delphi para seleccionar laboratorios virtuales (LV)^*

Design and development of a questionnaire delphi method chord with virtual laboratories for selecting (LV)

Campo Elias Riaño^** Martha Palomino^***

^*Artículo resultado del proyecto PG-14 Enfoque e implantación de un entorno virtual de prácticas para la enseñanza y el aprendizaje de un curso metodoló- gico experimental: Tecnología de café. Financiado por la UNAD.

^**PhD. EaD y Tecnología Instruccional, Nova Univerity, Mg. en Ciencias de la Ingeniería Docente Universidad Nacional Abierta y A Distancia, Escuela de Ciencias Básicas Tecnología e Ingeniería ( campo.riano@unad.edu.co).
^***Mg. Educación. Docente , Universidad Nacional Abierta y A Distancia, Escuela de Ciencias Sociales Artes y Humanidades ( marta.palomino@unad.edu.co)

Resumen

La selección de herramientas informáticas para trabajar virtualmente el componente práctico en la formación universitaria es una decisión compleja en donde intervienen múltiples factores. El propósito del artículo es describir el diseño, la adaptación y validación de un cuestionario para seleccionar laboratorios virtuales (LV). Se utilizó la metodología de consulta de expertos-Delphi para identificar los criterios que determinan la pertinencia de los LV en la educación superior. Para el efecto se crearon dos grupos de trabajo cooperativo y se partió de un cuestionario estructurado al que se le fueron adicionando o modificando los criterios o variables acorde con las diferentes opiniones de los expertos durante tres rondas sucesivas. Las respuestas fueron analizadas estadísticamente. Se obtuvo un coeficiente de correlación máxima de r=0.93, lo que muestra un alto grado de validez. Para la fiabilidad se utilizó el método de consistencia interna alfa de Cronbach con un coeficiente de r=0.814, y un nivel de confianza del 95% (p≤0.05), mientras que para el método de dos mitades, el coeficiente de consistencia interna en el alfa de Cronbach de la primera mitad es de 0.736 y el de la segunda mitad de 0.718, los coeficientes resultantes de la prueba de dos mitades indican un índice de fiabilidad muy alta. La rúbrica para su administración quedo constituida por 10 criterios. Se concluyó que el cuestionario que se ha construido y convalidado para la evaluación de LV está compuesto por características válidas y fiables.

Palabras clave: confiabilidad, Delphi, fiabilidad, laboratorios virtuales, método,validación de cuestionario.

Abstract

The selection of tools to work virtually the practical component in university education is a complex decision where many factors. Objective. Describe the design, adaptation and validation of a questionnaire to select LVs. Methodology-Delphi expert consultation was used to identify the criteria that determine the relevance of the LVs in higher education. For this purpose two groups of cooperative work is created and started from a structured questionnaire that you were adding or modifying the criteria or variables according to the different opinions of experts during three successive rounds. The responses were analyzed statistically. Maximum correlation coefficient of r = 0.93 was obtained, showing a high degree of validity. The method of internal consistency with Cronbach’s alpha coefficient of r = 0.814 and a confidence level of 95% (p ≤ 0.05) was used for the reliability, while for the method of two halves, the coefficient of internal consistency in Cronbach’s alpha is the first half of 0736 and the second half of 0718, the coefficients resulting from the test halves indicate a high reliability index. Heading for administration was constituted I 10 criteria. According to the results, we can say that the questionnaire has been constructed and validated for the assessment of LVs is composed of valid and reliable features.

Keywords: validation of a questionnaire, DELPHI method, reliability, dependability, virtual labs.

Introducción

En el proyecto denominado “Espacio Europeo de Educación Superior” (EEES), Acosta & Páez (2007) exponen que se le deben proporcionar al estudiante conocimientos, técnicas y habilidades que le sean útiles una vez finalizada la carrera. De forma tal que se le garantice en los estudiantes una mayor profesionalización y competitividad al enfrentar el actual mundo globalizado. De allí que el componente práctico en la educación superior sea fundamental para el desarrollo de competencias (Unesco, 2012). Son muchas las instituciones que usan los softwares educativos como instrumento de ayuda instruccional en el proceso de enseñanza-aprendizaje (Díaz, 2002; Sicardi, 2004; Lee & Lee, 2007). Para que estos medios informáticos afirmen o garanticen el desarrollo de las competencias que se proponen para un curso académico, requieren de una cuidadosa selección (Sicardi, 2004; Lee & Lee, 2007). Proceso para el cual se consiguen varias listas de chequeo. Otros autores han utilizado técnicas cuantitativas con cierto grado de interpretación y dificultad para su aplicación (Verma, Gupta & Singh, 2008; Cataldi, Chiarenza, Dominghini, Donnamaria & Lage, 2012) sin que exista consenso entre las diferentes propuestas. Igualmente no explicitan el procedimiento seguido para seleccionar las variables. Estando latente la necesidad de consensuar las características o conceptos a estándares de evaluación según las normas (Jadhav & Sonar, 2009).

Para solucionar este tipo de problemas complejos Linston & Turoff (1975), Okoli & Pawlowski (2004) y Hurtado & Mendez (s.f) proponen la técnica Delphi como un método efectivo para estructurar y consensuar un proceso de comunicación grupal que tiene como fin solucionar un problema complejo con ayuda de expertos previamente seleccionados. El propósito de la investigación fue diseñar, crear y validar mediante un método de consulta a expertos, como es el método Delphi, una herramienta para seleccionar LV.

Perspectiva teórica

El método Delphi se basa en el principio de la inteligencia colectiva y consiste en la aplicación sucesiva de cuestionarios a un grupo de expertos en varias rondas (Bruner, 2005; Hsu & Sandford, 2007). Entre cada ronda se analizan estadísticamente los resultados y se compilan las respuestas en nuevos cuestionarios que, a su vez, son redistribuidos a los expertos nuevamente Okoli & Pawlowski (2004) y Hurtado & Méndez (s.f). El grupo de expertos, debate de manera anónima-esto para evitar los efectos de líderes, la importancia y pertinencia de los criterios seleccionados; obteniendo el consenso por un procedimiento matemático de agregación de juicios individuales utilizando cuestionarios. El proceso se detiene cuando se logra el consenso o la estabilidad de los resultados (Luna, Infante & Martínez, 2006; Pozo, Gutiérrez, Pérez & Rodrí- guez, 2007). Ver figura 1.

Sin embargo, es imperioso asegurarse de que el instrumento sea válido y fiable para la investigación en donde se va aplicar. Razón por la cual estudiosos recomiendan calcular el estadístico de fiabilidad, Alfa de Cronbach o índice de consistencia interna para estimar la precisión con la que un conjunto de preguntas mide un aspecto conductual, al reflejar la interrelación entre sus elementos (Hernández, Fernández, & Baptista, 2006). El grado de validez concurrente se cuantifica utilizando el coeficiente de correlación de Spearman-Brown.

La investigación tuvo un enfoque cualitativo cuando se recolectaron datos sin medición numérica y se identificaron los atributos-características y escalas de evaluación más comunes para construir y evaluar una práctica virtual (Hernández, Fernández & Baptista, 2003). Un enfoque cuantitativo cuando expertos siguiendo los postulados teóricos que plantea el Método Delphi, calcularon la fiabilidad de un cuestionario para evaluar LV (Brunner, 2005; (Luna, Infante & Martínez, 2006; Cruz, 2006). La secuencia metodológica del método Delphi se compone de tres fases fundamentales. Ver figura 1.

Fase preliminar

En esta fase se conformaron dos grupos diferenciados como grupo coordinador y grupo de expertos encargados de validar el instrumento diseñado. El grupo coordinador se conformó a partir de los miembros del grupo de investigación social de la UNAD, encargado de desarrollar la investigación, grupo que siguió la ruta propuesta por varios autores (Hsu & Sandford, 2007; Romero, Salicetti, 2011). Este grupo estuvo conformado por un doctor, un magister y un ingeniero industrial. En este: a) se delimito el tema de estudio a partir del problema de investigación planteado en el proyecto PG-014, b) se seleccionó el grupo de expertos, c) se consiguió el compromiso de colaboración de estos con el estudio, d) se interpretaron los resultados parciales y finales de la investigación, e) se superviso la marcha correcta de la investigación realizando los ajustes y correcciones, y f) se convalido e implemento el cuestionario. Ver figura 1.

Todos los procesos se realizaron por correo electrónico en archivo adjunto, el cual estaba conformado por una primera página con una breve introducción al tema de investigación, la explicación clara del objetivo de la investigación, el método que se utiliza, la fase en que se encontraba el proceso de investigación, las instrucciones para complementar el cuestionario, seguido del correspondiente instrumento para la validación (Luna, Infante & Martínez, 2006). Para evitar la introducción de sesgos y/o el efecto de liderazgos en el estudio, este se realizó anónimamente (Cruz, 2006).

Selección de expertos

Como la composición del grupo es crucial para los resultados a obtener, en el presente estudio los expertos evaluadores se seleccionaron acorde con: la profesión, el cargo, los años de experiencia, la categoría docente, el grado científico, la pertenencia con su labor en determinado grupo o centro y el vínculo actual con la actividad (Cruz, 2006; Hsu & Sandford, 2007). Además se tuvo en cuenta el número de investigaciones afines y el número de publicaciones que sobre el tema hayan desarrollado. Este grupo quedó conformado por tres doctores en educación, dos especialistas, un ingeniero industrial, y un especialista en ingeniería de sistemas, siguiendo las exigencias para el grupo coordinador propuestas por Landeta (2002), quien señala un mínimo de siete expertos, pero no más de 30. Los integrantes de este grupo: a) conocen el método Delphi, b) son investigadores académicos en el tema, y c) tienen gran facilidad de intercomunicación para trabajar conjuntamente; como lo aconsejan Brunner (2005) y Hsu & Sandford (2007). Ver tablas 1 y 2.

Fase exploratoria

En esta parte los autores extractaron los aspectos críticos o atributos a evaluar, comunes en las rúbricas convalidadas por investigadores reconocidos en la temática en estudio como Marques (2004) y Cataldi (2009). Seguidamente se tomaron las definiciones de los criterios seleccionados (Norma ISO/IEC 9126, s.f). En una encuesta de opinión se le solicitó a cada uno de los expertos participantes indicar en una escala dicotómica (sí, no) cuáles de los 18 criterios contemplados en esta conducirían a la correcta selección de un LV. Con la información recopilada y analizada se construyó una primera versión consensuada del cuestionario de evaluación, y se envió a una segunda ronda para la validación por el grupo de expertos seleccionados, para perfeccionar los criterios y establecer la escala apropiada para el estudio. Para facilitar el trabajo de los expertos, se acompañó cada criterio del análisis estadístico realizado y de la escala de Likert propuesta por Hsu & Sandford (2007). Ver tabla 3. Además de una pregunta abierta para recoger las valoraciones cualitativas de cada uno de los expertos acerca de los criterios planteados o a la introducción de alguno nuevo (tabla 3).

El plazo máximo que se acordó para responder el cuestionario fue de 10 días. Los resultados de la segunda ronda de consulta para la validación por parte del grupo de expertos, fueron tabulados y analizados estadísticamente-media, mediana, desviación típica, máximo, mínimo, varianza, frecuencia, frecuencia acumulada y puntos de corte, y junto con el cuestionario definitivo, fueron enviados al grupo, lográndose la unanimidad de las respuestas del 90 por ciento de los expertos participantes en el proceso.

Fase final

En esta última fase se sintetizaron los resultados de todo el proceso de validación mediante consulta interactiva a los expertos con la versión definitiva del cuestionario para su posterior aplicación en el proceso de investigación. Quedando como cuestionario y escala definitivas las mostradas en las tablas 4 y 5. Además se solicitó la valoración por parte de los expertos de la relevancia, la pertinencia y la coherencia del sistema de características corroboradas para prever, diseñar y medir el impacto sobre el desarrollo del proyecto de investigación.

Los análisis estadísticos se llevaron a cabo mediante el programa estadístico Statistical Package for the Social Sciences (SPSS versión 16.0). La fiabilidad del cuestionario se analizó mediante el alfa de Cronbach para elementos tipificados y el procedimiento de las dos mitades con corrección de Spearman-Brown.

Resultados

El grupo coordinador se conformó tal como lo sugieren expertos en el método Delphi y se explicó en la metodología (Cruz, 2006; Luna, Infante & Martínez, 2006). Este a su vez seleccionó al grupo de expertos acorde con los valores del coeficiente de competencia (medio) para estudiar, analizar y dar criterios válidos y confiables sobre el trabajo a realizar (Gonzàles, Guerrero & Maldonado, 2001; Astigarraga, s.f; Cruz, 2006). Ver tablas 1 y 2.

Tabla 1. Resultados del procesamiento para la determinación del coeficiente de competencia de los expertos

Fuente: los autores

Tabla 2. Caracterización de los expertos que participaron en la consulta

Fuente: los autores

Figura 2. Años de experiencia en el sector del panel de expertos

Fuente: los autores

Cuatro de los expertos provienen de tres instituciones académicas diferentes, relacionados directamente con la temática de los softwares educativos y la investigación. Los tres restantes son de la UNAD. El índice de competencia de los expertos fue medio. Ver tabla 1. La fase exploratoria se realizó en tres rondas de consulta para la validación de los criterios como lo propusieron González, Guerrero y Maldonado (2001). En las primeras dos rondas se logró el consenso del grupo y la versión final del cuestionario, el cual quedó finalmente conformado por 10 criterios. Ver tabla 3.

Los resultados cuantitativos de las valoraciones realizadas en la segunda ronda se procesaron mediante análisis estadístico/aplicando la metodología descrita en la sección de materiales y métodos. Ver tablas 4 y 5.

Tabla 3. Definición de los criterios y escala definitiva para evaluar LV

Pinche Aquí:(Tabla 3)

Fuente: Atributos tomados y modificados con fines académicos de: Marqués, 2004; Miller, 2006; Jadhava & Sonar 2009; Verma, Gupta & Singh 2008.

Tabla 4. Estadísticos descriptivos de la valoración del cuestionario para evaluar LV

Fuente: los autores

Como las puntuaciones marcadas en un cuestionario no son la evidencia de su validez entonces se debe determinar los coeficientes de Spearman-Brown y el alfa de Cronchbach. Ver tabla 5.

Tabla 5. Estadísticos de la fiabilidad del cuestionario para evaluar LV

Fuente: los autores

La valoración por parte de los expertos de la importancia, la pertinencia y la coherencia del sistema de indicadores resultó en el 14 %, el 57.1% y en el 28.6% respectivamente. Ver tabla 6 y figura 3.

Tabla 6. Frecuencias de las opiniones de los expertos sobre el cuestionario final

Figura 3. Frecuencias de las respuestas de los expertos

Tabla 7. Resultados de la valoración realizada por los expertos a las características respecto a los ítems para seleccionar LV

Discusión y conclusiones

Los expertos se seleccionaron atendiendo a las características propuestas por Hsu & Sandford (2007); Romero, Salicetti (2011); lo cual propicio la obtención de resultados confiables como concluyen. Las estrategias de selección de expertos (coeficiente de Kcomp) permiten un agrupamiento fundamentado en un procedimiento más objetivo que la sola revisión de un currículum.

Los resultados obtenidos avalan la fiabilidad y validez del cuestionario para evaluar LVs. En la forma que están estructurado los indicadores, son suficientes para futuras investigaciones sobre la temática, razón por la cual no se hace necesario realizar una nueva ronda como señalan Landetta (2002), Cruz (2006) y Miller (2006).

El estadístico de fiabilidad, Alfa de Cronbach o índice de consistencia interna es estimador de la precisión con la que un conjunto de preguntas mide un aspecto conductual, al reflejar la interrelación entre sus elementos (Hernández, et al, 2006). Y que según Hernández, Fernández & Baptista (2006), si se encuentra por encima de 0,70 es aceptable, siendo considerado 0,814 un nivel notable de aceptación, tal como se alcanzó en este trabajo (tabla 3), indicando una consistencia interna adecuada para las diferentes preguntas. Por lo tanto el análisis del cuestionario muestra unos coeficientes de correlación que pueden catalogarse como excelentes.

Agradecimientos

Referencias bibliográficas

Acosta, M. & Páez, H. (2007). Estrategias didácticas para educar en valores: 10 valores con intencionalidad. Revista educación en valores, 8, 57-69.

Astigarraga, E. (s.f.). El Método Delphi [en línea]. Universidad de Deusto. Tomado de: http://www.unalmed.edu.co/~poboyca/ documentos/documentos1/documentos-Juan%20Diego/Plnaifi_Cuencas_Pregrado/Sept_29/ Metodo_delphi.pdf.

Bruner, J. (2005). A Delphi method of teaching applied phylospphy. Teaching philosophy 8 (3), 2007-220.

Cataldi, Z., Chiarenza, D., Dominighini, C., Donnamaría, L. & Lage, F. (2012). TIC en la enseñanza de la química. En: Revista Iberoamericana de Educación en Tecnología y Tecnología en Educación. Vol. 3, no . 7.

Cruz, M. (2006). El Método Delphi en las investigaciones educacionales. Informe Final del Proyecto de Investigación “Estadística para la Educación”, 1-40.

Díaz, G. (2002). Uso de software educativo de calidad como herramientas de apoyo para el aprendizaje. En: Jornadas educativas: La escuela como instrumento de cambio, IEA, Abril, 2002. Caracas. Tomado de: http://www.academia-interactiva/articulos.html.

González, A; Guerrero, A; Maldonado, J. (2001). Desarrollo de un sistema de experto para la aplicación del Método Delfos (Delphi). BEIO, Boletín de Estadística e Investigación Operativa, 17, 4, p.9.

Hernández, R; Fernández, C & Baptista, P. (2006). Metodología de la investigación. México: Mc Graw Hill.

Hsu, Ch. & Sandford, B. (2007). The Delphi Technique: Making Sense of Consensus. Practical Assessment Research & Evaluation, 12(10).

Hurtado, S & Mendez, D. (s.f). Software educativo, Método de Consulta a Expertos (Delphi). CECOFIS, [en línea] 2007. Disponible en: http://www.cecofis.cu/artículo3.asp. ISO/IEC 9126.

Information technology Software Product Evaluation Quality Characteristics and guidelines for their use. Consultado el 19 de Julio de 2013 en: http://www.cse.dcu.ie/essiscope/sm2/9126ref.html.

Jadhav, A & Sonar, R.(2009) Evaluating and selecting software packages: A review. En: Information and Software Technology. Vol. 51, no 3, p. 555–563.

Landeta, J. (2002). El método Delphi. Barcelona: Ariel.

Lee, Q. & Lee, T. (2007). Chapter 11. Evaluation of educational software: theory into practice. In: Technology and Teaching. Editors: Jeff Sigafoos and Vanessa Green.

Linstone H. & Turroff, M. (1975). The Delphi method, techniques and applications, Addison wesley publishing.

Luna, P., Infante, A. & Martínez, F. J. (2006). Los Delphi como fundamento metodológico predictivo para la investigación en sistemas de información y tecnologías de la información (IS/ IT). Píxel-Bit. Revista de Medios y Educación, 26, 89-112.

Marqués, P. Plantilla para la Catalogación y Evaluación Multimedia. 2004. Consultado el 08/09/2012 en: http://dewey.uab. es/pmarques/evalua.htm.

Miller, L. (2006). Determining what could/should be: The Delphi technique and its application. Paper presented at the meeting of the 2006 annual meeting of the Mid-Western Educational Research Association, Columbus, Ohio.

Okoli, C. & Pawlowski, S. (2004). The Delphi method as a research tool: an example, design considerations and applications. Information & Management, 42:15-29, USA.

Pozo, M.; Gutiérrez, J. & Rodríguez, C. (2007). El uso del Método Delphi en la definición de los criterios para una formación de calidad en animación sociocultural y tiempo libre. Revista de Investigación educativa, RIE, (25), 2,351-366.

Romero, C, Salicetti, A. (2011). Elaboración y validación de un cuestionario para la aplicación de diferentes estrategias metodológicas en estudiantes universitarios. Congreso i nternacional de investigación educativa. Universidad de Costa Rica.

Sicardi, I. (2004). Análisis de la utilización del software educativo como material de aprendizaje. Revista de Informática Educativa y Medios Audiovisuales. Vol. 1(3), pp. 1-20.

Unesco (2012). Informe de 2012. Los jóvenes y las competencias: trabajar con la educación. En línea http://www.unesco.org/new/es/education/themes/leading-the-international-agenda/ efareport/ reports/2012-skills (Consulta: febrero, 2013).