Leda Digión1, Margarita Álvarez2
1 ldigion@unse.edu.ar, https://orcid.org/0000-0002-8343-110X
2alvarez@unse.edu.ar, https://orcid.org/0000-0002-9582-1818
1,2Facultad de Ciencias Médicas. Universidad Nacional de Santiago del Estero. Argentina.
Este trabajo describe y propone el proceso de evaluación de e-learning social basado en un enfoque de analíticas de aprendizaje, para supervisar la formación del estudiante mediante su participación e interacción en una plataforma de aprendizaje virtual, en educación médica. Se busca diseñar un sistema de medición representado con categorías, variables e indicadores del e-learning social; más la representación visual de un tablero de comando, como instrumento operado desde las analíticas de aprendizaje.
Se ha definido la metodología de esta investigación como: una primera actividad asociada al proceso de generación de analíticas basado en e-learning social; la segunda actividad hace referencia al trabajo de los estudiantes, colaboración y cooperación, en el diseño instruccional planificado por el docente; y la tercer actividad se refiere al armado del tablero de comando, para el monitoreo y supervisión de la participación del estudiante y el grado de relevancia de la misma, en el ámbito del cursado académico. Luego, el docente y otros actores educativos que participen en la toma de decisión en la institución, podrán disponer de información para alcanzar objetivos estratégicos en relación a la aprobación del curso, y sobre aspectos curriculares y didácticos de la carrera universitaria en ciencias médicas.
Palabras clave: e-learning social, analíticas de aprendizaje, tablero de comando, educación médica.
This work describes and proposes the social e-learning evaluation process based on a learning analytics approach, to supervise student training through their participation and interaction on a virtual learning platform, in medical education. The aim is to design a measurement system represented with categories, variables and indicators of social e-learning; plus the visual representation of a dashboard, as an instrument operated from learning analytics.
The methodology of this research has been defined as: a first activity associated with the analytics generation process based on social e-learning; a second activity refers to the work of the students, collaboration and cooperation, in the instructional design planned by the teacher; and the third activity refers to the assembly of the dashboard for monitoring and supervising the student's participation and its degree of relevance, in the scope of the academic course. Then, the teacher and other educational actors who participates in decision-making in the institution, will be able to have information to achieve strategic objectives in relation to the approval of the course, and on curricular and didactic aspects of the university degree in medical sciences.
Key words: social e-learning, learning analytics, dashboard, medical education.
La educación a distancia en el nivel superior es una realidad en expansión. Da cuenta de ello, la velocidad con que se han desarrollado las universidades a distancia en muchos países, las experiencias de integración y colaboración entre diversas instituciones del mundo, así como el acelerado crecimiento de la oferta de cursos virtuales provenientes de universidades presenciales, tanto públicas como privadas, según el trabajo de Visser (1994), citado por Fantini1.
Por otra parte, se observa la necesidad de que la formación médica y el desarrollo profesional continuo, se adapten a las necesidades cambiantes de los profesionales de la salud, ya que cada vez más países están adoptando el enfoque de la atención centrada en el paciente, aspectos de colaboración y la telemedicina2.
En respuesta a estos desafíos, cada vez más carreras de medicina están incluyendo, aunque no en su totalidad, el enfoque del aprendizaje electrónico, que ha demostrado ser flexible, de bajo costo, centrado en el usuario, y un tipo de aprendizaje fácilmente actualizado3.
Sin embargo, el éxito o el fracaso de la implementación de un sistema de e-learning, depende de muchos factores, por lo que se han desarrollado distintos modelos que abordan la evaluación desde diferentes perspectivas y enfoques. Entre ellos, se pueden citar los Modelos Socioeconómicos que están centrados en modelos y/o normas de calidad y calidad total, y en sistemas basados en prácticas de benchmarking4. También, están los Modelos Tecnológicos que se abocan en valorar la calidad de las plataformas tecnológicas, a través de las cuales se implementa el elearning4. Por otra parte, los Modelos Pedagógicos provienen de la formación presencial, y se consideran principalmente en este grupo, a los modelos de Stufflebeam, nombrados en CIPP (1987), Kirkpatrick (1999), Vann Slyke et al. (1998), citados por Colás Bravo4. Estos modelos se centran en las características de la institución, docencia, del currículum, los módulos del curso, el aprendizaje, la transferencia, el impacto, etc.5. También, se encuentran los Modelos Psicológicos que aportan constructos útiles y aplicables para la evaluación de e-learning basados en las teorías Cognitivas Constructivistas y el Constructivismo Social y el Modelo de evaluación de e-learning Social4.
Se sostiene que la mirada social del e-learning forma parte de lo que se podría denominar el compromiso de la universidad en la transformación de la sociedad; aunque más allá de los aspectos ligados a la investigación, se entiende que la universidad debe implicarse en la sociedad, y una forma clara de hacerlo es a través del elearning6.
Es así que, desde hace varios años, las autoras de este trabajo investigan sobre la creación y evaluación de la implementación del e-learning en la asignatura Informática Médica (IM), de la carrera de Medicina de la Universidad Nacional de Santiago del Estero, Argentina. El primer trabajo fue el desarrollo del aula virtual considerando las dimensiones: informativa, experimental, evaluativa y comunicativa. Además, de una quinta dimensión propuesta, denominada mediación educativa que permitió organizar y fijar las pautas y recursos de las estrategias didácticas. Además, con base en las dimensiones del modelo pedagógico presentado, se consideraron ejes procesuales para el seguimiento de los estudiantes7.
Luego, para potenciar y mejorar tanto el aprendizaje en clase como el aula virtual de la asignatura, se evaluó la satisfacción de los estudiantes. Dicho proceso se realizó mediante una encuesta al final del cursado, aplicando una metodología de análisis de dimensiones propia de las autoras, sobre estudio de aula virtual8.
Más tarde, se presentó un estudio sobre e-learning basado en los constructos y variables del enfoque del e-learning social. Se generó así un marco de indicadores de evaluación que fue aplicado en la asignatura, a partir de los resultados obtenidos de la encuesta de satisfacción. Estos trabajos han llevado a identificar, las fortalezas y debilidades del proceso de enseñanza y aprendizaje mediado por el e-learning9.
A partir de las producciones descriptas, se ha investigado en otra área de estudio, para identificar las oportunidades de mejora del proceso educativo y personalizar la experiencia de estudio para cada estudiante, y es la analítica de aprendizaje (AA); instrumento que inclusive permite minimizar los riesgos de deserción, y produce tres productos fundamentales: las alertas tempranas, la recomendación de cursos y el aprendizaje adaptativo10.
Las AA, dentro de un Learning Managment System (LMS), permiten que las instituciones adopten medidas destinadas a mejorar los procesos de enseñanza y de aprendizaje, como así también potenciar los campus y aulas virtuales (aulas de e-learning, aulas blended o aulas de apoyo a la enseñanza y aprendizaje presencial). Al mejorar los procesos de enseñanza, el aprendizaje se torna más personalizado y resulta, de esta manera, más efectivo10.
Por otra parte, los tableros de comando son un tipo de herramienta que permite el seguimiento orientado a la toma de decisiones de aspectos o áreas definidos como clave, a través de conjuntos de indicadores. Así, el trabajo de Wexler et al. (2017), los define como: “Una presentación visual de datos utilizada para supervisar las condiciones y/o facilitar la comprensión” (pág.5), citado por Cura11.
Un tablero de comando, entonces, en el contexto del proceso de enseñanza y aprendizaje, captura y visualiza el seguimiento de las actividades de enseñanza, a través de indicadores, con el objetivo de conocer, reflexionar y tomar decisiones. Permite a los usuarios definir objetivos y analizar en qué medida los valores obtenidos de estos indicadores se acercan a los objetivos prefijados de rendimiento, en esta nueva forma de interacción alumno docente12.
Precisamente, en este trabajo, se espera contribuir con un instrumento de evaluación formal, conceptualizado en el ámbito de las AA, a partir de la incorporación de las categorías de evaluación del e-learning social propuesto por las autoras; y a partir de ello, la integración de esta información en un tablero de comando, como variables de monitoreo y seguimiento de la trayectoria del estudiante, así como el proceso de evaluación de la enseñanza y del aprendizaje, para colaborar con la toma de decisión de docentes y/o autoridades institucionales educativas.
En las siguientes secciones, se describen el marco conceptual en el que se basa la actual investigación y el estudio de trabajos relacionados. Luego, se presenta el objetivo y alcance del trabajo, previo a la descripción de las pautas metodológicas aplicadas. A continuación, se indican los resultados obtenidos, y por último, se arriban a las conclusiones.
Se definen, los constructos más significativos, para evaluar el e-learning desde una perspectiva psicológica4. Estos constructos son: la internalización de pautas culturales de tipo tecnológico, la apropiación de las tecnologías, la privilegiación y la reintegración. Se trata de explicar el proceso y niveles de aprendizaje con TICs, y constituyen potentes herramientas conceptuales para dimensionar indicadores de evaluación del aprendizaje y también del e-learning.
También, se define otro enfoque o modelo de evaluación de e-learning denominado social elearning6. Proponen una especie de “refundación” de las posibilidades transformacionales de la sociedad de la información por parte del e-learning y, proponen ocho variables, cuando analizan la institución educativa en la sociedad de la información, que son: la equidad, lifelong learning, empowerment y e-learning, motivar para transformar, sujetos comprometidos en red, hacerse persona, la liberación de los sujetos y dar valor en la red.
Los modelos de evaluación social y psicológico, constituyen un nuevo sustento pedagógico para los procesos de enseñanza y de aprendizaje, ya que integran la mirada intercultural y pluralista, en respuesta a la categoría ser sujeto y estar en red.
Las universidades consideran al dato como un activo estratégico en los procesos formativos de los estudiantes, según la investigación de Lang et al. (2017), así como la información y conocimiento que pueden obtener de estos para aumentar la retención y aprobación, citado por Sánchez-Mendiola10 Obtener información de los datos del estudiante, que se pueda procesar y asignar significado, o traducir en conocimiento, posibilitará una mejor toma de decisiones por los involucrados en el proceso formativo. Así, las AA consisten en la interpretación de un amplio rango de datos producidos y recogidos acerca de los estudiantes para orientar su progresión académica, predecir actuaciones futuras e identificar elementos problemáticos. El objetivo de la recolección, registro, análisis y presentación de estos datos, es posibilitar que los profesores puedan adaptar de manera rápida y eficaz las estrategias educativas al nivel de necesidad y capacidad de cada alumno. Aún, en sus primeras etapas de desarrollo, las AA responden a la necesidad de llevar a cabo el seguimiento y control de la actividad en el campus para la toma de decisiones estratégicas. Por otro lado, pretenden aprovechar la gran cantidad de datos producidos por los estudiantes en actividades académicas13.
Las AA permiten, entre otros: guiar y motivar a los estudiantes o participantes de una capacitación a través de un aprendizaje que tiende al aprendizaje personalizado, evaluar los programas de capacitación y las competencias que otorgan mejorar procesos, transformar las estrategias de enseñanza y de evaluación, predecir el abandono y el desempeño de los participantes en el curso, e identificar necesidades de aprendizajes14.
Por otra parte, en la investigación de Mousannif et al. (2014), el propósito de las organizaciones es obtener el mayor conocimiento posible de sus datos, por lo que es necesario recurrir a análisis avanzados de datos estructurados o no estructurados, quien es citado por Sánchez-Mendiola10. Y se refiere a:
Los modelos que prevalecen en torno a la AA han adoptado partes del proceso genérico de análisis, conformado por las fases de: captura, reporte, predicción, actuación y refinamiento. Esto ha permitido la construcción de modelos, en los cuales los actores participantes, el conjunto de bases de datos, las técnicas y los objetivos son los elementos sustantivos de cambio del aprendizaje10.
El tablero de comando, también conocido como tablero de control o dashboard (en inglés), es una de las herramientas de visualización de datos más difundidas. Se utiliza ampliamente en el sector privado, organizaciones sin fines de lucro y el sector público, para apoyar la toma de decisiones basada en datos. Se trata de una herramienta dinámica, cuya metodología, aplicaciones y definición se encuentran en permanente evolución11. Se describen los tableros de comando de la siguiente manera: “Una pantalla de información predominantemente visual que los usuarios utilizan para supervisar rápidamente las condiciones actuales que requieren una respuesta oportuna para cumplir una función específica” (pág. 7)11.
Los beneficios de la implantación de un dashboard son15:
En esta sección se presentan trabajos de evaluación del e-learning basado en los modelos psicológico y social. Además, se citan antecedentes que aplicaron las AA en educación y más precisamente en medicina; por último, se mencionan trabajos relacionados con AA y tableros de comando.
Se presentó una propuesta de evaluación de e-learning basada en los modelos psicológico y social9. Se mostró la definición de las categorías de información que responden a los constructos de los modelos, las variables propuestas como aspecto que desea medirse del proceso de e-learning social, y el indicador como una característica observable, identificable y medible dentro de la variable, para que a partir de dicho indicador se pueda asignar a esa variable un determinado valor. La medición de estos constructos, se realizó considerando, por una parte, una encuesta de satisfacción; y por otra, los resultados obtenidos en distintas evaluaciones de la asignatura e información que proporciona la plataforma del aula virtual.
En cuanto a resultados de un estudio cuantitativo, cuyo propósito fue describir los componentes del aprendizaje autorregulado que usan los estudiantes en sus procesos de aprendizaje en línea, se mostraron que la mayoría de los factores y estrategias del aprendizaje autorregulado, se usan de forma aceptable; además, se encontraron diferencias significativas en los factores del componente motivacional y en las estrategias del componente conductual y contextual. Estos factores resultan de interés en nuestra investigación, puesto que se relacionan con aspectos importantes del e-learning social. Estos hallazgos proporcionan a los diseñadores instruccionales, información sobre los aspectos que podrían priorizarse para motivar a los estudiantes, lo que contribuiría en el desarrollo de diferentes tipos de estrategias y métodos en beneficio de autorregular su aprendizaje, formación que les permitirá avanzar con mayor éxito en su educación, independientemente de la modalidad con la cual se trabaje16.
En cuanto a los antecedentes que se enfocan en las AA, aplicados a la educación superior y que evidencian su utilidad, se puede mencionar el Reporte Research evidence on the use of learning analytics: Implications for education Policy, publicado en una investigación conjunta por la Unión Europea14.
La Universidad Georgia State University en EEUU, empleó el análisis predictivo con el fin de monitorear el desempeño de sus estudiantes, los datos también permitieron predecir el potencial de abandono escolar de algunos de sus estudiantes más destacados debido a temas de bajos ingresos o para estudiantes que representan la primera generación de sus familias en asistir a la universidad. Con esta información, diseñaron intervenciones con las cuales incrementaron sus tasas de graduación del 32% en 2003, al 54% en 2014, según la European Commission (2018, p. 82) 14.
En el 2010, la universidad de Rio Salado College en EEUU, implementó un sistema de analítica predictiva para monitorear a los estudiantes en ambientes virtuales de hasta cuarenta mil estudiantes. Para este monitoreo, se incluyó un sistema de alertas tempranas para los profesores que les permitió identificar y atender mejor a aquellos estudiantes con riesgo de reprobar un curso, según la European Commission (2018, p. 77)14.
En una aplicación más de las AA en el 2011, la Universidad Arizona State University en EEUU, realizó un proyecto junto con la compañía Knewton Enterprises para crear rutas de aprendizaje personalizado para más de cinco mil estudiantes en cursos remediales de matemáticas en línea. La adopción de este sistema incrementó de 64% a 75% la retención de estudiantes en el programa de matemáticas remediales, según la European Commission (2018, p. 76)14.
Específicamente, sobre las AA aplicados a la educación en medicina, varios autores se refieren a la existencia de reportes sobre el uso de la AA en este ámbito, y en diversas áreas disciplinarias, como los cita, a continuación Sánchez-Mendiola10:
Otro trabajo es el de Tagarelli et al. (2020), quienes presentan un proyecto de investigación cuyo objetivo es la investigación de la AA en la Educación Superior. A su vez, también se contemplan ramas de los sistemas de educación a distancia, y por último conceptos relativos a control y medición de desempeño y seguimiento de variables. Tales variables se agrupan en Tableros de Comando, que proporcionan información tanto reactiva como proactiva, ya que además de analizar el pasado, permiten “anticiparnos” y tomar decisiones oportunas17.
Por último, en el trabajo de Chan, Sherbino y Mercuri (2017), se describen tableros de datos en la enseñanza de la medicina de urgencias, para describir y caracterizar los eventos de aprendizaje de los residentes, citados por Sánchez-Mendiola10.
La información generada durante el aprendizaje contribuye a mejorar los procesos de toma de decisiones tanto como a mejorar la experiencia general de aprendizaje a través de AA, sostiene Chatti (2012), citado por Tagarell et all.17. Se trata de un proceso que comprende la medición de las variables del proceso de aprendizaje, para que, recopilando estos datos, pueda realizarse el análisis de los mismos referidos a alumnos, docentes y todas las variables en donde se produce el proceso de aprendizaje. Es posible mostrar los datos del LMS, en un tablero de comando adecuado, según Klerkx (2017) citado por Tagarell et al.17, eligiendo las medidas que representan el grado de logro de los objetivos.
Consideramos que, representaciones visuales adecuadas del tablero de comando contribuyen a la mejora del proceso de toma de decisiones relacionadas no solo a las variables de gestión y seguimiento del proceso de enseñanza y de aprendizaje, sino también al uso de la plataforma de educación a distancia implementada, en nuestro caso Moodle.
Además, se hará uso de las AA en el seguimiento y evaluación de los estudiantes desde una perspectiva más amplia, que la participación colaborativa e interacción comunicativa. Es decir, involucrando otros factores claves, cuya fuente de información permita complementar la acción de los indicadores definidos para la evaluación del e-learning social, y aplicados en el ámbito de las ciencias de la salud y educación médica.
Por lo tanto, en este trabajo se ha planteado como objetivo: Integrar la información de las categorías del e-learning social en un tablero de comando, como base del proceso de estudio de los eventos de aprendizaje de una práctica de clase, para contribuir a la operatividad de las AA y a la toma de decisión sobre aspectos didácticos y metodológicos, y en el ámbito de la educación médica con formación virtual del estudiante.
Se describen a continuación, las pautas metodológicas desarrolladas:
Para ello, se define el siguiente tablero que incorpora la organización de tableros de proceso, y dos modelos considerados de e-learning; se trata de analizar las respectivas variables, impacto y evaluación, ítems propuestos y agregados actualmente, como nuevos elementos de estudio para la evaluación actual (tablas Nº 1, 2, 3 y 4, en hojas siguientes).
A partir de la experiencia realizada y el estudio de las cuatro categorías presentadas, se observa que tres de ellas han dado un valor alcanzado de “Muy Bueno”; lo que demuestra que los alumnos son capaces de aplicar con destreza las herramientas de edición, han logrado organizar y manipular los datos recogidos en las UPAs, y obtener estadísticas significativas.
Además, desde la asignatura se ha realizado un aporte a la categoría Lifelong learning, incentivando a los estudiantes con actividades que favorecen al aprendizaje a lo largo de la vida: proponiendo actividades de búsqueda formal de información médica e identificación en la web de fuentes de referencia acreditadas para la selección de producciones escritas sociales y académicas. Por lo que, los estudiantes han valorado las TICs para el procesamiento de información médica y apreciado la necesidad continua de formarse.
En cuanto a la categoría Empowerment y e-learning, se ha obtenido un valor alcanzado de “Bueno”; los estudiantes han realizado intervenciones, no tanto las esperadas, en actividades colaborativas y trabajo cooperativo en el aula virtual. Lo que nos permite concluir, que se deben reforzar este tipo de actividad y que los docentes deben acompañar el proceso de realización de las mismas.
También, observamos las características y operatividad de analíticas tipo descriptivas, a partir de los datos históricos de la experiencia del estudiante, para el planteo de futuras estadísticas de interés, y potenciar el uso de los entornos virtuales en ámbito de educación médica.
Se pueden identificar también, pautas de diagnóstico temprano del tipo de estudiante o rasgos de personalización, y posibles riesgos en su trayectoria educativa; en el ámbito de la analítica inquisitiva, y observado en los registros del impacto, consecuencias y alcance. Esto facilita la toma de decisión oportuna ya que permite monitorear el desempeño individual y grupal, atender mejor a los estudiantes que lo necesitan y diagramar rutas de aprendizaje personalizadas.
Consideramos que es factible alcanzar una estimación inicial de trabajo y sucesos en el aula virtual, según manifiesto de la analítica predictiva, a partir del registro de evaluación obtenido; lo que contribuye, por ejemplo, al armado de la planificación y secuencia didáctica, que realiza el docente, para la asignatura de interés.
Luego, con la información descripta en el plan de contingencia, en el ámbito de la analítica prescriptiva, se pueden obtener pautas procedimentales para el logro de los objetivos de proceso de enseñanza y de aprendizaje, a partir de la decisión de los actores educativos.
Finalmente, se puede observar la necesidad, para debatir a corto plazo, sobre recomendaciones para la organización, procesamiento e interpretación de los reportes del LMS, en base a las categorías estudiadas del e-learning social y de los criterios de operatividad de las AA.
La evaluación del e-learning se ha abordado desde diferentes perspectivas y enfoques desarrollándose una variedad de modelos con sus respectivos indicadores de calidad. En este trabajo, se ha considerado la evaluación del modelo social y psicológico que contribuya no solo a la generación de aprendizaje significativo, sino también a una gestión confiable y de calidad para la cultura de la actual sociedad de la información.
Por otro lado, los tableros de comando desarrollados, permitieron presentar los indicadores que se consideraron más representativos, para realizar la evaluación del e-learning social. A partir de esta selección, se definieron las variables respectivas, se referenciaron las fuentes de datos necesarias y representativas, se plantearon las fórmulas de cálculo, y se determinó el valor que se espera obtener de cada uno de los indicadores. Luego, se presentaron los registros del impacto, las actividades de contingencia y pautas de predicción, como aspectos relevantes a tener en cuenta para generar una retroalimentación positiva, al proceso de enseñanza y de aprendizaje para los estudiantes actuales y de futuras cohortes.
Considerando el e-learning social y la evaluación propuesta de AA basada en tablero de comando, se brinda en esta propuesta una nueva presentación visual que promueva el proceso de enseñanza y de aprendizaje en educación médica; para hacer posible la concreción de secuencias de recursos y contenidos, según el desempeño e interacción del estudiante dentro de la plataforma de e-learning.
Los autores manifiestan no tener conflictos de ningún tipo.