¿Acaso la navegación siempre predice el desempeño? Los efectos de la navegación en la lectura digital son moderados por las habilidades de comprensión

Visión internacional

¿Acaso la navegación siempre predice el desempeño? Los efectos de la navegación en la lectura digital son moderados por las habilidades de comprensión

Does Navigation Always Predict Performance? Effects of Navigation on Digital Reading are Moderated by Comprehension Skills


Johannes Naumann

Goethe-Universität Frankfurt, Alemania


Ladislao Salmerón

Universidad de Valencia, España

Resumen

El presente estudio investiga los efectos interactivos de la navegación y las habilidades de comprensión en el desempeño de la lectura digital. Se consideraron como indicadores de la navegación la selección de páginas relevantes y la selección de páginas irrelevantes. Se encontró que en 533 secundarias españolas los estudiantes de 11 a 17 años muestran efectos positivos en la lectura de comprensión fuera de línea y la selección de páginas relevantes para el desempeño de la lectura digital, mientras que la selección de páginas irrelevantes tuvo un efecto negativo. Además, se halló una relación entre la selección de páginas relevantes y la habilidad de comprensión fuera de línea. Mientras que el efecto de la selección de páginas relevantes fue bueno en aquellos alumnos que mostraron buenas habilidades de lectura fuera de línea, se redujo en quienes mostraron una comprensión pobre. El efecto de la habilidad de comprensión fuera de línea fue importante en los estudiantes que muestran altos índices de selección de páginas relevantes, mientras que era pobre e insignificante en los estudiantes que mostraron bajos índices de selección de páginas relevantes.

Palabras clave: ; ; ; ;



Introducción

En escenarios de aprendizaje donde los materiales se entregan en línea, por ejemplo, en los programas de educación a distancia, con frecuencia los estudiantes necesitan navegar en una red de materiales vinculados (o nodos) entre sí para poder progresar. Especialmente durante la navegación se debe evaluar la relevancia de los hipervínculos disponibles y decidir cuál contiene información necesaria para responder una pregunta. Si los estudiantes acceden a un nodo con información relevante, de todas maneras deben evaluar si la información es suficiente o si necesitan acceder a otros vínculos relevantes para obtener respuestas completas. Si una persona está considerando estudiar, por ejemplo, psicología en un entorno de aprendizaje a distancia y, accede a la página web de la universidad, verá que incluso antes de inscribirse en un programa de estudios el futuro alumno necesita acceder a un número de hipervínculos, leer e integrar los documentos que ha abierto para obtener información sobre los contenidos del curso, tarifas, requisitos, etc. A su vez, después de inscribirse, los estudiantes deben completar las tareas que se les hacen llegar en línea. Una vez más, para completar las tareas, por ejemplo, deberán buscar la bibliografía necesaria para redactar los ensayos, por lo que deberán navegar en línea para encontrar los documentos. Accederán a ciertos hipervínculos y descartarán los que no encuentren relevantes para la tarea en cuestión. Por lo mismo, en teoría, la navegación es un proceso crucial de la educación presencial, en línea y a distancia. Además, se necesitan habilidades de comprensión tradicional o fuera de línea para procesar los documentos a los que se ha accedido a través de la navegación (Salmerón & García, 2011). Esto significa que en el escenario del aprendizaje en línea los estudiantes necesitan decodificar palabras, analizar la sintaxis de las oraciones y ejecutar procesos de coherencia local y global para comprender el contenido de un documento (Kintsch, 1998).

El objetivo de este artículo es aclarar la forma en que los procesos de navegación y las habilidades de comprensión fuera de línea interactúan en los escenarios del aprendizaje en línea. En la siguiente sección se revisará la bibliografía que trata dicha interacción.

Evidencia de la interacción de las habilidades de comprensión fuera de línea y los procesos de navegación

De acuerdo con el rastro de los archivos de registro, es claro que la navegación de los estudiantes juega un papel importante para responder los cuestionarios de las asignaturas en línea (Organización de Cooperación Económica y Desarrollo [OCDE], 2011). Especialmente, un estudio a gran escala en el que participaron adolescentes en el Programa Internacional para la Evaluación de Estudiantes (PISA)1 de la OCDE, 2009, reveló que en la evaluación de la lectura electrónica, los estudiantes que mostraron un comportamiento de navegación orientado hacia la tarea, como indica el registro de las páginas relevantes más visitadas, respondieron correctamente a un mayor número de preguntas. Este resultado concuerda con otros estudios de pequeña escala, que han analizado la forma en que los adolescentes y universitarios navegan para realizar las tareas de sus diferentes asignaturas. Estas tareas incluyen: buscar información (Cress & Knabel, 2003; Hsu & Schwen, 2003); estudiar para el curso semestral (Puntambekar & Goldstein, 2007); hacer tareas de lectura de comprensión (Salmerón, Cañas, Kintsch & Fajardo, 2005; Salmerón, Kintsch, & Cañas, 2006) y redactar resúmenes o trabajos de investigación científica (Goldman, Braasch, Wiley, Graesser & Brodowinksa, 2012). Además, la OCDE (2011) mostró que de acuerdo con la prueba escrita de comprensión de lectura, los estudiantes con buenas habilidades de comprensión fuera de línea recurrieron a mejores rutas de navegación, las cuales, a su vez, mejoraron su desempeño en línea. Si bien, ya se ha demostrado en los estudios a pequeña escala sobre la función mediadora de la navegación en nexo con las habilidades de comprensión fuera de línea y el desempeño general en línea (Naumann, Richter, Christmann & Groeben, 2008; Salmerón & García, 2011), se desconoce sobre el efecto moderador en potencia que tienen las habilidades de comprensión fuera de línea en relación con la navegación y el desempeño (por ejemplo, la navegación únicamente puede predecir el desempeño en línea de los estudiantes con suficientes habilidades de comprensión fuera de línea). El objetivo de este estudio es contribuir a las investigaciones en este campo.

Según el cálculo de los archivos de registro, la navegación predice el desempeño de los estudiantes en las diferentes tareas de aprendizaje en línea. Esto ha llamado la atención de los académicos debido a las implicaciones que tiene tanto a nivel teórico como práctico (Guyer, Atasoy & Somyürek, 2015). En el plano teórico, la navegación es importante porque está interrelacionada con la autorregulación del aprendizaje (SRL por sus siglas en inglés) en escenarios en línea. Los modelos de SRL describen las decisiones que los estudiantes toman en escenarios de aprendizaje complejos, tales como determinar las secciones del hipertexto que se han de estudiar y las que no. Estas decisiones que toman los estudiantes, con base en la reflexión, están determinadas por los escenarios, los objetivos de la asignatura y la revisión de su desempeño durante la tarea (Winne & Hadwin, 1998). Además, en los modelos SRL se asume que en las pruebas los estudiantes tratan de optimizar su desempeño, así como la manera de conseguir un mejor resultado (Winne & Baker, 2013). En el aprendizaje en línea se pide a los lectores que realicen tareas para las cuales es necesario elegir y organizar el material de texto. En este sentido, se cuenta con extensa evidencia que muestra que a medida que aumenta la autorregulación en el aprendizaje en línea se obtienen mejores resultados (Azevedo & Cromley, 2004; Azevedo, Greene & Moos, 2007; Azevedo, Moos, Greene, Winters & Cromley, 2008). En términos de rendimiento también hay diversas pruebas que revelan que un mejor ejercicio de autorregulación implica una mejor y buena navegación, en parte sirve para medir los efectos de autorregulación en los resultados del aprendizaje en línea en diversos escenarios (Richter, Naumann, Brunner & Christmann 2005; Salmerón, Kintsch & Kintsch, 2010). Por consiguiente, todo el análisis del comportamiento de navegación puede proporcionar información valiosa acerca de los modelos de autorregulación del aprendizaje (Winne, 2010).

En un nivel práctico, la navegación, según lo medido por los archivos de registro, predice el desempeño de los estudiantes en diversas tareas de aprendizaje en línea. Este es un conocimiento útil para los sistemas inteligentes en línea. Los archivos de registro se pueden rastrear para construir modelos de usuario y se pueden hacer recomendaciones durante la sesión de aprendizaje con base en la navegación de los estudiantes. Por ejemplo, si el sistema detecta que un alumno está navegando en nodos irrelevantes para la tarea, puede reaccionar y motivar al estudiante para que éste se centre en sitios más relevantes (Puntambekar & Stylianou, 2005; Vidal-Abarca et al., 2014; Winne & Hadwin, 2013).

El presente estudio pone en duda la suposición general en la navegación como un medio que predice de manera unívoca el desempeño de los estudiantes en tareas de pregunta y respuesta en línea. En concreto, pusimos a prueba si la relación positiva entre navegación y desempeño puede ser moderada por las habilidades de comprensión fuera de línea. El efecto moderador en potencia de las habilidades de comprensión entre la navegación y el desempeño, no ha sido investigado. En teoría, la moderación tiene lugar cuando las habilidades de comprensión fuera de línea y de navegación interactúan según la estadística para predecir el desempeño de los estudiantes en la tarea de lectura en línea. Un estudiante puede carecer de las habilidades de comprensión fuera de línea, pero todavía así puede tener la habilidad necesaria para navegar a través de un texto digital. Por ejemplo, los estudiantes pueden encontrar las palabras que se repiten tanto en las preguntas como en el texto para localizar la información pertinente para responder las preguntas, sin la necesidad de un exhaustiva revisión del texto en particular (Cerdán, Gilabert & Vidal-Abarca, 2011; Salmerón, Cerdán & Naumann, 2015). Los estudiantes también pueden guiarse por señales tipográficas de hipervínculos para navegar (Rouet et al., 2011). Sin embargo, en dicho caso, a pesar de que el resultado de la navegación es bueno, el de la comprensión será pobre. Esto se debe a que el lector nada más ha seleccionado y ordenado el material de lectura, pero eventualmente deberá leerlo y comprenderlo. Así, según este razonamiento, el efecto de la navegación en el desempeño de lectura digital estará condicionado a la capacidad de comprensión fuera de línea. Para un estudiante con buenas habilidades de comprensión fuera de línea seleccionar una ruta de navegación que contiene un gran porcentaje de materiales relevantes lo ayudará a obtener buenos resultados. En comparación, un estudiante con pocas habilidades de comprensión fuera de línea no será capaz de utilizar un texto de este tipo.

Nuestro estudio tiene como objeto comprobar que la relación entre la navegación y el desempeño es moderado por la capacidad de comprensión de los estudiantes fuera de línea. Para ello se utilizó una muestra grande (N=533) que comprende estudiantes clasificados por edades de 11 a 17 (ver Tabla 1).

Método

Asignaturas

Participaron en el estudio 533 estudiantes españoles. Los discentes que intervinieron provienen de seis escuelas diferentes de la provincia de Valencia, España. En cada escuela se levantaron muestras de una clase completa de 7º, 8º, 9º y 10º grados. Las escuelas y los niños fueron reclutados para participar en virtud de un acuerdo específico de colaboración entre los directores, las autoridades educativas regionales y el equipo de investigación.

 

Correlaciones
  M SD Min Máx 1. 2. 3. 4. 5. 6. 7. 8.
1. Uso de la computadora a 1.00 0.04 0.00 1.00                
2. Computadora disponible a 0.99 0.09 0.00 1.00 .50***              
3. Internet disponible a 0.97 0.17 0.00 1.00 .25*** .12**            
4. Género b 0.46 0.50 0.00 1.00 -.05 -.01 -.03          
Predicción y control de variables  
5. Selección de página relevante
0.55 0.15 0.05 0.89 .01 .05 .02 .13**        
6. Selección de página irrelevante
0.11 0.07 0.00 0.33 .01 .05 .01 .16*** .07      
7. Habilidades de comprensión fuera de línea
12.15 4.38 1.00 20.00 -.01 .02 .01 .01 .49*** -.18***    
8. Edad
13.61 1.26 11.00 17.00 .06 .01 -.03 -.01 .21*** -.16*** .32***  
Criterio  
9. Desempeño de lectura digital
0.52 0.20 0.08 1.00 .00 .03 .08 .08 .63*** -.15*** .55*** .28***

Nota. N = 533. Selección relevante de página: porcentaje de las páginas relevantes que se visitaron. Selección de páginas irrelevantes: porcentaje de páginas irrelevantes que se visitaron. El rendimiento de lectura digital: porcentaje de respuestas correctas en la prueba de lectura digital.

a0 = No, 1 = Sí. b0 = mujer, 1 = hombre.

** p < .01, *** p < .001 (two-tailed).

 

Como puede verse en la Tabla 1, la edad de los estudiantes varió entre 11 y 17 años (Tabla 1, fila 8). Aproximadamente la mitad de los discentes eran hombres y la otra mitad mujeres (Tabla 1, fila 4). La mayoría de los alumnos tenían acceso a computadoras e Internet en sus hogares (Tabla 1, filas 2-3). Además, la mayoría de los estudiantes habían usado una computadora con anterioridad (Cuadro 1, fila 1).

Materiales y medidas

El desempeño de lectura digital. El desempeño de lectura digital se determinó a través de una serie de tareas diseñadas como parte de una prueba para medir la capacidad de lectura digital desarrollada para este proyecto. El presente estudio forma parte de un proyecto destinado a conformar una prueba de habilidades de lectura digital para estudiantes de secundaria. La prueba consta de 36 secciones que cubren los aspectos identificados en el sistema de calificación PISA (OCDE, 2009): acceso y recuperación (12 incisos), interpretación e integración (13 incisos) y reflexión y evaluación de la información (11 incisos). Los incisos se distribuyen en cuatro escenarios que enfatizan diferentes usos de la lectura digital: educación (Wikipedia), múltiples documentos (Google), sociales (foros web) y de navegación (portales web). Los materiales utilizados en la prueba fueron sometidos a un estricto procedimiento de construcción y validación (Salmerón et al., 2012). Posteriormente se desarrollaron y probaron, en tres estudios piloto de 60-80 estudiantes en cada caso. La versión final del examen se puso a prueba en una muestra de 555 estudiantes. Como una medida de validez concurrente, lo primero que se correlacionó fue el desempeño de los estudiantes por medio de las notas con las puntuaciones obtenidas en la prueba de comprensión de lectura estandarizada (Llorens et al., 2011). La correlación Pearson fue 0,65, p <001. Además, se correlacionó el desempeño de los estudiante y las notas de los estudiantes en la asignatura de lengua española (0,38), ciencias sociales (0,39), ciencias naturales (.39) y matemáticas (0,31), todas las correlaciones p <.01. Los resultados de la muestra indicaron que el grado de dificultad de las preguntas varió desde 0,18 hasta 0,89 (es decir, la tasa de éxito). Por último, la veracidad de las preguntas (Cronbach) fue de 0,78.

En este estudio se utilizó el escenario del portal web de la prueba. En especial, los materiales consistieron en doce incisos en total que los estudiantes resolvieron al navegar a través de un portal web que se organiza en torno a cinco secciones principales (medio ambiente, tecnología, salud, deportes y cursos), cada uno de ellos incluía tres subsecciones, que se dividieron en tres páginas adicionales. El contenido de algunas de las páginas incluía vínculos a páginas externas al portal. Por tanto, los estudiantes navegaron a través de una variedad de páginas, incluyendo páginas de noticias, con anuncios y representaciones de mapas de Google. Las secciones evaluaron la forma de acceso y recuperación (cinco incisos), la integración e interpretación (cuatro incisos), y la reflexión y evaluación de información textual (tres incisos). Por ejemplo, una solicitud de acceso y recuperación de un elemento: “El portal de la juventud acaba de publicar un informe acerca de las aves y mamíferos en peligro de extinción. ¿Cuál es el nivel de peligro en el que se encuentran las especies en Canadá?”.

Para responder a la pregunta, los estudiantes accedieron a la siguiente ruta vinculada a la página principal del Portal de la juventud: medio ambiente> especie en peligro> animales en peligro alrededor del mundo. Los alumnos evitaron acceder a vínculos irrelevantes, tales como ‘animales en peligro: lince ibérico’. En términos del sistema de calificaciones PISA todo el contenido que se incluyó en las páginas es de autoría; 66% de las tareas involucraron una secuencia de textos, mientras que 33% fueron textos discontinuos. Además, para completar todas las tareas, los estudiantes debieron realizar de 2-6 pasos de navegación para encontrar la información meta (M = 2,92 pasos, SD = 1.16); es decir, todas las tareas se interrelacionaban con múltiples páginas web. Todas las tareas se presentaron con un navegador de simulacro. Cada sección refería, a su vez, a la información contenida en una subsección particular que no se incluía en ninguna otra sección. La veracidad de las secciones (alfa de Cronbach) fue de 0,60.

Habilidades de comprensión fuera de línea. Las habilidades de comprensión fuera de línea se midieron a través de la prueba de lectura para la Educación Secundaria (Complec) de Llorens et al. (2011). La prueba se compone de cinco unidades, tres de ellas se interrelacionan y dos no. Los temas cubiertos incluyen un extracto de un libro de texto sobre el calentamiento global, un artículo de una revista de divulgación científica sobre el lenguaje de las abejas, un folleto sobre sillas de trabajo ergonómicas, dos cartas al editor acerca de los pros y los contras de la energía nuclear, y el diagrama de accidentes de tránsito de un periódico. Cada unidad incluye entre tres y cinco preguntas que abarcan diferentes aspectos sugeridos por el sistema de calificaciones PISA: acceso y recuperación (5 incisos), integración e interpretación (10 incisos) y reflexión y evaluación de la información textual (5 incisos). La prueba ha sido validada con una muestra de 1,854 estudiantes de 42 secundarias diferentes. La veracidad de la presente muestra fue de 0,80 (α de Cronbach).

Navegación. Se utilizaron archivos de registro para analizar el comportamiento de navegación de los estudiantes. Se utilizó como índice de la calidad de navegación el porcentaje de páginas relevantes que se visitaron para cada sección (selección de páginas relevantes). El número de páginas relevantes que se visitó refleja el proceso pertinente de selección para tareas del material de aprendizaje o de lectura en línea, a través del cual se asume que un aspecto crucial en el proceso de navegación está relacionado con la calidad de la comprensión y el aprendizaje (Berro & Knabel, 2003; Goldman et al., 2012; Naumann et al., 2008). Se consideró como páginas relevantes para responder una pregunta en particular aquellas que los estudiantes debían visitar para localizar información que fuera de utilidad para responder correctamente. En consecuencia, este índice no sólo considera si el estudiante accede o no a la página o páginas que contienen información útil, sino que rastrea el camino que el estudiante siguió para encontrar las páginas útiles. Este índice no nada más refleja la longitud de una ruta de navegación, pues también se ha considerado el porcentaje de páginas irrelevantes que los estudiantes visitaron en cada tarea (selección de páginas irrelevantes). Asimismo, se predijo que la selección de páginas relevantes provocaría un efecto positivo en el desempeño de la lectura digital, también se predijo un efecto inverso en la selección de páginas irrelevantes.

Procedimiento

Se realizaron pruebas en las aulas dentro del horario escolar en dos sesiones de una hora. En una primera sesión los alumnos completaron la prueba de las habilidades de comprensión fuera de línea. Después respondieron dos cuestionarios en los que se pedía información demográfica, así como la frecuencia con la que el alumno usa el ordenador. En una segunda sesión, los estudiantes completaron la prueba del desempeño de lectura digital en el laboratorio de computación de las escuelas. Se recolectaron los datos en un dispositivo usb.

Análisis estadístico

Para probar la hipótesis sobre el papel que tiene las habilidades de comprensión fuera de línea como mediador entre la navegación y el desempeño, se estimó un modelo mixto lineal, utilizando el medio ambiente R (el equipo principal de desarrollo R, 2012) con el paquete Ime4 (Bates, Maechler & Bolker, 2012). Se ingresaron las variables de habilidad de comprensión en línea, la selección de páginas relevantes y la selección de páginas irrelevantes como efectos fijos para predecir los resultados. Además, se ingresó como efectos fijos la interacción de las habilidades de comprensión fuera de línea en relación con la selección de páginas relevantes e irrelevantes.

Dado que la variable de comprensión fuera de línea varía de acuerdo con la edad, incluimos otras variables relacionadas con la edad e ingresamos la edad de los estudiantes como variable de control. Todas las variables de predicción y control fueron marcadas como z-estandarizado. Todos los alumnos de diferentes asignaturas participaron en las pruebas de muestra, por eso incluimos los datos de una clase al azar para que este grupo cumpliera una función similar a la de una dependencia aparte. Como medida del efecto se presentó la proporción de la diferencia que aparece como efecto fijo, como estándar (marginal Δ R2 siguiente Nakagawa & Schielzeth, 2013). La importancia del efecto del grupo de alumnos al azar se evaluó mediante una prueba de simulación con base exacta en el paquete RLRsim (Scheipl, Greven & Kuechenhoff, 2008). 

Resultados

Estadística descriptiva y correlaciones para todas las variables del modelo se dan en la Tabla 1 (filas 5-9). Recordemos que nuestra hipótesis sostiene que las habilidades de comprensión fuera de línea mejoran el efecto de la selección de página relevante en la comprensión, dado que sin ellas los alumnos que presentan cualquier tipo de comportamiento de navegación no podrán entender un texto digital. Esto significa que en un modelo de regresión con habilidades de comprensión fuera de línea y selección de páginas relevantes, además de un término de interacción; entonces, un coeficiente de regresión positivo debe surgir para la interacción. Esto indica un impacto cada vez mayor de la selección de página relevante en el desempeño de lectura digital, con un incremento de las habilidades de comprensión fuera de línea. Comparativamente, no se esperaba tal efecto de interacción en la selección de páginas irrelevantes. La selección de páginas irrelevantes puede ser vista en perjuicio del desempeño de lectura digital, al margen de las habilidades de comprensión fuera de línea. Los resultados del modelo se resumen en la Tabla 2.

Efectos fijos Efecto β ( SE ) z Δ R2m
Intercepción -0.48 (0.01)    
Selección de página relevante
0.13 (0.01) 14.12*** 0.22
Selección de página irrelevante -0.02 (0.01) -3.40** 0.01
Habilidades de comprensión fuera de línea
0.05 (0.01) 6.70*** 0.05
Habilidades de comprensión fuera de línea × selección de página relevante
0.03 (0.01) 4.11*** 0.02
Habilidades de comprensión fuera de línea × selección de página irrelevante -0.01 (0.01) -0.82  
Edad 0.01 (0.01) 1.40  
Efectos aleatorios
Grupo aleatorio de alumnos
0.001*
Modelo fijo
R 2m =.51, R 2c =.53

Nota. R2m: Marginal R2, la variable explicó los efectos fijos. R2c: Condicional R2, la variable explicó los efectos fijos y aleatorios (Nakawa & Schielzeth, 2013). Se reportó el tamaño (reducción de la variable que se explicó por los efectos fijos), solo para los efectos significativos.

* p < .05, ** p < .01, *** p < .001.

 

El efecto aleatorio que tuvo la inclusión de un grupo de alumnos al azar fue significativo, es decir, hay una variable sistemática entre el desempeño de la lectura digital, sobre y por encima de los efectos fijos en el modelo (ver Tabla 2).

El análisis de efectos fijos reveló el gran efecto positivo de la selección de página relevante (Tabla 2, fila 3), mientras que la selección de página irrelevante tuvo el efecto negativo que se esperaba (Tabla 2, fila 4), sin embargo fue pequeño. Así como se esperaba, las habilidades de comprensión fuera de línea tuvieron un efecto positivo de tamaño medio (Tabla 2, fila 5). Además de estos efectos principales hubo un efecto positivo de la interacción entre la selección de página relevante y habilidad de comprensión fuera de línea (Tabla 2, fila 6). La interacción entre las habilidades de comprensión fuera de línea y la selección de páginas irrelevantes no fue significativa (Tabla 2, fila 7). La variable de control de edad no tuvo efecto sobre y por encima de otros valores utilizados para predecir el modelo (Tabla 2, fila 8).

De acuerdo con nuestra hipótesis, el signo positivo del coeficiente de regresión para la interacción entre la selección de página relevante y las habilidades de comprensión fuera de línea, indican que los efectos positivos de la selección de página relevante en el desempeño de lectura digital se aceleraron en el aumento de las habilidades de comprensión fuera de línea. En consecuencia, los efectos positivos de las habilidades de comprensión fuera de línea se aceleraron al incrementar las tasas de selección de páginas relevantes. Para profundizar la interpretación de esta interacción realizamos un análisis simple en descenso (ver Aiken & West, 1991).

En primer lugar, se estimaron los efectos de la selección de páginas relevantes en el desempeño de lectura digital condicionado por habilidades superiores de comprensión fuera de línea (una desviación estándar por encima de la media, ver la línea recta en la Figura 1a) e inferiores habilidades de comprensión fuera de línea (una desviación estándar por debajo de la media, véase la línea de puntos en la Figura 1a).

A B

 

Figura 1: (A) las pendientes que marcan la regresión moderada del desempeño de la lectura digital en la selección de una página relevante, condicionadas a las habilidades de comprensión (+1 SD, línea recta) y baja habilidad de comprensión (-1 SD, línea punteada) (B), las pendientes que marcan la regresión moderada del desempeño de lectura digital fuera de línea en las habilidades de comprensión condicionadas a las altas tasas de la selección de una página relevante (+ 1SD línea recta) y bajas tasas de la selección de páginas relevantes (-1 SD, línea punteada). Véase el texto para las pruebas significativas.

Para los estudiantes con altos índices de habilidades de comprensión se encontró un efecto significativo en la selección de una página relevante durante el desempeño de la lectura digital: B= 0.17 (SE= 0.01), t=12.50, p< 001. Para los estudiantes con un bajo nivel en habilidades de comprensión fuera de línea, dicho efecto fue significativo, aunque se redujo en 60%: B= 0.10 (SE=0.01), t=9.44, p< 001.

Estimamos los efectos de habilidades de comprensión en el desempeño de lectura digital condicionado a los altos niveles de selección de una página relevante (por encima de la desviación media estándar; véase la línea recta en la Figura ib.) y bajos niveles de selección de una página relevante (véase la línea punteada en la Figura ib.). Para los estudiantes, la selección de una página relevante (un nivel de desviación media por encima del estándar) tuvo un efecto significativo en relación con las habilidades de comprensión en el desempeño de lectura digital, B= 0.08 (SE= 0.01), t=8.00, p < 001. Para los estudiantes en la selección de una página relevante, en comparación, no fue significativo el efecto de las habilidades de comprensión B= 0.02 (SE=0.01), t=1.73, p >05.

Discusión

Hasta el momento este estudio es el primero en aportar clara evidencia sobre la relación entre la selección una página relevante y el desempeño en tareas de pregunta-respuesta, de las habilidades de comprensión fuera de línea. Mientras que los resultados ratifican el buen vínculo entre la navegación y el desempeño de las tareas en línea (véase Naumann, 2008, para una reseña), este también reveló que la influencia de la selección de páginas relevantes puede bajar 60%, aproximadamente, si los estudiantes tienen pocas habilidades de comprensión fuera de línea. También revelaron que las buenas habilidades de comprensión fuera de línea no son suficientes para un resultado favorable sobre el desempeño de la lectura digital. Por el contrario, si los estudiantes no cumplen con las demandas de la selección de página relevante, la relación fuerte y positiva de las habilidades de comprensión y el desempeño de la lectura digital ya no es significativo.

Una posible explicación para estos resultados es un modelo de umbral. De acuerdo con éste, cuando se alcanza un umbral crítico de las habilidades de comprensión fuera de línea los estudiantes pueden beneficiarse de su navegación eficiente para mejorar su desempeño de lectura digital. Es una suposición razonable que los alumnos tendrían que obtener tres de seis resultados correctos en la prueba de lectura PISA 3. Esto significa, por ejemplo, que son capaces de encontrar diversas secciones de información en un texto o vincular entre sí la información de los diferentes textos (véase OCDE, 2010, para una descripción detallada). Esta hipótesis, sin embargo, debe ser corroborada por futuras investigaciones, puesto que las habilidades de comprensión en línea, que se utilizaron para medir este estudio, no están vinculadas a la escala de lectura de PISA.

Los estudiantes con un alto nivel de comprensión se benefician de la navegación eficiente entre páginas relevantes. ¿Por qué los lectores deficientes no se benefician de su navegación? Desde la perspectiva de un modelo de desarrollo se puede argumentar que estos estudiantes todavía cometen errores al momento de correlacionar los objetivos de navegación con los vínculos disponibles por medio de inferencias. Por tanto, la evaluación de un vínculo relevante depende de procesos superficiales como la tipografía de los vínculos o la correlación de palabras (Rouet et al., 2011; Cerdán et al., 2011; Salmerón et al., 2015), por ejemplo, si la meta y el hipervínculo usan la misma palabra. Mediante el uso de esas señales para navegar los estudiantes pueden acceder a páginas relevantes para cumplir con su meta, sin embargo, no podrán comprender el sentido completo de la información en esas páginas. Los archivos de registro proporcionan información sobre el porcentaje de páginas relevantes que los estudiantes visitaron, mas no presentan un panorama completo de las operaciones cognitivas que los estudiantes verdaderamente utilizan para seleccionar esas páginas. Una forma de aclarar esta cuestión es combinar la información de los archivos de registro con otras medidas en línea, tales como los protocolos verbales de los estudiantes (por ejemplo, Van Gog, Paas, van Marriënboer & Witte, 2005; Richter et al., 2005). Futuras investigaciones aclararán esta cuestión.

Al asegurar el efecto moderado de las habilidades de comprensión fuera de línea entre la navegación y el desempeño en línea, es necesario hacer algunas observaciones preventivas. En primer lugar, si bien es una propiedad fundamental de la navegación que se investigó en el presente estudio, la selección de materiales de textos relevantes (o irrelevantes), esa no es la única propiedad importante de una ruta de navegación. Por ejemplo, la coherencia de la ruta de navegación se estableció como otra variable que predice resultados de comprensión y aprendizaje de la lectura y la comprensión del texto digital (Amadieu & Tricot, 2008; Naumann et al., 2007; Richter et al., 2005; Salmerón et al., 2005; Salmerón, Kintsch & Cañas, 2006), como el uso de dispositivos de navegación personal, tales como reseñas (Dias & Sousa, 1997; Salmerón & García, 2011; Su & Klein, 2006). Por el momento, desconocemos estas propiedades de navegación y la forma en que su impacto en el desempeño se modera a partir de las habilidades de los estudiantes.

En segundo lugar, aunque en nuestro estudio las habilidades de comprensión en línea moderan la relación entre la navegación y el desempeño, la navegación tiene un efecto positivo para la mayoría de los estudiantes. Se pueden observar otros patrones de moderación. Por ejemplo, se puede usar un patrón de navegación particular para los estudiantes con o sin una habilidad particular, pero, tal vez, no tendrá efecto sobre los demás. Aunque no está directamente relacionado a la navegación, las pruebas relacionadas con el efecto de una visión general del hipertexto ejemplifican los patrones moderadores potenciales. En esta línea, Salmerón, Baccino, Cañas, Madrid, y Fajardo (2009, estudio 1) hallaron que al proporcionar una visión temática para un hipertexto, se obtiene un efecto positivo en la comprensión de los estudiantes, sólo si el hipertexto es difícil y si los estudiantes tienen pocos conocimientos sobre el tema. Por último, mientras que las habilidades de comprensión fuera de línea son un importante indicador para predecir la navegación, los investigadores han identificado otras variables de los estudiantes que también son importantes para articular una navegación eficiente. En consecuencia, su papel potencial como moderadores debería estudiarse en el futuro. Una de estas variables es la importancia del conocimiento profundo del tema (por ejemplo: Coiro, 2011). Podríamos esperar que dada la similitud del porcentaje de páginas relevantes visitadas, los estudiantes con alto conocimiento sobre el tema podrían llenar los huecos en su respuesta, mientras que los estudiantes con bajo conocimiento sobre el tema podrán tener dificultades para completar una respuesta generada a través de su navegación (véase Taub, Azevedo, Bouchet & Khosravifar, 2014).

Implicaciones para la investigación sobre la navegación

¿Cuáles son las implicaciones potenciales para la relación moderada entre la navegación y el desempeño en línea? La presente investigación conlleva dos mensajes. En primer lugar, en el plano teórico, nuestros resultados implican que los rastros de navegación similares pueden reflejar diferentes procesos cognitivos y metacognitivos. Este es un desafío para el uso de los rastros de navegación como una herramienta para informar y enriquecer los modelos de autorregulación del aprendizaje. Una manera de limitar el número de procesos en potencia, que subyacen en la selección de una ruta de navegación particular, es incluir hipervínculos teóricos, los cuales dan pie a la selección de aquellos que pueden fácilmente relacionarse a una explicación teórica (Winne, 2010; Salmerón et al., 2015). Por ejemplo, un estudio reciente de pregunta-respuesta utilizando Wikipedia incluía tres tipos de hipervínculos insertados en las secciones del hipertexto: a) los vínculos relevantes que parafrasean la idea principal de la pregunta y que llevaron a un nodo del hipertexto con información útil para responder la pregunta; b) pautas irrelevantes que incluían la misma palabra tanto en el vínculo, a pesar que no era representativo de la idea principal sobre la cuestión, y el vínculo llevó a un nodo irrelevante, y c) vínculos irrelevantes acotados que no incluían una paráfrasis o la correlación de una palabra en el texto con una en la pregunta. Los resultados de los patrones de navegación, que los estudiantes siguieron, permiten identificar la relevancia que tienen las pautas (semánticas y/palabras correlacionadas) que los estudiantes utilizaron para navegar por el hipertexto.

En segundo lugar, a nivel práctico, la existencia de un efecto de moderación indica que la navegación en sí, al menos el índice de navegación utilizado en este estudio, se puede utilizar para predecir con precisión el desempeño de los estudiantes al contestar las preguntas en línea. Un sistema inteligente que reacciona de acuerdo con el comportamiento de navegación de los estudiantes, que no considera las variables importantes de los alumnos, tales como las habilidades de comprensión fuera de línea, generará una representación inexacta del usuario. Esto puede conducir a recomendaciones menos útiles. Por ejemplo, si un sistema identifica que un usuario se desvía de la ruta optativa para encontrar información relevante, entonces se necesitará recomendar una ruta óptima que pueda ser útil, si el estudiante tiene las habilidades necesarias para darse cuenta que está en una ruta poco fructífera. Pero será ineficiente, si el estudiante no tiene las habilidades de lectura necesarias para hacerlo. Por tanto, en el diseño de materiales de enseñanza a distancia es importante facilitar la navegación y apoyar a los estudiantes para que identifiquen las partes relevantes del material que los ayudará a cumplir los objetivos de estudio. Sin embargo, los resultados actuales sugieren que es igualmente importante considerar la dificultad del texto. Las habilidades de comprensión de los alumnos fuera de línea y en línea se pueden medir antes que los estudiantes se familiaricen con el material, pues no se pueden cambiar a corto plazo. De este modo se prevén las dificultades de comprensión que enfrentarán los alumnos para diseñar los cursos. Es importante crear materiales que sean tan fácilmente de comprender como sea posible. De lo contrario, como lo sugieren los resultados actuales, incrementar la capacidad de uso de los materiales en términos de navegación no servirá de mucho.

Como se puede observar, el presente análisis enfatiza que mientras la navegación juega un papel crucial en el desempeño de lectura digital, su efecto es moderado por las habilidades de comprensión más tradicionales fuera de línea. Esto también significa que los programas de enseñanza deben fortalecer los procesos de navegación de los estudiantes preparándolos para el mundo digital del siglo XXI, donde los escenarios de aprendizaje abierto y a distancia son comunes en el mundo. Las habilidades de comprensión los prepararán para dichos escenarios. Probablemente, los estudiantes que tienen dificultades de comprensión necesitarán apoyo para fortalecer sus habilidades antes de que puedan beneficiarse de la enseñanza, diseñadas para prepararlos a seleccionar los hipervínculos relevantes en los escenarios de lectura en línea.

Limitaciones

Por último, algunas observaciones preventivas sobre las limitaciones de los resultados actuales. En primer lugar, nuestra base de datos fue correlacional. Esto significa que los presentes resultados deben ser respaldados, por ejemplo, mediante estudios de entrenamiento, donde en el mejor de los casos, las habilidades de comprensión fuera de línea y los procesos de navegación son manipulados de forma experimental. En segundo lugar, mientras que se analizaron los datos de los alumnos de secundaria en esta investigación, el aprendizaje abierto y a distancia será objeto de estudio en el futuro y estará dirigido a los adultos (por ejemplo, Muñoz, Redecker, Vourikari & Punie, 2014). Aunque parece que hay alguna evidencia que en los adultos las habilidades de comprensión interactúan con soporte de navegación (Naumann et al., 2007), se sabe poco acerca de las posibles interacciones entre las habilidades de comprensión en el comportamiento de navegación de los estudiantes adultos a distancia. Con claridad, la investigación futura tendrá que arrojar luz sobre esta cuestión.

Notas

PISA es una evaluación internacional de las habilidades del estudiante, que se realiza cada tres años desde el año 2000 en toda la OCDE y una serie de economías y países asociados. La evaluación núcleo está en las matemáticas, la ciencia, y la lectura en los estudiantes de 15 años, que en la mayoría de los países significa el final de la enseñanza obligatoria. Véase OCDE (2010, 2011) para obtener detalles sobre PISA 2009 (Richter, Naumann & Noller, 2003; Naumann, Richter, Flender, Christmann & Groeben, 2007).

Referencias

Aiken, L. S. & West, S. G. (1991). Multiple regression: Testing and interpreting interactions. Newbury Park, CA: Sage.

Amadieu, F. & Tricot, A. (2008). Effects of prior domain knowledge on comprehension of non- linear documents. En Cañas, J. J. (ed.), Workshop on Cognition and the Web: Information Processing, Comprehension and Learning (pp. 153-162). Granada, España: Universidad de Granada.

Azevedo, R. & Cromley, J. G. (2004). Does Training on Self-regulated Learning Facilitate Students’ Learning with Hypermedia? Journal of Educational Psychology, 96, 523-535. doi: 10.1037/0022-0663.96.3.523

Azevedo, R., Greene, J. A. & Moos, D. C. (2007). The Effect of a Human Agent’s External Regulation upon College Students’ Hypermedia Learning. Metacognition and Learning, 2, 67-87. doi: 10.1007/s11409-007-9014-9

Azevedo, R., Moos, D. C., Greene, J. A., Winters, F. I. & Cromley, J. G. (2008). Why is Externally-Facilitated Regulated Learning more Effective than Self-regulated Learning with Hypermedia? Educational Technology Research and Development, 56, 45-72. doi: 10.1007/s11423-007-9067-0

Bates, D., Maechler, M. & Bolker, B. (2012). lme4: Linear Mixed-effects Models Using S4 Classes.R package version 0.999999-0. Recuperado de http://CRAN.R- project.org/package=lme4

Cerdán, R., Gilabert, R. & Vidal-Abarca, E. (2011). Selecting Information to Answer Questions. Strategic Individual Differences when Searching Texts. Learning and Individual Differences, 21, 201-205. doi: 10.1016/j.lindif.2010.11.007

Cress, U. & Knabel, O. B. (2003). Previews in Hypertext: Effects on Navigation and Knowledge Acquisition. Journal of Computer Assisted Learning, 19, 517-527. doi: 10.1046/j.0266-4909.2003.00054.x

Coiro, J. (2011). Predicting Reading Comprehension on the Internet: Contributions of Offline Comprehension Skills, Online Reading Skills, and Prior Knowledge. Journal of Literacy Research, 43, 352-392. doi: 10.1177/1086296X11421979

Dias, P. & Sousa, A. P. (1997). Understanding Navigation and Disorientation in Hypermedia Learning Environments. Journal of Educational Multimedia and Hypermedia, 6, 173-185.

Goldman, S. R., Braasch, J. L., Wiley, J., Graesser, A. C. & Brodowinska. K. M. (2012). Comprehending and Learning from Internet Sources: Processing Patterns of Better and Poorer Learners. Reading Research Quarterly, 47, 356-381. doi: 10.1002/RRQ.027

Güyer, T., Atasoy, B. & Somyürek, S. (2015). Measuring Disorientation Based on the Needleman-Wunsch Algorithm. The International Review of Research in Open and Distributed Learning, 16(2).

Hsu, Y. C. & Schwen, T. H. (2003). The Effects of Structural Cues from Multiple Metaphors on Computer Users’ Information Search Performance. International Journal of Human-Computer Studies, 58, 39-55. doi: 10.1016/S1071-5819(02)00125-8

Kintsch, W. (1998). Comprehension: A Paradigm for Cognition. Nueva York: Cambridge University Press.

Llorens, A. C., Gil, L., Vidal-Abarca, E., Martínez, E., Mañá, A. & Gilabert, R., (2011). Evaluación de la competencia lectora: la prueba de Competencia Lectora para Educación Secundaria (CompLEC). Psicothema, 23, 808-817.

Muñoz, C. M., Redecker, R., Vuorikari, R. & Punie, Y. (2014). Open Education 2030: Planning the Future of Adult Learning in Europe. Open Learning, 28, 171-186. doi: 10.1080/02680513.2013.871199

Nakagawa, S. & Schielzeth, H. (2013). A General and Simple Method for Obtaining R 2 from Generalized Linear Mixed-Effects Models. Methods in Ecology and Evolution, 4, 133-142.

Naumann, J. (2008). Log File Analysis in Hypertext Research: An Overview, a Meta-Analysis, and some Suggestions for Future Research. En Cañas, J. J. (ed.), Workshop on Cognition and the Web: Information Processing, Comprehension and Learning (pp. 53-56). Granada, España: Universidad de Granada.

Naumann, J., Richter, T., Christmann, U. & Groeben, N. (2008). Working Memory Capacity and Reading Skill Moderate the Effectiveness of Strategy Training in Learning from Hypertext. Learning and Individual Differences, 18, 197-213. doi: 10.1016/j.lindif.2007.08.007

Naumann, J., Richter, T., Flender, J., Christmann, U. & Groeben, N. (2007). Signaling in Expository Hypertexts Compensates for Deficits in Reading Skill. Journal of Educational Psychology, 99, 791-807. doi: 10.1037/0022-0663.99.4.791

OCDE (2009). PISA 2009 Assessment Framework. Key Competencies in Reading, Mathematics, and Science. París: OCDE.

OCDE (2010). PISA 2009 Results vol i: What Students Know and Can Do. París: OCDE. doi: 10.1787/9789264091450-en

OCDE (2011). PISA 2009 results vol vi: Student on Line. Digital Technologies and Performance. París: OCDE. doi: 10.1787/9789264112995-en

Puntambekar, S. & Stylianou, A. (2005). Designing Navigation Support in Hypertext Systems Based on Navigation Patterns. Instructional Science, 33, 451-481. doi: 10.1007/s11251-005-12765.

Puntambekar, S. & Goldstein, J. (2007) Effect of Visual Representation of the Conceptual Structure of the Domain on Science Learning and Navigation in a Hypertext Environment. Journal of Educational Multimedia and Hypermedia, 16, 429-459.

R Core Team (2012). R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Viena, Austria. Recuperado de http://www.R-project.org/

Richter, T., Naumann, J., Brunner, M. & Christmann, U. (2005). Strategische Verarbeitung beim Lernen mit Text und Hypertext [Strategic Processing in Learning from Text and Hypertext]. Zeitschrift für Pädagogische Psychologie, 19, 5-22. doi: 10.1024/1010-0652.19.12.5

Richter, T., Naumann, J. & Noller, S. (2003). logpat: A Semi-Automatic Way to Analyze Hypertext Navigation Behavior. Swiss Journal of Psychology, 62, 113-120. doi: 10.1024/1421-0185.62.2.113

Rouet, J. F., Ros, C., Goumi, A., Macedo-Rouet, M. & Dinet, J. (2011). The Influence of Surface and Deep Cues on Primary and Secondary School Students’ Assessment of Relevance in Web Menus. Learning and Instruction, 21, 205-219. doi: 10.1016/j.learninstruc.2010.02.007

Salmerón, L., Baccino, T., Cañas, J. J., Madrid, R. I. & Fajardo, I. (2009). Do Graphical Overviews Facilitate or Hinder Comprehension in Hypertext? Computers & Education, 53, 1308-1319. doi: 10.1016/j.compedu.2009.06.013

Salmerón, L., Cañas, J. J., Kintsch, W. J. & Fajardo, I. (2005). Reading Strategies and Hypertext Comprehension. Discourse Processes, 40, 171-191. doi: 10.1207/s15326950dp4003_1

Salmerón, L., Cerdán, R. & Naumann, J. (2015). How Adolescents Navigate Wikipedia to Answer Questions. Infancia y Aprendizaje, 38, 435-471.

Salmerón, L. & García, V. (2011). Reading Skills and Children’s Navigation Strategies in Hypertext. Computers in Human Behavior, 27, 1143-1151. doi: 10.1016/j.chb.2010.12.008

Salmerón, L., Kintsch, W. & Cañas, J. J. (2006). Reading Strategies and Prior Knowledge in Learning from Hypertext. Memory & Cognition, 34, 1157-1171. doi: 10.3758/BF03193262

Salmerón, L., Kintsch, W. & Kintsch, E. (2010). Self-Regulation and Link Selection Strategies in Hypertext. Discourse Processes, 47, 175.211. doi: 10.1207/s15326950dp4003_1

Salmerón, L., Vidal-Abarca, E., Fajardo, I., Cerdán, R., García, V. & Osma, I. (2012). WebLEC: A Test to Measure Reading Literacy Skills in the Electronic Environment. European Association for Learning and Instruction.

Scheipl, F., Greven, S. & Kuechenhoff, H. (2008). Size and Power of Tests for a Zero Random Effect Variance or Polynomial Regression in Additive and Linear Mixed Models. Computational Statistics & Data Analysis, 52, 3283-3299.

Su, Y. & Klein, J. D. (2006). Effects of Navigation Tools and Computer Confidence on Performance and Attitudes in a Hypermedia Learning Environment. Journal of Educational Multimedia and Hypermedia, 15, 87-106.

Taub, M., Azevedo, R., Bouchet, F. & Khosravifar, B. (2014). Can the Use of Cognitive and Metacognitive Self-Regulated Learning Strategies be Predicted by Learners’ Levels of Prior Knowledge in Hypermedia-Learning Environments? Computers in Human Behavior, 39, 356-367. doi: 10.1016/j.chb.2014.07.018

Van Gog, T., Paas, F., Van Merriënboer, J. J. & Witte, P. (2005). Uncovering the Problem-Solving Process: Cued Retrospective Reporting versus Concurrent and Retrospective Reporting. Journal of Experimental Psychology: Applied, 11, 237-244. doi: 10.1037/1076-898X.11.4.237

Vidal-Abarca, E., Gilabert, R., Ferrer, A., et al. (2014). TuinLEC, an Intelligent Tutoring System to Improve Reading Literacy Skills. Infancia y Aprendizaje, 37, 25-56. doi : 10.1080/02103702.2014.881657

Winne, P. H. (2010). Improving Measurements of Self-Regulated Learning. Educational Psychologist, 45, 267-276. doi: 10.1080/00461520.2010.517150

Winne, P. H. & Hadwin, A. F. (1998). Studying as Self-Regulated Learning. Metacognition in Educational Theory and Practice, 93, 27-30.

Comentarios

Comentarios