Diferencia entre revisiones de «Objetos y diseños para el aprendizaje/Diseños para el aprendizaje»
Contenido eliminado Contenido añadido
Sin resumen de edición |
Sin resumen de edición |
||
Línea 5:
La aplicación de tecnologías de la información y las comunicaciones (TIC) como ayuda al desarrollo de procesos de enseñanza/aprendizaje es un lugar común que suele contemplarse desde dos puntos de vista complementarios. Desde la pedagogía y el diseño instruccional se han considerado a las TIC como un mero apoyo al propósito fundamental, que es la realización de descripciones pedagógicas rigurosas y, a la par, flexibles, de los procesos de enseñanza/aprendizaje.
Bien es verdad que, para poder unir pedagogía y tecnología, ha de
encontrarse un nexo común, un punto de compartición entre ambos campos. Para que tal fusión tenga éxito, los practicantes de cada campo deben hacer las concesiones oportunas a los del otro lado, sin por ello perder su identidad ni los objetivos fundamentales de cada disciplina. Además, cada campo debe aportar a la unión aquello que se considere su punto fuerte. De un lado, los tecnólogos no deben perder de vista que el objetivo fundamental de cualquier sistema de Enseñanza/Aprendizaje (E/A) asistido por las tecnologías es tan elemental como complicado de implementar: facilitar el aprendizaje de los usuarios. Por lo tanto, la tecnología debe adaptarse a todas aquellas circunstancias donde, la aplicación de la sola tecnología, sin tener en cuenta consideración pedagógica alguna, podría dejar de contribuir al aprendizaje de los usuarios. De otro lado, los pedagogos deben ser conscientes de las posibilidades de la tecnología, de la exigencia de rigurosidad que conlleva, y del carácter metódico de las acciones que las tecnologías facilitan. Estos principios serán los que nos conduzcan a evaluar finalmente las tecnologías estudiadas como proveedoras de la asistencia que los procesos pedagógicos requieren. También servirán para medir hasta qué punto un proceso pegagógico está preparado y suficientemente descrito como para poder aplicarle tecnología alguna.
Las TIC pueden aplicarse no sólo en la educación, sino en cualquier campo de la sociedad de la información. En cualquier caso, éstas pueden clasificarse en tecnologías informáticas y tecnologías de comunicaciones. Las tecnologías de comunicaciones incluyen todas aquellas (v.g. protocolos básicos de transferencia de la familia TCP/IP como HTTP y SMTP; comunicaciones seguras sobre TLS o similar; etc.) sobre las que se fundamentan una serie de servicios telemáticos de más alto nivel. Nos centramos aquí en las tecnologías informáticas, aunque muchas tienen una gran componente telemática y pueden llegar a contemplarse dentro del terreno de la ingeniería telemática (v.g. los servicios web), a medio camino entre la informática y las telecomunicaciones. No es nuestro propósito discutir en qué terreno pisa más fuerte cada tecnología, sino hacer una revisión de todas aquéllas que aporten algo al desarrollo de procesos de E/A asistidos por la tecnología.
Línea 147 ⟶ 148:
El número uno indica una tabla donde es posible leer o agregar diversos aspectos sobre evaluación de los OA. El número dos muestra el título del OA y el promedio de su valoración final. En el número tres aparece una pequeña imagen representativa del OA. En el número cuatro se puede visualizar información acerca del material, por ejemplo, su tipo (colección, simulación, etc.), su localización actual (URL) la categoría en que se encuentra clasificado y finalmente el autor. El número cinco muestra otra información sobre el OA, esto es descripción del recurso, persona que lo ha enviado, destinatarios, costo, restricciones sobre los derechos de autor. Toda esta información sobre el OA permite al usuario tener un amplio conocimiento del mismo para decidir si cumple con los requisitos necesarios para su utilización.
[[Imagen:merlot.jpg]]
Figura 1: Vista detallada de un OA o recurso en MERLOT
9.1.2. CLOE (Co-operative Learning Object Exchange)
El intercambio cooperativo de objetos de aprendizaje (CLOE) corresponde a un sistema de colaboración entre diecisiete universidades y colegios de Ontario Canadá, quienes trabajan a través de su repositorio de objetos en el desarrollo, intercambio y reutilización de recursos de aprendizaje multimedia. Cada institución desarrolla recursos de aprendizaje multimedia para direccionar desafíos instruccionales compartidos por los otros compañeros, a su vez, también utilizan y adaptan OA creados por otras instituciones.
Cada OA, en primer lugar es examinado por un editor jefe para decidir si éste necesita de algún requisito técnico. De ser así, el OA es entonces devuelto a su autor para su revisión, o enviado a revisores de diseño instruccional y contenido. El revisor del diseño instruccional generalmente otorga una decisión binaria, es decir, si el OA es aprobado o no (go or no-go). De ser aprobado, normalmente el contenido es evaluado por dos revisores, cuando éstos están en desacuerdo la decisión de aprobar el OA recae en un tercer revisor. Las dimensiones de evaluación utilizadas por CLOE son al igual que en MERLOT: calidad del contenido, efectividad como herramienta de enseñanza/aprendizaje y fácil de usar. Sin embargo a diferencia de MERLOT en el proceso de evaluación utiliza un conjunto de preguntas o criterios menor, entre ellas se encuentran:
El contenido del OA es exacto,
La tecnología utilizada es apropiada,
El contenido es presentado de forma clara y profesional (escritura, gramática, etc.),
Provee referencias académicas adecuadas,
Contiene el crédito de los autores,
Los objetivos de aprendizaje son claros,
El OA contiene los objetivos establecidos,
El tipo de alumno está claramente identificado,
Las instrucciones para usar el OA son claras,
La tecnología ayuda a enganchar efectivamente a los alumnos con el concepto, habilidad y/o idea,
El OA provee un oportunidad para que los alumnos obtengan realimentación dentro o fuera de él,
El autor evidencia de que el objeto permite el aprendizaje,
Son identificados los conocimientos previos y habilidades si fuese necesario,
El OA es autosuficiente y puede ser utilizado en otros contextos,
El objeto es muy fácil de usar (navegación, control del usuario, etc.)
El autor indica si el OA es accesible para los aprendices con necesidades diferentes,
Se presentan los requisitos técnicos para el OA.
Diferentes criterios han sido desarrollados para la evaluación de software y diseño de interfaz. Nielsen (1994) desarrolló diez criterios para examinar el diseño de interfaz de usuario e interacción humano-máquina, los que pueden ser utilizados para la evaluación de OA En “Diez heurísticas de usabilidad” para el diseño de interfaz http://www.useit.com/papers/heuristic/heuristic_list.html. Nielsen se acerca a los criterios establecidos por MERLOT y CLOE pero agrega ítems que guardan directa relación con el diseño de OA.
Estado de visibilidad del sistema: cerciorarse de que los usuarios siempre sepan dónde están ubicados en el objeto.
Correspondencia entre el usuario y el mundo real: asegurarse de que los usuarios entiendan el objeto, el cual utiliza palabras, frases y conceptos que están en su mismo idioma.
Control del usuario y libertad: si los usuarios seleccionan una función por error, pueden de forma segura dejar ese estado y navegar de forma flexible.
Reconocer en vez de volver a llamar: los usuarios no deberían recordar instrucciones para utilizar el objeto desde una parte del diálogo a otra. Las instrucciones para el uso del sistema deberían ser visibles o fácilmente recuperables.
Ayuda y documentación: el objeto debe proveer la ayuda necesaria y la información debe enfocarse sobre las tareas del usuario y los pasos concretos que deben llevar a cabo.
9.1.3. DLNET (Digital Library Network for Engineering and Technology)
La Red de librería digital para ingeniería y tecnología DLNET, también realiza un sistema de evaluación de OA similar a MERLOT. Considera por una parte la evaluación de los expertos y la de los usuarios a lo largo del tiempo, sin embargo los OA no son publicados hasta que la evaluación ha sido finalmente aprobada por los revisores. Para realizar la evaluación los revisores utilizan un instrumento que contiene un solo campo de comentarios y once ítems que se evalúan con un rango de cinco puntos. DLNET permite publicar múltiples revisiones de un mismo OA. Para evaluar los OA se utilizan las mismas dimensiones que MERLOT y CLOE, sin embargo a diferencia de MERLOT en DLNET los recursos no son publicados mientras la evaluación final de la revisión por pares no sea aprobada.
La evaluación de los OA tanto en MERLOT, CLOE y DLNET tienen diversas cosas en común: una base de datos para buscar los recursos que más o menos conforma el estándar IEEE LOM (Learning Object Metadata), utilizan las mismas dimensiones de evaluación, un proceso para conducir y publicar las revisiones incluyendo la capacitación si fuese necesario de los evaluadores y un mismo instrumento de evaluación que será explicado a continuación.
9.2. Instrumento de Evaluación
De acuerdo a (Vargo et al., 2003) la necesidad de evaluar OA requiere el desarrollo de criterios para su valoración. Los instrumentos de evaluación permiten y facilitan la comparación entre distintos elementos porque contienen un formato y criterios específicos para ello. Uno de los instrumentos más conocidos para evaluar OA es LORI (Learning Object Review Instrument), herramienta utilizada para evaluar la calidad de recursos para un sistema e-learning. Se trata de un formulario en línea que contiene rúbricas, escala de valoración y campos de comentarios. La versión actual es 1.5. y como instrumento de evaluación busca facilitar la comparación de los recursos proveyendo un formato estructurado para su evaluación. Esta herramienta presenta nueve dimensiones que permiten evaluar:
1. Calidad del contenido: Veracidad, certeza, presentación balanceada de las ideas y apropiado nivel de detalle
2. Alineación de las metas de aprendizaje: Alineación entre los objetivos de enseñanza, actividades, evaluaciones y características del aprendiz.
3. Realimentación y adaptación: Adaptación del contenido o feedback usuarios o modelos de usuario
4. Motivación: Capacidad para motivar, interesar e identificar a los usuarios
5. Diseño de la presentación: Diseño de la información visual y auditiva, etc.
6. Interacción en la usabilidad: Fácil navegación, interfaz de usuario intuitiva y calidad de la interfaz de ayuda.
7. Accesibilidad: Diseño de controles y formato de presentación acomodado a usuarios discapacitados y ambulantes.
8. Reusabilidad: Capacidad de portabilidad entre diferentes cursos o contextos de aprendizaje sin modificación.
9. Adecuación a un estándar: Adherencia a estándares y especificaciones internacionales
Cada uno de estos ítems posee diversos criterios o rúbricas que son evaluadas utilizando una escala de cinco puntos siendo el número cinco la puntuación más alta. En caso de que un evaluador no tenga la capacidad de evaluar un ítem puede pasarlo por alto.
[[Imagen:lori.jpg]]
Figura 2: LORI vista por un revisor en sus primeros 5 ítems
Para que los criterios apunten a la evaluación del objeto desde diversos puntos de vista es importante que estén dentro de ítems ya sea principios o categorías que definan el marco de evaluación. Sobre la evaluación de materiales formativos multimedia y sitios Web educativos Marqués (2003) sugiere aplicar criterios educativos dentro de las categorías: psicológicas, funcionales y técnicas-estéticas. La categoría psicológica permite evaluar aspectos asociados al usuario y las funcionales y técnicas-estéticas las características del recurso. Sin embargo aunque un OA es diferente a un recurso cualquiera también puede ser evaluado con criterios que estén dentro de este tipo de categorías. Es así como (Morales et al., 2005c) han propuesto cuatro categorías para evaluar los OA: Psicopedagógica, Didáctico-curricular, Técnica-Estética y Funcional. Además cada una de estas categorías se asocia a metadatos según IEEE LOM, de esta manera la información contenida en ellos es más fácil de calificar. A continuación se explican estas categorías y su relación con los metadatos
Psicopedagógica: En esta categoría los criterios pedagógicos que se evalúan pertenecen al área de la psicología por eso el nombre de psicopedagógicos y su propósito es evaluar si el OA es capaz de promover aprendizaje, para lo que se han considerado criterios como: Capacidad de motivación (presentación atractiva y original, aporta información relevante, etc.) y adecuación a los destinatarios.
Didáctico-curricular: Se valorarán los aspectos del OA relacionados al currículo. Ej: objetivos (correctamente formulado, factibilidad), contenidos (información correcta, precisa, no discriminatoria, estructurante de la materia, adecuada a los objetivos y características de los usuarios), actividades y metodología. Dentro de esta categoría se valora además la posible reusabilidad del objeto. Los metadatos asociados son Learning Resource Type, Context, Typical Learning Time and Description.
Técnica-Estética: Permite evaluar aspectos asociados al diseño de los objetos. Entre los criterios a evaluar, se encuentran tamaño y duración adecuada, información relacionada al metadato Semantic Density. Es necesario aclarar que los criterios mencionados están asociados a los metadatos de la categoría educativa pero también hay otros aspectos técnicos-estéticos que se pueden evaluar acerca de su presentación cuya información no está contenida en los metadatos. Entre estos aspectos se encuentran: contenido legible, colores, tamaño y resolución adecuados, pantallas no recargadas, etc. Una vez visualizados los objetos, estas valoraciones deberían ser incluidas en la información de los metadatos para orientar su evaluación para futuras reutilizaciones. Otros aspectos a evaluar están relacionados a las características de los OA, como por ejemplo, la pertenencia a un estándar o especificación (IEEE LOM, 2002) (IMS LOM, 2003) como también el formato de los metadatos (adecuado para su lectura automatizada, información correcta y completa).
Funcional: La evaluación del funcionamiento de los objetos, se dirige al tipo de interacción (activa, expositiva, mixta, indefinida), velocidad, nivel de interacción adecuado, etc. Los metadatos relacionados son Interactivity Type, Interactivity Level.
Sobre la base de las categorías y criterios mencionados se diseñó un instrumento que se presenta a continuación.
++++++falta figura++++
Figura 3: Instrumento propuesto por (Morales et al., 2005c)
En la columna izquierda se encuentran los metadatos de la categoría educacional de LOM y la relación que sugieren los autores con los criterios de evaluación. Cada uno de estos criterios debe ser valorado de acuerdo a un rango que comprende N/S (No Sabe) y una valoración numérica del 0 al 5, siendo el cinco la más alta. A diferencia de LORI, cada uno de los criterios que se encuentran dentro de una categoría debe ser evaluado de forma individual, de esta manera se asegura una valoración más exacta y confiable. Para que esto sea factible se le envía al evaluador una planilla electrónica que presenta las métricas de evaluación, es decir, los criterios y cómo deben ser medidos.
Las evaluaciones vistas hasta ahora a través de los repositorios e instrumentos de evaluación permiten pocas posibilidades para la colaboración entre expertos durante la evaluación. La interacción entre los evaluadores especialmente si son diversos como por ejemplo: diseñadores instruccionales, expertos en contenido, diseñadores gráficos, etc. influye positivamente en la evaluación ya que potencia una mayor confiabilidad. Las herramientas pueden ser utilizadas para evaluar objetos individuales o un conjunto de ellos. Sin embargo para tratar un conjunto de ellos (Nesbit et al., 2002) proponen un modelo de participación convergente que se explica en la siguiente sección.
9.3. Estrategia colaborativa para la evaluación de OA
Los seres humanos somos entes sociales que necesitamos interactuar con otros en nuestro diario vivir, por tanto esta característica no puede ser ajena en el aprendizaje, pues se trata de un proceso social que depende de un contexto social.
Según Patton (1997) la participación de varias personas en el proceso de evaluación es más sensible a múltiples perspectivas que puedan existir sobre el programa, se exponen puntos de vista divergentes, múltiples posibilidades y valoraciones competentes. Sus puntos de vista se amplían, y se exponen a una variedad de agendas de personas que apuestan de forma diferente sobre la evaluación. Esto incrementa la posibilidad de conducir una evaluación responsable para diferentes necesidades, intereses y valoraciones.
Williams (2000) destacó la importancia de hacer de la evaluación una parte integral del proceso de diseño. Él sugirió la inclusión de estándares formativos y sumativos para mejorar el proceso instruccional como también su evaluación. Su método combinó el modelo de Stufflebeam (1971) CIPP (contexto, entrada, proceso y producto) con el modelo de Patton orientado al usuario para recomendar un modelo orientado a los usuarios donde les permitiera expresar su valoración en cooperación con otros. Esta idea fue adoptada por Nesbit, Belfer y Vargo (2002) quienes diseñaron un modelo de participación convergente para la evaluación de OA.
Este modelo propone una evaluación colaborativa con la participación de representantes de diversos grupos (estudiantes, instructores, diseñadores instruccionales, etc.) la idea es que converjan hacia tasaciones similares a través de un proceso dividido en dos ciclos soportado por herramientas colaborativas en línea.
En el primer ciclo los revisores evalúan los OA de forma individual y asíncrona con la ayuda del instrumento LORI. En el segundo ciclo dirigido por un moderador de forma síncrona o asíncrona los evaluadores discuten sus primeras apreciaciones en un panel de discusión, también con la ayuda de LORI que además de reunir datos numéricos permite la agregación de comentarios. En este proceso el debate es guiado por un moderador que no participa directamente en la evaluación, además se encarga de secuenciar los ítems de manera de discutir primero los que han provocado mayor desacuerdo. Al finalizar el segundo ciclo, el moderador solicita la aprobación para publicar el panel de revisión que contiene una valoración integrada de números que muestra el rango y la tendencia central de las valoraciones individuales con comentarios concatenados dentro de diferentes categorías de evaluación.
Sin embargo, la confiabilidad de la evaluación no depende solamente del instrumento utilizado. La confiabilidad puede variar ampliamente en función del contexto, los temas, los revisores y su nivel de entrenamiento. A raíz de esto (Vargo et al., 2003) realizaron un análisis sobre la confiabilidad de una versión temprana de LORI junto al modelo de participación convergente. En este estudio participaron 10 revisores, al promediar la evaluación, tres de los ítems mostraron una confiabilidad sobre 90%, otros tres ítems mostraron una confiabilidad entre 80% y 90%, otros dos ítems mostraron una confiabilidad entre 70% y 80% y finalmente la confiabilidad de dos ítems no pudo ser medida.
[[Imagen:convergente.jpg]]
Figura 3: Modelo de participación convergente (Nesbit et al., 2002)
De acuerdo a resultados obtenidos, la posibilidad de que los evaluadores pudieran discutir sobre la evaluación realizada ayudó a mejorar la confiabilidad de las evaluaciones. Para mejorar el instrumento y la participación colaborativa se llegó a la conclusión de que con un grupo de evaluadores entre 4 y 6 personas es suficiente, sin embargo es necesario que estos participen de un entrenamiento previo en cuanto a los ítems de evaluación sobre: conformidad a los metadatos, interoperabilidad y accesibilidad de los objetos. También se sugiere que al menos dos evaluadores sean expertos en la materia para asegurar la calidad de los contenidos y por último mejorar las rúbricas del instrumento en diversos ítems.
También es importante destacar que si a la participación de diversas personas se le agrega un tipo de evaluación cuantitativa para obtener informes sobre determinadas aspectos de los OA se pueden lograr mejores resultados sobre la evaluación de estos objetos. Según (Krauss y Ali, 2005) la combinación de LORI creada por (Belfer et al., 2002) y el modelo de participación convergente para la evaluación de OA creado por (Nesbit et al., 2002) representa una marcada mejora sobre las prácticas de evaluación existentes como MERLOT. Sin embargo, según la visión de (Morales et al., 2005a), (Morales et al., 2005b) la evaluación de OA debe formar parte de un proceso continuo que garantice su calidad. Las posibilidades que nos permiten las tecnologías de tener acceso a la información son innumerables, por tanto se requiere de un sistema que permita gestionar esa información para que el usuario obtenga justo lo que necesite y con la mejor calidad.
++++falta figura++++
Figura 4: Sistema de gestión de OA de calidad
La siguiente figura 4 presenta un esquema general del sistema de gestión, en él los objetos importados deben ser normalizados con el objetivo de garantizar que cumpla con las características de un OA, como unidad autónoma e independiente. Para que esto sea posible se sugiere un modelo de conocimiento en donde se debe clasificar el objeto según:
nivel cognitivo, permite conocer qué se pretende enseñar y cómo
tipo de contenido: básico, medio o avanzado
actividades: de iniciación, de estructuración o de aplicación
Esta clasificación permite aportar más información a la identidad del objeto con el fin de que posteriormente puedan ser buscados según necesidades concretas. Una vez normalizados son evaluados con el instrumento propuesto por (Morales et al., 2005c) en donde además se sugiere aplicar una estrategia de evaluación colaborativa para aumentar la confiabilidad de los resultados. La calificación del objeto permitirá buscar los contenidos de acuerdo a su calidad lo que permitirá a los docentes una mejor manera de seleccionar los más adecuados para sus objetivos de enseñanza.
Figura 5: Modelo de Conocimiento
Posteriormente los objetos son almacenados en un repositorio de objetos normalizados y evaluados desde donde los profesores pueden buscar estos objetos para formar unidades mayores de aprendizaje (unidad didáctica, capítulo, etc). Una vez que los cursos son publicados y utilizados por los alumnos se sugiere la valoración de estos a través de una encuesta con preguntas como:
El curso me mantuvo constantemente motivado a participar,
el nivel de dificultad fue adecuado a mis conocimientos previos,
he alcanzado los objetivos del curso,
la descripción del curso y mi participación en él fue bien explicada,
el diseño de interfaz me permitió seguir el curso fácilmente,
el nivel de interactividad fue el adecuado,
obtuve una adecuada realimentación de los contenidos.
Como muestra la figura 4 Los resultados de estas encuestas (post-evaluación) deberán ser analizados por los diseñadores y encargados del curso para mejorarlos y de esta manera garantizar constantemente la calidad de los OA.
9.4. Herramientas de colaboración y recomendación en la evaluación de OA
El resultado de las experiencias de evaluación mencionadas anteriormente ha despertado la necesidad de que las futuras herramientas de evaluación potencien normas de reciprocidad, acción colectiva y flujo de información (Putnam, 2000) es decir, que se debe crear un ambiente apropiado para gestionar la información con el objetivo de que todos se puedan beneficiar de ella.
Para que esto sea posible (Nesbit y Ly, 2004) señalan que antes de construir estos sistemas de debe responder algunas interrogantes: ¿cómo pueden los miembros de la comunidad recomendar recursos y las revisiones de otros? ¿Cómo pueden los miembros encontrar y ser presentados a otros miembros con intereses similares? ¿Cómo se pueden lograr los requisitos para una efectiva actividad colectiva como construir la identidad, y confiabilidad entre los miembros?
Como un intento para responder a estas preguntas, se presenta a continuación eLera, un sitio Web diseñado para soportar la interacción colaborativa de distintos grupos de personas para la evaluación de OA. Por otra parte, se da a conocer una propuesta que enfatiza la importancia de la participación de los usuarios en la evaluación a través de un sistema de recomendación.
9.4.1. eLera (E-learning Research an Assessment Network)
eLera es un grupo de trabajo distribuido entre una comunidad de profesores, instructores, estudiantes, investigadores, diseñadores instruccionales y desarrolladores de recursos, dedicado a la investigación y evaluación de e-learning, específicamente sobre los temas de OA, e-portfolios y especificaciones para el diseño del aprendizaje.
Al igual que MERLOT y DLNET, eLera mantiene una base de datos de búsqueda de metadatos de OA y provee herramientas e información para la evaluación e investigación de OA, mantiene una base de datos de OA revisados y soporta la comunicación y colaboración entre los investigadores, evaluadores y usuarios de recursos de aprendizaje en línea. El sistema de evaluación incluye reportes, estadística de las evaluaciones y una característica llamada “mi colección” que permite a los miembros acceder a OA frecuentemente utilizados.
Esta herramienta será utilizada para la investigación sobre evaluación colaborativa y la interrelación entre diseño y evaluación formativa en comunidades e-learning. Para medir los efectos de la colaboración, eLera permite fácilmente capturar la distribución de valoraciones de calidad antes y después de las sesiones de discusión.
Las herramientas de eLera para la evaluación colaborativa están diseñadas para soportar el modelo de participación convergente mencionado anteriormente (Nesbit et al., 2002), (Vargo et al., 2003), (Nesbit & Li, 2004). Con este fin, los moderadores pueden utilizar eLera para invitar a los miembros a evaluar un OA, quienes como muestra la figura 3 pueden aceptar o rechazar la invitación.
Una vez que los miembros del equipo han completado su evaluación individual, se reúnen en una conferencia en línea para comprar y discutir sus evaluaciones. Primero se discuten los ítems que presentan mayor divergencia, los cuales pueden ser ordenados por el moderador con ayuda de una función de eLera que realiza cálculos estadísticos. Para comparar las evaluaciones eLera posibilita realizar una vista de las evaluaciones y comentarios para cada ítem de LORI, tal como muestra la figura 4. Durante la sesión los miembros del equipo pueden editar sus evaluaciones y comentarios, una vez terminada el moderador publica una evaluación del grupo generada automáticamente a través de las evaluaciones individuales para lo que se requiere el consentimiento previo de los participantes.
Figura 6: Invitación de eLERA para participar en la evaluación de OA
A través de eLera los investigadores buscan modelos para soportar comunidades de práctica en sistemas e-learning de manera que su estructuración potencie la participación, colaboración y flujo de información entre los participantes, es así como al momento de valorar la calidad de un recurso los miembros de la comunidad puedan recomendarlos. Actualmente eLera provee rudimentarias facilidades para recomendar recursos.
Los resultados de la búsqueda de objetos son ordenados según el promedio obtenido en el rango, los que han obtenido una mejor puntuación son mostrados al principio de la lista. Los usuarios pueden también escoger los recursos de acuerdo a su “popularidad” característica que obtienen los recursos que han sido agregados por otros a su “colección personal de objetos”.
Algunas de las fases que se encuentran actualmente en desarrollo son: compartir las colecciones de OA, la capacidad de buscar en otros repositorios y portar metadatos y revisiones desde y hacia otros repositorios de objetos y finalmente una página principal personalizada que muestre revisiones y objetos recomendados según las necesidades del usuario.
Figura 7: Vista del resultado de la evaluación colaborativa del ítem “contenido de calidad” a través de LORI
Los sistemas de recomendaciones constituyen también una fuerte apuesta para la evaluación de LOs. Actualmente existen técnicas para guiar y proporcionar recomendaciones como el filtrado colaborativo (Herlocker et al., 2004) que consiste en un sistema automático que recoge acciones de los usuarios de forma explícita (votos, respuesta a preguntas, etc.) o implícita a través de los enlaces visitados por estos y el tiempo dedicado a esta tarea. Con estos datos se determina la importancia de la información al compararla con el resto.
Hasta ahora se han analizado sistemas de evaluación de OA a través de valoraciones explícitas que involucran personas e instrumentos para este fin. Sin embargo, según Ferrán y Minguillón (2005) este tipo de sistemas tiene la problemática de que dependen de la participación de los expertos y de la velocidad con que se desarrolla este proceso. De acuerdo a sostienen que el sistema de evaluación debe tener en cuenta el número de objetos a evaluar versus la calidad de la evaluación y su mantenimiento futuro.
Ante esta situación Ferrán y Minguillón (2005) proponen la evaluación de OA a través de la búsqueda y la navegación en donde la opinión implícita de un individuo sobre un OA expresada a través de la interacción con dicho objeto pueda almacenarse de forma estructurada y luego ser compartida con futuros usuarios con intereses similares.
La evaluación a través de la búsqueda y navegación se basa en un nuevo concepto de metadatos; los no-autoritativos (Recker & Wiley, 2001). Los metadatos autoritativos son los que proporcionan descripciones controladas y estructuradas de los objetos a través de diferentes puntos de acceso como: título, autor, palabras claves, etc. En cambio según Friesen (2002) los no-autoritativos pueden aportar información interpretativa sobre la aplicación potencial de los recursos o incluir información descriptiva sobre las relaciones entre los recursos.
Este tipo de metadatos se pueden obtener si las acciones de los usuarios tanto en la búsqueda de contenidos como en la navegación son registradas, para ello se deben tomar en cuenta dos elementos, el perfil del usuario y su comportamiento con los OA. En el caso de que el perfil del usuario sea un estudiante, las recomendaciones de búsqueda tendrán que orientarse según el área temática al que pertenece la asignatura, teniendo en cuenta la navegación realizada por sus pares y profesores. Sin embargo, si el perfil de usuario es un investigador las recomendaciones se orientarán según las búsquedas de otros investigadores o las publicaciones que estos han realizado.
El comportamiento se ve reflejado en el tipo de navegación del usuario, si se trata de una navegación exploratoria las acciones de los usuarios estarán orientadas a una visión general de los recursos disponibles, en cambio si esta navegación es orientada a objetivos concretos la acción del usuario estará destinada a buscar un recurso en concreto. Sobre esta base Ferrán y Minguillón (2005), han establecido una relación entre los las acciones de un usuario según su perfil y el impacto que tienen en el proceso de evaluación.
Los estudiantes disponen de acceso a un repositorio interno donde se encuentran los recursos diseñados por los profesores, sin embargo, también necesitan acceder a recursos que se encuentran en repositorios externos como por ejemplo Internet, por tanto, existe la necesidad de acceder a ellos de forma estructurada, es por esta razón el acceso a repositorios se debe realizar a través de la biblioteca digital como plataforma que es donde actúa el sistema de recomendación, de esta manera mientras más usuarios acceden a los recursos aumenta la fiabilidad de las fuentes de información y evaluación. Esto es debido a que se podrían obtener cientos o miles de datos de los usuarios sobre cada objeto lo que permitiría calcular información contrastada sobre visibilidad, satisfacción y rendimiento información que puede ser utilizada para evaluar la calidad del objeto y agregar o modificar los metadatos.
Tabla2: Acciones básicas en la interacción con los recursos de información y su valor en el sistema de recomendación
falta+++++
9.5. Experiencias de evaluación de OA
Sobre la evaluación de OA, actualmente existe más teoría que práctica. La teoría aquí expuesta ha sido la base de algunas experiencias que buscan mejorar la calidad de los contenidos entregados a los alumnos. En el primer caso, la experiencia el estudio no solo busca conocer la calidad de sus contenidos, sino también aspectos del diseño de los mismos que pueden ser mejorados, esto es debido a que la calidad de los OA está estrechamente ligada a su diseño. El segundo ejemplo, describe un estudio para investigar el procedimiento y criterios más adecuados para evaluar OA utilizados por niños.
9.5.1.Estudio sobre el diseño y evaluación de OA
Esta experiencia es un estudio sobre el diseño y evaluación de OA y sus implicancias para el desarrollo de contenido (Krauss y Ally, 2005). Se trata de un caso de estudio que examinó el proceso de diseño y evaluación de OA para ayudar a los estudiantes a entender los principios terapéuticos de la administración de drogas. El estudio tuvo dos grandes objetivos: analizar y documentar el proceso de diseño de un OA y evaluar el resultado de aplicar esas prácticas. Para lograr este objetivo se analizaron dos grandes áreas, por una parte las teorías de aprendizaje que influyen en el diseño de los objetos y por otra parte los instrumentos que pueden ser utilizados para valorar la calidad del objeto y proveer información a los diseñadores para su mejora.
El propósito de este estudio fue identificar los desafíos y cuestiones que los diseñadores instruccionales deben enfrentar al diseñar los objetos y evaluar su efectividad. Se plantaron dos grandes cuestiones: ¿cómo las teorías de aprendizaje y cognición influyen en el diseño de LO?, ¿qué instrumentos pueden ser utilizados para valorar la calidad de los LO y proveer a los diseñadores información para su mejora?. Un análisis del proceso e instrumentos utilizados para la evaluación podría proveer valiosas ideas acerca de los métodos que podrían ser empleados por el proceso de revisión por pares.
El estudio fue realizado por Rose (2003) para investigar sobre el impacto en el aprendizaje de ocho OA guardados en el repositorio CLOE. Métodos de colección de datos limitados y muestras de tamaño pequeño fueron utilizados para obtener datos formativos relacionados a la reusabilidad y potencial mejora de OA. Para medir el impacto sobre los estudiantes se utilizaron cuestionarios para conocer sus percepciones sobre el OA en base a cuatro sub-escalas: valor del aprendizaje, valor agregado por el OA, usabilidad del objeto y usabilidad de la tecnología (Rose, 2003). Adicionalmente, se utilizaron autoinformes para recoger las experiencias y visiones de los diseñadores instruccionales y facilidad involucrada en el desarrollo de los OA. También incluyeron su valoración sobre la reusabilidad de los objetos y el trabajo requerido para revisar su propósito instruccional.
Para medir la calidad del OA y coleccionar datos formativos para mejorar el recurso se utilizaron tres principales estrategias. En primer lugar, durante el proceso de diseño instruccional, el diseñador condujo un test de usabilidad con estudiantes de tercer año de farmacia. El test se aplicó en reuniones informales realizadas a través de sesiones de “pensamiento en voz alta” (think aloud) que fueron grabadas con el fin de obtener realimentación sobre el diseño y navegación. En segundo lugar, se les solicitó a unos “revisores por pares” evaluar la calidad del objeto a través del instrumento LORI, quienes además contestaron una encuesta que recogió realimentación para la mejora de los objetos. En tercer lugar, se distribuyeron los cuestionarios a los estudiantes para conocer el impacto en ellos del objeto en el aprendizaje. Una sección de comentarios fue incluida en la encuesta, de esta manera podrían fundamentar su valoración.
Los ítems originales de LORI sobre accesibilidad y adecuación a un estándar fueron reemplazados por el ítem “valor del acompañamiento de una guía instructora: capacidad del recurso para realzar una metodología instruccional” porque los participantes carecen del conocimiento necesario para realizar una valoración en esas áreas.
La evaluación de los OA y su impacto en el aprendizaje llevó un periodo de dos semanas y fue completado individualmente. LORI no fue utilizada en combinación con el modelo de participación convergente de (Nesbit et al., 2002) porque el propósito de utilizar el instrumento no fue incrementar la confiabilidad además, el proceso de evaluación colaborativa podría haber sido difícil de gestionar y habría requerido más tiempo por parte de los evaluadores.
La localización del objeto en la Web (http://icarus.med.utoronto.ca/lo/) fue enviada por e-mail para ayudar a los participantes en el proceso de evaluación, además se envió una descripción de LORI, la hoja de evaluación, las encuestas del instructor y estudiante y una guía de aprendizaje. Las respuestas a los cuestionarios fueron retornadas a los autores también vía e-mail.
En cuanto al análisis de los datos es importante destacar que no se realizó un análisis cuantitativo de las evaluaciones hechas con LORI por los instructores porque el pequeño número de evaluadores disponibles habría producido resultados estadísticos insignificantes. Sin embargo, sus valoraciones y comentarios fueron guardados en la hoja de LORI para determinar las categorías donde el OA recibió sus más altas y bajas valoraciones. Las respuestas a las preguntas de los cuestionarios de los instructores y estudiantes fueron agregadas y ordenadas por frecuencia.
El enfoque de la evaluación de OA fue obtener una indicación sobre de la calidad del recurso como también coleccionar datos formativos que podrían mejorar su diseño. A cada uno de los evaluadores se les asignó un código para ser reconocido (ej: E1). Sus valoraciones y correspondientes resultados fueron guardados en el apéndice A.
Los resultados indicaron que la puntuación del OA fue alta en las categorías de: contenido de calidad, motivación y guía para los estudiantes. También fue evaluada como muy buena la categoría de alineación de objetivos, diseño de la presentación y reusabilidad. Las categorías sobre usabilidad y realimentación recibieron las puntuaciones más bajas.
Figura 8: Muestra del OA sobre Farmacología Clínica
En cuanto a los resultados sobre la encuesta realizada al instructor para obtener una realimentación específica en pos de mejorar la calidad del objeto y su reusabilidad, se realizaron preguntas como las siguientes. ¿Será este OA útil y efectivo para tus necesidades de enseñanza y aprendizaje?, de lo contrario, ¿cómo podría ser mejorado?, ¿será este OA reusable a través de las disciplinas? de lo contrario, ¿cómo podría ser más reusable?
Los resultados de la encuesta a los estudiante guardados en un apéndice B, revelaron importantes datos en cuanto al uso de los objetos, algunas de las preguntas respondidas fueron ¿qué te gustó de este OA?, ¿cómo podría ser mejorado? También se agregó un espacio para los comentarios.
La evaluación de la calidad del OA realizada por el profesorado indicó que será un valioso recurso para la instrucción. Es interesante notar que los ítems “calidad del contenido” y “acompañamiento de una guía instructora” recibieron la evaluación más alta lo que refleja el esfuerzo realizado para seleccionar las estrategias más adecuadas para el OA. La alta evaluación del ítem “motivación” refuerza la noción constructivista de que las actividades que enganchan a los estudiantes son percibidas como más relevantes y por tanto más aplicables a los estudiantes. La valoración de ítem “reusabilidad” como muy bueno, fue sorpresivo debido a la cantidad de sugerencias sobre modificaciones pare ser utilizadas en otros contextos. La baja valoración del ítem “realimentación y adaptación” indicaría que se requiere de más ayuda a los estudiantes en esta actividad que consistió en la generación de gráficos para reforzar su aprendizaje.
Figura 9: Ejemplo del resultado de evaluación con LORI
La medición cuantitativa de los criterios especificados utilizando la escala de cinco puntos provee un marco sistemático para ayudar al profesorado a valorar el objeto de una manera más consistente. La clara explicación y ejemplos de los diferentes niveles de valoración que fueron presentados en la guía que acompaña a LORI incrementan la posibilidad de que la evaluación se aplicará más consistentemente que si los ítems no estuviesen presentes.
La subjetividad no puede ser completamente removida del proceso de evaluación, esto provee la seguridad para los futuros usuarios de que el objeto ha pasado por una inspección más rigurosa que la revisión por pares basada en los comentarios anecdóticos. El requisito de justificar la puntuación en cada categoría fuerza al evaluador a reflexionar sobre su valoración. Esto además provee al diseñador con información de utilidad sobre los aspectos del objeto a los que se refieren las valoraciones.
Utilizar el modelo de participación convergente en combinación con LORI podría ser valioso para los evaluadores porque ellos podrían aprender más acerca del proceso de diseño al ser expuestos a las valoraciones de otros evaluadores. Esto podría incrementar el conocimiento de los evaluadores sobre los puntos fuertes y débiles del objeto y además incrementar la confiabilidad del instrumento (Vargo et al., 2003).
Entre las conclusiones más importantes de esta experiencia, se encuentra que las decisiones a tomar en el diseño de objetos sobre el campo de aplicación y secuencia merece una amplia consideración ya que esto trae significativas implicaciones para la calidad del contenido a desarrollar. Estas decisiones deberían ser informadas por las teorías de aprendizaje que son pensadas para mejorar el proceso de adquirir y aplicar nuevo conocimiento.
Sin embargo, esta posición está en un fuerte contraste con otra visión en donde diversos autores argumentan que el diseño de un recurso de aprendizaje digital debería estar al nivel de un elemento común para ser compartido con otras instituciones (Downes, 2000). Esta aproximación se basa en la premisa de que los OA diseñados al nivel de un elemento común son reusados más fácilmente, de esta manera se reduce los costos de producción. Downes sugiere que los educadores deberían adoptar una metodología de diseño rápido de aplicación (RAD) utilizada por la industria del software para desarrollar productos de alta calidad rápidamente. Esta aproximación visualiza los cursos en línea como una colección de subrutinas y aplicaciones reusables. De esta manera los diseñadores podrían seleccionar y aplicar estas subrutinas predefinidas para la creación de nuevos materiales instruccionales.
El problema con promover la reusabilidad de los OA es que tiene una estrecha relación con mejores prácticas en el diseño instruccional. Para desarrollar efectivos recursos de aprendizaje, el diseño instruccional necesita atender las necesidades de los estudiantes. El diseñador instruccional en este caso advirtió que considerar múltiples contextos en los que el objeto puede ser enseñado como un elemento simple para promover su reuso, podría haber producido resultados dramáticamente diferentes, lo que podría concluir en descontextualizar el objeto o despojarlo de su valor intrínseco.
Al respecto Wiley (2002) señala que los diseñadores intentan crear los objetos lo más reusable posible, es decir, de tamaño pequeño, sin embargo una imagen puede ser muy reusable pero no tiene la autonomía suficiente para soportar un objetivo de enseñanza, por tanto lo más probable es que los objetos más pequeños deban ser ensamblados por humanos para darle significado instruccional, es decir que requieran la intervención de profesores o diseñadores instruccionales, evaporando la ventaja económica de su reusabilidad.
Existe una necesidad de asegurar a los educadores que ellos están utilizando recursos que están altamente valorados y representan un valor agregado para los usuarios (Boskic, 2003). Por esta razón Krauss y Ali (2005) son partidarios de una evaluación sistemática de OA que debe ser considerado una práctica valorada. Según estos autores, los repositorios de OA no solo deberían alojar metadatos acerca de aspectos pedagógicos sobre los objetos, sino también la infraestructura para almacenar evaluaciones sumativas e información acerca de cómo ha sido utilizado en otros contextos.
Por otra parte, educar a los usuarios de OA sobre accesibilidad y estándares de interoperabilidad podría permitir que estos criterios sean más ampliamente adoptados para fines evaluativos e incrementar la probabilidad de que puedan ser reusados por un gran número de personas.
9.5.2. Evaluando OA para las escuelas
K-12 es un programa que combina la tecnología en-línea con contenido tradicional y métodos de enseñanza para niños. El objetivo fue crear un excelente programa tradicional en educación que de poder a los padres para involucrarse en la educación de sus hijos y a los estudiantes para explorar el mundo que los rodea de forma reflexiva. El currículum está basado en los más altos estándares educativos y cubre contenidos tradicionales de enseñanza http://www.k12.com/about/.
En el sector educativo de K-12, los OA son considerados importantes para proveer recursos de calidad para profesores y alumnos pero ha habido una escasa investigación formal sobre la evaluación de estos objetos basados en las cualidades que son importantes para K-12.
Diferentes criterios han sido desarrollados para la evaluación de software y diseño de interfaz. (Neilsen, 2003) desarrolló diez criterios para examinar el diseño de interfaz de usuario e interacción humano-máquina, los que pueden ser utilizados para la evaluación de OA En “Diez heurísticas de usabilidad” para el diseño de interfaz http://www.useit.com/papers/heuristic/heuristic_list.html Neilson se acerca a los criterios establecidos por MERLOY y CLOE pero agrega ítems que guardan directa relación con el diseño de OA.
Estado de visibilidad del sistema: cerciorarse de que los usuarios siempre sepan dónde están ubicados en el objeto.
Correspondencia entre el usuario y el mundo real: asegurarse de que los usuarios entiendan el objeto, el cual utiliza palabras, frases y conceptos que están en su mismo idioma.
Control del usuario y libertad: si los usuarios seleccionan una función por error, pueden de forma segura dejar ese estado y navegar de forma flexible.
Reconocer en vez de volver a llamar: los usuarios no deberían recordar instrucciones para utilizar el objeto desde una parte del diálogo a otra. Las instrucciones para el uso del sistema deberían ser visibles o fácilmente recuperables.
Ayuda y documentación: el objeto debe proveer la ayuda necesaria y la información debe enfocarse sobre las tareas del usuario y los pasos concretos que deben llevar a cabo.
Los estándares o criterios desarrollados por MERLOT, CLOE, (Vargo et al., 2003) y Nielson (2003) fueron desarrollados para un sector post secundario. Sin embargo algunos criterios que son importantes para los educadores de K-12 no aparecen en la lista, especialmente en asuntos que tienen que ver con el desarrollo de los niños, el contexto de aprendizaje y la necesidad de determinar los conocimientos previos necesarios para utilizar el objeto.
Sobre esta base es importante destacar criterios que centren su atención en la motivación de los alumnos y cómo el objeto se soporta a sí mismo con una mínima intervención del instructor. Los criterios empleados para post secundaria tampoco apuntan a la necesidad de que los OA incluyan información pedagógica acerca de la implementación, información de acuerdo a múltiples escenarios instruccionales o cómo utilizar los objetos dentro del contexto existente.
Ante este escenario se desarrolló un instrumento de evaluación a partir de cuatro recursos A) la guía de evaluación de CLOE, B) el repositorio the Le@rning Federation soundness, C) la escala de valoración de (Vargo et al., 2003) empleada en LORI y finalmente D) criterios de valoración desarrollados de acuerdo a los intereses de K-12.
Como resultado se creó un instrumento llamado LOEI (Learning Object Evaluation Instrument). La escala utilizada es para medir la calidad del contenido escolar no para comparar los objetos unos a otros, es así como a través de esta escala se espera determinar la integridad, usabilidad, aprendizaje, diseño y el valor de cada objeto por sí mismo. Los criterios de evaluación se reunieron de acuerdo a principios, de la siguiente manera:
a) Integridad
El contenido del objeto es acertado y refleja la forma en la cual el conocimiento es conceptualizado dentro del dominio
b) Usabilidad
Se proveen claras instrucciones para el uso del OA
El OA es fácil de usar (ej: navegación, control de usuario, visibilidad del estado del sistema)
c) Aprendizaje
Los objetivos son explícitos para los alumnos y profesores
Los destinatarios son claramente identificados.
Conocimientos previos y habilidades están claramente conectados con el actual y futuro aprendizaje
d) Diseño
La tecnología ayuda a los alumnos a engancharse efectivamente con los conceptos, habilidades e ideas.
El contenido del objeto está estructurado de manera de promover el aprendizaje del alumno.
El OA provee una oportunidad para los alumnos de obtener realimentación tanto dentro como fuera del objeto.
El OA se soporta a sí mismo y refleja el conocimiento de varios entornos educativos en los que puede ser utilizado.
e) Validez
El OA es apropiado para la comunidad y afiliaciones culturales, incluyendo lenguaje, dialecto, lectura y escritura.
Se provee a los estudiantes y profesores documentación de ayuda incluyendo asistencia contextual.
El diseño de información visual y auditiva mejora el proceso mental y de aprendizaje.
El OA es accesible para los alumnos con diversas necesidades.
El OA no requiere la intervención del instructor para ser utilizado efectivamente en la combinación de entornos y secuencia de aprendizaje
El análisis para determinar la calidad del instrumento y determinar su utilidad en proveer información para los profesores del K-12 ocurrió en dos tiempos diferentes sobre un periodo de dos años. Se trabajó con el repositorio de OA “The learning federation” porque contiene el conjunto más completo de objetos cubriendo la más alta variedad de temas disponibles diseñado por el sector K-12. Primero se utilizó el instrumento para evaluar 22 objetos. De acuerdo a los resultados se hicieron refinamientos menores y un año más tarde se evaluaron 14 de ellos. Se comprobó que LOEI es fácil de usar y hubo un alto grado de congruencia en las valoraciones.
De todos los ítems de valoración, se destacaron tres de ellos según los resultados: Accesibilidad, interfaz del estudiante y asuntos pedagógicos.
En cuanto a la accesibilidad se determinó que incorporar todas las características a los objetos que hacen más fácil su acceso hace más complejo su desarrollo, más costosa su creación y en algunos casos afectó negativamente el completo diseño del objeto. Según estos autores los principios universales de diseño no resuelven cuestiones prácticas como por ejemplo si deberían incluirse todas las adaptaciones en cada objeto o solo algunas de ellas para necesidades específicas.
Sobre la interfaz del estudiante, los alumnos indicaron la importancia de que el objeto promueva el compromiso, interactividad y la rapidez. En la literatura sobre diseño de interfaz existen algunas indicaciones al respecto Kenworthy (1993) ha propuesto guías para cuidar la calidad del diseño como por ejemplo considerar un nivel cognitivo adecuado según la edad y nivel del alumno. También es importante una ayuda visual para retener los contenidos, se puede utilizar múltiples representaciones para llamar la atención (colores, iconos y animaciones, mapas conceptuales, tablas de contenidos, etc). En la experiencia también se llegó a la conclusión de que era necesario que los alumnos dispusieran de botones de ayuda adicional y guías.
En cuanto a los criterios establecidos sobre asuntos pedagógicos se sostiene que para un adecuado diseño de OA no basta con tener en cuenta la teoría pedagogía sino también las prácticas pedagógicos que los profesores son capaces de construir para diseñar actividades no aisladas sino como una secuencia que puedan enfrentar alumnos de forma individual o grupal.
falta tabla++++
'''10. Estado de la Cuestión: Uso de Objetos y Diseños para el Aprendizaje'''
| |||