Objetos y diseños para el aprendizaje/Diseños para el aprendizaje

7. Estado de la Cuestión: Tecnología de Objetos y Diseños para el Aprendizaje

7.1. Introducción

La aplicación de tecnologías de la información y las comunicaciones (TIC) como ayuda al desarrollo de procesos de enseñanza/aprendizaje es un lugar común que suele contemplarse desde dos puntos de vista complementarios. Desde la pedagogía y el diseño instruccional se han considerado a las TIC como un mero apoyo al propósito fundamental, que es la realización de descripciones pedagógicas rigurosas y, a la par, flexibles, de los procesos de enseñanza/aprendizaje.

Bien es verdad que, para poder unir pedagogía y tecnología, ha de encontrarse un nexo común, un punto de compartición entre ambos campos. Para que tal fusión tenga éxito, los practicantes de cada campo deben hacer las concesiones oportunas a los del otro lado, sin por ello perder su identidad ni los objetivos fundamentales de cada disciplina. Además, cada campo debe aportar a la unión aquello que se considere su punto fuerte. De un lado, los tecnólogos no deben perder de vista que el objetivo fundamental de cualquier sistema de Enseñanza/Aprendizaje (E/A) asistido por las tecnologías es tan elemental como complicado de implementar: facilitar el aprendizaje de los usuarios. Por lo tanto, la tecnología debe adaptarse a todas aquellas circunstancias donde, la aplicación de la sola tecnología, sin tener en cuenta consideración pedagógica alguna, podría dejar de contribuir al aprendizaje de los usuarios. De otro lado, los pedagogos deben ser conscientes de las posibilidades de la tecnología, de la exigencia de rigurosidad que conlleva, y del carácter metódico de las acciones que las tecnologías facilitan. Estos principios serán los que nos conduzcan a evaluar finalmente las tecnologías estudiadas como proveedoras de la asistencia que los procesos pedagógicos requieren. También servirán para medir hasta qué punto un proceso pegagógico está preparado y suficientemente descrito como para poder aplicarle tecnología alguna.

Las TIC pueden aplicarse no sólo en la educación, sino en cualquier campo de la sociedad de la información. En cualquier caso, éstas pueden clasificarse en tecnologías informáticas y tecnologías de comunicaciones. Las tecnologías de comunicaciones incluyen todas aquellas (v.g. protocolos básicos de transferencia de la familia TCP/IP como HTTP y SMTP; comunicaciones seguras sobre TLS o similar; etc.) sobre las que se fundamentan una serie de servicios telemáticos de más alto nivel. Nos centramos aquí en las tecnologías informáticas, aunque muchas tienen una gran componente telemática y pueden llegar a contemplarse dentro del terreno de la ingeniería telemática (v.g. los servicios web), a medio camino entre la informática y las telecomunicaciones. No es nuestro propósito discutir en qué terreno pisa más fuerte cada tecnología, sino hacer una revisión de todas aquéllas que aporten algo al desarrollo de procesos de E/A asistidos por la tecnología.

7.2. Tecnologías informáticas educativas

Las tecnologías educativas estudiadas las hemos clasificado en las siguientes categorías, atendiendo al problema final que pretenden resolver o ayudar a resolver. Claramente, dichos problemas son de naturaleza pedagógica (por ejemplo, el diseño instruccional, la evaluación, la definición de objetivos educativos, etc.). No obstante, en algunos casos pueden verse como cuestiones planteables en otras disciplinas (por ejemplo, el seguimiento, el acceso a repositorios, la gestión de derechos de uso, etc.) pero no por ello alejadas del propósito pedagógico. El criterio que ha guiado la clasificación es sobre todo instrumental, según la función práctica que cada tecnología proporciona. Aunque ésta no es la única posibilidad de clasificación, sí creemos que es la más idónea para los propósitos de este informe. Las categorías relatadas son:

– Empaquetado y catalogación de recursos – Secuenciamiento y diseño instruccional – Seguimiento del aprendizaje – Evaluación y tests – Repositorios y acceso a recursos – Objetivos educativos y competencias – Portafolio e información del aprendiz – Integración con otros sistemas

En la Enseñanza Asistida por Ordenador (EAO), primero fueron los contenidos. Cuando se pensó en la aplicación de tecnologías a la educación, el primer enfoque fue extrapolar, a modo de metáfora, el modelo de las tecnologías existentes antes de la aparición del ordenador: esto es, los libros y las bibliotecas, las diapositivas, el audio y el video analógico. Así aparecieron los libros electrónicos, el hipertexto, la multimedia, la hipermedia adaptativa, y todas las tecnologías que dieron origen a la disciplina conocida actualmente como enseñanza asistida por ordenador. Todas ellas coincidían en considerar los contenidos educativos como el elemento central guiador de los procesos de enseñanza aprendizaje. Quizá por ello, las primeras especificaciones y estándares se centraron en la formalización de esos contenidos (v.g. AICC, SCORM). El objetivo fundamental (aún no resuelto) de los contenidos educativos es alcanzar la máxima capacidad de reutilización posible. Para ello, los problemas abordados fueron los siguientes:

– Empaquetado y catalogación: Los contenidos educativos deben empaquetarse y catalogarse de forma adecuada para poder ser compartidos por distintos usuarios y sistemas. Los estándares de empaquetado y distribución de recursos educativos comenzaron por el modelo de CMI de AICC, posteriormente asimilado por IMS y SCORM y evolucionado hacia descripciones basadas en XML. En cuanto a la catalogación, el estándar más evolucionado es el IEEE 1484.12.x (LOM), fruto de la integración de tecnologías de metadatos para describir recursos bibliográficos (v.g. DublinCore), y su ampliación para describir también características educativas. – Secuenciamiento y diseño instruccional: Los contenidos educativos deben incluir las reglas de secuenciamiento que permiten navegar de uno a otro, de acuerdo con las secuencias didácticas y/o el método de diseño instruccional pretendido. La hipermedia educativa tiene mucho que decir en este aspecto. Sin embargo, para no comprometerse con una tecnología concreta (v.g. contenidos web versus la incipiente televisión interactiva), las especificaciones en este terreno proponen descripciones genéricas, también basadas en XML, para la navegación. Así aparecen especificaciones como IMS Simple Sequencing, cuyo propósito, en lo tocante a los contenidos educativos, es en gran medida común al de los lenguajes de modelado educativo. Bien es cierto que estos lenguajes amplían en conjunto de características didácticas descriptibles hacia el terreno de las actividades de aprendizaje, en lugar de hacia los contenidos. Es por ello por lo que se convierten en herramientas últiles para plasmar con tecnología un cierto diseño instruccional o secuencia didáctica. – Seguimiento del aprendizaje: Una vez puestos a disposición de los estudiantes, los contenidos educativos deben ser capaces de recoger información necesaria para el seguimiento del aprendizaje de éstos (al menos, para un conocimiento básico del nivel del seguimiento que cada estudiante ha alcanzado a través de los contenidos). Los primeros sistemas que propusieron una solución tecnológica en este aspecto fueron la interfaz HACP de AICC, posteriormente convertidas a Javascript, dotadas de un modelo de datos más evolucionado, y asimiladas bajo los estándares IEEE 1484.11.x (más conocidos como SCORM Run-time). Las posibilidades actuales de estas tecnologías se limitan a navegadores y clientes web, mediante lenguajes de scripting (ECMAScript, JavaScript, ActionScript), aunque ya se han propuesto esquemas XML para su utilización desde servicios web. – Evaluación y tests: Un tipo especial de contenidos, de carácter más interactivo que el resto, son las preguntas y tests que sirven para someter a evaluación al estudiante. Las tecnologías informáticas han facilitado desde siempre esta componente interactiva. En este apartado proliferan las especificaciones, desde los elementos Interactions del modelo de datos CMI, hasta las especificaciones IMS QTI, pasando por los elementos descriptores de material para evaluaciones incorporados en muchos de los lenguajes de modelado educativo (v.g. OUNL-EML, TML/NetQuest). – Repositorios y acceso a recursos: Los recursos educativos han de depositarse en algún repositorio, con toda la problemática que ello conlleva en cuanto a registro, gestión del almacenamiento, búsquedas, indexación, catalogación, distribución y derechos de acceso, por citar sólo algunas cuestiones. Las iniciativas más relevantes en este aspecto son CORDRA, IMS DRI (Digital Repositories Interoperability) y OKI DR. En particular, los repositorios de contenidos educativos son los que más tecnologías informáticas incorporan, unas veces existentes y de propósito general (v.g. SQL, XQuery, XPath), otras veces tomadas prestadas de la gestión de documentos (v.g. Z.39-50, CQL, SRW) y de contenidos (v.g. JSR-170), o bien renovadas y adaptadas a las particularidades de unos contenidos educativos bien catalogados (v.g. OAI-PMH, SQI). En cualquier caso, algunos servicios esenciales que debe resolver cualquier repositorio mediante la provisión o integración de tecnologías existentes son la identificación de recursos (v.g. IETF URL/URI, URN, OpenURL), los servicios de directorio (v.g. LDAP, X.500) y la gestión de derechos de acceso (v.g. XrML, DREL)

En una segunda ola, los contenidos digitales dejaron de ser el elemento central de las tecnologías informáticas de soporte a la educación. Su lugar lo ocuparon las actividades de aprendizaje, estructuradas de acuerdo a una secuencia didáctica o diseño instruccional que define el proceso de E/A, y descritas con los lenguajes apropiados de modelado educativo o EML (Educational Modeling Language). Las iniciativas más relevantes son las de la Universidad Abierta de Holanda (OUNL-EML), origen de la actual especificación IMS Learning Design (LD); el sistema LAMS; y otros esfuerzos de menor calado como PALO, LMML, TML y CDF.

Tanto para la definición de contenidos como de actividades de aprendizaje, la base de partida de las especificaciones y las tecnologías informáticas debe ser el alcance de unos ciertos objetivos o competencias. En este aspecto, destacan los intereses siguientes:

– Objetivos educativos y competencias: El desarrollo del aprendizaje debe estar guiado por una descripción clara y precisa de los objetivos educativos perseguidos. Estas descripciones declarativas de los objetivos educativos, llevadas al terreno de la tecnología, tienen su primer apoyo en los metadatos (v.g. ciertos elementos de la categoría Educational de LOM) y una referencia más refinada en las especificaciones IMS RDCEO, orientadas a definir competencias más que simples conocimientos. – Portafolio e información del aprendiz: Una vez que el estudiante ha desarrollado un proceso educativo, y alcanzado los objetivos de aprendizaje establecidos, debe quedar una evidencia de cómo y en qué medida se han cumplido dichos objetivos. Los portafolios y sistemas de información sobre los estudiantes se convierten en elementos inevitables a la hora de recoger tales evidencias. Mientras los portafolios electrónicos son relaciones más o menos estructuradas sobre qué ha realizado un estudiante durante su aprendizaje y gestionadas por el propio aprendiz, los sistemas de información sobre los estudiantes o LIP (Learner Information Profile) apuntan a la definición de perfiles (i.e. tipificación de los usuarios) para, con base en ellos, adaptar y ajustar cada proceso de aprendizaje. Los modelos de usuario de los sistemas hipermedia son los sistemas más cercanos que aportan ventajas similares a las pretendidas por los LIP. Muchas veces, la definición de perfiles de usuario están más orientados a la accesibilidad (v.g. IMS ACCLIP, IMS ACCMD) que a la recogida de los distintos niveles cognitivos del aprendizaje de cada estudiante.

Todas las tecnologías descritas hasta este punto tienen un propósito claramente educativo. Aunque en algunos casos son resultantes de una transformación y adaptación de tecnologías de otras disciplinas (v.g. hipermedia educativa, gestión documental, repositorios y bases de datos), la mayoría de ellas fueron concebidas como soluciones específicas a la problemática de la EAO. Sin embargo, los sistemas que incorporan estas tecnologías no existen de forma aislada, sino que se da la necesidad de integrarlos con otros sistemas de información existentes, normalmente de gestión corporativa o ERP, tanto en centros de formación como en empresas e instituciones que consideren la prestación de servicios de formación a sus empleados y otros miembros. Los sistemas de gestión de personal y nóminas, de matriculación e inscripción de alumnos, de referencia bibliográfica, son claros ejemplos de este tipo, para lo cual deben proporcionarse tecnologías que presten servicios de integración de los sistemas de EAO con otros externos. Las tendencias actuales en integración de sistemas se enfocan en los servicios web y, de hecho, las referencias más notables como IMS u OKI definen arquitecturas basadas en servicios para la integración de componentes heterogéneos de un sistema de EAO (v.g. IMS Enterprise & Enterprise Services, OKI OSID)

7.3. Tecnologías informáticas de propósito general

En este apartado se describen aquellas tecnologías informáticas cuya utilidad práctica en los sistemas de E/A asistidos por ordenador queda fuera de toda duda. Los mismos estándares, especificaciones y modelos de referencia de tecnologías educativas aluden a muchas ocasiones a las tecnologías concretas en un abanico de posibilidades de implementación de cada especificación, a veces recomendando u obligando el uso de una cierta tecnología.

– Servicios de directorio: Un servicio de directorio es una aplicación que almacena y organiza la información sobre los usuarios y recursos compartidos en una red informática, gestionando además el control de acceso de los usuarios a dichos recursos. En un entorno informático educativo, sirven para integrar los usuarios, recursos educativos y el control de acceso, tanto al propio sistema de EAO como a sistemas externos. Las tecnologías más comunes empleadas en los sistemas educativos son implementaciones de X.500 y LDAP para usuarios y recursos de propósito general (usados en la mayoría de LMS), así como implementaciones de UDDI para el acceso a servicios web (v.g. jUDDI, usado en ECL). – Identificación y direccionamiento: Todo usuario, recurso o servicio que participa en un sistema de aprendizaje debe estar convenientemente identificado. Para ello se suelen emplear identificadores globales únicos (GUID) dentro de los servicios de directorio. Tradicionalmente, los recursos disponibles en internet son identificados por su dirección en la red, indicada por una URL/URN/URI que sirve como localizador. En particular, cuando se trata de contenidos digitales, la identificación se puede realizar con DOI (Identificadores de Objetos Digitales). – Metadatos: Los metadatos y tecnologías para describir meta-información tuvieron una de sus primeras aplicaciones en la descripción de recursos bibliográficos (v.g. Marc, DublinCore). En particular, DublinCore ha sido ampliamente adoptado e incorporado en LOM, que se ha convertido la referencia de metadatos más usada para describir objetos de aprendizaje. Todas estas tecnologías se basan en XML (y si no, con el tiempo han evolucionado hacia versiones basadas en XML, como por ejemplo MarcXML). A su vez, la evolución hacia la web semántica está precisando descripciones con metadatos cada vez más significativas, por lo que la tendencia es a usar RDF/RDFS cada vez más. De hecho, el binding o aplicación de LOM a RDF ha sido adoptado por IEEE, constituyendo ya el borrador del estándar IEEE 1484.12.3. – Almacenamiento, consultas y búsqueda: La mayoría de las tecnologías de bases de datos han sido ampliamente utilizadas en la implementación de los sistemas de EAO, tanto aquéllas sujetas al tradicional modelo relacional, como los sistemas más novedosos de almacenamiento y consulta basados XML. Los lenguajes de consulta como SQL han servido de base para la definición de otros de propósito más específico, bien de gestión documental (v.g. CQL), o educativo (v.g. SQI). Por otro lado, en especificaciones como IMS DRI se propone la adopción de tecnologías de consulta basadas en XML (v.g. XPath, XQuery). También merece la pena destacar QEL como lenguaje de consulta en repositorios descritos mediante RDF. En cualquier caso, las implementaciones de repositorios educativos digitales (v.g. ECL) deben tener en cuenta estas tecnologías de almacenamiento y consulta, junto con los aspectos de registro, directorio y seguridad necesarios. – Mensajería y acceso a servicios: Aunque el canal de comunicación más común en la web ha sido http, los sistemas actuales han dado un paso adelante hacia las arquitecturas basadas en servicios (SOA), cuyos elementos fundamentales son los servicios web, a través de las especificaciones (v.g. WSDL, SOAP) y sistemas relacionados (v.g. UDDI). Los servicios web se usan tanto para la integración de los sistemas educativos con otros heterogéneos (v.g. IMS GWS Profiles), como para la interacción de las herramientas de cliente con servidores y repositorios (v.g. IMS Tools Interoperability Guidelines). – Derechos digitales: Aunque la gestión de derechos digitales no tiene su mayor campo de batalla en el terreno educativo, el impacto que puede originar en un sistema de EAO tampoco es desdeñable. Para ello han aparecido tecnologías como XrML y ODRL, entre otras muchas propietarias, incorporadas a los estándares de contenidos multimedia (v.g. MPEG-21 en MPEG4).

7.4. De las tecnologías educativas a las informáticas

A modo de resumen, la Tabla 1 muestra una relación de tecnologías informáticas educativas (según las categorías anteriores), los estándares y especificaciones existentes al respecto, y las tecnologías informáticas de propósito general en que éstos se basan para su implementación. Además de las tecnologías informáticas que se relatan en la columna correspondiente, la mayoría de las tecnologías educativas descritas se basan en XML y tecnologías relacionadas (v.g. XMLSchema, espacios de nombres, etc.) Por otra parte, no se han incluido aquellos elementos que han quedado obsoletos o cubiertos por otros más recientes (Por ejemplo, las especificaciones CMI de AICC, englobadas en mayor o menor medida dentro del modelo de referencia SCORM).

Tabla 1. Relación de tecnologías educativas, los estándares y especificaciones relacionadas, y las tecnologías informáticas de propósito no específicamente educativo que permiten implementarlas

Archivo:Relacion tecnologias educativas.gif

Referencias

McGreal, R. (2004). Learning Objects: A Practical definition. International Journal of Instructional Technology and Distance Learning 1(9). A. Rawlings, P. Rosmalen., R. Koper, M. Rodrígez-Artacho & P. Lefrere (2002), Survey of Educational Modelling Languages (EMLs), versión 1, CEN/ISSS WS/LT Learning Technologies Workshop.

9. Estado de la Cuestión: Evaluación de Objetos y Diseños para el Aprendizaje

La evolución de la Web hacia la semántica constituye un nuevo paradigma para la gestión del conocimiento en e-learning. La aparición del concepto de objeto de aprendizaje OA permite considerar los recursos educativos como unidades independientes que puedan ser reutilizadas en distintas situaciones de aprendizaje. Gracias a los estándares educativos esas unidades pueden ser empleadas en distintas plataformas sin problemas de interoperabilidad. Sin embargo, la posibilidad de tener acceso a información de interés no significa que su contenido sea de calidad.

Los contenidos educativos son un elemento primordial en cualquier sistema educativo, sin embargo para un sistema e-learning constituye uno de los principales apoyos para la adquisición de nuevos conocimientos, por tanto es importante que este tipo de entornos disponga de sistemas para gestionar el conocimiento que garanticen la existencia de un repositorio de contenidos de calidad para los usuarios.

La mayoría de los esfuerzos por estandarizar los OA se han enfocado en estructurar los datos para su creación, empaquetamiento, identificación, organización con sentido pedagógico, etc. Sin embargo no existe un patrón que ayude a determinar la calidad del contenido de estos objetos. Actualmente los esfuerzos en este ámbito se centran en la definición de medidas de valoración de carácter implícito a través de instrumentos y estrategias de trabajo colaborativo como también medidas de carácter explícito a través de las acciones que realizan los usuarios sobre los recursos tanto en su búsqueda como en la navegación. Sobre esta base, en este capítulo se pretende dar a conocer las actuales investigaciones sobre el tema tanto de carácter implícito como explícito.

Para comenzar, la sección 2 introduce el concepto de OA y repositorios de almacenamiento, luego presenta y compara tres repositorios de OA que aparte de una herramienta de evaluación han aplicado la metodología de revisión por iguales (peer review) para aumentar la confiabilidad en las valoraciones. En la sección 3 se presentan dos instrumentos de evaluación de objetos, el primero de ellos se ha utilizado en algunas experiencias para evaluar el contenido de OA a través de criterios de valoración explícitos, el segundo forma parte de una investigación en desarrollo.

Para complementar esta valoración la sección 4 destaca la importancia de una estrategia colaborativa para evaluar OA, representada a través de un modelo de participación convergente. Para garantizar la calidad de los contenidos se analiza una propuesta que promueve un sistema de gestión que evalúe los contenidos constantemente. En la sección 5 se analiza una visión para evaluar OA que potencia la colaboración ejemplificado con eLera, un modelo para soportar comunidades en sistemas e-learning que potencia la participación, colaboración y flujo de información entre los participantes, por otra parte, se presenta una propuesta que enfatiza la importancia de la participación de los usuarios en la evaluación a través de un sistema de recomendación.

A modo de ejemplo la sección 6 se destaca dos experiencias en la evaluación de OA. Para finalizar, la sección 7 presenta las conclusiones del capítulo y direcciones Web de interés.

9.1. Los objetos de aprendizaje y repositorios de almacenamiento

El valor de la información como recurso de aprendizaje ha creado la necesidad de disponer de ella, compartirla y reutilizarla sin grandes costos, esto sumado al desarrollo de especificaciones y estándares para solucionar el problema de incompatibilidad entre diversas plataformas ha impulsado la aparición del concepto de objeto de aprendizaje OA. La idea es que un OA sea una unidad de contenido con la intención de enseñar algo y que sea reutilizable en distintas plataformas.

Una de las definiciones más conocida (IEEE LOM, 2002) indica en resumen que un objeto puede ser “cualquier cosa” incluso hasta una persona. Debido a diversas discrepancias sobre esta conceptualización, actualmente existen varias definiciones, algunas de ellas apuntan a que la principal característica de un objeto es que sea reutilizable y con un tamaño (o nivel de granularidad) adecuado para el intercambio de contenidos (Moreno y Bailly-Baillière, 2002; Polsani, 2003; Wiley, 2000).

Los objetos de aprendizaje son agrupados y almacenados en repositorios de objetos de aprendizaje. De éstos, se identifican dos tipos (Downes, 2002): los que contienen objetos de aprendizaje y sus metadatos, en éstos los objetos y sus descriptores se encuentran dentro de un mismo sistema e incluso dentro de un mismo servidor; los que contienen sólo los metadatos, en este caso el repositorio contiene sólo los descriptores y se accede al objeto a través de una referencia a su ubicación física que se encuentra en otro sistema o repositorio de objetos.

Hoy en día existe una gran cantidad de repositorios que almacenan OA. Entre ellos se encuentran CAREO (Campus Alberta Repository of Educational Objects). National SMETE Distributed Library, MERLOT (Multimedia Educational Resource for Learning and Online Teaching), CLOE (Co-operative Learning Object Exchange) y DLNET (Digital Library Network for Engineering and Technology).

A continuación se explicarán tres de ellos MERLOT, CLOE y DLNET que además de obtener recursos en estos repositorios, se ha implementado una metodología de evaluación implícita a través del instrumento LORI junto a una metodología de revisión por iguales (peer review) para aumentar la confiabilidad en las valoraciones.

9.1.1. MERLOT (Multimedia Educational Resource for Learning and Online Teaching)

MERLOT (http://www.merlot.org) es un repositorio de recursos libre y abierto desarrollado por facultades y estudiantes de educación superior. Ofrece enlaces a materiales de formación en-línea clasificados dentro de siete categorías: Artes, Negocios, Educación, Humanidades, Matemáticas, Ciencias y Tecnología.

Los materiales que contienen dichas categorías son evaluados a través de un proceso de revisión por iguales o “peer reviews”. Se trata de un método utilizado para mejorar la calidad de un recurso donde participan un número de evaluadores cuyas competencias vayan a la par con el autor del objeto. La idea es que distintos evaluadores participen en la evaluación de un recurso para aumentar la posibilidad de encontrar y enmendar errores. Esta metodología es utilizada desde hace tiempo en la evaluación de artículos científicos en donde su publicación ha permitido que su calidad y veracidad sean criticadas por otros. El proceso de revisión por pares sirve para decidir si el material en línea que se está revisando funcionará en el curso, este proceso en MERLOT no implica necesariamente la evaluación de los autores de los recursos sino de evaluadores que trabajan desde la perspectiva del usuario. En MERLOT, la revisión por pares es realizada por catorce Editorial Boards, facultades con experiencia en el uso de tecnologías en la enseñanza y en la revisión de materiales para un sistema en línea. Las Editorial Boards se responsabilizan de implementar el proceso de revisión por pares de acuerdo a ciertos criterios de evaluación y rango de valoración que serán explicados más adelante. También son responsables de reunir y entrenar a los revisores como también de la publicación de lo resultados.

Una vez que un recurso es asignado a un evaluador aparece en MERLOT como “bajo revisión”. Esta evaluación es realizada por al menos dos personas altamente competentes quienes desde una perspectiva individual crean una “revisión compuesta”. Este material permanece catalogado como “bajo revisión” hasta que el resultado de la revisión por pares es publicada en la Web de MERLOT.

Los criterios de evaluación de los recursos se basan en tres dimensiones: calidad del contenido, facilidad de uso y potencial efectividad como herramienta de enseñanza. A continuación se explicarán las dimensiones y los criterios de calidad empleados en cada una de ellas.

1. Calidad del contenido: Comprende tanto el significado educativo del contenido como su exactitud o validez. La evaluación general sobre los recursos de calidad se basa sobre preguntas como: ¿Presenta el software válidos (correctos) conceptos, modelos y habilidades?, ¿Presenta el software educacionalmente significativos conceptos, modelos y habilidades para la disciplina?. Para responder a estas preguntas los evaluadores utilizan las siguientes pautas:  El contenido es parte importante del currículo dentro de la disciplina. Los principales tópicos del currículo son cubiertos en algún grado en las clases introductorias dentro de la disciplina y/o “cada uno lo enseña” y/o es identificado como una de las principales áreas por las disciplinas de organizaciones profesionales.  El contenido es difícil de enseñar y aprender  El contenido es un prerrequisito para entender materiales más avanzados en la disciplina.

2. Potencial efectividad como herramienta de enseñanza aprendizaje: Determinar la actual efectividad de una herramienta en el proceso de enseñanza aprendizaje es lo más difícil de evaluar porque se requiere información en el momento en que el recurso está siendo utilizado por los estudiantes. Sin embargo, la efectividad de la herramienta se puede evaluar de forma potencial por los expertos definiendo según su criterio si el recurso ayudará a mejorar el proceso de enseñanza aprendizaje.

En muchas ocasiones el software instruccional es evaluado fuera de un contexto. No obstante, recordemos que el principal valor de los OA es que puedan ser reutilizados para nuevos propósitos. Por este motivo, para una evaluación potencial de la herramienta es de suma importancia que los evaluadores definan el propósito de los materiales de aprendizaje para lo cual deben contextualizar sus revisiones.

Los autores de los OA definen los propósitos para los que fueron diseñados, de acuerdo a ello los evaluadores deben analizar si bajo un contexto determinado ese OA sería útil. Por este motivo, es común que se hagan diversas revisiones para los mismos OA, en esta caso, la comunidad de cada disciplina se encarga de adaptar las evaluaciones a sus necesidades.

En MERLOT la evaluación de los OA de acuerdo a un contexto es algo fundamental. Para ayudar a los revisores a definir el contexto pedagógico se sugiere analizar los siguientes tres planteamientos: 1. ¿En qué estado del proceso en enseñanza se podría utilizar los materiales?  Explicación o descripción de los tópicos que establecen el problema.  Demostración/ exploración del problema  Prácticas/análisis de los resultados desde la resolución de problemas  Aplicación de los resultados obtenidos a nuevos problemas 2. ¿Cuál es o son los objetivos de aprendizaje? ¿Qué deberían ser capaces de hacer los estudiantes después de un uso exitoso de los materiales de enseñanza? 3. ¿Cuáles son las características de los destinatarios?

Según los resultados obtenidos durante el uso de un OA los evaluadores deberían considerar las siguientes cuestiones con respecto a la efectividad de esta herramienta  ¿Permite la interactividad del recurso enseñar y aprender el material?  ¿Puede el software ser realmente integrado al actual currículo dentro de la disciplina?  ¿Puede el software ser utilizado en una variedad de formas para lograr las metas de enseñanza?  ¿Los objetivos de enseñanza son fáciles de identificar?

En resumen, esta dimensión considera un apropiado uso pedagógico de los medios, interactividad y claridad en los objetivos de aprendizaje, en donde se enfatiza la importancia del contexto, definido en términos de resultados de aprendizaje, características de los alumnos y evaluación de los materiales dentro de una estrategia de aprendizaje.

MERLOT provee una búsqueda de resultados basados en la calidad de éstos con un buen soporte de recursos con un nivel de granularidad 1 y 2. Por otra parte, retorna descripciones de los objetos en orden descendiente de valoración en donde los objetos no evaluados aparecen en la parte inferior.

3. Facilidad de uso: La cuestión básica que persigue esta dimensión es cuan fácil es el uso de la herramienta tanto por parte de los profesores como de los alumnos especialmente durante la primera vez que se utiliza. Los planteamientos que ayudarían a evaluar esta dimensión están relacionados al valor estético y la provisión de realimentación a las respuestas de los usuarios. 1. ¿Son las etiquetas, botones, menú, textos y distribución general de la interfaz consistente y visualmente distintivo? 2. ¿Se siente el alumno motivado por el software? 3. ¿Puede el usuario perderse fácilmente en el software? 4. ¿Provee el software realimentación sobre el estado del sistema y respuestas de los alumnos? 5. ¿Provee el software una apropiada flexibilidad en su uso? 6. ¿Requiere el software mucha documentación, soporte técnico y/o instrucción para la mayoría de los alumnos para un exitoso uso del software? 7. ¿Presenta el software información de manera que sea familiar a los alumnos? 8. ¿Presenta el software información de manera que atractiva a los alumnos?

Cada una de las dimensiones son evaluadas de acuerdo a un rango de forma separada (1 a 5 estrellas) siendo el número 5 el que indica más alta calidad. La evaluación de los recursos debe promediar 3 estrellas para que esté publicado y de esta forma accesible a los usuarios. Si el recurso publicado se encuentra sin estrellas significa que fue considerado muy pobre o que aun no ha sido revisado. La figura 1 representa la anatomía de un OA publicado en MERLOT con una evaluación de cinco estrellas.

El número uno indica una tabla donde es posible leer o agregar diversos aspectos sobre evaluación de los OA. El número dos muestra el título del OA y el promedio de su valoración final. En el número tres aparece una pequeña imagen representativa del OA. En el número cuatro se puede visualizar información acerca del material, por ejemplo, su tipo (colección, simulación, etc.), su localización actual (URL) la categoría en que se encuentra clasificado y finalmente el autor. El número cinco muestra otra información sobre el OA, esto es descripción del recurso, persona que lo ha enviado, destinatarios, costo, restricciones sobre los derechos de autor. Toda esta información sobre el OA permite al usuario tener un amplio conocimiento del mismo para decidir si cumple con los requisitos necesarios para su utilización.

Archivo:Oaenmerlot.jpg Figura 1: Vista detallada de un OA o recurso en MERLOT

9.1.2. CLOE (Co-operative Learning Object Exchange)

El intercambio cooperativo de objetos de aprendizaje (CLOE) corresponde a un sistema de colaboración entre diecisiete universidades y colegios de Ontario Canadá, quienes trabajan a través de su repositorio de objetos en el desarrollo, intercambio y reutilización de recursos de aprendizaje multimedia. Cada institución desarrolla recursos de aprendizaje multimedia para direccionar desafíos instruccionales compartidos por los otros compañeros, a su vez, también utilizan y adaptan OA creados por otras instituciones.

Cada OA, en primer lugar es examinado por un editor jefe para decidir si éste necesita de algún requisito técnico. De ser así, el OA es entonces devuelto a su autor para su revisión, o enviado a revisores de diseño instruccional y contenido. El revisor del diseño instruccional generalmente otorga una decisión binaria, es decir, si el OA es aprobado o no (go or no-go). De ser aprobado, normalmente el contenido es evaluado por dos revisores, cuando éstos están en desacuerdo la decisión de aprobar el OA recae en un tercer revisor. Las dimensiones de evaluación utilizadas por CLOE son al igual que en MERLOT: calidad del contenido, efectividad como herramienta de enseñanza/aprendizaje y fácil de usar. Sin embargo a diferencia de MERLOT en el proceso de evaluación utiliza un conjunto de preguntas o criterios menor, entre ellas se encuentran:  El contenido del OA es exacto,  La tecnología utilizada es apropiada,  El contenido es presentado de forma clara y profesional (escritura, gramática, etc.),  Provee referencias académicas adecuadas,  Contiene el crédito de los autores,  Los objetivos de aprendizaje son claros,  El OA contiene los objetivos establecidos,  El tipo de alumno está claramente identificado,  Las instrucciones para usar el OA son claras,  La tecnología ayuda a enganchar efectivamente a los alumnos con el concepto, habilidad y/o idea,  El OA provee un oportunidad para que los alumnos obtengan realimentación dentro o fuera de él,  El autor evidencia de que el objeto permite el aprendizaje,  Son identificados los conocimientos previos y habilidades si fuese necesario,  El OA es autosuficiente y puede ser utilizado en otros contextos,  El objeto es muy fácil de usar (navegación, control del usuario, etc.)  El autor indica si el OA es accesible para los aprendices con necesidades diferentes,  Se presentan los requisitos técnicos para el OA.

Diferentes criterios han sido desarrollados para la evaluación de software y diseño de interfaz. Nielsen (1994) desarrolló diez criterios para examinar el diseño de interfaz de usuario e interacción humano-máquina, los que pueden ser utilizados para la evaluación de OA En “Diez heurísticas de usabilidad” para el diseño de interfaz http://www.useit.com/papers/heuristic/heuristic_list.html. Nielsen se acerca a los criterios establecidos por MERLOT y CLOE pero agrega ítems que guardan directa relación con el diseño de OA.  Estado de visibilidad del sistema: cerciorarse de que los usuarios siempre sepan dónde están ubicados en el objeto.  Correspondencia entre el usuario y el mundo real: asegurarse de que los usuarios entiendan el objeto, el cual utiliza palabras, frases y conceptos que están en su mismo idioma.  Control del usuario y libertad: si los usuarios seleccionan una función por error, pueden de forma segura dejar ese estado y navegar de forma flexible.  Reconocer en vez de volver a llamar: los usuarios no deberían recordar instrucciones para utilizar el objeto desde una parte del diálogo a otra. Las instrucciones para el uso del sistema deberían ser visibles o fácilmente recuperables.  Ayuda y documentación: el objeto debe proveer la ayuda necesaria y la información debe enfocarse sobre las tareas del usuario y los pasos concretos que deben llevar a cabo.

9.1.3. DLNET (Digital Library Network for Engineering and Technology)

La Red de librería digital para ingeniería y tecnología DLNET, también realiza un sistema de evaluación de OA similar a MERLOT. Considera por una parte la evaluación de los expertos y la de los usuarios a lo largo del tiempo, sin embargo los OA no son publicados hasta que la evaluación ha sido finalmente aprobada por los revisores. Para realizar la evaluación los revisores utilizan un instrumento que contiene un solo campo de comentarios y once ítems que se evalúan con un rango de cinco puntos. DLNET permite publicar múltiples revisiones de un mismo OA. Para evaluar los OA se utilizan las mismas dimensiones que MERLOT y CLOE, sin embargo a diferencia de MERLOT en DLNET los recursos no son publicados mientras la evaluación final de la revisión por pares no sea aprobada.

La evaluación de los OA tanto en MERLOT, CLOE y DLNET tienen diversas cosas en común: una base de datos para buscar los recursos que más o menos conforma el estándar IEEE LOM (Learning Object Metadata), utilizan las mismas dimensiones de evaluación, un proceso para conducir y publicar las revisiones incluyendo la capacitación si fuese necesario de los evaluadores y un mismo instrumento de evaluación que será explicado a continuación.

9.2. Instrumento de Evaluación

De acuerdo a (Vargo et al., 2003) la necesidad de evaluar OA requiere el desarrollo de criterios para su valoración. Los instrumentos de evaluación permiten y facilitan la comparación entre distintos elementos porque contienen un formato y criterios específicos para ello. Uno de los instrumentos más conocidos para evaluar OA es LORI (Learning Object Review Instrument), herramienta utilizada para evaluar la calidad de recursos para un sistema e-learning. Se trata de un formulario en línea que contiene rúbricas, escala de valoración y campos de comentarios. La versión actual es 1.5. y como instrumento de evaluación busca facilitar la comparación de los recursos proveyendo un formato estructurado para su evaluación. Esta herramienta presenta nueve dimensiones que permiten evaluar: 1. Calidad del contenido: Veracidad, certeza, presentación balanceada de las ideas y apropiado nivel de detalle 2. Alineación de las metas de aprendizaje: Alineación entre los objetivos de enseñanza, actividades, evaluaciones y características del aprendiz. 3. Realimentación y adaptación: Adaptación del contenido o feedback usuarios o modelos de usuario 4. Motivación: Capacidad para motivar, interesar e identificar a los usuarios 5. Diseño de la presentación: Diseño de la información visual y auditiva, etc. 6. Interacción en la usabilidad: Fácil navegación, interfaz de usuario intuitiva y calidad de la interfaz de ayuda. 7. Accesibilidad: Diseño de controles y formato de presentación acomodado a usuarios discapacitados y ambulantes. 8. Reusabilidad: Capacidad de portabilidad entre diferentes cursos o contextos de aprendizaje sin modificación. 9. Adecuación a un estándar: Adherencia a estándares y especificaciones internacionales

Cada uno de estos ítems posee diversos criterios o rúbricas que son evaluadas utilizando una escala de cinco puntos siendo el número cinco la puntuación más alta. En caso de que un evaluador no tenga la capacidad de evaluar un ítem puede pasarlo por alto.

Figura 2: LORI vista por un revisor en sus primeros 5 ítems

Para que los criterios apunten a la evaluación del objeto desde diversos puntos de vista es importante que estén dentro de ítems ya sea principios o categorías que definan el marco de evaluación. Sobre la evaluación de materiales formativos multimedia y sitios Web educativos Marqués (2003) sugiere aplicar criterios educativos dentro de las categorías: psicológicas, funcionales y técnicas-estéticas. La categoría psicológica permite evaluar aspectos asociados al usuario y las funcionales y técnicas-estéticas las características del recurso. Sin embargo aunque un OA es diferente a un recurso cualquiera también puede ser evaluado con criterios que estén dentro de este tipo de categorías. Es así como (Morales et al., 2005c) han propuesto cuatro categorías para evaluar los OA: Psicopedagógica, Didáctico-curricular, Técnica-Estética y Funcional. Además cada una de estas categorías se asocia a metadatos según IEEE LOM, de esta manera la información contenida en ellos es más fácil de calificar. A continuación se explican estas categorías y su relación con los metadatos  Psicopedagógica: En esta categoría los criterios pedagógicos que se evalúan pertenecen al área de la psicología por eso el nombre de psicopedagógicos y su propósito es evaluar si el OA es capaz de promover aprendizaje, para lo que se han considerado criterios como: Capacidad de motivación (presentación atractiva y original, aporta información relevante, etc.) y adecuación a los destinatarios.  Didáctico-curricular: Se valorarán los aspectos del OA relacionados al currículo. Ej: objetivos (correctamente formulado, factibilidad), contenidos (información correcta, precisa, no discriminatoria, estructurante de la materia, adecuada a los objetivos y características de los usuarios), actividades y metodología. Dentro de esta categoría se valora además la posible reusabilidad del objeto. Los metadatos asociados son Learning Resource Type, Context, Typical Learning Time and Description.  Técnica-Estética: Permite evaluar aspectos asociados al diseño de los objetos. Entre los criterios a evaluar, se encuentran tamaño y duración adecuada, información relacionada al metadato Semantic Density. Es necesario aclarar que los criterios mencionados están asociados a los metadatos de la categoría educativa pero también hay otros aspectos técnicos-estéticos que se pueden evaluar acerca de su presentación cuya información no está contenida en los metadatos. Entre estos aspectos se encuentran: contenido legible, colores, tamaño y resolución adecuados, pantallas no recargadas, etc. Una vez visualizados los objetos, estas valoraciones deberían ser incluidas en la información de los metadatos para orientar su evaluación para futuras reutilizaciones. Otros aspectos a evaluar están relacionados a las características de los OA, como por ejemplo, la pertenencia a un estándar o especificación (IEEE LOM, 2002) (IMS LOM, 2003) como también el formato de los metadatos (adecuado para su lectura automatizada, información correcta y completa).  Funcional: La evaluación del funcionamiento de los objetos, se dirige al tipo de interacción (activa, expositiva, mixta, indefinida), velocidad, nivel de interacción adecuado, etc. Los metadatos relacionados son Interactivity Type, Interactivity Level.

Sobre la base de las categorías y criterios mencionados se diseñó un instrumento que se presenta a continuación.

++++++falta figura++++ Figura 3: Instrumento propuesto por (Morales et al., 2005c)

En la columna izquierda se encuentran los metadatos de la categoría educacional de LOM y la relación que sugieren los autores con los criterios de evaluación. Cada uno de estos criterios debe ser valorado de acuerdo a un rango que comprende N/S (No Sabe) y una valoración numérica del 0 al 5, siendo el cinco la más alta. A diferencia de LORI, cada uno de los criterios que se encuentran dentro de una categoría debe ser evaluado de forma individual, de esta manera se asegura una valoración más exacta y confiable. Para que esto sea factible se le envía al evaluador una planilla electrónica que presenta las métricas de evaluación, es decir, los criterios y cómo deben ser medidos.

Las evaluaciones vistas hasta ahora a través de los repositorios e instrumentos de evaluación permiten pocas posibilidades para la colaboración entre expertos durante la evaluación. La interacción entre los evaluadores especialmente si son diversos como por ejemplo: diseñadores instruccionales, expertos en contenido, diseñadores gráficos, etc. influye positivamente en la evaluación ya que potencia una mayor confiabilidad. Las herramientas pueden ser utilizadas para evaluar objetos individuales o un conjunto de ellos. Sin embargo para tratar un conjunto de ellos (Nesbit et al., 2002) proponen un modelo de participación convergente que se explica en la siguiente sección.

9.3. Estrategia colaborativa para la evaluación de OA

Los seres humanos somos entes sociales que necesitamos interactuar con otros en nuestro diario vivir, por tanto esta característica no puede ser ajena en el aprendizaje, pues se trata de un proceso social que depende de un contexto social.

Según Patton (1997) la participación de varias personas en el proceso de evaluación es más sensible a múltiples perspectivas que puedan existir sobre el programa, se exponen puntos de vista divergentes, múltiples posibilidades y valoraciones competentes. Sus puntos de vista se amplían, y se exponen a una variedad de agendas de personas que apuestan de forma diferente sobre la evaluación. Esto incrementa la posibilidad de conducir una evaluación responsable para diferentes necesidades, intereses y valoraciones.

Williams (2000) destacó la importancia de hacer de la evaluación una parte integral del proceso de diseño. Él sugirió la inclusión de estándares formativos y sumativos para mejorar el proceso instruccional como también su evaluación. Su método combinó el modelo de Stufflebeam (1971) CIPP (contexto, entrada, proceso y producto) con el modelo de Patton orientado al usuario para recomendar un modelo orientado a los usuarios donde les permitiera expresar su valoración en cooperación con otros. Esta idea fue adoptada por Nesbit, Belfer y Vargo (2002) quienes diseñaron un modelo de participación convergente para la evaluación de OA.

Este modelo propone una evaluación colaborativa con la participación de representantes de diversos grupos (estudiantes, instructores, diseñadores instruccionales, etc.) la idea es que converjan hacia tasaciones similares a través de un proceso dividido en dos ciclos soportado por herramientas colaborativas en línea.

En el primer ciclo los revisores evalúan los OA de forma individual y asíncrona con la ayuda del instrumento LORI. En el segundo ciclo dirigido por un moderador de forma síncrona o asíncrona los evaluadores discuten sus primeras apreciaciones en un panel de discusión, también con la ayuda de LORI que además de reunir datos numéricos permite la agregación de comentarios. En este proceso el debate es guiado por un moderador que no participa directamente en la evaluación, además se encarga de secuenciar los ítems de manera de discutir primero los que han provocado mayor desacuerdo. Al finalizar el segundo ciclo, el moderador solicita la aprobación para publicar el panel de revisión que contiene una valoración integrada de números que muestra el rango y la tendencia central de las valoraciones individuales con comentarios concatenados dentro de diferentes categorías de evaluación.

Sin embargo, la confiabilidad de la evaluación no depende solamente del instrumento utilizado. La confiabilidad puede variar ampliamente en función del contexto, los temas, los revisores y su nivel de entrenamiento. A raíz de esto (Vargo et al., 2003) realizaron un análisis sobre la confiabilidad de una versión temprana de LORI junto al modelo de participación convergente. En este estudio participaron 10 revisores, al promediar la evaluación, tres de los ítems mostraron una confiabilidad sobre 90%, otros tres ítems mostraron una confiabilidad entre 80% y 90%, otros dos ítems mostraron una confiabilidad entre 70% y 80% y finalmente la confiabilidad de dos ítems no pudo ser medida.

Archivo:Convergente.jpg Figura 3: Modelo de participación convergente (Nesbit et al., 2002)

De acuerdo a resultados obtenidos, la posibilidad de que los evaluadores pudieran discutir sobre la evaluación realizada ayudó a mejorar la confiabilidad de las evaluaciones. Para mejorar el instrumento y la participación colaborativa se llegó a la conclusión de que con un grupo de evaluadores entre 4 y 6 personas es suficiente, sin embargo es necesario que estos participen de un entrenamiento previo en cuanto a los ítems de evaluación sobre: conformidad a los metadatos, interoperabilidad y accesibilidad de los objetos. También se sugiere que al menos dos evaluadores sean expertos en la materia para asegurar la calidad de los contenidos y por último mejorar las rúbricas del instrumento en diversos ítems.

También es importante destacar que si a la participación de diversas personas se le agrega un tipo de evaluación cuantitativa para obtener informes sobre determinadas aspectos de los OA se pueden lograr mejores resultados sobre la evaluación de estos objetos. Según (Krauss y Ali, 2005) la combinación de LORI creada por (Belfer et al., 2002) y el modelo de participación convergente para la evaluación de OA creado por (Nesbit et al., 2002) representa una marcada mejora sobre las prácticas de evaluación existentes como MERLOT. Sin embargo, según la visión de (Morales et al., 2005a), (Morales et al., 2005b) la evaluación de OA debe formar parte de un proceso continuo que garantice su calidad. Las posibilidades que nos permiten las tecnologías de tener acceso a la información son innumerables, por tanto se requiere de un sistema que permita gestionar esa información para que el usuario obtenga justo lo que necesite y con la mejor calidad.

++++falta figura++++ Figura 4: Sistema de gestión de OA de calidad

La siguiente figura 4 presenta un esquema general del sistema de gestión, en él los objetos importados deben ser normalizados con el objetivo de garantizar que cumpla con las características de un OA, como unidad autónoma e independiente. Para que esto sea posible se sugiere un modelo de conocimiento en donde se debe clasificar el objeto según:  nivel cognitivo, permite conocer qué se pretende enseñar y cómo  tipo de contenido: básico, medio o avanzado  actividades: de iniciación, de estructuración o de aplicación Esta clasificación permite aportar más información a la identidad del objeto con el fin de que posteriormente puedan ser buscados según necesidades concretas. Una vez normalizados son evaluados con el instrumento propuesto por (Morales et al., 2005c) en donde además se sugiere aplicar una estrategia de evaluación colaborativa para aumentar la confiabilidad de los resultados. La calificación del objeto permitirá buscar los contenidos de acuerdo a su calidad lo que permitirá a los docentes una mejor manera de seleccionar los más adecuados para sus objetivos de enseñanza.

Figura 5: Modelo de Conocimiento

Posteriormente los objetos son almacenados en un repositorio de objetos normalizados y evaluados desde donde los profesores pueden buscar estos objetos para formar unidades mayores de aprendizaje (unidad didáctica, capítulo, etc). Una vez que los cursos son publicados y utilizados por los alumnos se sugiere la valoración de estos a través de una encuesta con preguntas como:  El curso me mantuvo constantemente motivado a participar,  el nivel de dificultad fue adecuado a mis conocimientos previos,  he alcanzado los objetivos del curso,  la descripción del curso y mi participación en él fue bien explicada,  el diseño de interfaz me permitió seguir el curso fácilmente,  el nivel de interactividad fue el adecuado,  obtuve una adecuada realimentación de los contenidos.

Como muestra la figura 4 Los resultados de estas encuestas (post-evaluación) deberán ser analizados por los diseñadores y encargados del curso para mejorarlos y de esta manera garantizar constantemente la calidad de los OA.

9.4. Herramientas de colaboración y recomendación en la evaluación de OA

El resultado de las experiencias de evaluación mencionadas anteriormente ha despertado la necesidad de que las futuras herramientas de evaluación potencien normas de reciprocidad, acción colectiva y flujo de información (Putnam, 2000) es decir, que se debe crear un ambiente apropiado para gestionar la información con el objetivo de que todos se puedan beneficiar de ella.

Para que esto sea posible (Nesbit y Ly, 2004) señalan que antes de construir estos sistemas de debe responder algunas interrogantes: ¿cómo pueden los miembros de la comunidad recomendar recursos y las revisiones de otros? ¿Cómo pueden los miembros encontrar y ser presentados a otros miembros con intereses similares? ¿Cómo se pueden lograr los requisitos para una efectiva actividad colectiva como construir la identidad, y confiabilidad entre los miembros?

Como un intento para responder a estas preguntas, se presenta a continuación eLera, un sitio Web diseñado para soportar la interacción colaborativa de distintos grupos de personas para la evaluación de OA. Por otra parte, se da a conocer una propuesta que enfatiza la importancia de la participación de los usuarios en la evaluación a través de un sistema de recomendación.

9.4.1. eLera (E-learning Research an Assessment Network)

eLera es un grupo de trabajo distribuido entre una comunidad de profesores, instructores, estudiantes, investigadores, diseñadores instruccionales y desarrolladores de recursos, dedicado a la investigación y evaluación de e-learning, específicamente sobre los temas de OA, e-portfolios y especificaciones para el diseño del aprendizaje.

Al igual que MERLOT y DLNET, eLera mantiene una base de datos de búsqueda de metadatos de OA y provee herramientas e información para la evaluación e investigación de OA, mantiene una base de datos de OA revisados y soporta la comunicación y colaboración entre los investigadores, evaluadores y usuarios de recursos de aprendizaje en línea. El sistema de evaluación incluye reportes, estadística de las evaluaciones y una característica llamada “mi colección” que permite a los miembros acceder a OA frecuentemente utilizados.

Esta herramienta será utilizada para la investigación sobre evaluación colaborativa y la interrelación entre diseño y evaluación formativa en comunidades e-learning. Para medir los efectos de la colaboración, eLera permite fácilmente capturar la distribución de valoraciones de calidad antes y después de las sesiones de discusión.

Las herramientas de eLera para la evaluación colaborativa están diseñadas para soportar el modelo de participación convergente mencionado anteriormente (Nesbit et al., 2002), (Vargo et al., 2003), (Nesbit & Li, 2004). Con este fin, los moderadores pueden utilizar eLera para invitar a los miembros a evaluar un OA, quienes como muestra la figura 3 pueden aceptar o rechazar la invitación.

Una vez que los miembros del equipo han completado su evaluación individual, se reúnen en una conferencia en línea para comprar y discutir sus evaluaciones. Primero se discuten los ítems que presentan mayor divergencia, los cuales pueden ser ordenados por el moderador con ayuda de una función de eLera que realiza cálculos estadísticos. Para comparar las evaluaciones eLera posibilita realizar una vista de las evaluaciones y comentarios para cada ítem de LORI, tal como muestra la figura 4. Durante la sesión los miembros del equipo pueden editar sus evaluaciones y comentarios, una vez terminada el moderador publica una evaluación del grupo generada automáticamente a través de las evaluaciones individuales para lo que se requiere el consentimiento previo de los participantes. Figura 6: Invitación de eLERA para participar en la evaluación de OA A través de eLera los investigadores buscan modelos para soportar comunidades de práctica en sistemas e-learning de manera que su estructuración potencie la participación, colaboración y flujo de información entre los participantes, es así como al momento de valorar la calidad de un recurso los miembros de la comunidad puedan recomendarlos. Actualmente eLera provee rudimentarias facilidades para recomendar recursos.

Los resultados de la búsqueda de objetos son ordenados según el promedio obtenido en el rango, los que han obtenido una mejor puntuación son mostrados al principio de la lista. Los usuarios pueden también escoger los recursos de acuerdo a su “popularidad” característica que obtienen los recursos que han sido agregados por otros a su “colección personal de objetos”.

Algunas de las fases que se encuentran actualmente en desarrollo son: compartir las colecciones de OA, la capacidad de buscar en otros repositorios y portar metadatos y revisiones desde y hacia otros repositorios de objetos y finalmente una página principal personalizada que muestre revisiones y objetos recomendados según las necesidades del usuario.

Figura 7: Vista del resultado de la evaluación colaborativa del ítem “contenido de calidad” a través de LORI

Los sistemas de recomendaciones constituyen también una fuerte apuesta para la evaluación de LOs. Actualmente existen técnicas para guiar y proporcionar recomendaciones como el filtrado colaborativo (Herlocker et al., 2004) que consiste en un sistema automático que recoge acciones de los usuarios de forma explícita (votos, respuesta a preguntas, etc.) o implícita a través de los enlaces visitados por estos y el tiempo dedicado a esta tarea. Con estos datos se determina la importancia de la información al compararla con el resto.

Hasta ahora se han analizado sistemas de evaluación de OA a través de valoraciones explícitas que involucran personas e instrumentos para este fin. Sin embargo, según Ferrán y Minguillón (2005) este tipo de sistemas tiene la problemática de que dependen de la participación de los expertos y de la velocidad con que se desarrolla este proceso. De acuerdo a sostienen que el sistema de evaluación debe tener en cuenta el número de objetos a evaluar versus la calidad de la evaluación y su mantenimiento futuro.

Ante esta situación Ferrán y Minguillón (2005) proponen la evaluación de OA a través de la búsqueda y la navegación en donde la opinión implícita de un individuo sobre un OA expresada a través de la interacción con dicho objeto pueda almacenarse de forma estructurada y luego ser compartida con futuros usuarios con intereses similares.

La evaluación a través de la búsqueda y navegación se basa en un nuevo concepto de metadatos; los no-autoritativos (Recker & Wiley, 2001). Los metadatos autoritativos son los que proporcionan descripciones controladas y estructuradas de los objetos a través de diferentes puntos de acceso como: título, autor, palabras claves, etc. En cambio según Friesen (2002) los no-autoritativos pueden aportar información interpretativa sobre la aplicación potencial de los recursos o incluir información descriptiva sobre las relaciones entre los recursos.

Este tipo de metadatos se pueden obtener si las acciones de los usuarios tanto en la búsqueda de contenidos como en la navegación son registradas, para ello se deben tomar en cuenta dos elementos, el perfil del usuario y su comportamiento con los OA. En el caso de que el perfil del usuario sea un estudiante, las recomendaciones de búsqueda tendrán que orientarse según el área temática al que pertenece la asignatura, teniendo en cuenta la navegación realizada por sus pares y profesores. Sin embargo, si el perfil de usuario es un investigador las recomendaciones se orientarán según las búsquedas de otros investigadores o las publicaciones que estos han realizado.

El comportamiento se ve reflejado en el tipo de navegación del usuario, si se trata de una navegación exploratoria las acciones de los usuarios estarán orientadas a una visión general de los recursos disponibles, en cambio si esta navegación es orientada a objetivos concretos la acción del usuario estará destinada a buscar un recurso en concreto. Sobre esta base Ferrán y Minguillón (2005), han establecido una relación entre los las acciones de un usuario según su perfil y el impacto que tienen en el proceso de evaluación. Los estudiantes disponen de acceso a un repositorio interno donde se encuentran los recursos diseñados por los profesores, sin embargo, también necesitan acceder a recursos que se encuentran en repositorios externos como por ejemplo Internet, por tanto, existe la necesidad de acceder a ellos de forma estructurada, es por esta razón el acceso a repositorios se debe realizar a través de la biblioteca digital como plataforma que es donde actúa el sistema de recomendación, de esta manera mientras más usuarios acceden a los recursos aumenta la fiabilidad de las fuentes de información y evaluación. Esto es debido a que se podrían obtener cientos o miles de datos de los usuarios sobre cada objeto lo que permitiría calcular información contrastada sobre visibilidad, satisfacción y rendimiento información que puede ser utilizada para evaluar la calidad del objeto y agregar o modificar los metadatos.

Tabla2: Acciones básicas en la interacción con los recursos de información y su valor en el sistema de recomendación falta+++++

9.5. Experiencias de evaluación de OA

Sobre la evaluación de OA, actualmente existe más teoría que práctica. La teoría aquí expuesta ha sido la base de algunas experiencias que buscan mejorar la calidad de los contenidos entregados a los alumnos. En el primer caso, la experiencia el estudio no solo busca conocer la calidad de sus contenidos, sino también aspectos del diseño de los mismos que pueden ser mejorados, esto es debido a que la calidad de los OA está estrechamente ligada a su diseño. El segundo ejemplo, describe un estudio para investigar el procedimiento y criterios más adecuados para evaluar OA utilizados por niños.

9.5.1.Estudio sobre el diseño y evaluación de OA

Esta experiencia es un estudio sobre el diseño y evaluación de OA y sus implicancias para el desarrollo de contenido (Krauss y Ally, 2005). Se trata de un caso de estudio que examinó el proceso de diseño y evaluación de OA para ayudar a los estudiantes a entender los principios terapéuticos de la administración de drogas. El estudio tuvo dos grandes objetivos: analizar y documentar el proceso de diseño de un OA y evaluar el resultado de aplicar esas prácticas. Para lograr este objetivo se analizaron dos grandes áreas, por una parte las teorías de aprendizaje que influyen en el diseño de los objetos y por otra parte los instrumentos que pueden ser utilizados para valorar la calidad del objeto y proveer información a los diseñadores para su mejora.

El propósito de este estudio fue identificar los desafíos y cuestiones que los diseñadores instruccionales deben enfrentar al diseñar los objetos y evaluar su efectividad. Se plantaron dos grandes cuestiones: ¿cómo las teorías de aprendizaje y cognición influyen en el diseño de LO?, ¿qué instrumentos pueden ser utilizados para valorar la calidad de los LO y proveer a los diseñadores información para su mejora?. Un análisis del proceso e instrumentos utilizados para la evaluación podría proveer valiosas ideas acerca de los métodos que podrían ser empleados por el proceso de revisión por pares.

El estudio fue realizado por Rose (2003) para investigar sobre el impacto en el aprendizaje de ocho OA guardados en el repositorio CLOE. Métodos de colección de datos limitados y muestras de tamaño pequeño fueron utilizados para obtener datos formativos relacionados a la reusabilidad y potencial mejora de OA. Para medir el impacto sobre los estudiantes se utilizaron cuestionarios para conocer sus percepciones sobre el OA en base a cuatro sub-escalas: valor del aprendizaje, valor agregado por el OA, usabilidad del objeto y usabilidad de la tecnología (Rose, 2003). Adicionalmente, se utilizaron autoinformes para recoger las experiencias y visiones de los diseñadores instruccionales y facilidad involucrada en el desarrollo de los OA. También incluyeron su valoración sobre la reusabilidad de los objetos y el trabajo requerido para revisar su propósito instruccional.

Para medir la calidad del OA y coleccionar datos formativos para mejorar el recurso se utilizaron tres principales estrategias. En primer lugar, durante el proceso de diseño instruccional, el diseñador condujo un test de usabilidad con estudiantes de tercer año de farmacia. El test se aplicó en reuniones informales realizadas a través de sesiones de “pensamiento en voz alta” (think aloud) que fueron grabadas con el fin de obtener realimentación sobre el diseño y navegación. En segundo lugar, se les solicitó a unos “revisores por pares” evaluar la calidad del objeto a través del instrumento LORI, quienes además contestaron una encuesta que recogió realimentación para la mejora de los objetos. En tercer lugar, se distribuyeron los cuestionarios a los estudiantes para conocer el impacto en ellos del objeto en el aprendizaje. Una sección de comentarios fue incluida en la encuesta, de esta manera podrían fundamentar su valoración.

Los ítems originales de LORI sobre accesibilidad y adecuación a un estándar fueron reemplazados por el ítem “valor del acompañamiento de una guía instructora: capacidad del recurso para realzar una metodología instruccional” porque los participantes carecen del conocimiento necesario para realizar una valoración en esas áreas.

La evaluación de los OA y su impacto en el aprendizaje llevó un periodo de dos semanas y fue completado individualmente. LORI no fue utilizada en combinación con el modelo de participación convergente de (Nesbit et al., 2002) porque el propósito de utilizar el instrumento no fue incrementar la confiabilidad además, el proceso de evaluación colaborativa podría haber sido difícil de gestionar y habría requerido más tiempo por parte de los evaluadores.

La localización del objeto en la Web (http://icarus.med.utoronto.ca/lo/) fue enviada por e-mail para ayudar a los participantes en el proceso de evaluación, además se envió una descripción de LORI, la hoja de evaluación, las encuestas del instructor y estudiante y una guía de aprendizaje. Las respuestas a los cuestionarios fueron retornadas a los autores también vía e-mail. En cuanto al análisis de los datos es importante destacar que no se realizó un análisis cuantitativo de las evaluaciones hechas con LORI por los instructores porque el pequeño número de evaluadores disponibles habría producido resultados estadísticos insignificantes. Sin embargo, sus valoraciones y comentarios fueron guardados en la hoja de LORI para determinar las categorías donde el OA recibió sus más altas y bajas valoraciones. Las respuestas a las preguntas de los cuestionarios de los instructores y estudiantes fueron agregadas y ordenadas por frecuencia.

El enfoque de la evaluación de OA fue obtener una indicación sobre de la calidad del recurso como también coleccionar datos formativos que podrían mejorar su diseño. A cada uno de los evaluadores se les asignó un código para ser reconocido (ej: E1). Sus valoraciones y correspondientes resultados fueron guardados en el apéndice A.

Los resultados indicaron que la puntuación del OA fue alta en las categorías de: contenido de calidad, motivación y guía para los estudiantes. También fue evaluada como muy buena la categoría de alineación de objetivos, diseño de la presentación y reusabilidad. Las categorías sobre usabilidad y realimentación recibieron las puntuaciones más bajas.

Figura 8: Muestra del OA sobre Farmacología Clínica

En cuanto a los resultados sobre la encuesta realizada al instructor para obtener una realimentación específica en pos de mejorar la calidad del objeto y su reusabilidad, se realizaron preguntas como las siguientes. ¿Será este OA útil y efectivo para tus necesidades de enseñanza y aprendizaje?, de lo contrario, ¿cómo podría ser mejorado?, ¿será este OA reusable a través de las disciplinas? de lo contrario, ¿cómo podría ser más reusable?

Los resultados de la encuesta a los estudiante guardados en un apéndice B, revelaron importantes datos en cuanto al uso de los objetos, algunas de las preguntas respondidas fueron ¿qué te gustó de este OA?, ¿cómo podría ser mejorado? También se agregó un espacio para los comentarios.

La evaluación de la calidad del OA realizada por el profesorado indicó que será un valioso recurso para la instrucción. Es interesante notar que los ítems “calidad del contenido” y “acompañamiento de una guía instructora” recibieron la evaluación más alta lo que refleja el esfuerzo realizado para seleccionar las estrategias más adecuadas para el OA. La alta evaluación del ítem “motivación” refuerza la noción constructivista de que las actividades que enganchan a los estudiantes son percibidas como más relevantes y por tanto más aplicables a los estudiantes. La valoración de ítem “reusabilidad” como muy bueno, fue sorpresivo debido a la cantidad de sugerencias sobre modificaciones pare ser utilizadas en otros contextos. La baja valoración del ítem “realimentación y adaptación” indicaría que se requiere de más ayuda a los estudiantes en esta actividad que consistió en la generación de gráficos para reforzar su aprendizaje.

Figura 9: Ejemplo del resultado de evaluación con LORI

La medición cuantitativa de los criterios especificados utilizando la escala de cinco puntos provee un marco sistemático para ayudar al profesorado a valorar el objeto de una manera más consistente. La clara explicación y ejemplos de los diferentes niveles de valoración que fueron presentados en la guía que acompaña a LORI incrementan la posibilidad de que la evaluación se aplicará más consistentemente que si los ítems no estuviesen presentes.

La subjetividad no puede ser completamente removida del proceso de evaluación, esto provee la seguridad para los futuros usuarios de que el objeto ha pasado por una inspección más rigurosa que la revisión por pares basada en los comentarios anecdóticos. El requisito de justificar la puntuación en cada categoría fuerza al evaluador a reflexionar sobre su valoración. Esto además provee al diseñador con información de utilidad sobre los aspectos del objeto a los que se refieren las valoraciones.

Utilizar el modelo de participación convergente en combinación con LORI podría ser valioso para los evaluadores porque ellos podrían aprender más acerca del proceso de diseño al ser expuestos a las valoraciones de otros evaluadores. Esto podría incrementar el conocimiento de los evaluadores sobre los puntos fuertes y débiles del objeto y además incrementar la confiabilidad del instrumento (Vargo et al., 2003).

Entre las conclusiones más importantes de esta experiencia, se encuentra que las decisiones a tomar en el diseño de objetos sobre el campo de aplicación y secuencia merece una amplia consideración ya que esto trae significativas implicaciones para la calidad del contenido a desarrollar. Estas decisiones deberían ser informadas por las teorías de aprendizaje que son pensadas para mejorar el proceso de adquirir y aplicar nuevo conocimiento.

Sin embargo, esta posición está en un fuerte contraste con otra visión en donde diversos autores argumentan que el diseño de un recurso de aprendizaje digital debería estar al nivel de un elemento común para ser compartido con otras instituciones (Downes, 2000). Esta aproximación se basa en la premisa de que los OA diseñados al nivel de un elemento común son reusados más fácilmente, de esta manera se reduce los costos de producción. Downes sugiere que los educadores deberían adoptar una metodología de diseño rápido de aplicación (RAD) utilizada por la industria del software para desarrollar productos de alta calidad rápidamente. Esta aproximación visualiza los cursos en línea como una colección de subrutinas y aplicaciones reusables. De esta manera los diseñadores podrían seleccionar y aplicar estas subrutinas predefinidas para la creación de nuevos materiales instruccionales.

El problema con promover la reusabilidad de los OA es que tiene una estrecha relación con mejores prácticas en el diseño instruccional. Para desarrollar efectivos recursos de aprendizaje, el diseño instruccional necesita atender las necesidades de los estudiantes. El diseñador instruccional en este caso advirtió que considerar múltiples contextos en los que el objeto puede ser enseñado como un elemento simple para promover su reuso, podría haber producido resultados dramáticamente diferentes, lo que podría concluir en descontextualizar el objeto o despojarlo de su valor intrínseco.

Al respecto Wiley (2002) señala que los diseñadores intentan crear los objetos lo más reusable posible, es decir, de tamaño pequeño, sin embargo una imagen puede ser muy reusable pero no tiene la autonomía suficiente para soportar un objetivo de enseñanza, por tanto lo más probable es que los objetos más pequeños deban ser ensamblados por humanos para darle significado instruccional, es decir que requieran la intervención de profesores o diseñadores instruccionales, evaporando la ventaja económica de su reusabilidad.

Existe una necesidad de asegurar a los educadores que ellos están utilizando recursos que están altamente valorados y representan un valor agregado para los usuarios (Boskic, 2003). Por esta razón Krauss y Ali (2005) son partidarios de una evaluación sistemática de OA que debe ser considerado una práctica valorada. Según estos autores, los repositorios de OA no solo deberían alojar metadatos acerca de aspectos pedagógicos sobre los objetos, sino también la infraestructura para almacenar evaluaciones sumativas e información acerca de cómo ha sido utilizado en otros contextos.

Por otra parte, educar a los usuarios de OA sobre accesibilidad y estándares de interoperabilidad podría permitir que estos criterios sean más ampliamente adoptados para fines evaluativos e incrementar la probabilidad de que puedan ser reusados por un gran número de personas.

9.5.2. Evaluando OA para las escuelas

K-12 es un programa que combina la tecnología en-línea con contenido tradicional y métodos de enseñanza para niños. El objetivo fue crear un excelente programa tradicional en educación que de poder a los padres para involucrarse en la educación de sus hijos y a los estudiantes para explorar el mundo que los rodea de forma reflexiva. El currículum está basado en los más altos estándares educativos y cubre contenidos tradicionales de enseñanza http://www.k12.com/about/.

En el sector educativo de K-12, los OA son considerados importantes para proveer recursos de calidad para profesores y alumnos pero ha habido una escasa investigación formal sobre la evaluación de estos objetos basados en las cualidades que son importantes para K-12.

Diferentes criterios han sido desarrollados para la evaluación de software y diseño de interfaz. (Neilsen, 2003) desarrolló diez criterios para examinar el diseño de interfaz de usuario e interacción humano-máquina, los que pueden ser utilizados para la evaluación de OA En “Diez heurísticas de usabilidad” para el diseño de interfaz http://www.useit.com/papers/heuristic/heuristic_list.html Neilson se acerca a los criterios establecidos por MERLOY y CLOE pero agrega ítems que guardan directa relación con el diseño de OA.  Estado de visibilidad del sistema: cerciorarse de que los usuarios siempre sepan dónde están ubicados en el objeto.  Correspondencia entre el usuario y el mundo real: asegurarse de que los usuarios entiendan el objeto, el cual utiliza palabras, frases y conceptos que están en su mismo idioma.  Control del usuario y libertad: si los usuarios seleccionan una función por error, pueden de forma segura dejar ese estado y navegar de forma flexible.  Reconocer en vez de volver a llamar: los usuarios no deberían recordar instrucciones para utilizar el objeto desde una parte del diálogo a otra. Las instrucciones para el uso del sistema deberían ser visibles o fácilmente recuperables.  Ayuda y documentación: el objeto debe proveer la ayuda necesaria y la información debe enfocarse sobre las tareas del usuario y los pasos concretos que deben llevar a cabo.

Los estándares o criterios desarrollados por MERLOT, CLOE, (Vargo et al., 2003) y Nielson (2003) fueron desarrollados para un sector post secundario. Sin embargo algunos criterios que son importantes para los educadores de K-12 no aparecen en la lista, especialmente en asuntos que tienen que ver con el desarrollo de los niños, el contexto de aprendizaje y la necesidad de determinar los conocimientos previos necesarios para utilizar el objeto.

Sobre esta base es importante destacar criterios que centren su atención en la motivación de los alumnos y cómo el objeto se soporta a sí mismo con una mínima intervención del instructor. Los criterios empleados para post secundaria tampoco apuntan a la necesidad de que los OA incluyan información pedagógica acerca de la implementación, información de acuerdo a múltiples escenarios instruccionales o cómo utilizar los objetos dentro del contexto existente.

Ante este escenario se desarrolló un instrumento de evaluación a partir de cuatro recursos A) la guía de evaluación de CLOE, B) el repositorio the Le@rning Federation soundness, C) la escala de valoración de (Vargo et al., 2003) empleada en LORI y finalmente D) criterios de valoración desarrollados de acuerdo a los intereses de K-12.

Como resultado se creó un instrumento llamado LOEI (Learning Object Evaluation Instrument). La escala utilizada es para medir la calidad del contenido escolar no para comparar los objetos unos a otros, es así como a través de esta escala se espera determinar la integridad, usabilidad, aprendizaje, diseño y el valor de cada objeto por sí mismo. Los criterios de evaluación se reunieron de acuerdo a principios, de la siguiente manera: a) Integridad  El contenido del objeto es acertado y refleja la forma en la cual el conocimiento es conceptualizado dentro del dominio b) Usabilidad  Se proveen claras instrucciones para el uso del OA  El OA es fácil de usar (ej: navegación, control de usuario, visibilidad del estado del sistema) c) Aprendizaje  Los objetivos son explícitos para los alumnos y profesores  Los destinatarios son claramente identificados.  Conocimientos previos y habilidades están claramente conectados con el actual y futuro aprendizaje d) Diseño  La tecnología ayuda a los alumnos a engancharse efectivamente con los conceptos, habilidades e ideas.  El contenido del objeto está estructurado de manera de promover el aprendizaje del alumno.  El OA provee una oportunidad para los alumnos de obtener realimentación tanto dentro como fuera del objeto.  El OA se soporta a sí mismo y refleja el conocimiento de varios entornos educativos en los que puede ser utilizado.

e) Validez

 El OA es apropiado para la comunidad y afiliaciones culturales, incluyendo lenguaje, dialecto, lectura y escritura.  Se provee a los estudiantes y profesores documentación de ayuda incluyendo asistencia contextual.  El diseño de información visual y auditiva mejora el proceso mental y de aprendizaje.  El OA es accesible para los alumnos con diversas necesidades.  El OA no requiere la intervención del instructor para ser utilizado efectivamente en la combinación de entornos y secuencia de aprendizaje

El análisis para determinar la calidad del instrumento y determinar su utilidad en proveer información para los profesores del K-12 ocurrió en dos tiempos diferentes sobre un periodo de dos años. Se trabajó con el repositorio de OA “The learning federation” porque contiene el conjunto más completo de objetos cubriendo la más alta variedad de temas disponibles diseñado por el sector K-12. Primero se utilizó el instrumento para evaluar 22 objetos. De acuerdo a los resultados se hicieron refinamientos menores y un año más tarde se evaluaron 14 de ellos. Se comprobó que LOEI es fácil de usar y hubo un alto grado de congruencia en las valoraciones.

De todos los ítems de valoración, se destacaron tres de ellos según los resultados: Accesibilidad, interfaz del estudiante y asuntos pedagógicos.

En cuanto a la accesibilidad se determinó que incorporar todas las características a los objetos que hacen más fácil su acceso hace más complejo su desarrollo, más costosa su creación y en algunos casos afectó negativamente el completo diseño del objeto. Según estos autores los principios universales de diseño no resuelven cuestiones prácticas como por ejemplo si deberían incluirse todas las adaptaciones en cada objeto o solo algunas de ellas para necesidades específicas.

Sobre la interfaz del estudiante, los alumnos indicaron la importancia de que el objeto promueva el compromiso, interactividad y la rapidez. En la literatura sobre diseño de interfaz existen algunas indicaciones al respecto Kenworthy (1993) ha propuesto guías para cuidar la calidad del diseño como por ejemplo considerar un nivel cognitivo adecuado según la edad y nivel del alumno. También es importante una ayuda visual para retener los contenidos, se puede utilizar múltiples representaciones para llamar la atención (colores, iconos y animaciones, mapas conceptuales, tablas de contenidos, etc). En la experiencia también se llegó a la conclusión de que era necesario que los alumnos dispusieran de botones de ayuda adicional y guías.

En cuanto a los criterios establecidos sobre asuntos pedagógicos se sostiene que para un adecuado diseño de OA no basta con tener en cuenta la teoría pedagogía sino también las prácticas pedagógicos que los profesores son capaces de construir para diseñar actividades no aisladas sino como una secuencia que puedan enfrentar alumnos de forma individual o grupal.

falta tabla++++

10. Estado de la Cuestión: Uso de Objetos y Diseños para el Aprendizaje

10.1 Introducción: Antes de comenzar con este apartado cabe tener en cuenta que el origen de la utilización de los objetos de aprendizaje en e-learning, como casi todos los contenidos, servicios y tecnología, no se encuentra de hecho en principios pedagógicos sino en fundamentos comerciales. Es por ello que se hace necesario adaptar la utilización de los objetos de aprendizaje a fines didácticos, y para ello que mejor que estudiar la utilización que hacen los profesionales de estos objetos en su práctica diaria.

Partiendo de la concepción de que un OA es la unidad mínima de enseñanza-aprendizaje, en la actualidad, y debido a la rápida y constante generación de información y por lo tanto a su pronta obsolescencia, se hace indispensable su utilización por parte del profesorado, si queremos tanto proporcionar información actualizada a los alumnos como reducir el enorme trabajo que supone la constante actualización de los contenidos para los docentes.

Archivo:Portalwikipedia.jpg

Ilustración 1: Portal de la Wikipedia.

Son muchos los usos, y por lo tanto la utilización que se puede hacer de un Objeto de Aprendizaje (OA). En este apartado nos vamos a centrar fundamentalmente en el uso que se hace de los objetos de aprendizaje en la enseñanza. Para ello nos vamos a plantear una serie de preguntas a las que iremos dando respuesta.

10.2 ¿Quién utiliza OA?

Desde el punto de vista educativo e investigador, un objeto de aprendizaje lo puede utilizar: • Un investigador. • Un profesor o formador. • Un alumno o usuario.

Ni que decir tiene, que no es lo mismo que un objeto de aprendizaje lo utilice un docente, que un investigador o un alumno, pues la finalidad de su uso es muy distinta, a saber.

El alumno utiliza los objetos de aprendizaje de forma transparente, es decir, no sabe como se ha elaborado el objeto de aprendizaje, la metodología que subyace en su utilización, etc.

Por el contrario, el profesor, en muchos casos, es quien diseña o adapta los objetos de aprendizaje que utiliza, el que decide qué objetos de aprendizaje utilizar en función de las necesidades de sus alumnos y de la metodología de enseñanza.

Un investigador puede hacer uso de los objetos de aprendizaje para desarrollar su actividad y para incorporar los resultados de sus investigaciones a dichos objetos.

10.3 ¿Por qué utilizar OA? Ventajas de utilizar OA.

Son innumerables las ventajas de utilizar los OA. Aquí vamos a poner en pie algunas.

Continuando con la línea de análisis del apartado anterior, las ventajas de utilizar OA en el proceso de enseñanza-aprendizaje son diferentes, si quien lo utiliza es un profesor, un investigador o un alumno, tal y como vemos a continuación: • Ventajas de utilizar OA por parte del alumno: o Mayor capacidad de cubrir sus necesidades específicas y de personalización del aprendizaje. o Capacidad de valorar y analizar las habilidades y competencias que se van adquiriendo a lo largo de un proceso formativo. o Mayor capacidad de organización, planificación y gestión del tiempo. o Etc.

• Ventajas de utilizar OA por parte del docente: o Capacidad de adaptar sus programas formativos a las necesidades específicas de los discentes. o Facilidad de actualización y reutilización de los contenidos. o Facilidad de importación y exportación de contenidos entre diferentes sistemas de e-learning. o Mayor capacidad de aplicar diferentes metodologías formativas y diseños pedagógicos. o Reducir el trabajo y evitar duplicar la realización de esfuerzos o de trabajos ya realizados. o Aumentar el alcance y obtener resultados de un objeto ya elaborado por otro profesional; o Construir de material didáctico de calidad al ser muchos los expertos que utilizan un mismo objeto, o Etc. • Ventajas de utilizar OA por parte de los investigadores: o Acceso rápido a la información. o Actualización rápida de la información. o Etc.

Para que los OA ayuden en la construcción del proceso de enseñanza-aprendizaje o en el proceso investigador, deben entenderse como unidades mínimas de contenido con sentido por sí mismas, que sirvan de peldaño aprendizajes ulteriores.

Del mismo modo, estos objetos deben contener elementos motivadores, interactivos, accesibles, deben ser interactivos de tal forma que establezcan relaciones simples y complejas que complementen la información a través de enlaces y mapas conceptuales que presentan la información de una manera sintética y estructurada, priorizando la internavegabilidad, deben usar elementos multimedia, etc.

10.4. ¿Para qué utilizar un OA?

En una sociedad donde la materia prima es la propia información, se hace necesario gestionarla para poder acceder a la misma de forma eficiente y racionalizada. Si esta información la modularizamos y adaptamos didácticamente creando objetos de aprendizaje, aumenta la versatilidad y la funcionalidad de los materiales didácticos.

Además, si una vez elaborados los contenidos, los ponemos a disposición de otros profesionales y de la sociedad en general para que puedan utilizarlos y mejorarlos, desde el punto de vista social, se incrementa la disponibilidad de contenidos, lo que proporciona un soporte más amplio y distribuido. De esta forma los beneficios redundan en la combinación de esfuerzos y en la obtención de beneficio mutuo a través de la obtención de resultados comunes. Al compartir y re-utilizar se producen ahorros de recursos que se pueden orientar hacia el desarrollo de nuevos materiales de aprendizaje.

La estrategia de dividir los contenidos didácticos en Objetos de Aprendizaje es un avance significativo en la producción de materiales educativos, pero esto no es suficiente. Para su utilidad se requiere que estos objetos sean compatibles con sistemas de gestión de aprendizaje, que permitan la migración de una plataforma a otra, que sean fáciles de localizar, que se puedan acceder fácilmente, que se puedan guardar, re-utilizar, etc.

10.5 La utilización de los OA.

Se pueden hacer múltiples clasificaciones para comprender las utilidades que se les pueden dar a los objetos de aprendizaje.

Archivo:Hotpotatoes.jpg Ilustración 2: Interfaz de una herramienta de autor: Hot potatoes.

Aquí vamos a dar cuenta de algunas de ellas, atendiendo por ejemplo a criterios de los propios usuarios, a criterios tecnológicos y pedagógicos, atendiendo a las metodologías de enseñanza-aprendizaje, etc.

a) Atendiendo al usuario de los objetos de aprendizaje: según esta clasificación, un objeto de aprendizaje lo puede utilizar un profesor o un alumno. • Un profesor lo utilizaría fundamentalmente para desempeñar su proceso de enseñanza. Desde la perspectiva del profesorado, los repositorios de OA deben facilitar el acceso a contenidos educativos de calidad y accesibles. Estos repositorios deben permitir seleccionar, clasificar, integrar e interrelacionar los más adecuados para la resolución de los problemas propuestos, y el logro de los objetivos. Los OA de los repositorios deben contemplarse como paquetes de información multiformato, proporcionado diferentes modos de presentación del contenido, haciendo que la información llegue a través de distintas fuentes sensoriales, reforzando el aprendizaje. De este modo la enseñanza virtual basada en OA permite ajustarse a la teoría constructivista del aprendizaje que propone un proceso activo de elaboración del conocimiento por parte del estudiante, basándose en experiencias anteriores, para llegar y construir nuevos conocimientos. El proceso de aprendizaje basado en los OA les propone a los usuarios la libre exploración y control de su propio itinerario de aprendizaje.

• Un alumno haría uso del objeto puesto a su disposición por parte del profesor en el momento del aprendizaje. Los objetos de aprendizaje permiten que el aprendizaje sea para el alumno:  Adecuado: teniendo en cuenta que un curso se compone de múltiples OA, para un curso determinado, podemos seleccionar los objetos que sean necesarios.  Instantáneo: en un repositorio de objetos de aprendizaje, los objetos se pueden localizar fácilmente y obtener de forma instantánea, y  Personalizado: es decir, un OA permite la personalización y adaptación del aprendizaje en función de los requisitos del profesor y acorde a las necesidades de sus alumnos.  Dinámico y actualizado: los OA se pueden actualizar antes de utilizarlos.  Interactivo: se pueden establecer nexos de unión e interactividad dentro y entre distintos objetos de aprendizaje, es decir, un objeto debe interactuar con otros formando un todo, un curso.  Etc.

En función de las necesidades de los alumnos a los que se dirigen y de la metodología de enseñanza-aprendizaje puesta en práctica por el profesor, así se utilizarán los objetos de aprendizaje.

Desde la perspectiva constructivista del aprendizaje, en cualquier proceso de enseñanza-aprendizaje hay que determinar las necesidades de formación de los alumnos, y en función de estas necesidades se elaborarán los objetos de aprendizaje. Con esta metodología de enseñanza-aprendizaje lo que se pretende es facilitar al alumno el acceso a la información y la consiguiente elaboración de conocimiento.

Para atender a las necesidades de los alumnos, así como a su variedad indidividual, se necesita que tanto los objetos de aprendizaje como los sistemas de gestión de aprendizaje en los que se utilizan sean dinámicos, flexibles, etc. Además, y siguiendo bajo la perspectiva de la teoría constructivista, la metodología debe contemplar la realización de múltiples actividades de muy diverso tipo.

b) Atendiendo a la herramienta en que se utilizan los objetos de aprendizaje: en LMS o en Repositorios.

• Estos objetos se utilizan fundamentalmente en sistemas de gestión del aprendizaje (LMS) open source o comerciales que cumplan los estándares internacionales de compatibilidad e interoperabilidad. Existen numerosos sistemas de gestión de aprendizaje conformes con SCORM en mayor o menor medida, la mayoría comerciales y algunos de libre distribución, como Claroline, ATutor, Moodle, etc. El cumplimiento de los estándares mencionados hace posible el intercambio de cursos entre las diferentes plataformas, esto es, su interoperabilidad. Los estudiantes de un entorno e-learning tienen acceso a un repositorio de recursos de información, que forman parte del proceso de aprendizaje diseñado por los profesores y accesible desde la Biblioteca o desde las bibliotecas a medida de cada aula. Pueden diferenciarse diferentes tipos de comportamientos en función del tipo de navegación del usuario, navegación exploratoria o navegación orientada a objetivos concretos. La navegación exploratoria puede orientarse principalmente a obtener una visión general de los recursos disponibles de la biblioteca. En el caso de la navegación orientada a objetivos concretos, normalmente el usuario busca un recurso.

• Por su propia naturaleza, los objetos de aprendizaje se “almacenan” en repositorios que permiten su rápida búsqueda y localización. los investigadores y profesores en un entorno e-learning son también consumidores de los repositorios de objetos de aprendizaje desde un punto de vista completamente diferente a los estudiantes. Pueden diferenciarse diferentes tipos de comportamientos en función del tipo de navegación del usuario, navegación exploratoria o navegación orientada a objetivos concretos. La navegación exploratoria puede orientarse principalmente a obtener una visión general de los recursos disponibles de la biblioteca. En el caso de la navegación orientada a objetivos concretos, normalmente el usuario busca un recurso. Estas búsquedas pueden clasificarse en diferentes casos de usuarios. En la búsqueda por un autor, si el usuario es un estudiante, las recomendaciones asociadas a los resultados de búsqueda tendrían que orientarse al área de conocimiento de la asignatura que está cursando, teniendo en cuenta la navegación de otros estudiantes de la asignatura así como de los profesores. En cambio, si el usuario es un investigador, las recomendaciones se orientan de forma diferente dependiendo de las de las búsquedas realizadas por otros investigadores, o de las publicaciones periódicas, libros y conferencias donde un autor buscado ha publicado, entendiendo que estas publicaciones pueden contener otros recursos interesantes para el usuario.

c) Atendiendo a las modalidades de enseñanza, los objetos de aprendizaje se pueden usar en: • La enseñanza presencial: los profesores pueden utilizar los objetos de aprendizaje en la clase presencial. El diseño de los objetos de aprendizaje debe de ser diferente al diseño de objetos utilizados en otras modalidades, pues, • La enseñanza semi-presencial (blended learning): los objetos de aprendizaje que se utilizan en el blended learning, reunen caracteríticas diferenciadoras de los objetos utilizados en la enseñanza presencial o en la enseñanza a distancia con TIC. • La enseñanza a distancia con TIC (e-learning): en la enseñanza a distancia con TIC, los objetos de aprendizaje también se diseñan acorde a la idiosincrasia y características de esta modalidad.

d) Atendiendo a la metodología de enseñanza-aprendizaje utilizada: si el profesor utiliza una metodología de enseñanza conductista, cognitivista o socio-constructivista, va a utilizar diferentes objetos de aprendizaje con distintas funcionalidades. Desde este punto de vista, el desarrollo de OA normalmente se basa en una metodología de enseñanza-aprendizaje específica, esto es, cada profesor desarrolla un OA acorde a las necesidades de sus alumnos y a su metodología de enseñanza.

• Una metodología de enseñanza conductista utilizaría objetos de aprendizaje que ofrecería muy pocas posibilidades de interactuar al alumno. • Una metodología de enseñanza cognitivista utilizaría objetos de aprendizaje que ofrecerían múltiples posibilidades de interacción con el alumno. • Metodología de enseñanza socio-constructivista utilizaría objetos de aprendizaje con grandes posibilidades de interactividad por parte de múltiples alumnos. Aquí adoptamos la visión de Mauri y otros (2005) al considerar la utilización de los OA des la perspectiva constructivista. Desde el constructivismo de orientación sociocultural se establece que la construcción del conocimiento es un proceso complejo que se lleva a cabo a través de la relación entre tres elementos: el alumno que aprende, desarrollando su actividad mental de carácter constructivo; el contenido objeto de enseñanza y aprendizaje, y el profesor que ayuda al alumno en dicho proceso de construcción, progresando en el grado de significado sobre lo que aprende y siendo progresivamente más capaz de dotarle de sentido. El papel del profesor es el de orientar, guiar y sostener la actividad constructiva del alumno proporcionándole las ayudas educativas necesarias; mediando entre los saberes o contenidos de aprendizaje y la actividad del alumno. Los contenidos, por su parte, mediatizan la actividad conjunta de profesores y alumnos en el proceso de construcción.

e) Atendiendo al centro del proceso de enseñanza-aprendizaje: Desde esta concepción, los objetos de aprendizaje se pueden utilizar (Mauri y otros 2005):

• En un proceso de enseñanza-aprendizaje centrado en el OA: el triángulo formado por el alumno que aprende, el contenido a aprender y el profesor que guía y orienta el aprendizaje, se centran de manera fundamental en la consideración de los contenidos de aprendizaje, de la actividad mental - cognitiva del alumno, o de la relación entre ambos, es decir, en las posibilidades que la propuesta ofrece al alumno de desarrollar una actividad mental constructiva para apropiarse de los contenidos y construir conocimiento; el polo del profesor, o de la ayuda educativa a esa construcción, aparece, sin embargo, y típicamente, en un segundo plano. • Proceso de E-A centrado en el diseño de OA: Se centran en el diseño de la propuesta de contenidos educativos. • Proceso de E-A centrado en aspectos técnicos y pedagógicos: Toman en consideración, en muchos casos, los aspectos técnicos o los aspectos pedagógicos de manera aislada, pero sin profundizar en la toma en consideración de las relaciones entre ambos.

f) Atendiendo al tipo de actividades que se pueden desarrollar en un proceso formativo, los OA se pueden utilizar en:

• Actividades de autoformación, que serían aquellas que no requieren el seguimiento de un profesor puesto que el alumno las puede realizar individualmente. En este tipo de actividades, los OA y el sistema de gestión del aprendizaje se encargan de realizar la evaluación de las actividades realizadas y de presentar los resultados. Este tipo de actividades pueden ser: • Secuencias dirigidas (aprendizaje guiado), actividades en las que no hay ninguna interacción con el usuario, sino que los contenidos se presentan al alumno de una manera predefinida, ya sea de una manera aleatoria o por una forma definida por el tutor o creador de la actividad. • Actividades de autoaprendizaje, donde es el alumno el que decide los contenidos que desea visualizar. Puede ser una secuencia guiada totalmente o parcial, en donde se le imponen ciertas restricciones a modo de prerrequisitos. • Actividades adaptativas, en este caso es el sistema es capaz de decidir la manera de secuenciar los contenidos teniendo en cuenta las características y las preferencias del alumno. • Actividades indivuales o colaborativas. Este tipo de actividades están pensadas para ser utilizadas en procesos de formación tutorizados, en los cuales, el proceso de corrección y evaluación, se prevé llevar a cabo por parte de un tutor. Estas actividades no incluyen un proceso de secuenciación. Sin embargo, deben contar con una adecuada planificación y estructura que facilite su comprensión y proceso de realización o desarrollo por parte de los discentes. Por tanto, estas actividades deben contar con una clara especificación “plantilla” que incluya aquellos elementos que identifiquen claramente el tipo de actividad del que se trate en cada caso y además, identifiquen los objetivos que se requieren cubrir por parte del alumno. Especial relevancia tendrán aquellas instrucciones dirigidas a crear actividades de tipo colaborativo, donde la figura del tutor y su capacidad de moderar y coordinar acciones y metodologías tendrá especial relevancia. Por tanto, se deberá tener en cuenta incorporar a la actividad unas características o elementos que faciliten su desarrollo como por ejemplo el título, fecha de comienzo y finalización, objetivos, lecturas recomendadas, puntuación, instrucciones, herramientas, etc. A partir de la creación de las unidades de contenidos y actividades llegará el momento de desarrollar un entorno que permita el intercambio y la interoperabilidad de los contenidos educativos.

10.6 Conclusiones

Este apartado se fundamenta en una perspectiva teórica sobre los procesos de enseñanza y aprendizaje de naturaleza socio-constructivista. Desde esta perspectiva se entiende que la construcción del conocimiento se produce gracias a la interrelación de tres elementos: el alumno, el contenido que es objeto de enseñanza y aprendizaje y el profesor, que ayuda al alumno a construir significados y a atribuir sentido al contenido de aprendizaje. El alumno aporta al aprendizaje una actividad mental constructiva que le permite apropiarse del contenido elaborando una versión personal del mismo. El profesor y otras fuentes de ayuda educativa deben guiar la actividad mental constructiva del alumno hacia la elaboración de una representación del contenido que sea acorde con la definición cultural de los contenidos de aprendizaje. De esta manera la noción de triángulo interactivo, que representa las relaciones entre el alumno, el contenido y el profesor constituye la unidad básica para la comprensión de procesos de enseñanza y aprendizaje.

En la utilización de los objetos de aprendizaje en la práctica diaria resulta fundamental, la consideración de tres puntos de vista complementarios: el punto de vista del diseñador, el punto de vista del experto en procesos de enseñanza y aprendizaje (basados en contenidos reutilizables y en el tipo de entorno de que se trate) y el punto de vista del usuario.

El diseñador aporta elementos clave sobre los objetivos y referentes del entorno y de la propuesta tecnopedagógica. El experto puede valorar la propuesta educativa tanto desde el punto de vista del diseño como desde el punto de vista del uso. El usuario puede valorar dimensiones de uso no necesariamente coincidentes con las consideradas prioritarias por el diseñador y por el experto.

Se han analizado aquí diferentes usos que se pueden hacer en el aula de los objetos de aprendizaje.

Referencias

A. Rawlings, P. Rosmalen., R. Koper, M. Rodrígez-Artacho & P. Lefrere (2002), Survey of Educational Modelling Languages (EMLs), versión 1, CEN/ISSS WS/LT Learning Technologies Workshop.

Badia, A., Barberà, E., Coll, C. & Rochera, M. J. (2005, Marzo). La utilización de un material didáctico autosuficiente en un proceso de aprendizaje autodirigido. RED. Revista de Educación a Distancia, número monográfico III. Consultado (día/mes/año) en http://www.um.es/ead/red/M3/

González Arechavaleta, Marta. Cómo Desarrollar Contenidos para la formación en Objetos de Aprendizaje.

McGreal, R. (2004). Learning Objects: A Practical definition. International Journal of Instructional Technology and Distance Learning 1(9).

Minguillón, J.; Mor, E.; Santanach, F.; Gu`ardia, L. (2005). Personalización del proceso de aprendizaje usando learning objects reutilizables. RED. Revista de Educación a Distancia, número monográfico IV. Disponible en http://www.um.es/ead/red/M4

Mauri, Teresa; Onrubia, Javier; Coll, César y Colomina, Rosa (2005) . La calidad de los contenidos educativos reutilizables: diseño, usabilidad y prácticas de uso. Revista de Educación a Distancia, número monográfico III. Disponible en http://www.um.es/ead/red/M2/

Sampedro Nuño, Andrés; Martínez Nistal, Angel; Rodríguez Ruiz, Beatriz y Martínez González, Raquel-Amaya. Experiencia Didáctica con Objetos de Aprendizaje Multimedia Reutilizables en el LMS Claroline. Disponible en http://www.uoc.edu/symposia/spdece05/pdf/ID21.pdf