Protocolos de evaluación de software educativo

(Sesión 16)

Con relación a la búsqueda y selección de protocolos para la evaluación del software educativo, se encontraron algunos para su posible utilización. Entre ellos, se destacan los siguientes por considerarse mejores opciones.

Manuel Gándara: Algunas observaciones sobre la evaluación de software educativo (febrero 2000).

Una parte del protocolo se centra en la descripción del programa y los requerimientos técnicos, una segunda parte atiende los aspectos educativos y la última permite evaluar las características del programa y la aplicabilidad a un plan de uso.
Los aspectos a evaluar incluyen:

I. Ficha técnica
Nombre y versión y fabricante del programa
Idioma (s) y procedencia del software
Costo.
Disponibilidad y soporte
Requerimientos técnicos
Temática y nivel al que está destinado, según el fabricante

II. Características educativas
Tipo de software
Modalidad de uso:
Nivel(es) de uso
Orientación(es) de uso
Posible afiliación pedagógica
Materiales de apoyo para el docente o el aprendiz

III. Evaluación global
Técnica
De interactividad (según Laurel)
De usabilidad
De interfaz
De uso adecuado de las nuevas tecnologías
De congruencia con el enfoque educativo (de la institución o el instructor).
De congruencia con el posible plan de uso
Corrección, completud y vigencia y seriedad del contenido

Evaluación final

Observaciones adicionales


Miguel Ángel González Castañón, Evaluación de software educativo: Orientaciones para su uso pedagógico, disponible en http://discovery.chillan.plaza.cl/~uape/actividades/etapa2/software/doc/evalse.htm donde menciona que la evaluación del software se basa principalmente en dos momentos del desarrollo y uso de este tipo de materiales:

· durante el proceso de diseño y desarrollo, con el fin de corregir y perfeccionar el programa
· durante su utilización real por los usuarios, para juzgar su eficiencia y los resultados que con él se obtienen

Una tercera modalidad de evaluación, surge de la combinación de las dos mencionadas, en la que Galvis (1994) insiste con justa razón, es la prueba de campo, antes de editar la versión definitiva.
Se establece como finalidad de la evaluación de software educativo: orientar un uso pedagógicamente adecuado.

QUÉ SE EVALUA

EL PROGRAMA COMO OBJETO MATERIAL
Se examinan dos aspectos: el equipo requerido o ficha técnica, y la usabilidad del programa.
A. Equipo requerido. Descripción de los requerimientos de equipo mínimos que exige el programa para funcionar; esta información suele aparecer en los folletos que acompañan al CD, medio de almacenamiento ya usual. En la guía de uso se completan los aspectos que hacen referencia a las condiciones de instalación de las instituciones participantes en el proyecto.
B. Usabilidad. Medida en que el sistema es fácil de aprender y fácil de utilizar. Se examinan los siguientes aspectos de usabilidad:
1. Facilidad de aprendizaje. Medida en que el usuario novel comprende cómo utilizar inicialmente el sistema y cómo a partir de esta utilización llegar a un máximo nivel de conocimiento y uso del sistema
Indicadores
predictivo: los conocimientos adquiridos por el usuario son suficientes para poder determinar los resultados de sus futuras interacciones
sintetizable: habilidad del usuario para evaluar los efectos de las operaciones anteriores al estado actual (capacidad de captar los cambios de estado que produce cada operación)
familiar: correlación entre el conocimiento que tiene el usuario y el conocimiento que necesita para una interacción efectiva
consistente: medida en que todos los mecanismos son usados siempre de la misma manera
2. Flexibilidad. Multiplicidad de formas en las que el usuario y el sistema intercambian información
Indicadores
Iniciativa de diálogo: quien tiene la iniciativa en la conducción del diálogo; hay o no libertad para iniciar cualquier acción en el sistema
diálogo multi-hilo: un hilo de un diálogo es un subconjunto coherente del mismo. Si el sistema soporta diálogos multihilo al mismo tiempo.
migración de tareas: Transferencia del control, del sistema al usuario y viceversa, para la ejecución de tareas: medida en que se puede pasar de una tarea a otra, pasar una a segundo plano o repartirse entre ambas
adaptabilidad: Si el sistema puede adaptarse a distintos usuarios
3. Solidez. Características de la interacción que permiten lograr los objetivos, y su asesoramiento
Indicadores
Recuperabilidad: Posibilidad del usuario para corregir una acción una vez ha reconocido un error
tiempos de respuesta: tiempo que necesita el sistema para expresar los cambios al usuario
adecuación a las tareas: en qué grado los servicios del sistema soportan todas las tareas que el usuario quiere hacer y la manera en que el usuario las comprende.
4. Mecanismos de soporte. Recursos de ayuda y forma en que el usuario puede utilizarlos
Indicadores
Disponibilidad: posibilidad de consultar la ayuda en cualquier momento, sin tener que salir de la aplicación
precisión y detalle: medida en que la ayuda cubre todo el sistema, con concisión
consistencia: en términos de contenidos, terminología y estilo
robustez: que soporte más que el sistema, en términos de funcionamiento
flexibilidad: en que medida permite interactuar de manera adecuada a las necesidades del usuario
no obstructiva: que no impida el uso normal de la aplicación
organización del texto de ayuda: lenguaje, longitud de frase y párrafo; cantidad de texto; espacios en blanco; gráficos e iconos.

EL PROGRAMA COMO OBJETO PEDAGOGICO
A. Contenido
1. Contenido Científico: Se trata de evaluar la calidad y cantidad de la información ofrecida:
Indicadores
exactitud, actualidad: Fechas de edición; referencias o fuentes citadas; términos técnicos; datos estadísticos. Visión de Ciencia; visión de tecnología.
adecuación: valor absoluto: significatividad de los contenidos en sí mismos; valor relativo: adecuación en nivel de tratamiento a la situación pedagógica dada.
2. Contenido socio-cultural e ideológico: qué representación de la sociedad encierra el programa; cómo representa otras sociedades.
Indicadores
visión sociocultural: a qué grupos sociales (o culturales) se refieren los ejemplos, los personajes, los problemas planteados. Qué muestran las ilustraciones: representación racial, género, referencias geográficas, etc.
personajes: reales, imaginarios; sexo; edad; raza; nacionalidad; condición o estado, patronos, obreros, campesinos, militares...
marcos espacio-temporales: contexto geográfico (urbano, rural, mar, montaña); medio de referencia (flora, fauna, estaciones); épocas de referencia; medio tecnológico y objetos de la vida cotidiana
contexto social: representación del trabajo; categorías socioprofesionales representadas; familia (composición); habitación (casa, cabaña, finca, conjunto urbano...)
situaciones y temas: vida cotidiana (en la casa en la escuela, en el trabajo); situaciones excepcionales (crisis; héroes)
ideología implícita: justicia y autenticidad (presentación de los hechos sin distorsión y en perspectiva).
valores: contribución a la paz, a la tolerancia, a la formación de actitudes culturales y ecológicas
3. Contenido pedagógico: Se trata de determinar la adecuación pedagógica de los objetivos y contenidos, frente a los usuarios, su nivel y el programa que están desarrollando.
Indicadores
Intenciones formativas: lo que pretende el programa, los objetivos de aprendizaje que persigue, explícita o implícitamente
Conocimientos previos: si los usuarios dominan los conocimientos previos, en caso que el programa los requiera
niveles de aprendizaje: qué niveles de aprendizaje (hechos, conceptos, principios, habilidades valores) pretende desarrollar el programa
organización: la progresión del aprendizaje responde a qué tipo de secuencia pedagógica: rígida, espiral o controla por el usuario. En este caso, ¿son necesarias instrucciones o de progreso o es preferible que el usuario encuentre sus propias secuencias?
adecuación curricular: los objetivos y contenidos del programa se pueden integrar con facilidad al curriculum vigente
organizadores y autoevaluación: contiene síntesis (resúmenes), ejercicios (con o sin respuesta), complementos informativos. Contiene evaluaciones, autoevaluaciones, respuestas razonadas, refuerzo, sistema de seguimiento de logros, evaluación sumativa

B. Comunicación. Se trata de evaluar la forma del mensaje (significante), es decir el conjunto de recursos que permiten transmitir un mensaje de un emisor a un receptor.
1. Sentido de la comunicación: dirección y control de la interacción programa-usuario Unidireccional, bidireccional, control del usuario sobre la secuencia, multitareas, multivías...
2. Formas del mensaje.: los aspectos formales de los códigos elegidos (text, audio, fotos, animación, gráficos, colores) se justifican en sí y frente a la función que se espera de ellos.
Indicadores
estética: las formas elegidas son visualmente agradables, manteniendo su sentido comunicativo (no están ahí sólo llenando bellamente espacio)
integración: están integrados entre sí los lenguajes verbales y figurativos
innovación: en qué medida son innovadoras las formas de presentación
adecuación: los códigos verbales y figurativos son descifrables por los usuarios, facilitan la comprensión.
densidad: la densidad de la información ofrecida (en cada pantalla) es excesiva, adecuada, escasa
C. Método. Qué metodología, implícita o explícita, contiene el Software para la exposición de las ideas, la organización del trabajo, las formas de uso que determina.
1. Organización: estructura del manual, forma de exposición y organización de las secuencias.
Indicadores
secuencias: se componen de una serie de partes que están presentes regularmente
estructura: el programa es un elemento de enseñanza, de aprendizaje o de enseñanza-aprendizaje.
guías o manuales: el programa viene acompañado de un manual para el maestro, el alumno, el usuario en general.
elementos de organización interna: el programa incluye instrucciones de empleo, índices, objetivos, léxico, preguntas/ejercicios/, respuestas razonadas, recapitulaciones, evaluaciones
facilitadores: modo de empleo, índice de materias, lista de objetivos, léxico, referencias, fuentes, plan de capítulos, resúmenes, preguntas, ejercicios, tareas, correcciones control de logro, llamadas.
papel del maestro: se limita a dar instrucciones de uso; es necesario para complementar, aclarar o integrar la información; es hacer un seguimiento del uso y de los logros del estudiante
exigencias de aprendizaje: el programa exige principalmente ( con mayor frecuencia, como acciones centrales) al estudiante acciones y habilidades para: memorizar información, construir conceptos, seguir instrucciones, construir secuencias aprendizaje propias, hacer preguntas, construir respuestas originales, relacionar lo aprendido con otros conocimientos, colaborar con compañeros.
distribución de tiempos: un estudiante típico, en una sesión de trabajo normal con el programa, distribuye su tiempo en (% aprox.) : aprender a navegar y buscar información desplazándose por el programa, leer texto, escuchar narración; plantear preguntas al programa; responder preguntas, realizar tareas o ejercicios.
2. Adaptabilidad: en qué medida el Software impone obligaciones para su uso: materiales; metodológicas (maestro); pedagógicas (alumno); o es metodológicamente abierto.
Indicadores
materiales: medida en que el Software exige el uso de materiales y equipos determinados; implicaciones para la organización del ambiente de aprendizaje
limitaciones metodológicas: el programa impone un método al docente, o éste tiene opción de escoger objetivos, ritmos de trabajo, secuencias.
limitaciones para el alumno: El programa ofrece diferentes maneras de entrada; ofrece ejercicios diferentes y graduados según el nivel de los alumnos; posibilidades diferentes de utilización, de acuerdo con las necesidades e intenciones del usuario.


Se encontró también la participación de Elizabeth Rafael que presenta un artículo similar llamado » Algunas elaboraciones sobre evaluación de software educativo « -disponible en www.educa.aragob.es/catedu/recursos/evaluasoft/alg_elab.doc


Otro protocolo de evaluación se refiere al presentado por Mª Teresa Gómez del Castillo Segurado de la Escuela de Magisterio Cardenal Spínola, Universidad de Sevilla, llamado Un ejemplo de evaluación de software educativo multimedia, disponible en http://www.ieev.uma.es/edutec97/edu97_c3/2-3-03.htm en el cual menciona un cuestionario de evaluación con 54 ítems donde se pueden señalar 6 opciones: muy bien, bien, regular, mal o muy mal, para valorar cada aspecto, y una sexta opción de No aparece, si aquello que se pretende medir está ausente en un CD en concreto.
El cuestionario mencionado es el siguiente:

CUESTIONARIO DE EVALUACIÓN DE SOFTWARE EDUCATIVO MULTIMEDIA
Mª Teresa Gómez del Castillo Segurado
Sevilla, Abril 1997

NORMAS PARA CONTESTAR
1.- Marque con una X una opción en cada ítem. Si se equivoca tache y marque de nuevo
2.- Si se trata de evaluar un factor que usted cree que no tiene el programa señale No aparece
3.- Si necesita hacer alguna observación en algún ítem, anote el número de la pregunta y escriba lo que quiera al final del cuestionario

1.- ASPECTOS GENERALES

1.1.- Valoración general
1.2.- Se explicita el modelo educativo (bases y criterios desde los que se ha elaborado el material)
1.3.- Elementos motivadores
1.4.- Aplicable a un amplio número de niveles
1.5.- Permite tanto un uso personal como grupal
1.6.- Fácil de usar, no requiere adiestramiento específico
1.7.- Documentación escrita complementaria del programa
1.8.- Aporta instrucciones el programa

2.- ANÁLISIS TÉCNICO
2.1.- Los gráficos son parte relevante del mensaje
2.2.- La imagen es parte relevante del mensaje
2.3.- La palabra en audio es parte relevante del mensaje
2.4.- El texto escrito es parte relevante del mensaje
2.5.- Utiliza percepciones multisensoriales
2.6.- Integra con éxito los diferentes tipos de lenguajes (icónico, verbal...)
2.7.- Buena sincronización imagen-sonido-texto
2.8.- Presenta elementos innecesarios
2.9.- El CD-ROM es el soporte imprescindible para el programa
2.10.- Calidad de gráficos e imágenes
2.11.- Aporta información acerca del proceso recorrido y de los resultados obtenidos
2.12.- Formato estructurado y cerrado que predetermina en gran medida su seguimiento
2.13.- El contenido puede ser modificado por el usuario

3.- ANÁLISIS DE CONTENIDOS
3.1.- ASPECTOS GENERALES
3.1.1.- Relaciona distintas materias de forma globalizada
3.1.2.- Número de áreas que refuerza o trabaja.
3.1.3.- Presenta contenidos conceptuales
3.1.4.- Presenta contenidos procedimentales
3.1.5.- Presenta contenidos actitudinales
3.1.6.- Coherencia con los objetivos y contenidos del DCB
3.1.7.- Se basa en las áreas prescritas por la administración
3.1.8.- Introduce otros aspectos culturales no prescritos
3.1.9.- Se especifican los objetivos de enseñanza en el manual o en el programa
3.1.10.- Contenido cultural actualizado
3.1.11.- Contenido relacionado con el entorno inmediato del alumno
3.1.12.- Promueve transferencia siendo aprendizaje funcional
3.2.- ANÁLISIS DE VALORES
3.2.1.- Favorece el trabajo en equipo
3.2.2.- Desarrolla la creatividad
3.2.3.- Destaca la interculturalidad
3.2.4.- Favorece la igualdad entre los sexos
3.2.5.- Favorece la educación para la salud
3.2.6.- Desarrolla la conciencia ecológica
3.2.7.- Desarrolla contenidos de educación para la paz
3.2.8.- Favorece la socialización
3.2.9.- Favorece la individualización
3.2.10.- Favorece la atención a la diversidad
3.2.11.- Favorece el esfuerzo personal
3.2.12.- Favorece la autoestima y confianza en las propias posibilidades
3.2.13.- Rechaza la discriminación y/o explotación

4.- OTROS ASPECTOS
4.1.- Variedad de actividades
4.2.- Se centran en el aprendizaje memorístico y de recuperación de la información
4.3.- Favorece un aprendizaje activo y significativo
4.4.- Logra motivar al estudiante
4.5.- Es eficaz para el aprendizaje
4.6.- Es beneficioso para el aprendizaje
4.7.- Utilización para la escuela
4.8.- Utilización para el hogar

5.- OBSERVACIONES
Nº de ítem Comentario

Este cuestionario es aplicado a todo el software educativo multimedia con que cuenta la biblioteca de la Universidad de Sevilla. Los resultados obtenidos permiten medir y valorar el software existente y su aplicación en el ámbito docente.


En conclusión, podemos mencionar que básicamente se persiguen los mismos fines en cada uno de los protocolos, sin embargo y para efectos del trabajo final, se considera que los mencionados por el Dr. Gándara y Miguel A. González son los más viables para su aplicación, ya que permiten analizar con detenimiento los limites, ventajas y desventajas del software a evaluar, por lo tanto, uno de ellos será el protocolo a utilizar para la realización del trabajo antes mencionado.

Aplicación de protocolo a sitio web.

El sitio web evaluado es Cecte Centro de Estudios en Comunicación y Tecnología Educativas
http://cecte.ilce.edu.mx/

Elementos a considerar para la evaluación del sitio:

1. Tiempo de descarga.
El tiempo de descarga fue de 6 segundos.

2. Identificación/ubicación/navegación.
La pagina muestra la presentación con iconos e imágenes. Define las ligas en las que se puede acceder, muestra diferentes opciones de ingreso a actividades diversas. Logo en la parte superior izquierda de 738 x 106 pixeles, las ligas son azules si no han sido usadas y moradas cuando ya se utilizaron. Los accesos directos son mencionados, ofrece una pequeña descripción de cada liga que presenta lo que permite al usuario saber la información que puede encontrar en la misma.

3. Clarificar el propósito del sitio y de quien lo publica.
Presenta información clara y concisa sobre la institución, muestra funcionabilidad, define jerarquías en los contenidos. Contiene una liga hacia la información general de la institución (¿Quiénes somos?). Muestra fechas en que son publicados los artículos, noticias y ligas mencionando la opción de contacto del usuario con el autor.

4. Contenidos significativos y escritos para este medio.
Presenta funciones y ligas con poco texto, permite identificar cada una con una breve explicación de lo que el usuario encontrará al ingresar a ella, es clara en sus contenidos, muestra diversidad de colores en la página principal, lo que invita a observar y localizar la información que se requiere. Exhibe desglose de ligas en la parte izquierda, lo que permite que se vaya directo a la liga que se requiere.

5. Facilitar la búsqueda de información.
Aunque no cuenta con un buscador propio, contiene diversas ligas hacia los puntos destacados lo que permite enlazar rápidamente hacia la información que se busca.

6. Primero el contenido, luego la forma –y siempre simplificar.
No contiene sonidos en la página principal, el texto es legible y no contiene fondos de agua ni efectos especiales. Es funcional y práctica.

7. Diseñar para un público universal.
El sitio es atractivo para cualquier tipo de usuario, presenta sitios e información de interés para diversos clases de público.

Referencias .
Gándara, M. (2006) Protocolo de evaluación rápida evaluación rápida de usabilidad en páginas de portada para sitios WWW.