Los test

Gráfico de mosaico 4.1 – Las notas de Español 3

4.1.2.1 La elaboración de los test

Los test de este estudio se han elaborado de forma muy cuidadosa. En cuanto a la validez del contenido, los test deben medir lo que se espera que los alumnos hayan aprendido, siguiendo el currículo nacional, a finales del nivel 4 en cada destreza medida. Puede que un aumento de tareas en los test hubiera conseguido mayor fiabilidad pero por falta de tiempo se ha tenido que reducir a un número manejable. En consecuencia, se han elegido las tareas con gran precaución para obtener la representatividad de la destreza esperada y se ha seleccionado tareas que pudieran terminarse dentro del límite temporal de dos clases al principio y dos al final del curso. En la elaboración de estos test era importante, además de un contenido adecuado, el tiempo limitado. Había que formular bien las instrucciones de cada tarea, recordando el propósito de cada una, ya que las instrucciones imprecisas y confusas pueden impedir que los estudiantes muestren lo que realmente saben. Los test tienen que ser justos y deben ser un reto tanto para el que sabe más como para el que sabe menos, lo cual es imprescindible cuando hay una gran variedad de conocimientos entre los alumnos que realizan los test.

Como se ha dicho anteriormente, los test examinan las tres destrezas de comprensión lectora, producción escrita y comprensión auditiva. La cuarta, la producción oral, no es menos importante, pero exige más tiempo del que este estudio ha permitido. Se examinan las destrezas, y no la gramática, en general, ni el vocabulario, en particular, para poder averiguar el nivel de comprensión y de producción del estudiante, el conocimiento y la aplicación, siguiendo las pautas del enfoque comunicativo. En la producción escrita el estudiante tiene que usar toda la competencia lingüística, desde la construcción de frases, el vocabulario, las estructuras gramaticales hasta diferentes estrategias. La razón es que en la escritura se usa el lenguaje en un contexto y muestra los conocimientos asimilados. Tomamos en cuenta lo que puntualiza Caroline Gipps en el artículo

“Socio-Cultural Aspects of Assessment”:

Isolated facts, if learned, quickly disappear from the memory because they have no meaning and do not fit into the learner’s conceptual map.

Knowledge learned in this way is of limited use because it is difficult for it to be applied, generalized, or retrieved (1999:372).

Examinando la producción del alumno es posible ver el lenguaje usado en un contexto práctico y lo que sabe; usar solamente test de gramática o vocabulario hubiera creado under-construct representation, es decir una falta de información

Entre los participantes de la Escuela de Investigación se elaboró en conjunto una parte del test de comprensión lectora y otra de producción escrita en común²¹. Estos dos test se probaron una vez en un grupo piloto para comprobar si los textos y las preguntas de las instrucciones, la comprensión lectora y los temas de la producción escrita funcionaban correctamente. Una parte del test de comprensión lectora está compuesto por textos con creciente grado de dificultad y con respuestas abiertas. La otra parte del test elaborado por la investigadora se compone de textos algo más complicados para aumentar el número de datos y para tener una base más amplia para evaluar el progreso de los alumnos.

El tema de la producción escrita Mis vacaciones fue elegido por ser familiar para los alumnos y por la posibilidad que proporciona de poder usar un lenguaje más o menos complejo. En las instrucciones se anima a los alumnos a variar el lenguaje y usar diferentes tiempos verbales con especial atención a los tiempos del pasado, sobre todo el pretérito indefinido y el pretérito imperfecto, que se estudian en Español 3 y en Español 4. El uso de estos tiempos del pasado es algo que se considera complicado y difícil para los alumnos suecos y su dominio revela el nivel del alumno. Aquí también se añadió una parte que exige que los alumnos usen el subjuntivo, algo que se podría esperar de ellos al final de Español 4, argumentando sobre la necesidad de tener vacaciones.

La comprensión auditiva de los test se compone de un ejercicio que se utilizó al principio y al final del curso. En el post test se añadió un segundo ejercicio audiovisual.

4.1.2.2 La evaluación de los test

”The strength of a chain depends on its weakest link” (Crooks, Kane & Cohen, 1996: 280). En el artículo “Threats to the valid use of assessments”, Crooks et al. presentan un modelo con ocho eslabones que se ha usado en este estudio para validar el proceso y las diferentes partes de una evaluación (Crooks et al., 1996)²². Para estar seguro de la validez de los datos se ha comparado con las

21La Escuela de Investigación de la Didáctica del Español de la Universidad de Lund, iniciada por la catedrática Inger Enkvist, está compuesta de cinco profesores de español de bachillerato que se dedican a la investigación didáctica durante 2012-2014: Henrietta Carolsson Godolakis, Marcelo Cea, Sandra Håkansson, Fernando López y Anna Ponnert.

22El modelo de Crooks et al. para la validez de test se constituye por los siguientes ocho pasos:

administration, scoring, aggregation, generalization, extrapolation, evaluation, decision and impact.

llamadas pruebas nacionales de apoyo que han realizado todos los grupos, precisamente al final de Español 4. Las pruebas nacionales de apoyo miden las diferentes destrezas, al igual que el pre y el post test de esta investigación²³.

Para la evaluación de la primera parte de la comprensión lectora se ha elaborado una matriz junto con una colega de la Escuela de Investigación. La clave para la segunda parte de la comprensión lectora y para la comprensión auditiva fue elaborada por la investigadora. La evaluación de la producción escrita es muy compleja, y en este caso se ha hecho en colaboración con la misma colega de la Escuela de investigación. Para elaborar los criterios de evaluación se ha explorado lo que se usa en los estudios de gran escala como en los exámenes TOEFL y otros ejemplos mencionados por ejemplo en Assessing writing de Weigle (2002). Hemos partido de lo que queremos medir, o sea, el nivel de conocimiento y el desarrollo lingüístico de español de unos grupos de alumnos del nivel 4 al principio y al final del curso. Para obtener unos criterios adecuados hemos construido una escala de nueve niveles. La evaluación ha sido holística y todas las redacciones han sido leídas como mínimo dos veces por las dos investigadoras.

Para asegurar la validez de los datos se han tomado en cuenta las experiencias de otros investigadores como Gipps (1999), Kvale y Brinkmann (2009) y Wolming (1998). Aún así, en la evaluación siempre puede haber errores en la medición de los resultados y hay que interpretar los resultados desde esta perspectiva.