Avaliar leitura no 1.º ciclo do ensino básico: construção e validação do TCL (Teste de Compreensão Leitora)

Tese de doutoramento em Psicologia (area de especialização em Psicologia da Educação)
Ler é, por definição, extrair e construir sentido do que é lido. Por conseguinte, é de
extrema importância que os alunos desenvolvam adequadamente esta competência desde os
primeiros anos de escolaridade. No entanto, nem sempre os alunos a adquirem devidamente
ao longo do processo de ensino. A avaliação da compreensão em leitura é crucial para
identificar e clarificar os problemas dos alunos nesta área, apoiar o delineamento de
programas de intervenção/ensino adequados e monitorizar as mudanças ocorridas ao longo do
tempo. No entanto, em Portugal a construção de instrumentos de avaliação da compreensão
encontra-se ainda numa fase embrionária, com a maior parte das provas construídas para este
efeito a apresentarem lacunas significativas em termos de racional teórico e de procedimentos
de validação.
Neste trabalho elegeu-se como objetivo central a construção de um teste de avaliação
da compreensão leitora dirigido a alunos dos três últimos anos do 1.º ciclo do Ensino Básico.
O processo de construção do TCL – Teste de Compreensão Leitora culminou com a criação
de três versões equalizadas verticalmente, destinadas, respetivamente, a alunos do 2.º, 3.º e 4.º
anos de escolaridade. A elaboração dos itens teve por referencial teórico a taxonomia de
compreensão leitora de Català, Català, Molina e Monclús (2001). Cada versão é constituída
por 30 itens de escolha múltipla com quatro alternativas de resposta, distribuídos pelas
categorias de compreensão literal, compreensão inferencial, compreensão crítica e
reorganização. O texto que serve de base ao teste é inédito e integra texto narrativo,
informativo, prescritivo e poemas.
A primeira pool de itens incluiu 130 perguntas distribuídas pelos quatro níveis de
compreensão (literal, inferencial, crítica e reorganização da informação). Estas perguntas
foram sujeitas a uma avaliação por peritos que conduziu à eliminação de 55 e à reformulação
de 20, resultando um conjunto de 75 itens.
O processo de construção e validação implicou a realização de cinco estudos. No
estudo 1 recorreu-se a uma amostra de 370 alunos do 4.º ano de escolaridade, com o objetivo
de avaliar a adequação do material de teste, a clareza das instruções e o funcionamento dos 75
itens. Utilizou-se um procedimento de matrix sampling. Os resultados deste estudo
conduziram à reformulação de alternativas em 19 itens e à inclusão de um item-exemplo nas
instruções do teste. O estudo 2 incluiu uma amostra de 247 alunos do 2.º ano, 300 do 3.º ano e 296 do 4.º ano. Foi dividido em duas partes, de acordo com os objetivos subjacentes: i)
análise dos itens e ii) construção e equalização de versões por ano de escolaridade. Todas as
análises do estudo 2 foram realizadas, por ano de escolaridade, no quadro do modelo Rasch
para itens dicotómicos. Os resultados indicaram valores de Infit e Outfit ajustados. Tomando
em conta os parâmetros de dificuldade dos itens calculados nesta primeira parte,
selecionaram-se itens de ancoragem e itens únicos a integrar cada uma das versões. A cada
foram atribuídos 30 itens. Cada versão foi, então, sujeita a um processo de equalização
vertical, recorrendo-se ao método de calibração com parâmetros de itens fixos. Os indicadores
de fidelidade das versões – Kuder-Richardson fórmula 20, Person Separation Reliability e
Item Separation Reliability – variaram entre 0.70 e 0.98, podendo ser considerados
adequados. No estudo 3 foi testada a validade de critério de cada uma das versões construídas.
Os resultados obtidos apontaram para correlações moderadas e estatisticamente significativas
entre as três versões – TCL-2, TCL-3 e TCL-4 – com critérios externos de avaliação da
leitura. As três mostraram-se preditoras das classificações em leitura efetuadas pelos
professores e o TCL-3 e TCL-4 revelaram-se preditores dos resultados na primeira parte das
Provas de Aferição de Língua Portuguesa. No estudo 4 testou-se a validade de construto das
três versões, com recurso à análise fatorial confirmatória. Os resultados permitiram confirmar
a hipótese de unidimensionalidade. No último estudo foram elaboradas normas para as três
versões. Optou-se por incluir dois tipos de normas: pontuações estandardizadas e notas
percentílicas.
Para finalizar, são apresentadas algumas considerações sobre a construção do teste,
sobre a relevância social e científica do trabalho realizado, sobre a importância da utilização
da Teoria de Resposta ao Item na construção de testes de avaliação da compreensão leitora e
sobre o enquadramento do TCL no quadro da avaliação psicológica. Partindo dos resultados e
das opções tomadas ao longo dos estudos de construção e validação do TCL são, ainda,
referidas limitações e apontadas linhas orientadoras para estudos futuros.
Reading is, by definition, to extract and construct meaning from what’s being read. It
is very important that students develop properly this ability since early school years.
Nonetheless, students don’t always acquire it properly along the educational process. Reading
comprehension assessment is crucial to identify and clarify student’s problems in this ability,
to support the development of adequate intervention programs and teaching, and to evaluate
changes along the time. In Portugal, however, the construction of reading comprehension tests
is undeveloped, with most of the existing tests lacking theoretical support and validation
studies.
In this work, the main purpose was to construct a reading comprehension test to assess
elementary school students. The construction of the test (TCL-Teste de Compreensão Leitora)
ended with the establishment of three vertically equated forms to assess students from the 2nd,
3rd and 4th grades, respectively. Items’ construction had as theoretical reference the reading
comprehension taxonomy outlined by Català, Català, Molina and Monclús (2001). Each form
has 30 multiple-choice items with four options. Each item assesses literal comprehension,
inferential comprehension, reorganization or critical comprehension. The text which served as
the test base is unpublished and integrates narrative, expositive, prescriptive text and poems.
The first pool of items included 130 questions distributed by the four reading
comprehension levels (literal, inferential, critical and reorganization of information). These
questions were evaluated by experts. This evaluation led to the suppression of 55 questions
and to the reformulation of another 20. Consequently, it was obtained a 75 items pool.
The construction and validation process was conducted in five studies. In study 1, a
sample of 370 students was assessed with the purpose of evaluate if the test material was
appropriate, if the instructions were clear and if the items had good psychometric
characteristics. It was used a matrix sampling procedure. Results led to the reformulation of
19 items and to the conversion of one item into an example item. Study 2 included one sample
of 247 second grade students, 300 third grade students and 296 fourth grade students. This
study was divided in two parts, accordingly with the underlying goals: i) item analysis; and ii)
construction and equalization of different test forms for each one of the school grades. In
study 2, all the analyses were computed using Rasch model. Results showed adequate Infit
and Outfit values. Taking into consideration the items’ difficulty computed into this first part, there were selected anchor and unique items to each one of the forms. Were assigned thirty
items to each form. Each form was then vertically equated, using one fixed item parameter
calibration method. The reliability indexes for the three test forms – Kuder-Richardson
formula 20, Person Separation Reliability and Item Separation Reliability – ranged between
0.70 and 0.98. This indicates adequate reliability. In study 3, criterion validity of the three
forms was studied. Results showed moderate and statistically significant correlations between
the achievement in the three forms - TCL-2, TCL-3 and TCL-4 - and the results of external
criteria of reading assessment. The three forms also proved to be statistically significant
predictors of the students’ reading levels assessed by teachers. TCL-3 and TCL-4 proved to
be predictors of the students’ achievement in a national reading assessment. In study 4,
construct validity of the three forms was tested, using confirmatory factorial analysis. Results
provided support for the unidimensionality hypothesis. In the last of the five studies, were
computed norms for each of the three forms. There were included two types of norms:
standardized scores and percentiles.
To conclude, are presented some considerations about the test construction, about the
social and scientific significance of this work, about the importance of the Item Response
Theory in the construction of reading comprehension tests and about the suitability of the
TCL in psychological assessment. Taking into account the five studies’ results and the options
made along the all process of construction and validation of the test, are highlighted some
limitations and pointed some guidelines for future research.