Desculpem o transtorno, mas precisamos falar sobre o IADIs Publicada em 19/06/2020 206 Visualizações

Recentemente respondi a um questionário da Comissão de Avaliação da UFSM acerca da percepção dos docentes sobre o Índice de Avaliação Discente (IADis), que supostamente avalia o desempenho docente a partir da percepção dos alunos, numa boa iniciativa daquela Comissão para ouvir o que temos a dizer. No item comentários e sugestões, fiz uma série de críticas a este processo de avaliação, que acho conveniente dividir com a comunidade acadêmica.

Não sou afeito a avaliações objetivas e quantitativas de atividades complexas como a docência. Apesar do reducionismo ser evidente, pois estas avaliações jamais conseguem captar a complexidade e o contexto do fenômeno ensino-aprendizagem, os números que elas produzem, embora na maioria das vezes não representem algo realmente “verdadeiro” sobre ele, criam “efeitos de verdade” difíceis de desfazer. Além disso, critérios de avaliação objetivos e explícitos sempre funcionam como regras ou guiões de conduta para os avaliados, estimulando uma racionalidade meramente formal e instrumental que, como se sabe, facilmente conduz a comportamentos ritualistas, formalistas e burocráticos. Portanto, quando envolve o comportamento humano, a avaliação não é neutra, ela produz o próprio fenômeno que irá avaliar.

Por isso, mesmo convidado a integrar comissões de avaliação na UFSM, tenho resistido em participar, pois não acredito neste tipo de avaliação. Ao contrário, acho ele injusto e danoso.

Pois o IADIs segue exatamente esta lógica, a da falsa objetividade quantitativa.

Um dos indícios que tenho observado que sugerem que o IADIs se desvia da realidade, inclusive por ter participado do NDE da Agronomia em 2016, é que os seus resultados frequentemente se distanciam de outras formas de avaliação feitas pelos cursos, algumas contínuas e outras por ocasião das reformas curriculares, mas geralmente mais qualitativas e participativas. Esta incoerência de resultados, sabendo da forma como alguns cursos levantam os seus problemas e a forma como o IADIs está estruturado, me leva a crer que este segundo não é uma boa nem justa medida de avaliação docente.

Assim, para dar certa clareza e sistematização aos meus comentários, vou pontuar abaixo algumas das questões que considero mais críticas na avaliação que produz o IADIs.

1) A primeira e a meu ver mais grave deficiência do IADIs é que a avaliação não cumpre nenhum critério de validação científica. Sua amostra não é representativa, nem do ponto de vista da aleatoriedade, nem do tamanho (eu, particularmente, tive uma avaliação com 4 avaliadores e outra com 32, por exemplo, para turmas do mesmo tamanho). Não sendo a amostra representativa, os resultados não podem ser generalizados, nem para as disciplinas nem para o desempenho geral dos docentes. Então, do ponto de vista da validade, ele só serviria como conhecimento da percepção daqueles respondentes, sem que se possa fazer nenhuma inferência para a disciplina ou para o professor. Mas, como os respondentes não são conhecidos tampouco foram escolhidos intencionalmente como “informantes qualificados”, como ocorre nos estudos de casos, também sequer para este fim ele é válido.

Ora, mesmo um estudante iniciante saberia que uma pesquisa assim não tem validade como conhecimento, e um “conhecimento que não conhece” não serve para nada, nem pode ter qualquer uso legítimo. Só pode produzir preconceitos e “pré-juízos” sobre a realidade.

A questão dramática aqui é, se a Universidade não exigir um rigor científico minimamente aceitável quando produz conhecimentos sobre si mesma, sobre suas atividades e as atividades de seus membros, e o mesmo rigor ético quando os utiliza ou divulga, como poderá exigi-los de seus alunos quando estes gerarem e transmitirem conhecimentos sobre o mundo em que vivem e atuam, seja ainda como estudantes ou depois, como profissionais?

Portanto, acho que a Universidade dá um péssimo exemplo sobre a geração e uso do conhecimento por meio do IADIs.

2) Segundo, observando o questionário, pode-se concluir que em muitos casos o IADIs não mede/expressa propriamente a "avaliação dos discentes" sobre o professor. Na verdade, o juízo de valor que compõe a “nota” já está contido no próprio questionário que eles respondem, por meio das questões elaboradas e dos pesos atribuídos às respostas, sendo que o aluno é um mero informante. Por exemplo, quando o questionário pergunta se o "O professor estimula a utilização de materiais complementares", ou se ele "apresenta o programa da disciplina”, e atribui uma nota maior aos docentes que fazem isto, quem está supondo que isto qualificaria a aula e a atividade docente não são os alunos respondentes, e sim os avaliadores que elaboraram o questionário. Os alunos apenas informam estes dados aos verdadeiros avaliadores do professor, que são as comissões de avaliação, formadas por pessoas que não estiveram na sala de aula nem presenciaram a atuação do professor.

Então, não se trata propriamente de uma "avaliação discente".

E a grande questão é: como podem pessoas que não frequentaram aquele espaço de sala de aula e não participaram daquele processo de ensino e aprendizagem, achar possível avaliar docentes e disciplinas a partir de 13 questões fechadas com 5 alternativas cada uma?

É a falácia da objetividade produzindo “efeitos de verdade” sobre algo que não é nem verdadeiro nem falso, simplesmente porque não pode ser conhecido desta forma.

O que o questionário faz é levantar - mesmo assim de forma imprecisa e não representativa, e algumas vezes até contraditória - algumas poucas informações sobre a “sala de aula”, mas daí a chamar isto de avaliação discente e construir a partir delas um índice de rankeamento de docentes e suas disciplinas há uma enorme e intransponível distância.

3) O terceiro ponto crítico refere-se à forma de parametrização (quantificação) dos dados qualitativos utilizada. O questionário faz uso de uma Escala de Likert, com escalares do tipo 0 – 2,5 – 5 – 7,5 – 10, algo que jamais deveria ser utilizado como parâmetro para estabelecer juízos de valor, como a atribuição de notas por exemplo (e se a escala vai de 0 a 10 não há como não associá-la a uma atribuição de nota). Por quê? Ora, porque a relação entre os dados qualitativos que os alunos informam e os valores numéricos que eles se tornam (assim como o próprio intervalo de valor de 2,5 pontos entre uma e outra alternativa) é meramente arbitrária. Se fossem 7 ou 3 as alternativas de resposta, por exemplo, o intervalo seria outro e as notas seriam outras.

Por esta razão, em função da arbitrariedade deste tipo de escala para estabelecer juízos de valor, casualmente ela acaba desfavorecendo o professor. Por exemplo, atribuir um valor 5 (correspondente a 50% de aproveitamento sobre a escala de 0 a 10) para a resposta “não concordo nem discordo”, que representa a omissão do aluno em responder ou a sua indiferença em relação à pergunta, é penalizar o professor por um problema que é do aluno. E como são muitos os alunos que acabam optando por esta alternativa, seja pela dificuldade de formar uma opinião ou por negligência, o viés de baixa na avaliação se torna grave. Mas numa escala de Likert, que é composta por um número ímpar de alternativas, o valor do meio sempre deveria representar a indiferença entre os dois polos, portanto, não tem como corrigir este problema usando uma escala de Likert, que como eu disse, não pode ser base para formar juízos de valor. Este tipo de escala serve apenas para parametrizar dados qualitativos para fins de cálculo, para depois, na interpretação, voltar às “qualidades” que eles representam.

4) Em quarto lugar, na minha opinião o IADIs reproduz um problema de toda a avaliação objetiva que tenha implicações para os avaliados e que se torne rotineira e conhecida: ele estimula a racionalidade formal dos docentes, ou seja, uma postura formalista, de buscar mais atender aos critérios de avaliação do que qualificar suas aulas, o que pode acabar por banalizar o processo de ensino-aprendizagem.

Isto ocorre porque em avaliações objetivas e rotineiras que implicam sanções ou prêmios para os avaliados, os critérios de avaliação funcionam do mesmo modo que as regras de funções e de cargos nas burocracias: eles se tornam normas de conduta.

A rigor, os docentes podem usar os critérios de avaliação para se planejarem formalmente para que sejam bem avaliados pelos alunos, sem necessariamente se tornarem melhores professores nem qualificarem suas disciplinas. Por exemplo, se ele apresentar formalmente o programa da disciplina e cumpri-lo, não importando como; se estabelecer formalmente a relação entre sua disciplina e outras do curso; cumprir formalmente o horário; mostrar-se disponível aos alunos; utilizar eventualmente os recursos disponíveis (quadro, data show, etc.); estimular formalmente os alunos a usarem materiais complementares; fizer provas fáceis (e compatíveis com o conteúdo dado); discutir as provas após entrega-las; ouvir formalmente os alunos (críticas, sugestões); e apresentar uma postura formal/respeitosa em sala de aula, ele estará cumprindo 11 dos 13 critérios do questionário, podendo atingir uma nota 8,5. Formalmente! Mas veja bem, nem todos estes critérios formais juntos o tornam um bom professor, tampouco respondem sobre a qualidade da disciplina. Ele pode ter 85% de desempenho sendo um péssimo professor lecionando uma péssima disciplina.

Portando, um bom resultado na avaliação dependerá mais do professor se planejar para isto seguindo os critérios de avaliação, e se arriscar pouco em relação a expedientes educativos novos que possam não ser bem recebidos pelos alunos, do que propriamente de melhorar suas aulas e seu desempenho docente.

Como bem ensina a literatura sobre burocracia, a racionalidade formal é boa para padronizar, normalizar e estabilizar aquilo que já está instituído, mas péssima para se inovar, melhorar, mudar e se adaptar à contextos novos. Portanto, espere-se pouca transformação real na qualidade do ensino a partir do IADIs, no máximo se captará aqueles desvios mais evidentes nas práticas docentes, mas ao custo de uma burocratização e banalização de todo o resto.

Assim, por não atender a critérios mínimos de validação de conhecimentos; por ser extremamente reducionista ao imaginar que se pode avaliar a complexidade e o contexto da atividade docente com 13 questões objetivas de 5 alternativas cada; por não representar verdadeiramente uma avaliação dos discentes e sim da própria Comissão que elaborou o questionário e as escalas de medida; por usar uma escala arbitrária e inadequada para estabelecer juízos de valor; por criar “efeitos de verdade” sobre algo que não é nem verdadeiro nem falso, simplesmente porque não se conhece; e pelo risco de levar à burocratização e à banalização das práticas de ensino, não creio que o IADIs seja um bom instrumento de avaliação institucional. Ao contrário, o vejo como reducionista, injusto e perigoso para as práticas docentes na Universidade.

Então, desculpem o transtorno, mas ainda precisamos falar sobre o IADIs.