Enade não diz se curso é bom, só se é melhor ou pior que outro; entenda

Conceito de 1 a 5 é referente à comparação aos demais cursos avaliados. Para especialista, nota não é 'boa' ou 'ruim', mas 'melhor' ou 'pior'.

A divulgação das notas do Enade nesta semana seguiu o roteiro dos anos anteriores, com destaque para cursos que ficaram "abaixo" ou "acima" da média, como se os conceitos de 1 a 5 fossem uma nota de prova, em valores absolutos. Mas especialistas alertam que a nota é relativa. Ou seja, não se pode concluir automaticamente que um curso é bom ou ruim, mas sim que ele foi melhor ou pior que um curso igual oferecido por outra instituição.

Os estudantes dos cursos avaliados fazem duas provas: a de formação geral (igual para todos os cursos), que vale 25% da nota final, e a de componente específico (feita para cada curso), com valor de 75%. Ambas as provas têm nota de 0 a 100, mas, na hora de calcular o índice Enade, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) transforma as "notas brutas médias" que cada curso recebeu em "notas padronizadas". Segundo a nota técnica do instituto a respeito do cálculo do Enade, nesse processo as notas brutas, consideradas "medidas originais", passam por uma equação "para que todas as medidas originais, referentes ao Conceito Enade, sejam padronizadas e transformadas em notas entre 0 e 5".

O Ministério da Educação considera que os cursos avaliados no conceito 3 configuram a média nacional. Porém, um curso com conceito 1 ou 2 não necessariamente significa baixa qualidade ou rendimento ruim. "Teoricamente o que se pode dizer, por exemplo, é que um curso 3 agrega mais valor do que um curso 2", explica a assessoria de imprensa do Inep.

A edição de 2012 do Enade teve a participação de 7.228 cursos de 1.646 instituições de ensino superior em 17 áreas: administração, ciências contábeis, ciências econômicas, design, direito, jornalismo, psicologia, publicidade e propaganda, relações internacionais, secretariado executivo, tecnologia em gestão comercial, tecnologia em gestão financeira, tecnologia em gestão de recursos humanos, tecnologia em logística, tecnologia em marketing, tecnologia em processos gerenciais, turismo.

Na planilha onde foram apresentados os dados, os 7.228 foram reunidos em 6.306 unidades de cálculo. Segundo o Inep, isso se deve porque cursos iguais da mesma instituição oferecidos na mesma cidade são considerados uma só unidade de cálculo.

Ressalva

A especialista em educação Paula Louzano, da USP, explica que o fato de ser relativo não torna o Enade bom ou ruim, mas que o MEC deve anunciar os dados fazendo a ressalva de que o conceito não reflete um padrão ou critério de qualidade. "Para decidir se um curso é excelente, por exemplo, primeiro você tem que definir o que é excelente, e então fazer uma nota de corte nesse critério", afirma. O Enade, porém, não tem nota de corte: as notas dos cursos são padronizadas em uma curva normal, onde a nota média é definida como 3 e os desvios-padrão para cima recebem os conceitos 4 ou 5. Para baixo, ficam com Enade 1 ou 2.

Segundo ela, essa escolha não invalida o exame, mas seu resultado não pode ser acompanhado de análises como "melhora ou piora" sem que se apresente a nota média, para não confundir as pessoas. Isso não é feito pelo governo. "Para o ministro [Aloizio Mercadante] falar que melhorou, a média tem que ter melhorado, e o grau de dificuldade da prova tem que ser o mesmo." Na segunda-feira (7), ao anunciar o resultado do Enade, Mercadante afirmou que "houve um crescimento em direção à qualidade".

Questionada pelo G1 sobre o motivo pelo qual a nota média dos cursos não é divulgada, a assessoria de imprensa do Inep afirma que "o objetivo do Sinaes [Sistema Nacional de Avaliação da Educação Superior] é avaliar o curso, não o estudante".

O Inep explica que o Enade é um "conceito relativo" e afirma que a metodologia usada na avaliação não permite, por exemplo, que o Brasil um dia tenha 0% de seus cursos com Enade 1 ou 2."Sempre teremos cursos com conceitos 1, 2, 3, 4 e 5", afirma o órgão, por meio de sua assessoria de imprensa.

"Se pegar todas as edições do Enade, é sempre o mesmo resultado. O que muda é a ordem: alguém virou 2 e alguém virou 1", diz Paula.

Especialista em avaliação do ensino superior e avaliador do MEC, o professor Luiz Henrique Amaral, pró-reitor de graduação da Universidade Cruzeiro do Sul, afirma que o Enade não deve ser divulgado sem a companhia dos outros indicadores que compõem a avaliação dos cursos de ensino superior, como o Indicador de Diferença de Desempenho (IDD) e o Conceito Preliminar de Curso (CPC). "O Enade não mede as fragilidades e as diferenças que os alunos carregam na própria formação. A diferença de desempenho que se expressa nos cursos não pode ser explicada só pelo Enade, elas carregam diferenças pré-existentes na formação", afirma.

Esse foi um dos motivos para o MEC ter criado o IDD, que inclui o perfil sócio-econômico do estudante, além de sua nota no Exame Nacional do Ensino Médio (Enem) no momento em que ele ingressa no curso. Somados à nota do Enade, esses critérios permitem avaliar o quanto o curso agregou à formação do estudante, explica Amaral.

Comparando médias

Para exemplificar a ressalva de que não é possível determinar a qualidade de um curso apenas pelo conceito Enade, Paula calculou as notas brutas da prova de componente específico de duas carreiras: administração e jornalismo. Segundo ela, os cursos de administração considerados "na média" do Enade, com conceito 3, tiveram média de acerto de 33% das questões.

Um curso de administração com Enade 5 teve 45% de acerto. Isso acontece, segundo ela, "porque todo mundo vai mal, é um curso de desempenho baixo". "Qual é o número de acertos para o curso ser 1? 23% de acerto."

Já na carreira de jornalismo, a média do Enade foi mais alta. Por isso, um curso com média de 30% de acerto ficou com o conceito 1. Apesar de ter tido a mesma quantidade de acertos que um curso 3 em administração, esse curso de jornalismo foi pior do que a média nacional na sua área. Nesse caso, segundo Paula, a média informal de cursos de jornalismo com Enade 3 foi de 43%. Para um curso dessa área chegar ao conceito 5 no Enade, foi preciso ter média de acerto de 63%.

O mito da nota máxima

Sem a devida comparação, é comum que haja confusão e que se afirme que os cursos com Enade 1 ou 2 sejam automaticamente ruins. Segundo Paula, existe chance de que eles não sejam bons, e é correto que, se não pode vistoriar todos os cursos, o MEC decida prestar mais atenção nos que foram piores no Enade. Porém, sem a informação sobre a nota média dos cursos, não é possível considerar automaticamente que um curso com conceito 3 não necessite de ajuste.

Da mesma forma, o conceito 5 muitas vezes vira sinônimo de "nota máxima do Enade", e o curso com esse conceito acaba sendo considerado "excelente". Na realidade, porém, nenhum dos milhares de cursos avaliados em 2012 teve a nota bruta máxima possível na prova (100).

Segundo a planilha divulgada pelo Inep, a nota bruta mais alta registrada no Enade 2012 foi de 69,00, alcançada pelo curso de administração de uma instituição privada de São Paulo na prova de formação geral. O indicador do Enade considerou essa a nota máxima do cálculo, apesar de o aproveitamento real ter ficado abaixo de 70%.

Considerando apenas a prova de formação geral, que é igual para todos os alunos do Enade, entre os 6.306 cursos incluídos na planilha divulgada pelo MEC, 5.526 (ou 87,6%) tiveram nota abaixo de 50, ou seja seu aproveitamento foi de menos da metade da prova.

Outro exemplo citado pela especialista é o Instituto Tecnológico de Aeronáutica (ITA), referência de qualidade no ensino de engenharia. "Se só existissem cursos de padrão ITA, por essa metodologia alguém sempre ia ficar com conceito 1. É um desserviço você divulgar o Enade conceito, e confundir isso com um padrão mínimo de qualidade, quando esse padrão não está estabelecido. E não divulgar junto outros indicadores mais completos, que é o caso do IDD e do CPC."