jusbrasil.com.br
30 de Outubro de 2020
2º Grau
Entre no Jusbrasil para imprimir o conteúdo do Jusbrasil

Acesse: https://www.jusbrasil.com.br/cadastro

Tribunal de Contas da União
há 2 anos
Detalhes da Jurisprudência
Processo
RA 01047120170
Órgão Julgador
Plenário
Partes
3. Interessado: Congresso Nacional (vinculador)., Ministério da Educação.
Julgamento
23 de Maio de 2018
Relator
ANA ARRAES
Documentos anexos
Inteiro TeorTCU_RA_01047120170_4ffaa.rtf
Inteiro TeorTCU_RA_01047120170_2eb49.pdf
Entre no Jusbrasil para imprimir o conteúdo do Jusbrasil

Acesse: https://www.jusbrasil.com.br/cadastro

Relatório

Adoto como relatório a instrução da equipe de auditoria da Secretaria de Controle Externo da Educação, da Cultura e do Desporto - SecexEducação, acolhida por seus dirigentes:

“Cuidam os autos de relatório de auditoria operacional com o objetivo de avaliar a atuação do MEC nos processos de regulação, supervisão e avaliação da educação superior, tendo como uma de suas referências a estratégia 12.19 do Plano Nacional de Educação (PNE) , qual seja:

‘reestruturar com ênfase na melhoria de prazos e qualidade da decisão, no prazo de 2 (dois) anos, os procedimentos adotados na área de avaliação, regulação e supervisão, em relação aos processos de autorização de cursos e instituições, de reconhecimento ou renovação de reconhecimento de cursos superiores e de credenciamento ou recredenciamento de instituições, no âmbito do sistema federal de ensino’.

Em relação à estratégia 12.19, a fiscalização teve como foco principal a reestruturação dos processos de avaliação da educação superior, em especial no que diz respeito à forma de cálculo dos indicadores.

A auditoria foi realizada pela Secretaria de Controle Externo da Educação, da Cultura e do Desporto (SecexEducação) , conforme providências definidas no TC 021.230/2016-1, no qual foi acolhida a proposta no sentido de conhecimento de Solicitação do Congresso Nacional, consubstanciada na Proposta de Fiscalização e Controle nº 64/2015, da Comissão de Defesa do Consumidor da Câmara dos Deputados (peças 1 a 12, TC 021.230/2016-1) .

Os exames da auditoria foram realizados na Secretaria de Regulação e Supervisão da Educação Superior (Seres/MEC) e no Inep, no período compreendido entre 28/4/2016 e 27/10/2017 e abrangeu o período de competência de 2012 a 2017.

Na presente fiscalização, optou-se por restringir o objeto à regulação e avaliação de cursos superiores e aos procedimentos de registros de diplomas. Os procedimentos relativos à regulação, avaliação e supervisão das Instituições de Ensino Superior (IES) serão objeto de proposta de fiscalização para atuações futuras do Tribunal.

II. Introdução

II.1. Antecedentes

A presente fiscalização originou-se de solicitação da Comissão de Defesa do Consumidor para avaliar a atuação do MEC nos procedimentos de fiscalização dos cursos de Direito. Conforme consignado na Proposta de Fiscalização e Controle 64/2015 (PFC 64/2015) , o foco inicial da proposta de fiscalização da auditoria foi a regulação dos os cursos de graduação em Direito. Na proposta em comento, discorre-se que:

‘Não obstante todo o aparato legislativo para que o Ministério (MEC) exerça a fiscalização sobre o funcionamento das Faculdades de Direito, os estudantes têm visto seus direitos de consumidores prejudicados diante da péssima qualidade de muitas instituições. Basta, para tanto, verificar o baixíssimo índice de aprovação nos Exames de Ordem da OAB para concluir que a formação de Bacharéis em Direito está comprometida.’

Na fase de planejamento do presente trabalho, no entanto, a partir dos exames iniciais por parte da equipe, vislumbrou-se a possibilidade e oportunidade de estender o objeto da auditoria a todos os cursos de graduação, tratando especificamente o curso de Direito numa questão de auditoria à parte.

II.2. Visão Geral do Objeto

II.2.1. Breve histórico da avaliação da educação superior no país

De acordo com o art. 205, da Constituição Federal, a educação visa o pleno desenvolvimento da pessoa, seu preparo para o exercício da cidadania e sua qualificação para o trabalho. No art. 206, inciso VII, a garantia do padrão de qualidade é um princípio com base no qual o ensino será ministrado. Já no art. 209, caput e inciso II, é previsto que o ensino é livre à iniciativa privada, atendidas as condições de autorização e avaliação de qualidade pelo Poder Público.

Dos comandos constitucionais acima, vislumbra-se o objetivo da educação e a necessidade de garantia de qualidade, além das prerrogativas do Estado no que diz respeito à regulação e avaliação do ensino e, consequentemente, das entidades que o ministram.

A Lei de Diretrizes e Bases da Educação Nacional (LDB) , Lei 9.394/1996, por sua vez, dispõe, em seu art. 9º, inciso VIII, a responsabilidade da União em assegurar o processo nacional de avaliação das IES (Instituições de Educação Superior) . A partir desse marco legal, instrumentos foram criados para avaliar a qualidade da educação superior brasileira.

O Exame Nacional de Cursos (ENC) , conhecido como ‘Provão’, que existiu de 1996 a 2003, foi o primeiro instrumento objetivo de avaliação da educação superior no Brasil. Considerado como um indicador de eficácia da IES, por meio de uma prova de conhecimentos, de caráter obrigatório a todos os concluintes dos cursos de graduação, como condição ao recebimento do diploma. A IES recebia um conceito que variava de ‘A’ a ‘E’, sendo ‘A’ o conceito máximo e ‘E’ o mínimo.

De acordo com documento da Unesco, constante no site do MEC, o ENC foi criticado por duas razões principais:

‘a) A transformação de escala contínua em discreta (conceitos) por área de conhecimento não permitia a comparabilidade em termos absolutos entre os cursos avaliados, por exemplo, em certa área o conceito era A, gerado a partir de uma nota inferior a outro curso também A, mas de outra área, ou seja, no conjunto, uma IES poderia ser A no geral, com cursos cujas notas contínuas continham variações que colocavam em dúvida o significado do conceito A, inclusive dificultando a comparabilidade.

b) os resultados do Provão começaram a ser utilizados como rankings, com caráter mais focada à atração de matrículas do que efetivamente à melhora sistêmica das políticas e das práticas das IES. ‘

Em 2003, em virtude das críticas e abrangência do ENC, foi criada a Comissão Especial de Avaliação (CEA) , que elaborou o relatório ‘Sinaes, base para uma nova proposta de avaliação da educação superior (Brasil, 2004) ‘. A proposta compreendia a necessidade de que as IES fossem objeto de um ciclo completo de avaliação, institucional, de cursos e de desempenho dos estudantes.

Em 2004, o processo avaliativo assumiu nova configuração com a criação do Sistema Nacional de Avaliação da Educação Superior (Sinaes) , instituído pela Lei 10.861/2004, com o objetivo de assegurar processo nacional de avaliação das instituições de educação superior, dos cursos de graduação e do desempenho acadêmico de seus estudantes, conforme disposto em seu art. 1º.

Entre as finalidades do Sinaes estão: a melhoria da qualidade da educação superior, a orientação da expansão de sua oferta, o aumento permanente da sua eficácia institucional e de sua efetividade acadêmica e social, conforme disposto no parágrafo primeiro, art. 1º, da Lei em comento.

As principais normas relacionadas à regulação e avaliação da educação superior encontram-se no Apêndice 1 deste relatório.

II.2.2. Evolução da educação superior de 1996 até os dias atuais

Nos últimos vinte anos, o número de IES no Brasil apresentou crescimento acentuado. Esse crescimento foi acompanhado do aumento do número de cursos de graduação e do número de matrículas, conforme se observa nos gráficos 1, 2 e 3.

Gráfico 1: Evolução do Número de IES no período de 1995 a 2016

Fonte: Sinopses da Educação Superior (Inep/MEC)

Gráfico 2: Evolução do número de cursos de graduação no período de 1995 a 2016

Fonte: Sinopses da Educação Superior (Inep/MEC)

Gráfico 3: Evolução do número de matrículas da Educação Superior

- 1995 a 2016

Fonte: Sinopses da Educação Superior (Inep/MEC)

Conforme se observa, os gráficos, que representam os crescimentos no número IES, cursos de graduação e matrículas na educação superior, apresentam formato semelhante. Em todos os casos, o crescimento ocorreu de forma acentuada no período, principalmente a partir do biênio 1997/1998.

O número de IES passou de 894 no ano de 1995 para 2.407 em 2016, representando um crescimento aproximado de 170% (Gráfico 1) . No número de cursos, o crescimento foi ainda maior, passando de 6.252 cursos para 34.366 no período, o que representa acréscimo de 450% (Gráfico 2) . Nas matrículas na educação superior, o número saltou de pouco mais de 1,7 milhão de matrículas para mais de 8 milhões, representando um crescimento de 357% (Gráfico 3) .

A partir dos gráficos 1, 2 e 3, percebe-se também que os aumentos se deram basicamente em virtude do crescimento no segmento privado de educação superior, embora o segmento público também tenha apresentado crescimento. Com efeito, as curvas que representam o segmento privado apresentam formato semelhante e próximo ao das curvas gerais, o que demonstra ter sido este segmento o principal responsável expansão verificada.

Conforme se observa, é digna de atenção a expansão verificada na educação superior no Brasil nos últimos vinte anos, o que enseja a atuação planejada e eficaz do MEC, na qualidade de formulador da política de educação superior no Brasil.

II.2.3. Instituições envolvidas no processo de regulação da educação superior e suas principais competências

De acordo com o art. 3º, Decreto 9.235/2006 (art. 3º do Decreto 5.773/2006 – revogado) , as competências para as funções de regulação, supervisão e avaliação serão exercidas pelo Ministério da Educação, pelo Conselho Nacional de Educação (CNE) , pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) , e pela Comissão Nacional de Avaliação da Educação Superior (Conaes) .

As principais instituições fiscalizadas no presente trabalho foram a Secretaria de Regulação e Supervisão da Educação Superior (Seres) e o Inep, por meio da Diretoria de Avaliação da Educação Superior (Daes) , tendo em vista serem os principais atores no processo de regulação e avaliação dos cursos de graduação e das IES. De um lado, a Seres/MEC, atuando na regulação e supervisão dos cursos e IES, e de outro, o Inep, atuando na avaliação. A Figura 1 contém o organograma dos órgãos/entidades envolvidos na regulação da educação superior.

Figura 1: Órgãos/entidades responsáveis pelo processo de regulação e avaliação da educação superior

Fonte: Seres/MEC

Seres/MEC

A Secretaria de Regulação e Supervisão da Educação Superior (Seres/MEC) é a unidade do Ministério da Educação responsável pela regulação e supervisão de: IES, públicas e privadas, pertencentes ao Sistema Federal de Educação Superior; e, cursos superiores de graduação do tipo bacharelado, licenciatura e tecnológico, e de pós-graduação lato sensu, todos na modalidade presencial ou a distância.

As principais atribuições da Seres são: estabelecer normas técnicas, fluxos e procedimentos regulatórios; instruir e exarar pareceres nos processos de autorização, reconhecimento e renovação de reconhecimento dos cursos superiores, presenciais e à distância; instruir e exarar pareceres nos processos de credenciamento e recredenciamento de instituições de ensino superior; apoiar estudos sobre metodologias, instrumentos e indicadores para a avaliação e regulação dos cursos e instituições de educação superior; planejar e coordenar processos de chamamento público para credenciamento de instituições de educação superior privadas para operacionalização do Programa Mais Médicos. A Figura 1 representa o organograma da Seres.

Figura 2: Organograma da Seres

Fonte: Site do MEC

Inep/MEC

O Inep é uma autarquia federal vinculada ao MEC, cuja missão é subsidiar a formulação de políticas educacionais dos diferentes níveis de governo no intuito de contribuir para o desenvolvimento econômico e social do país, atuando em realização de avaliações, exames e na produção de indicadores da educação básica e superior. A entidade é responsável também por realizar o Censo Escolar da Educação Básica – principal instrumento de coleta de informações da educação básica, e o Censo da Educação Superior – realizado anualmente, é o instrumento de pesquisa mais completo do Brasil sobre as IES, seus alunos e docentes.

Foram estabelecidas as seguintes finalidades para o Inep, no que se refere especificamente à educação superior: subsidiar a formulação de políticas por meio da elaboração de diagnósticos e recomendações decorrentes da avaliação da educação superior; coordenar o processo de avaliação dos cursos de graduação; definir e propor parâmetros, critérios e mecanismos para a realização de exames de acesso ao ensino superior; promover a disseminação de informações sobre a qualidade da educação superior; publicar estudos para aferir a evolução no cumprimento das metas estabelecidas pelo Plano Nacional de Educação (2014-2024) . A avaliação da educação superior está a cargo da Diretoria de Avaliação da Educação Superior (Daes) , dentro da estrutura organizacional do Inep.

II.2.4. Características e processo de regulação e avaliação do ensino superior

As instituições de ensino superior possuem duas subdivisões principais: de acordo com sua organização acadêmica e em relação à categoria administrativa. Quanto à primeira se dividem em: universidades, centros universitários ou faculdades. Em relação à segunda subdivisão, as instituições podem ser públicas (vinculadas aos governos federal, estadual ou municipal) ou privadas.

Para iniciar a oferta de ensino superior, as instituições devem ser credenciadas. O credenciamento deve ser renovado periodicamente, por meio do recredenciamento. A instituição está em situação regular se estiver devidamente credenciada ou recredenciada.

No caso de instituições privadas de ensino superior, o credenciamento e recredenciamento são feitos pelo MEC. Inicialmente, a instituição é credenciada como faculdade. Só depois de estar em funcionamento regular e com padrão satisfatório de qualidade as faculdades privadas podem requerer seu credenciamento como centro universitário e universidade.

No caso de universidade federal, a criação é feita por decreto ou lei federal, após aprovação de projeto no Congresso Nacional. As instituições mantidas pelo governo federal também devem ser recredenciadas e ter seus cursos reconhecidos pelo MEC. A regulação das instituições públicas vinculadas aos governos estaduais e municipais é da competência dos sistemas estaduais de ensino.

O ensino superior pode ser ministrado nas modalidades: presencial e à distância. Para a oferta de educação superior na modalidade à distância, as instituições deverão ser credenciadas para atuar nesta modalidade de ensino, devendo, entretanto, também estarem previamente credenciadas para oferta de educação superior na modalidade presencial no sistema federal.

Todos os cursos e instituições devem possuir Cadastro da Educação Superior (Cadastro e-MEC) . O Cadastro e-MEC permite ao público a consulta de dados sobre instituições de educação superior e seus cursos. Em relação às instituições de ensino, é possível pesquisar informações sobre as universidades, centros universitários e faculdades vinculadas ao sistema federal de ensino, que abrange as instituições públicas federais e todas as instituições privadas de ensino superior do país (http://emec.mec.gov.br) .

No Cadastro constam dados como a situação de regulação das instituições e dos cursos por elas oferecidos, endereços de oferta e indicadores de qualidade obtidos nas avaliações do Inep. O Cadastro informa a situação de regulação de universidades, centros universitários e faculdades vinculadas ao sistema federal de ensino.

Os cursos superiores podem ser dos seguintes tipos quanto à formação: cursos de graduação, cursos sequenciais, cursos de extensão e cursos de pós-graduação. Os cursos são considerados regulares se estiverem devidamente autorizados, reconhecidos ou se tiverem seu reconhecimento renovado de acordo com as normas e prazos estabelecidos pela legislação.

Os cursos de graduação são abertos a candidatos que tenham concluído o ensino médio ou equivalente e tenham sido classificados em processo seletivo. Os cursos de graduação conferem diploma aos concluintes e podem ser: bacharelados, licenciaturas ou cursos superiores de tecnologia.

Os cursos sequenciais são organizados por campo de saber, de diferentes níveis de abrangência, abertos a candidatos que atendam aos requisitos estabelecidos pelas instituições de ensino, desde que tenham concluído o ensino médio ou equivalente. Podem ser de formação específica ou complementação de estudos.

Os cursos de extensão são abertos a candidatos que atendam aos requisitos estabelecidos pelas instituições de ensino e conferem certificado aos concluintes. Não se tratam necessariamente de cursos de pós-graduação, já que são oferecidos tanto para alunos formados quanto para não formados e até para alunos que ainda não ingressaram em cursos de graduação.

Os cursos de pós-graduação são os programas de mestrado e doutorado (pós-graduação stricto sensu) e os cursos de especialização (pós-graduação lato sensu) .

Os principais entes envolvidos no processo de regulação e avaliação dos cursos de graduação e das IES são, de um lado, a Seres/MEC, atuando na regulação e supervisão dos cursos e IES, e de outro, o Inep, atuando na avaliação.

No que diz respeito aos cursos de graduação, seu processo regulatório engloba os chamados atos autorizativos, quais sejam: autorização, reconhecimento e renovação de reconhecimento.

Quanto ao primeiro ato, para iniciar a oferta de um curso de graduação, as faculdades privadas dependem de autorização do MEC. Universidades e centros universitários, que têm prerrogativas de autonomia, prescindem dessa autorização. Nos casos de abertura de cursos de Medicina, Odontologia, Psicologia e Direito, e em casos de cursos oferecidos em endereços fora do município-sede da universidade ou centro universitário, sempre haverá necessidade de autorização do Ministério. Todas as instituições devem informar ao MEC os cursos abertos, para fins de supervisão, avaliação e posterior reconhecimento.

No processo de autorização de um curso, o MEC avalia três dimensões: i) a organização didático-pedagógica; ii) o corpo docente e técnico-administrativo; e, iii) as instalações físicas oferecidas pela instituição.

No que diz respeito ao segundo ato autorizativo, o reconhecimento deve ser solicitado pela instituição de ensino quando o curso de graduação tiver completado 50% de sua carga horária (e antes de completar 75%) . O reconhecimento do curso é condição necessária para a validade nacional dos diplomas emitidos pela instituição.

Por fim, quanto ao terceiro ato autorizativo, a renovação do reconhecimento deve ser solicitada pela instituição de ensino a cada ciclo avaliativo do Sistema Nacional de Avaliação da Educação Superior (Sinaes) .

Na Figura 3 consta o fluxo do processo regulatório referente aos atos autorizativos dos cursos de graduação. O detalhamento do processo regulatório e seus fluxos estão descritos do art. 9º ao art. 44, do Decreto 5.773/2006.

Figura 3: Processo Regulatório dos Atos Autorizativos

Fonte: MEC

Quanto aos Indicadores de Qualidade da Educação Superior, os principais são:

Conceito Enade (CE) : avalia os cursos de graduação a partir dos resultados obtidos pelos estudantes no Enade. É divulgado anualmente para os cursos que tiveram pelo menos dois estudantes concluintes participantes do Exame. Os resultados do Enade são considerados na composição de índices de qualidade relativos aos cursos e às instituições (como o CPC e o IGC) ;

Conceito Preliminar de Cursos (CPC) : combina, em uma única medida, diferentes aspectos relativos aos cursos de graduação. Seus componentes podem ser agrupados em quatro dimensões – desempenho dos estudantes, valor agregado pelo processo formativo oferecido pelo curso, corpo docente, e condições oferecidas para o desenvolvimento do processo formativo;

Conceito de Curso (CC) : composto a partir da avaliação in loco do curso pelo MEC, pode confirmar ou modificar o CPC. A necessidade de avaliação in loco para a renovação do reconhecimento dos cursos é determinada pelo CPC: cursos que obtiverem CPC 1 e 2 serão automaticamente incluídos no cronograma de avaliação in loco. Cursos com conceito igual ou maior que 3 podem optar por não receber a visita dos avaliadores e, assim, transformar o CPC em CC, que é um conceito permanente.

Índice Geral de Cursos (IGC) : Resultado de avaliação das Instituições de Educação Superior. É uma média ponderada, a partir da distribuição dos estudantes nos níveis de ensino, que envolve as notas contínuas de CPC dos cursos de graduação e os conceitos Capes dos cursos de programas de pós-graduação stricto sensu das IES. O indicador pode ser confirmado ou alterado pelo Conceito Institucional (CI) ;

Conceito Institucional: composto a partir da avaliação in loco da instituição pelo MEC, pode confirmar ou modificar o IGC.

Todos os índices e conceitos mencionados nas alíneas anteriores vão de 1 a 5, em variável discreta, sendo 5 o valor máximo e 1 o valor mínimo. Em regra, conceitos maiores iguais ou superiores a 3 são considerados de qualidade satisfatória.

II.2.5. Considerações acerca da distinção entre regulação e avaliação

De acordo com o disposto no inciso VIII, art. 9º, da Lei 9.394/1996 (LDB) , cabe à União ‘assegurar processo nacional de avaliação das instituições de educação superior’. De acordo com a Lei 10.861/2004, o Sinaes tem por finalidade:

‘a melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o aumento permanente da sua eficácia institucional e efetividade acadêmica e social e, especialmente, a promoção do aprofundamento dos compromissos e responsabilidades sociais das instituições de educação superior, por meio da valorização de sua missão pública, da promoção dos valores democráticos, do respeito à diferença e à diversidade, da afirmação da autonomia e da identidade institucional’ ( parágrafo primeiro, art. 1º, da Lei 10.861/2004)

Para a adequada consecução dessas finalidades, a Lei do Sinaes estabelece que deverão ser avaliados o desempenho dos alunos, as condições de oferta dos cursos e o perfil e significado das instituições.

A instrumentalização desse sistema se dá por meio de um conjunto de indicadores, conforme apresentados no item anterior. Esses mesmos indicadores servem como base para o processo de regulação, tanto de cursos quanto de instituições, em conformidade com o parágrafo único, art. 2º, da Lei do Sinaes que determina que a avaliação constituirá referencial básico dos processos de regulação.

É importante observar pois, que avaliação e regulação são processos distintos. A oferta de cursos superiores é franqueada à iniciativa privada, cabendo ao poder público estabelecer condições mínimas de qualidade para a oferta desses cursos. Assim, o processo avaliativo busca mensurar essa qualidade em todas as dimensões previstas, ao passo que o processo regulatório, ainda que se utilize de insumos provenientes da avaliação, dela se distingue e tem por objetivo suprimir, corrigir, ou, ainda, incentivar as ofertas de cursos e expansão das instituições de ensino.

Um processo avaliativo adequado é uma condicionante à efetividade da regulação. Se os indicadores não forem robustos o suficiente para garantir que a situação representada corresponde à realidade, a regulação corre o risco de não contribuir adequadamente para a melhoria das instituições e do sistema como um todo.

O sistema avaliativo serve tanto às instituições, que buscam seu próprio aperfeiçoamento, quanto à sociedade, que baseia suas escolhas nessas avaliações.

II.2.6. Trabalhos realizados pelo TCU na regulação e avaliação do ensino superior

Além da auditoria operacional no Fundo de Financiamento Estudantil (Fies) , programa destinado a financiar cursos superiores não gratuitos e que possuam conceito satisfatório nas avalições conduzidas pelo Inep/MEC, realizada pela Secex Educação em conjunto com a Secretaria de Macroavaliação Governamental -Semag TC 011.84/2016-9, Acórdão 3001/2016–TCU–Plenário) , não foram encontrados outros trabalhos realizados pelo TCU que abordassem temas relacionados diretamente à regulação e avaliação do ensino superior.

II.3. Objetivo e questões de auditoria

A auditoria operacional objeto deste relatório tem o objetivo de avaliar a atuação do Inep/MEC e das demais instituições envolvidas nos processos de regulação e avaliação dos cursos de graduação relativos à Educação Superior, bem como se a metodologia de avaliação dos cursos de graduação é adequada para medir a qualidade desses cursos. Nesse sentido, foram formuladas as seguintes questões de auditoria:

Q1. Os Conceitos Enade e CPC são adequados, respectivamente, para avaliar o desempenho dos concluintes e medir a qualidade/excelência dos cursos superiores de graduação?

Q2. A sistemática de avaliação de cursos por meio do conjunto de indicadores disponíveis é adequada à regulação (autorização, reconhecimento e renovação de reconhecimento) e demais políticas de expansão (Fies, Prouni, etc.) ?

Q3. Quais os motivos para que a maioria dos cursos de direito tenham avaliação satisfatória por meio da avaliação realizada pelo MEC/Inep e baixo desempenho para os alunos que realizam o exame da OAB?

Q4. O registro de diplomas é feito da maneira prevista na legislação, e de modo a coibir fraudes?

II.4. Metodologia utilizada e limitações à auditoria

O presente relatório tem o objetivo de apresentar visão sistêmica a respeito da regulação e avaliação dos cursos de graduação, exercida pelas entidades cuja legislação lhes incumbiu essa competência, conforme informado no item II.2.1, com ênfase na atuação do MEC, exercida por meio de uma de suas secretarias finalísticas, a Seres/MEC, e na atuação do Inep, o qual se dá por meio da Diretoria de Avaliação da Educação Superior (Daes) .

Os trabalhos foram realizados em conformidade com as normas de auditoria estabelecidas pelo Tribunal de Contas da União, em especial com os Padrões de Auditoria de Operacional, instituídos por meio da Portaria-Segecex 4/2010.

As técnicas de auditoria utilizadas consubstanciaram-se em análise documental, análise de informações extraídas de sistemas de informação e obtenção de informações complementares por meio de entrevistas.

Nessa auditoria, além da Seres/MEC, foi fiscalizado diretamente o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) . O Conselho Federal da OAB embora não tenha sido entidade fiscalizada, contribuiu documentalmente e por meio de entrevista com informações importantes para a consecução do trabalho.

Na Seres/MEC, os exames visaram identificar as competências e atividades do MEC nos procedimentos de regulação e supervisão do ensino superior. Já no Inep, além das competências e atividades exercidas pela entidade no que diz respeito à avaliação do ensino superior, buscou-se avaliar a adequação das metodologias em relação aos fins a que se propõem. Na execução da auditoria houve visitas in loco em ambas as entidades, bem como foram requisitados dados e informações acerca da operacionalização da regulação, supervisão e avaliação do ensino superior.

III. Descrição da metodologia utilizada pelo INEP para fins de avaliação dos cursos

O presente capítulo introdutório apresenta explanação acerca dos conceitos e normativos relacionados ao Enade e o conceito dele decorrente, bem como do CPC. São apresentados, em pormenor, aspectos metodológicos e normativos que são requisitos para o entendimento dos achados e conclusões apresentados nos capítulos seguintes.

O Enade (Exame Nacional de Desempenho de Estudantes)

O Exame Nacional de Desempenho de Estudantes (Enade) foi instituído com o objetivo de aferir o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, suas habilidades para ajustamento às exigências decorrentes da evolução do conhecimento e suas competências para compreender temas exteriores ao âmbito específico de sua profissão, ligados à realidade brasileira e mundial e a outras áreas do conhecimento (art. 5º, caput e parágrafo primeiro, Lei 10.861/2004 – Lei do Sinaes) .

O exame é obrigatório, devendo a participação constar no histórico escolar do concluinte cuja área de conhecimento é objeto de avaliação naquele ano. A primeira aplicação ocorreu em 2004 e a periodicidade máxima da avaliação é trienal para cada área do conhecimento. O Conceito Enade, por sua vez, é um indicador de qualidade que avalia o desempenho dos estudantes a partir dos resultados obtidos.

Desde 2008, o conceito passou a considerar em seu cálculo apenas o desempenho dos estudantes concluintes, inscritos na condição de regular, que compareceram ao exame.

Até 2014, o Conceito Enade era calculado para cada unidade de observação, constituída pelo conjunto de cursos que compõe uma área de avaliação específica, de uma mesma IES, em determinado município. A partir de 2015, o cálculo é feito para cada curso de graduação avaliado, conforme enquadramento do curso pelas IES em uma das áreas de avaliação estabelecida em Portaria Normativa do MEC para aquele ano.

A forma de cálculo anterior permitia compensações das notas dos alunos de cursos distintos, devido à não individualização das notas por curso de graduação avaliado. Assim, por exemplo, caso a média das notas de determinado curso resultasse em conceito 1, mas a média dos cursos avaliados naquela unidade de observação fosse igual ou superior a 3, na prática, o Conceito Enade de determinado curso, cujo desempenho foi insatisfatório, não apresentaria efeito prático, tendo em vista que o conceito não era individualizado, prevalecendo a nota da unidade de observação.

Nesse caso, o conceito médio atribuído àquela unidade de observação englobaria todos os cursos avaliados, de modo que os conceitos individuais somente se prestavam à obtenção dessa média, despidos, portanto, de efeitos decorrentes de sua avaliação individual.

De acordo com o disposto na Lei 10.861/2004 (Lei do Sinaes) , a avaliação do desempenho dos alunos de cada curso no Enade será expressa por meio de conceitos, ordenados em uma escala com cinco níveis (art. 5º, § 8º) . O cálculo desse conceito para um curso de graduação inicia-se com a obtenção do desempenho médio de seus concluintes na Formação Geral (FG) , cujo peso é 25% da nota, e no Componente Específico (CE) do exame, cujo peso é de 75%.

As notas obtidas são então padronizadas e reescalonadas, assumindo valores de 0 a 5, na forma de variáveis contínuas, e correspondem à denominada Nota dos Concluintes do Enade no curso de graduação c (NCc) . A partir destas notas, utiliza-se uma tabela de conversão (Tabela 1) para transformar as NCc em Conceito Enade, na forma de variáveis discretas, assumindo valores de 1 a 5 (Nota Técnica 2/2017/CGCQES/DAES) . Na Tabela 1 constam os parâmetros de conversão das notas contínuas em conceitos:

Tabela 1: Parâmetros de conversão do NCc em Conceito Enade

Conceito Enade (Faixa)

NCc (Valor Contínuo)

1

0 ≤ NCc ˂ 0,945

2

0,945 ≤ NCc ˂ 1,945

3

1,945 ≤ NCc ˂ 2,945

4

2,945 ≤ NCc ˂ 3,945

5

3,945 ≤ NCc ≤ 5

Fonte: Inep/Daes (Nota Técnica 2/2017/CGCQES/DAES)

Conforme informado no item anterior, para atribuição das NCc, o Inep utiliza o conceito de padronização estatística, isto é, faz-se o cálculo do afastamento padronizado de cada curso de graduação, por meio da utilização das médias e dos desvios‐padrão, calculados por área de avaliação. Em seguida, faz-se o reescalonamento das notas, que consiste na transformação dos afastamentos em notas padronizadas, assumindo valores entre 0 (zero) a 5 (cinco) , na forma de variáveis contínuas.

A conversão das NCc em Conceito Enade corresponde ao enquadramento dos valores contínuos das NCc às respectivas faixas relativas ao Conceito Enade, conforme Tabela 1. Os resultados do Enade são incorporados ao CPC a partir das NCc, isto é, da média ponderada das notas padronizadas e reescalonadas do respectivo curso de graduação.

O Conceito Preliminar de Curso (CPC)

O CPC é um indicador de qualidade produzido, calculado e divulgado pelo Inep, que tem como objetivo avaliar, em múltiplas dimensões, a qualidade dos cursos de graduação.

Seu cálculo e divulgação ocorre no ano seguinte ao da realização do Enade, com base na avaliação de desempenho dos estudantes nesse exame, no valor agregado pelo processo formativo e nos insumos referentes às condições de oferta – corpo docente, infraestrutura e recursos didático-pedagógicos –, conforme orientação técnica aprovada pela Comissão Nacional de Avaliação da Educação Superior (Conaes) . Em virtude da necessidade de preservação da identidade do estudante, os cursos que não tiveram pelo menos dois estudantes concluintes participantes do Enade não têm seu CPC calculado, ficando Sem Conceito (SC) .

O CPC mantém relação direta com o ciclo avaliativo do Enade, sendo os cursos avaliados segundo as áreas de avaliação a ele vinculadas. O ciclo avaliativo foi definido no art. 33, da Portaria 40, de 12 de dezembro de 2007, republicada em 2010 (atualmente, art. 37 da Portaria Normativa MEC 23/2017) . Ele compreende as avaliações periódicas dos cursos de graduação, com referência nos resultados trienais de desempenho de estudantes, as quais subsidiam os atos de renovação de reconhecimento.

O CPC passou a ser calculado, a partir de 2015, por curso de graduação, identificado pelo código do curso constante no Sistema e-MEC, conforme enquadramento realizado pela IES no Sistema Enade.

Foi estabelecido por meio da Lei do Sinaes que a avaliação do desempenho dos alunos (Conceito Enade) e a avaliação dos cursos de graduação (CPC e CC) resultará na atribuição de conceitos, ordenados em uma escala com 5 (cinco) níveis. Já os parágrafos 1º e 2º, art. 33-A, da Portaria 40/2007, estabelecem que os conceitos de avaliação e os indicadores de qualidade também serão expressos numa escala de cinco níveis, em que os níveis iguais ou superiores a 3 (três) indicam qualidade satisfatória.

De acordo com o disposto no art. 3º, caput e §1º, da Portaria MEC 4/2008, os cursos que tenham obtido CPC insatisfatório (inferiores a 3) obrigatoriamente serão submetidos à avaliação in loco, nos processos de renovação de reconhecimento.

De acordo com o art. 33-B, são indicadores de qualidade, calculados pelo Inep, com base nos resultados do Enade, entre outros insumos: de cursos superiores, o CPC; de instituições de educação superior, o IGC; de desempenho dos estudantes, o conceito obtido a partir dos resultados do Enade. Nesse capítulo, trataremos especificamente do CPC e faremos referência ao Enade e ao conceito dele decorrente.

Conforme dispõe o §1º do artigo anterior, o CPC será calculado no ano seguinte ao da realização do Enade de cada área, com base na avaliação de desempenho de estudantes, corpo docente, infraestrutura, recursos didático-pedagógicos e demais insumos, conforme orientação técnica aprovada pela Conaes.

Na Tabela 2 é apresentada a composição do CPC, com suas dimensões, componentes e pesos, conforme dispõe a Nota Técnica 3/2017/CGCQES/DAES:

Tabela 2: Composição do CPC e pesos das suas dimensões e componentes

DIMENSÃO

COMPONENTES

PESOS

Desempenho dos Estudantes

Nota dos Concluintes no Enade (NC)

20,0%

55,0%

Nota do Indicador de Diferença entre os Desempenhos Observado e Esperado (NIDD)

35,0%

Corpo Docente

Nota de Proporção de Mestres (NM)

7,5%

30,0%

Nota de Proporção de Doutores (ND)

15,0%

Nota de Regime de Trabalho (NR)

7,5%

Percepção Discente sobre as Condições do Processo

Formativo

Nota referente à organização didático-pedagógica (NO)

7,5%

15,0%

Nota referente à infraestrutura e instalações físicas (NF)

5,0%

Nota referente às oportunidades de ampliação da formação acadêmica e profissional (NA)

2,5%

Fonte: Inep/Daes (Nota Técnica 3/2017/CGCQES/DAES)

Para atribuição do Conceito Preliminar de Curso (CPC) , procede-se o somatório das notas contínuas de cada componente indicado na Tabela 2, ponderados pelos seus respectivos pesos. As notas contínuas de cada componente que compõem a fórmula do CPC, sob as quais incidem seus respectivos pesos, já foram padronizadas e reescalonadas, resultando na Nota Contínua do CPC do curso c (NCPCc) .

Para conversão da NCPC em CPC são utilizados os mesmos parâmetros descritos na Tabela 1, para atribuição do Conceito Enade, mudando-se apenas o referencial, isto é, basta substituir a NCc pela NCPCc. No caso de enquadramento no último intervalo de valores contínuos da Tabela 1, os cursos só obterão o conceito máximo (5) se tiverem nota maior que 0,945 em todos os componentes, caso contrário, receberão conceito 4.

A seguir são apresentados os achados de auditoria, bem como as conclusões e recomendações/determinações associadas.

IV. Achados de Auditoria

IV.1. A metodologia atual de avaliação não reflete o nível de qualidade/excelência no que concerne aos cursos superiores de graduação

O presente capítulo tem por objetivo principal apresentar as análises realizadas no intuito de avaliar em que medida o CPC é capaz de refletir o nível de qualidade/excelência dos cursos superiores de graduação ofertados pelas IES, públicas e privadas, pertencentes ao Sistema Federal de Educação Superior (SFES) .

A elucidação dessa questão envolveu a utilização de informações disponibilizadas pelo Inep, por meio de planilhas de dados relativos ao Enade e ao CPC, informações extraídas do sistema e-MEC e dos portais na internet do MEC e do Inep, e ainda por meio de resposta a ofícios de requisição endereçados a estas entidades, além de consultas às normas relacionadas.

As análises empreendidas permitem concluir que o Conceito Preliminar de Curso (CPC) não reflete a qualidade/excelência dos cursos superiores de graduação, tendo em vista que a metodologia utilizada para atribuição desse conceito é composta de elementos que distanciam o conceito atribuído dos resultados absolutos das avaliações, estabelecendo, na essência, apenas a classificação entre os cursos avaliados.

As principais causas que geram esse distanciamento dizem respeito: à utilização dos procedimentos de padronização estatística, com o consequente reescalonamento das notas a partir dessa padronização; aos critérios de arredondamento utilizados para conversão das notas em conceitos; bem com devido à ausência de fundamentos teórico-metodológicos que deem suporte e consistência quanto aos métodos e formas de cálculo dos componentes do conceito e dos parâmetros de conversão utilizados, em especial, quanto à ausência de justificativas para atribuição de pesos aos componentes do CPC. As causas mencionadas serão objeto de análise nos tópicos subsequentes.

Outro importante ponto que chamou atenção da equipe de auditoria refere-se à abrangência do Enade. Isso porque diversos cursos acabam não sendo avaliados por esse instrumento, gerando uma lacuna na avaliação e falta de homogeneidade na metodologia e, portanto, nos resultados da avaliação dos cursos. Esse aspecto será abordado em seguida.

IV.1.1. O Enade

No capítulo III, conforme dispõe o art. 5º da Lei do Sinaes, foi exposto que a avaliação do desempenho dos estudantes dos cursos de graduação será realizada mediante aplicação do Enade. É de responsabilidade do dirigente da IES a inscrição junto ao Inep de todos os alunos habilitados à participação no Enade, conforme preceitua o § 6º, art. 5º, da Lei 10.861/2004.

No intuito de verificar a abrangência do Enade, solicitou-se ao Inep que informasse, no período de 2012 a 2016, o número de formandos na área de avaliação de cada ano e o número de alunos que efetivamente realizaram o exame no período. Solicitou-se também os mecanismos utilizados pelo Inep para averiguar se todos os alunos que têm o dever legal de realizar o Enade são efetivamente inscritos (peça 5, p. 2) .

Em resposta, foi apresentado o total de participantes nos anos solicitados, bem como a regra que estabelece quais estudantes concluintes estão habilitados para participar do exame. Não foram apresentados, no entanto, o número de alunos que teriam o dever de participar do Enade em decorrência do enquadramento nas condições de participação, pelas razões expostas a seguir.

A entidade informou que, devido à flexibilidade da legislação para composição das propostas pedagógicas dos cursos de graduação e do não estabelecimento de nomenclaturas para os cursos, a participação dos estudantes no Enade passa por processo denominado ‘Enquadramento de Curso’, que consiste no processo pelo qual a IES identifica a área de avaliação do Enade correlacionada ao projeto pedagógico do curso que oferta, com base nas Diretrizes de Prova publicadas em portaria específica.

A entidade informou ainda que os códigos de classificação dos cursos não estão atualizados, não gerando a vinculação direta dos cursos a um tipo de proposta pedagógica, o que permitiria uma vinculação do curso a uma área de avaliação do Enade. De acordo com a entidade, essa lacuna traz dificuldades tanto para levantamentos estatísticos envolvendo os cursos, com base no Censo da Educação Superior, quanto para análises de consistência ou auditoria no âmbito do Enade.

O Inep ainda informou que deu início, em parceria com secretarias do MEC, aos processos de tradução e adaptação da Tabela de códigos da Organização para a Cooperação e Desenvolvimento Econômico (OCDE) com o objetivo de superar as questões mencionadas, mas que a iniciativa somente produzirá efeitos no médio prazo, após finalização dos processos, com a classificação de todos os cursos em funcionamento, segundo a tabela de cursos de graduação a ser definida para a realidade brasileira.

O descrito anteriormente foi objeto de comentários dos gestores, os quais se manifestaram informando o enquadramento do curso, por parte da IES, em determinada área de avaliação do Enade, é feito com base na correlação existente entre o projeto pedagógico do curso e as diretrizes de prova publicadas pelo Inep, o que define o tipo de prova a ser aplicada aos alunos daquele curso, tendo em vista que, por vezes, inexiste correlação direta entre a nomenclatura do curso e a área de avaliação, o que justificaria a necessidade de que a IES atue na definição dessa vinculação (peça 29, p. 3) .

Nesse sentido, o Inep argumentou que centralizar o enquadramento geraria ineficiência no processo e ao demandar a leitura e classificação dos projetos pedagógicos de cada curso, trabalho este que não seria compensado por ganhos em termos de resultados, sendo mais adequado que a IES proceda a classificação e que o processo de monitoramento seja aprimorado a partir de outras ações (peça 29, p. 4) .

De acordo com a entidade, o processo de vinculação dos cursos às áreas tem sua complexidade intensificada em virtude da autonomia que o Sistema de Educação Superior tem para estruturar suas propostas pedagógicas a partir das Diretrizes Curriculares Nacionais (DCN) , além da possibilidade de criação de cursos experimentais (peça 29, p. 4) .

Por fim, o Inep destacou que a melhoria do processo de classificação dos cursos possibilitará o aprimoramento do controle da regularidade e suficiência das inscrições dos estudantes para realização do Enade. Nesse sentido, a Diretoria de Estatísticas Educacionais (Deed) está desenvolvendo uma tabela de classificação de cursos de graduação no sentido de classificar todos os cursos constantes no e-MEC e os a serem criados pelas IES. A construção dessa tabela baseia-se em boa parte na metodologia empregada pela OCDE e tem sua finalização prevista para setembro de 2018 (peça 29, p. 4) .

Voltando ao primeiro questionamento suscitado pela equipe de auditoria, o Inep informou que a comparação entre o número de participantes no Enade e o número de concluintes (utilizando dados do Censo da Educação Superior) não tem consistência, visto que, em última instância, quem determina os cursos que irão participar do Enade são as IES, pelo processo de enquadramento e, como nem todo curso é enquadrado em uma área de avaliação, alguns alunos concluintes são dispensados da participação no Enade.

Infere-se da resposta apresentada que, de acordo com o entendimento da IES acerca do enquadramento ou não de determinado curso em uma área de avaliação, o respectivo curso é ou não elegível à participação no Enade. Isto é, não há um critério objetivo de enquadramento dos cursos nas respectivas áreas de avaliação do exame, o que dá margem para que as instituições intencionalmente não procedam esse enquadramento e, assim, não tenham seus estudantes concluintes avaliados. Consequentemente, não lhe são atribuídos CPCs, o que torna imperiosa a solicitação de avaliação in loco para atribuição do CC. Como informado no capítulo IV.2, essa atribuição do CC não leva em consideração o desempenho do estudante.

Por meio de reunião com gestores do Inep, a equipe de auditoria suscitou questionamento semelhante ao realizado por meio do Ofício mencionado nos itens anteriores, no sentido de identificar quais procedimentos são aplicados pelo Inep para verificação quanto à regularidade dos inscritos no Enade, no que diz respeito ao atendimento das condições para participação no exame, bem como em relação à sua amplitude, isto é, se todos os cursos e estudantes concluintes que deveriam fazer parte do processo de avaliação, de fato, participam.

Em resposta, o Inep informou que atualmente não são aplicados procedimentos de verificação quanto aos itens questionados devido à ausência de capacidade operacional do Instituto frente à multiplicidade e complexidade de suas atribuições, conjugada com o reduzido quantitativo de sua equipe.

Também em relação a este ponto, nos comentários ao relatório preliminar submetido aos comentários dos gestores, o Inep argumentou que os critérios de habilitação dos concluintes para participação no exame são subjetivos e que, devido à possibilidade de na configuração de grande parte dos cursos de graduação no país, os estudantes poderem, no momento da matrícula, selecionar as disciplinas (ou os créditos) que cursarão ao longo do semestre, bem como construírem suas grades horárias de acordo com a disponibilidade, em alguns casos, os estudantes não se enquadram nos critérios de habilitação como concluintes. Em outros casos, há alunos que conseguem realizar um número de disciplinas acima do previsto e, assim, antecipam a conclusão do curso, dificultando o processo de verificação/controle da regularidade e suficiência das inscrições (peça 29, p. 5) .

A despeito da opinião do Inep esposada no item 102, no sentido de que a comparação entre o número de participantes no Enade e o número de concluintes (utilizando dados do Censo da Educação Superior) não tem consistência, quando da apresentação dos comentários ao relatório preliminar, a entidade relativizou esse entendimento no sentido de sua viabilidade, ressalvando apenas que torna-se necessário utilizar o Censo do ano de aplicação do exame, que é declarado apenas no ano subsequente, caracterizando um controle posterior (ex.: a coleta dos dados de 2017 é feita em 2018, quando o Enade já aconteceu) .

Assim sendo, o cruzamento das informações ocorreria apenas a posteriori, não impactando no processo de inscrições do Enade imediatamente. Este cruzamento realizado previamente às inscrições permite uma projeção dos estudantes concluintes, que pode se efetivar ou não e, como controle a posteriori, para verificar se as inscrições no Enade em determinado ano guardam compatibilidade com o informado no Censo da Educação Superior no ano seguinte (peça 29, p. 5) .

Embora o Inep aponte fatores que dificultariam o processo de verificação/controle da regularidade e suficiência das inscrições no exame, conforme informado no item 106, nenhum controle é feito atualmente, em que pese a fragilidade do mecanismo de participação dos estudantes concluintes no Enade. A ausência de controles mínimos em relação à essa participação é fator que coloca em risco a própria confiabilidade de seus resultados.

Em que pese os gestores das instituições de ensino poderem ser responsabilizados caso não efetuem as devidas inscrições dos estudantes concluintes que atendam às condições de participação, o não exercício de procedimentos de verificação por parte do Inep/MEC diminui a expectativa de controle, dando margem ao cometimento de irregularidades. Como exemplo, menciona-se a possibilidade de não inscrição de estudantes concluintes que deveriam participar do exame, a inscrição irregular de estudantes que não atendem às condições de participação, a seleção de alunos mais capacitados para sua realização e a exclusão dos menos capacitados, a exemplo dos casos veiculados na mídia a respeito do tema (https://veja.abril.com.br/educacao/escola-de-fraudes-universidades-manipularam-resultados-do-enade/) . Nessas situações, haveria tendência à superestimação do desempenho dos alunos Enade, bem como dos resultados dos indicadores dos quais ele é insumo, como o CPC.

Além disso, cursos podem deixar de ser incluídos no processo de avaliação e não terem seus estudantes concluintes avaliados por meio do Enade, tendo como base unicamente o entendimento da IES, sem qualquer procedimento de fiscalização, ainda que amostral, acerca da regularidade do enquadramento por ela realizado.

Na sequência, abordaremos as principais constatações no que diz respeito ao conceito preliminar de curso.

IV.1.2. O Conceito Preliminar de Curso – CPC

As principais causas detectadas para o distanciamento da metodologia atual de avaliação da medicação da excelência dos cursos superiores de graduação foram: a ausência de fundamentos teórico-metodológicos que deem suporte e consistência aos métodos e formas de cálculo dos componentes do CPC, com destaque para a atribuição de pesos excessivos a determinados componentes do Conceito; a utilização dos procedimentos de padronização estatística, com o consequente reescalonamento das notas a partir dessa padronização; critérios de arredondamento utilizados para conversão das notas em conceitos. Essas causas serão tratadas a seguir.

Ausência de estudos técnicos que embasaram a construção do CPC

Foi questionado ao Inep quais foram os estudos técnicos que embasaram a produção do CPC (peça 5, p. 2) . Em resposta (peça 8, p. 5) , a entidade informou que os indicadores de qualidade da educação superior seguem o disposto no art. 4º, §2º, da Lei 10.861/2004 e que o documento técnico - ‘Avaliação de Cursos na Educação Superior: A Função e a Mecânica do Conceito Preliminar de Curso’ - fundamentou a construção do CPC (peça 17) .

O documento informado pelo Inep, no entanto, é posterior à construção do CPC. Assim, embora possa explicar seus conceitos, não o precede, não podendo, portanto, ter servido de fundamento inicial para construção do conceito, o que não retira sua eventual utilização nas modificações nele ocorridas.

Em que pese a existência de notas técnicas que explicam a forma como o CPC é calculado em cada período, não foram apresentados pelo Inep os documentos ou fundamentos teórico-metodológicos que embasaram a construção do conceito desde sua origem. Este apenas indicou o dispositivo legal com o qual o CPC tem relação e um estudo a ele relativo.

As referências legais trazidas pelo Inep dizem respeito ao art. 4º, caput, da Lei do Sinaes, no qual dispõe-se que ‘a avaliação dos cursos de graduação tem por objetivo identificar as condições de ensino oferecidas aos estudantes, em especial as relativas ao perfil do corpo docente, às instalações físicas e à organização didático-pedagógica’, e ao parágrafo segundo do mesmo artigo, no qual está disposto que ‘a avaliação dos cursos de graduação resultará na atribuição de conceitos, ordenados em uma escala com cinco níveis, a cada uma das dimensões e ao conjunto das dimensões avaliadas’.

A informação trazida pelo Inep de que os indicadores de qualidade da educação superior seguem o disposto no art. 4º, §2º, da Lei 10.861/2004, não é suficiente para justificar como o CPC foi construído, com todas as suas peculiaridades, procedimentos estatísticos utilizados, pesos atribuídos aos seus componentes, bem como a utilização de componentes não previstos na Lei do Sinaes, como a nota do IDD, entre outros itens.

Por meio de entrevista com gestores da Diretoria de Avaliação da Educação Superior do Inep (Daes/Inep) , foi informado à equipe de auditoria que o Inep, a partir da Lei do Sinaes, foi perdendo sua capacidade operacional em relação à sua função precípua de realizar estudos e pesquisas educacionais ao passo que foi incumbido, cada vez mais, de funções relativas à avaliação do ensino superior. Essa incumbência está prevista no art. 8º da Lei do Sinaes, qual seja, ‘A realização da avaliação das instituições, dos cursos e do desempenho dos estudantes será responsabilidade do Inep’.

Tanto a ausência de estudos quanto a sua não disponibilização têm efeitos indesejados no que diz respeito à validade da metodologia e à sua publicidade, o que, nesse último caso, evita que as partes interessadas se utilizem da informação completa referente à metodologia e sua exposição de motivos.

Uma das principais evidências da não comprovação da existência de fundamentos teórico-metodológicos para construção do CPC diz respeito à ausência de justificativas para as ponderações utilizadas nos componentes que dão origem ao conceito.

No cálculo do CPC, o desempenho dos alunos no Enade, direta ou indiretamente, representa 55% da nota contínua que serve de referência à atribuição do conceito. Isto é, a Nota do Indicador de Diferença entre os Desempenhos Observado e Esperado (NIDD) representa 35% da NCPC, enquanto o desempenho no Enade representa 20% dessa nota. A NIDD tem o objetivo de demonstrar o valor agregado pelo processo formativo oferecido pelo curso.

Conforme consta na Nota Técnica 3/2017/CGCQES/DAES, um importante aspecto na avaliação da qualidade de um curso de graduação está na mensuração de sua efetiva contribuição para o desenvolvimento de competências, habilidades e conhecimento dos estudantes. A essa medida, o Inep denomina de valor agregado pelo processo formativo oferecido pelo curso de graduação.

A argumentação que embasa a instituição dessa medida é de que o desempenho dos concluintes no Enade não pode ser explicado exclusivamente pela qualidade das condições de oferta dos processos formativos, mas têm relação direta com o perfil dos estudantes concluintes ao ingressarem no respectivo curso.

Nesse sentido, o IDD é uma medida que se presta a aferir o valor agregado especificamente pelo curso ao desenvolvimento dos estudantes concluintes, relacionando suas características de ingresso no curso e seu desempenho no Enade.

Conforme consta no documento técnico encaminhado pelo Inep – Avaliação de Cursos na Educação Superior: A Função e a Mecânica do Conceito Preliminar de Curso – ‘O IDD é uma medida da contribuição do curso para o desempenho de seus estudantes no Enade...’ (peça 17, p. 7) .

Atualmente, o Inep utiliza o desempenho obtido no Enem como uma proxy das condições de desenvolvimento do estudante quando de seu ingresso no respectivo curso de graduação. Os resultados do Enem são recuperados a partir do CPF do estudante, informação obrigatória para a inscrição no exame desde 2009.

Por meio de entrevistas realizadas com gestores do MEC, do Inep e especialistas da área de regulação e avaliação da educação superior, é pacífico o entendimento de que os cursos que atraem os alunos mais bem preparados tendem a ter impacto negativo em seu IDD, tendo em vista que a nota do IDD tem referência na diferença de desempenho do concluinte no Enade e sua condição de entrada (Enem) . Isto é, quanto maior foi o desempenho do estudante concluinte no início, menor tende a ser a diferença em relação ao seu desempenho na conclusão do curso.

Um dos efeitos desse fato é que os estudantes concluintes de determinado curso podem ter alto desempenho no Enem e no Enade e, ainda assim, ter uma NIDD negativa, contribuindo negativamente para seu CPC. Por outro lado, os concluintes de determinado curso podem ter apresentado baixo desempenho no Enem e no Enade, em níveis muito inferiores ao do exemplo anterior, e ter NIDD positiva, contribuindo positivamente para seu CPC.

No documento técnico ‘Avaliação de Cursos na Educação Superior: A Função e a Mecânica do Conceito Preliminar de Curso’, há a afirmação de que ‘Se a qualidade do curso está positivamente correlacionada com as notas dos ingressantes, o IDD subestima a qualidade dos cursos que recebem alunos com bom desempenho’ (peça 17, p. 7) . A afirmação acima corrobora o entendimento esposado nos parágrafos precedentes.

A NIDD, via de regra, além de contribuir negativamente para o CPC de cursos que captam alunos de nível de conhecimento mais elevado, tem o condão de diminuir a diferença da qualidade medida dos cursos entre IES, bastando para tanto que haja maior variação positiva ou menor variação negativa no desempenho do Enade em relação ao do Enem.

Outra questão referente ao IDD refere-se ao peso a ele atribuído como componente do CPC. Conforme informado anteriormente, a NIDD representa 35% da nota do CPC (NCPC) , a qual é convertida em CPC, de acordo com os parâmetros descritos na Tabela 2. A nota no Enade, por sua vez, representa 20% da NCPC.

Em documento técnico encaminhado pelo Inep, o qual, de acordo com a entidade, serviu de base para a construção do CPC, há menção de que a principal deficiência do CPC reside no fato de ele não contar com nenhum mecanismo explícito que justifique as ponderações utilizadas (peça 17, p. 8) .

De fato, não foram disponibilizados pelo Inep nem levantados pela equipe de auditoria documentos que justificassem a atribuição dos pesos dos componentes do CPC. Percebe-se que o peso dado ao IDD é maior que o peso atribuído ao componente que avalia diretamente o desempenho do estudante.

Na ausência de critérios técnicos ou fundamentos teórico-metodológicos que justifiquem essa opção de ponderação, entende-se, em princípio, desproporcional o peso atribuído ao IDD, tendo em vista que o objetivo da avaliação de cursos superiores tem relação muito mais direta com o desempenho do aluno e a qualificação deste para a o mercado de trabalho do que a razão incremental dos conhecimentos e habilidades por ele adquirido.

Com efeito, os conhecimentos demandados no mercado de trabalho, ao menos diretamente, independem de como o aluno entra no curso superior, com alto ou reduzido nível de proficiência. Vale dizer, como exemplo, que o trabalho do engenheiro no projeto de a construção de um prédio ou de uma ponte, por exemplo, demanda conhecimentos e habilidades em relação ao conteúdo relativo à formação específica do respectivo curso, não guardando relação direta com o incremento de competência em relação ao início do curso.

Conclui-se, portanto, que a forma como a NIDD é calculada e o peso a ela atribuído carregam consigo a noção de que o ganho de conhecimento no decorrer do curso, tendo como parâmetro a condição de entrada do estudante, é mais importante que sua própria condição de conclusão, que representa o que o aluno tem em termos de conhecimentos e habilidades necessários ao exercício de uma profissão. Assim, ainda que os conhecimentos e habilidades do estudante ao final do curso não sejam significativos em relação ao conteúdo programático do curso, se o ganho de conhecimento representar melhora considerável em relação à sua condição inicial, a contribuição desse estudante para a NIDD daquele respectivo curso será alta. Similarmente, mesmo que o estudante tenha uma boa condição de conclusão do curso, em termos de conhecimentos e habilidades, se não houve variação significativa em relação à sua condição de início, sua contribuição para a NIDD do curso ficará comprometida, podendo, inclusive, contribuir para uma NCPC mais baixa.

Outra crítica trazida no documento encaminhado pelo Inep é que o IDD não permite estabelecer critérios de qualidade, o que seria de fundamental importância para o regulador, que necessita decidir quais os cursos que atendem às condições de funcionamento (peça 17, p. 7) . A afirmação é verdadeira, tendo em vista que, a exemplo do procedimento de padronização, a NIDD é uma medida relativa de desempenho, nesse caso, estabelecendo uma comparação entre o desempenho de entrada e de saída do concluinte.

A argumentação é válida, tendo em vista que, além de ser mais um insumo para a atuação do regulador, se houvesse parâmetros mínimos absolutos bem estabelecidos para se considerar o incremento de conhecimento medido pelo IDD, parte das distorções verificadas no estudo informado no item 134seria eliminada. Outra medida que, em tese, mitigaria essas distorções, seria o estabelecimento de regras que relativizassem o IDD negativo em cursos com alta média de desempenho no Enade, a exemplo da consideração apenas das notas obtidas nesse exame como nota do IDD.

Por fim, a exemplo dos demais componentes da NCPC, o NIDD também é objeto de padronização estatística, aplicando-se a ele as mesmas considerações a serem feitas no tópico relativo à utilização de escores padronizados.

Parâmetros de Conversão – Critérios de arredondamento

Outro aspecto relativo à ausência de fundamentos teórico-metodológicos para construção do CPC refere-se aos parâmetros de conversão da NCPCc em CPC. De acordo com a Lei 10.861/2004, a avaliação dos cursos de graduação resultará na atribuição de conceitos, ordenados em uma escala com cinco níveis, a cada uma das dimensões e ao conjunto das dimensões avaliadas (art. 4º, § 2º) . Assim, a avaliação dos cursos deve ser traduzida em conceitos, o que acontece mediante a utilização de uma variável discreta que assume valores de 1 a 5, conforme Nota Técnica 3/2017/CGCQES/DAES.

Estes conceitos de 1 a 5 são provenientes da conversão das Notas Contínuas do CPC no curso de graduação c (NCPCc) de acordo com os parâmetros definidos na Tabela 1, sendo oportuno replicá-la para as análises a serem feitas:

Tabela 3: Parâmetros de conversão do NCPCc em CPC

CPC (Faixa)

NCPCc (Valor Contínuo)

1

0 ≤ NCPCc≤ 0,945

2

0,945 ≤ NCPCc ˂ 1,945

3

1,945 ≤ NCPCc ˂ 2,945

4

2,945 ≤ NCPCc ˂ 3,945

5

3,945 ≤ NCPCc ≤ 5

Fonte: Inep/Daes (Nota Técnica 3/2017/CGCQES/DAES)

Por meio de Ofício (peça 5, p. 2) , solicitou-se ao Inep a justificativa técnica para a utilização dos parâmetros de conversão da Tabela 4. Em sua resposta, o Inep informou que ‘...a Daes não possui registros acerca dos fundamentos teórico-metodológicos que embasaram a definição destas faixas. Entretanto, ressalta-se que essa tabela de conversão tem sido utilizada desde o início do cálculo dos Indicadores de Qualidade da Educação Superior e a opção da equipe técnica da Daes tem sido pela continuidade da divulgação nos mesmos termos para garantir a comparabilidade da série histórica produzida’ (peça 8, p. 6) .

O Inep argumentou também que qualquer alteração nos parâmetros estabelecidos poderia produzir consequências indesejáveis no âmbito dos processos de regulação da educação superior, mesmo que não houvesse mudança estrutural dos indicadores. Tais consequências, no entanto, não foram evidenciadas nas respostas apresentadas.

Pela resposta, percebe-se que a Daes não foi conclusiva acerca da existência de fundamentos teórico-metodológicos que embasaram a definição das faixas de conversão mencionadas na Tabela 5. Na resposta, informou-se apenas que a Daes não possui estes registros, não havendo conclusão se estes fundamentos existem ou não.

Caso os parâmetros de conversão seguissem regras de arredondamento em que cada conceito atribuído se correlacionasse com intervalos de 20% de amplitude por faixa em relação à NCPCc, teríamos a seguinte tabela de conversão:

Tabela 4: Parâmetros hipotéticos de conversão da NCPCc em CPC - intervalos correspondentes à amplitude de 20% da NCPCc máxima possível

CPC (Faixa)

NCPCc (Valor Contínuo)

NCPCc (percentual em relação à NCPC máxima – 5,0)

1

0 ≤ NCPCc ≤ 1,0

NCPCc ≤ 20%

2

1,0 ˂ NCPCc ≤ 2,0

20% ˂ NCPCc ≤ 40%

3

2,0 ˂ NCPCc ≤ 3,0

40% ˂ NCPCc ≤ 60%

4

3,0 ˂ NCPCc ≤ 4,0

60% ˂ NCPCc ≤ 80%

5

NCPCc ≥ 4,0

NCPCc ≥ 80%

Fonte: Equipe de auditoria (a partir da metodologia constante na Nota Técnica 3/2017/CGCQES/DAES)

Na Tabela 5 são apresentados os resultados do CPC 2015 considerando o método atual utilizado pelo Inep (com padronização e arredondamento conforme Tabela 3) e a partir dos parâmetros de conversão estabelecidos na segunda coluna da Tabela 4. Cumpre salientar que os critérios hipotéticos estabelecidos na Tabela 4 mostram-se razoáveis, tendo em vista fazer com que cada uma das cinco faixas (conceitos) corresponda a 20% da nota contínua, sempre com arredondamento para cima (exemplos: NCPC igual a 2,1 corresponde a CPC 3; NCPC igual a 0 (zero) corresponde a CPC 1) .

Tabela 5: Resultados do CPC de 2015 – Efeito do arredondamento (com padronização)

Conceito

Resultados atuais – Método utilizado pelo Inep (com padronização e arredondamento) e % em relação ao total

Resultados com padronização e arredondamento de 20% por faixa e

% em relação ao total

1

22 (0,3%)

29 (≤ 0,1%)

2

753 (10,6%)

877 (12,4%)

3

4.252 (60,2%)

4.338 (61,4,%)

4

1.949 (27,5%)

1746 (24,7%)

5

91 (1,3%)

77 (≤0,1%)

Fonte: Equipe de auditoria (a partir de dados fornecidos pelo Inep)

Na simulação da Tabela 5, embora tenhamos percentuais parecidos de cursos com conceito considerado satisfatório (CPC 3, 4 e 5) , teríamos uma ligeira diminuição dos cursos que atendem essa condição (de 89% para 87%) . Já em relação aos cursos com CPC 4 ou 5, a diferença ultrapassa os 10% entre os métodos de arredondamento utilizados.

As diferenças verificadas indicam a necessidade de que os parâmetros de conversão a serem utilizados nos processos de avaliação de cursos da educação superior sejam bem estimados, razoáveis, com estudos e fundamentos teórico-metodológicos que os suportem, bem como sejam divulgados e colocados à disposição das partes interessadas no processo.

Padronização das notas

De acordo com o art. 206, VII, da Constituição Federal, o ensino tem como princípio a garantia do padrão de qualidade. O art. 1º, parágrafo primeiro, da Lei 10.861/2004 (Lei do Sinaes) , por sua vez, dispõe que o sistema de avaliação da educação superior tem como uma de suas finalidades melhorar a qualidade da educação superior. Já no art. 5º, parágrafo primeiro, da Lei do Sinaes, está previsto que ‘o Enade aferirá o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação...’.

Os dispositivos acima evidenciam a necessidade de que os cursos e estudantes sejam avaliados quanto a quesitos que expressem qualidade segundo critérios de excelência, tanto em relação aos cursos, envolvendo todas as suas dimensões, quanto em relação ao desempenho dos estudantes.

Conforme informado no capítulo III deste relatório, o Inep se utiliza de procedimentos de padronização estatística para conversão das notas contínuas em conceito. As análises descritas nos itens seguintes demonstram que a utilização desse procedimento é insuficiente para medição da qualidade dos cursos e do desempenho dos estudantes, nos termos do art. 206, VII, da Constituição Federal e parágrafo primeiro dos arts. 1º e 5º da Lei 10.861/2004 (Lei do Sinaes) .

De acordo com a literatura clássica em Estatística, a técnica da padronização estatística (escore padronizado) representa o número de desvios-padrão pelo qual um valor dista da média para mais ou para menos. O procedimento consiste em expressar um valor pela razão de sua diferença em relação à média e desvio-padrão da série estatística. Em linguagem mais corriqueira, com a padronização, muda-se a escala original, onde a nova escala tem como parâmetro de referência os desvios em relação à média. A padronização ou escore padronizado permite distinguir entre valores usuais e valores raros ou incomuns e é útil para comparação de resultados.

Para exemplificar, podemos mencionar a aplicação de dois testes distintos de determinada matéria, a duas turmas cursando a mesma série do ensino correspondente, com níveis de dificuldade distintos, ambos numa escala contínua de zero a dez. Suponhamos que um dos testes apresentou baixo grau de dificuldade, que a média da turma tenha sido 9,0 e que a nota de determinado aluno seja 8,0. Agora, suponhamos outro teste, de alto grau de dificuldade, onde aluno tenha tirado nota 7,0 enquanto a média da turma tenha sido 5,0. Embora em valores absolutos o desempenho do primeiro aluno tenha sido melhor, fazendo-se a comparação a partir de valores padronizados, o desempenho do segundo pode ser considerado superior ao do primeiro.

No exemplo exposto, uma vez satisfeitas determinadas condições, a técnica da padronização permitiu comparar desempenhos de indivíduos a partir de diferentes testes, com graus de dificuldade distintos. Com efeito, utilizando-se das premissas apropriadas, a partir da padronização é possível estabelecer rankings entre os avaliados.

Conforme já informado, um dos passos para se chegar ao Conceito Preliminar de Curso consiste em proceder a padronização das notas de seus componentes. O objetivo primeiro do CPC, no entanto, não é estabelecer rankings entre os cursos das diferentes instituições, mas aferir a qualidade dos cursos de graduação. A atribuição desse conceito não visa medir o desempenho relativo dos cursos de graduação ofertados pelas IES, mas o nível de proficiência que aquele determinado curso ofertado é capaz de propiciar ao aluno dele egresso, no que se refere ao desenvolvimento de competências e habilidades necessárias ao aprofundamento de sua formação geral e profissional, conforme prescrição legal já mencionada.

No caso da prova do Enade, a mesma prova é realizada pelos alunos concluintes de determinado curso, naquele ciclo avaliativo. De igual modo, para avaliação dos cursos de graduação em cada ciclo avaliativo, por meio do CPC, são utilizados os mesmos instrumentos. Assim, não há justificativa técnica para utilização de escores padronizados para atribuição dos conceitos de que se trata, tendo em vista, inclusive, as afirmações do Inep quanto à não comparabilidade do Enade, decorrente não existência de pré-testagem de itens das provas (peça 8, p. 4) .

A utilização de escores padronizados pode levar a distorções nos conceitos atribuídos. Como os cálculos são feitos a partir dos desvios padrões em relação à média, se a média de uma distribuição normal for muito baixa, com a padronização e o consequente reescalonamento, a maior parte das notas na nova escala será enquadrada em valores médios relativos baixos. Esse desempenho médio, bem como boa parte dos desempenhos acima da média não necessariamente refletem bons desempenhos ou desempenhos satisfatórios em termos de qualidade, tendo em vista que a nova escala estabelecida é predominantemente proveniente de baixos desempenhos. Nesse caso, a utilização da padronização não permite fazer inferências verossímeis acerca do real desempenho dos alunos, no caso do Enade, tampouco da qualidade dos cursos, no caso do CPC.

Assim, em que pese a padronização não seja um problema, por si, e seja amplamente utilizada no tratamento de dados estatísticos, no caso mencionado tende a não revelar a condição dos cursos e do desempenho dos alunos no que diz respeito a aspectos de qualidade, podendo, inclusive, maximizar os desempenhos, conforme análises a serem efetuadas.

Há de se destacar, que a padronização também pode estar no lado direito da escala, isto é, a nova escala partindo de valores altos, o que nesse caso, não representaria um problema, ao menos do ponto de vista da avaliação dos cursos superiores.

Questionou-se ao Inep a justificativa técnica para utilização da padronização nos diversos componentes do CPC. Em resposta o Inep alegou que ‘a opção pela padronização dos indicadores se deve ao fato de os componentes do CPC não possuírem nota mínima esperada para desempenho satisfatório, o que permitiria a utilização de medidas absolutas nos processos de cálculo’ (peça 8, p. 5) .

Na resposta apresentada percebe-se que a lógica foi invertida, como se o fato de os componentes do CPC não terem nota mínima esperada implicasse, necessariamente, na utilização da padronização. A assertiva não é verdadeira, tendo em vista que se os componentes do CPC tivessem nota mínima esperada, o único caminho que não geraria distorção nos resultados seria a utilização de medidas absolutas nos processos de cálculo. Então, como não há essa exigência e de acordo com os comentários apresentados pelo Inep em relação ao relatório preliminar no sentido de que as notas absolutas não prescindem do estabelecimento de requisitos de qualidade para terem validade, o Inep optou por utilizar a padronização dos componentes. No entanto, embora não haja esse imperativo de não utilização de padronização estatística, seu uso, como já argumentado, não se presta a medir aspectos de qualidade nas avaliações realizadas.

De acordo com o Inep, ao empregar os procedimentos de padronização e reescalonamento dos indicadores, permite-se que sejam obtidas medidas comparáveis de desempenho entre cursos de uma mesma área de avaliação do Enade, tendo como referência o conjunto de cursos avaliados. Nesse sentido, a entidade alega que tais indicadores servem como critério objetivo para o estabelecimento de políticas públicas de regulação, definindo prioridades de intervenção nos cursos ou instituições com resultados mais baixos (peça 8, p. 5-6) .

De fato, com a utilização da padronização e reescalonamento, com já informado, é possível a distinção entre valores usuais e valores raros ou incomuns, o que serve de critério para definição dos cursos e instituições que mereçam prioridade nas ações de regulação. No entanto, a técnica pode ser utilizada para esse fim independentemente de se atribuir conceitos com base em notas padronizadas, no intuito de realizar medições sob o crivo da qualidade. Isto é, não há necessidade de que as notas dos componentes da NCPC sejam padronizadas, basta que se utilize a padronização para fins gerenciais, a exemplo do informado pelo Inep, de identificação de situações que mereçam prioridade no processo de regulação.

A entidade argumentou também que a padronização é um recurso necessário quando se trata de indicadores compostos (índices) que possuem componentes com unidades de medida diferentes, como no caso do CPC, convertendo variáveis independentes para uma unidade de medida e variabilidade comuns, tornando possível ajustar o peso de diferentes variáveis para a composição dos indicadores (peça 8, p. 6) .

O procedimento de padronização, embora traga para a mesma escala componentes com unidades de medida diferentes, não tem a capacidade de tornar uno o produto final da composição. Assim, para atingir o objetivo esperado, a atribuição de um conceito tendo como componentes diferentes unidades de medida em uma mesma escala, seria necessário que houvesse um reescalonamento das notas dos componentes de modo que cada valor de sua escala original correspondesse ao intervalo contínuo utilizado, de 0 (zero) a 5,0 (cinco) , por exemplo, para que se aplicassem as ponderações definidas em cada componente. Isto é, a utilização de uma escala comum prescinde do procedimento de padronização. Nesse caso, são atribuídas notas e ponderações aos componentes, originando a nota final que dá origem ao conceito, sem que esse conceito tenha uma unidade de medida específica e una.

Com efeito, numa hipotética situação onde a média absoluta das notas contínuas dos cursos fosse próxima de zero, numa escala de 0,0 a 10,0, teríamos resultados semelhantes caso a média absoluta estivesse próxima de 10,0, nessa mesma escala, tendo em vista que a qualidade é medida em termos relativos, onde o que vale são as notas comparadas, o que, evidentemente, compromete o conceito de qualidade, no sentido de excelência ou nível de proficiência gerado pelo curso.

Do exposto, percebe-se que a padronização dos componentes das NCPC, tem como contrapartida a perda de referência em termos de qualidade/excelência, além da perda de transparência, uma vez que não é capaz de retratar fidedignamente a realidade dos cursos e do desempenho dos estudantes.

Isto é, quando um interessado se depara com a informação de que determinado curso tem conceito 3, embora haja definição normativa de que este curso possui qualidade satisfatória, não se sabe de fato o que este conceito representa em termos de conhecimento ou proficiência gerada aos profissionais dele egressos segundo um determinado critério. A impressão gerada pelo conceito igual ou maior que 3 é de que o curso possui qualidade satisfatória chancelada pelo MEC.

Por meio de entrevistas com gestores da Seres/MEC e do Inep, bem como em respostas a questionamentos realizados por meio de ofícios de requisição da equipe de auditoria, estes gestores mencionaram que a forma utilizada para cálculo do CPC, de fato, não é capaz de refletir a qualidade/excelência dos cursos, mas apenas estabelece uma classificação entre eles.

Em documento encaminhado pelo Inep, como anexo à resposta ao Ofício de Requisição 02-137-SecexEducação (peça 8) , é feita a seguinte afirmação: ‘Como o Enade não possui uma escala predeterminada, fica impossível estabelecer critérios de qualidade em medidas dele derivadas; essas medidas servem apenas para comparar cursos entre si’.

Conclui-se, portanto, que a utilização da padronização para atribuição das notas dos componentes das NCPC, as quais são os valores de referência para atribuição do CPC, não é adequada à avaliação dos resultados quanto a aspectos de qualidade dos cursos, estabelecendo somente um ranking entre eles, no qual é possível a identificação de valores raros ou incomuns. Mais que isso, não só não retrata a realidade, como pode elevar, apenas pela metodologia utilizada, as notas e respectivos conceitos atribuídos aos cursos de graduação.

Conclusão do achado

Percebe-se que as ponderações utilizadas para cálculo da nota contínua do CPC, assim como os demais aspectos desse conceito, carecem de fundamentos teórico-metodológicos que os embasem. Não se afigura razoável que o conceito predominantemente utilizado para avaliação dos cursos de graduação no país prescinda da existência dos fundamentos e justificativas técnicas para sua construção ou que estes não sejam divulgados.

Além disso, o mecanismo de atribuição de notas e seus respectivos conceitos, utilizados quanto à avaliação dos cursos de graduação, tende a eliminar as desigualdades de desempenho de fato existentes, ora maximizando baixos desempenhos, ora minimizando desempenhos mais elevados, não trazendo um diagnóstico preciso relativo à qualidade/excelência dos cursos avaliados. Estes efeitos, conforme analisado, são gerados basicamente pelo peso excessivo atribuído ao IDD e sua forma de cálculo, pelo reescalonamento das notas a partir da utilização de escores padronizados e pelos critérios de conversão das notas contínuas em conceitos.

O efeito gerado pelo reescalonamento das notas a partir da padronização estatística, conforme análises efetuadas, faz com que a maior parte dos cursos avaliados se situem em torno dos valores centrais da escala utilizada. Outro fator, que pode elevar o desempenho dos cursos avaliados, refere-se ao critério de arredondamento utilizado para conversão das notas contínuas em conceitos. Com a utilização desses métodos para efeitos de avaliação, individualmente ou conjugados, corre-se o risco de que sejam atribuídos desempenhos satisfatórios a cursos que não fazem jus a essa condição.

Do conjunto de causas elencadas e analisadas, conclui-se que o CPC, da forma como é calculado, não é capaz de refletir aspectos de qualidade no que diz respeito à excelência dos cursos avaliados e demanda modificações em sua forma de cálculo que, fundamentadamente, expressem razoavelmente os aspectos de qualidade dos cursos de graduação, objetivo a que se propõe.

Ante o exposto, será proposto determinar, com fundamento no art. 43, I, da Lei 8.443/92 e no art. 250, II, do Regimento Interno/TCU, ao Instituto Nacional de Estudos e Pesquisas Educacionais – Inep que, em 120 dias, apresente plano de ação para implementação das medidas constantes nos itens a seguir, contendo etapas, responsáveis e prazos justificados para:

a) com amparo no § 6º, art. 5º, da Lei 10.861/2004, no que diz respeito ao Exame Nacional de Desempenho de Estudantes – Enade:

a.1) finalizar o processo de classificação dos cursos superiores em funcionamento no país, no sentido de vinculá-los a determinada área do conhecimento para efeito de aplicação do Enade, de modo a possibilitar que o enquadramento dos cursos nas áreas de conhecimento tenha a maior abrangência possível, tornando residuais os casos nos quais não é possível vincular cursos às grandes áreas do conhecimento em razão das peculiaridades de seus projetos pedagógicos;

a.2) estabelecer procedimentos de controle/verificação para averiguar a regularidade e suficiência das inscrições no Enade, de modo a garantir a participação de todos dos concluintes habilitados, bem como gerar expectativa de controle no processo, a exemplo das medidas indicadas no Ofício 57/2018/GAB-INEP (peça 29) ;

b) desenvolver, com fundamento no art. 206, VII, da Constituição Federal e art. 1º, parágrafo primeiro, da Lei 10.861/2004, metodologia de avaliação do ensino superior que:

b.1) contemple o desenvolvimento de fundamentos teórico-metodológicos para construção dos indicadores do ensino superior, especialmente quanto: aos procedimentos utilizados para conversão das notas contínuas em conceitos, de modo que os meios a serem estabelecidos para tanto não gerem impactos significativos nos resultados das avaliações em decorrência estrita dos critérios de conversão utilizados; às justificativas técnicas para cada ponderação a ser utilizada nas notas que dão origem aos conceitos, demonstrando sua razoabilidade;

b.2) reflita, objetivamente, o nível de qualidade/excelência no que concerne aos cursos superiores de graduação, e não somente o desempenho relativo entre cursos, como medido na metodologia atual;

c) com fundamento no art. 37, caput, da Constituição Federal, dê publicidade à metodologia a ser desenvolvida, informando os fundamentos teórico-metodológicos para construção dos indicadores do ensino superior, os critérios de conversão das notas contínuas em conceitos, as justificativas técnicas para cada ponderação a ser utilizada nas notas que dão origem aos conceitos, bem como aos demais aspectos da metodologia.

IV.2. A metodologia atual possui inconsistências quanto à atribuição de conceitos aos cursos

Como mostrou o cap. II.2.4, o Inep utiliza dois índices para refletir a qualidade dos cursos de graduação, CPC e CC. Esses mesmos índices servem como base para o processo regulatório de reconhecimento de curso. No entanto, conforme explicado a seguir, a sistemática de utilização desses dois índices contribui para agravar as conclusões do referido capítulo, dificultando uma medida inequívoca da qualidade dos cursos.

Como consequência, a utilização desses índices, da forma que está sendo feita, compromete não apenas a qualidade do processo regulatório, uma vez que constituem a base sobre a qual a regulação é exercida, mas principalmente a percepção que a sociedade tem dos cursos ofertados pelas diversas IES, e ainda desestimula a possibilidade de aperfeiçoamento dos cursos, o que é uma das principais razões para se ter um sistema de avaliação, conforme prevê a própria lei do Sinaes no § 1º do Art. 1º.

Conforme visto, o CPC utiliza medidas relativas ao desempenho dos estudantes e às condições de oferta dos cursos: o desempenho dos alunos é mensurado por meio de uma prova aplicada aos formandos para avaliar o grau de conhecimento obtido (ver Enade e IDD no cap. IV.1 acima) .

A condição de oferta dos cursos, o meio pelo qual se busca garantir uma boa formação para os alunos, é avaliada por meio de um conjunto de variáveis observáveis que espelham a qualidade do corpo docente, obtida por meio de informações fornecidas pelas próprias IES, por meio do Censo da Educação Superior, e a percepção dos alunos a respeito do projeto pedagógico, da infraestrutura e da ampliação de oportunidades profissionais. A percepção dos alunos é obtida em questionário aplicado no momento do Enade. Na composição do CPC, o desempenho dos alunos responde por 55% do valor total.

O CC mede as condições de oferta, por meio de uma avaliação in loco de especialistas na área do curso. Nessas visitas são avaliadas 11 dimensões relativas à qualidade dos cursos, mas não é utilizada nenhuma medida do desempenho dos formandos. Ou seja, 100% do CC diz respeito às condições de oferta, ao contrário do CPC em que mais da metade de seu valor é obtido em função dos desempenhos dos alunos.

Da comparação dos dois indicadores pode-se concluir que o CC mede, conceitualmente, apenas uma parte daquilo que é medido pelo CPC, inclusive a menor parte, por meio de uma metodologia própria, que busca aprofundar as condições de oferta por meio da avaliação in loco. Dito de outra forma, os indicadores medem coisas diferentes embora pareçam medir coisas iguais.

De fato, ambos procuram medir a qualidade do curso, só que o CPC mede a qualidade também por meio do resultado dos alunos, enquanto o CC mede a qualidade exclusivamente pelas condições de oferta. Isso não seria um problema se eles fossem usados complementarmente, de modo a dar uma visão global da qualidade do curso, cada um medindo uma dimensão específica do curso. Mas esse não é o caso. Mesmo porque, se assim fosse, todo e qualquer curso deveria ter os dois indicadores, que poderiam inclusive constituir um único e inequívoco índice mais geral da qualidade do curso. Mas isso não é possível considerando a sistemática atual, onde um curso pode ter apenas o CPC, enquanto outro pode ter apenas o CC, e ainda acontece de um curso possuir os dois (ver cap. IV.1) .

Essa situação ocorre em função da forma como a sistemática de avaliação foi regulamentada pelo Decreto 5.773/2006 e depois pela Portaria MEC 40/2007. Segundo esses normativos, embora o CPC seja um conceito preliminar, se determinado curso obtiver um CPC maior ou igual a três, não será submetido à avaliação in loco, e, portanto, não terá um conceito CC, de modo que o CPC passa a ser o conceito definitivo. A nova regulamentação, dada pela Portaria Normativa MEC 23/2017, no seu art. 38, em conjunto com a Portaria Normativa 20/2017, art. 16, não alterou essa lógica.

Por outro lado, aqueles cursos que obtiveram CPC menor que três ou que não tiveram CPC, terão apenas o CC. Nesses casos, sua avaliação deixa de considerar o desempenho dos alunos, uma vez que não há nenhuma variável na métrica do CC relativa ao desempenho.

Mesmo uma instituição que tenha um curso com CPC maior ou igual a três pode solicitar uma visita in loco para obter um CC em função de considerar que o seu CPC não espelha adequadamente a qualidade do seu curso. Nesses casos, havendo disponibilidade de equipe será realizada a visita para avaliação.

A sistemática atual resulta em pelo menos quatro problemas:

Permite que diversos cursos obtenham conceito final que não considera o desempenho dos alunos;

Contribui para que a sociedade não consiga enxergar com objetividade e clareza a situação de determinado curso;

Não favorece um processo de regulação e tomadas de decisão adequadas, que possam efetivamente contribuir para a progressiva melhora dos cursos;

Eleva as notas dos cursos considerando apenas os meios ou condições de ofertas, abandonando a dimensão do resultado.

Em relação ao item ‘a’, deve-se considerar que a Lei do Sinaes, no § 2º do art. 5 estabelece que todos os cursos deverão ser avaliados quanto ao desempenho dos alunos, ainda que não necessariamente todos os alunos, sendo permitida a seleção amostral desses alunos:

‘Art. 5º A avaliação do desempenho dos estudantes dos cursos de graduação será realizada mediante aplicação do Exame Nacional de Desempenho dos Estudantes - Enade.

......

§ 2º O Enade será aplicado periodicamente, admitida a utilização de procedimentos amostrais, aos alunos de todos os cursos de graduação, ao final do primeiro e do último ano de curso. ...’

Contudo, em função das dificuldades inerentes de um sistema como esse, a lei prevê uma aplicação com periodicidade máxima de três anos, e uma expansão gradual dos cursos submetidos ao exame, cabendo ao Ministro da Educação determinar anualmente os cursos a cujos alunos será aplicado o exame.

Embora seja justificável que, apesar da lei ser de 2004, ainda não seja possível aplicar o Enade a todos os cursos de graduação, o que não é razoável é que mesmo para aqueles casos em que o exame foi aplicado, ele seja posteriormente desconsiderado na hora de se calcular o CC, resultando em uma enorme quantidade de cursos com conceitos que não consideram o desempenho dos estudantes embora estes tenham sido submetidos ao Enade. Embora o CPC não deixe de existir nos registros do curso, é substituído pelo CC. Isto é, para fins de regulação e transparência para a sociedade, o que passa a ser usado é o novo conceito CC.

Do ponto de vista da regulação, item ‘c’, esses cursos são beneficiados, pois, em função do seu conceito CC passam a ter a renovação do seu reconhecimento automática. Em função disso, por serem considerados com satisfatórios para a regulação e para a própria IES, não são impelidos ao aperfeiçoamento.

O mesmo se dá em relação à percepção da sociedade, ‘item b’, que passa a enxergar a qualidade do curso de maneira enviesada, pois embora possua um indicativo de que as condições de oferta estão num padrão razoável, não sabem se isso é suficiente para garantir uma boa formação.

Conforme será visto no cap. IV.3, pelo menos em relação aos cursos de direito há uma razoável possibilidade de acontecer exatamente o contrário. Assim, seria muito mais adequado para fins das escolhas dos alunos, que pudessem saber de maneira mais objetiva o que se poderia esperar em termos de formação de um determinado curso.

O que se percebe, por parte do legislador, é uma preocupação com a efetividade dos cursos, para que estes entreguem à sociedade, profissionais suficientemente qualificados. De nada adianta uma instituição com excelentes condições de oferta se seus egressos estão aquém das necessidades do mercado de trabalho.

Em relação ao item ‘d’, na prática o CC funciona como uma espécie de ‘recuperação’ para os cursos com baixo desempenho, ou seja, não obtiveram conceito maior ou igual a três no CPC. Só que a recuperação não se dá de fato, mas por um artifício de subtrair da avaliação aquilo que estava trazendo a nota pra baixo. Essa estratégia claramente faz com que os conceitos apareçam majoritariamente acima de três, pois, ou eles tiveram 3 diretamente no CPC, ou conseguiram posteriormente no CC, ao eliminar o Enade.

Segundo dados extraídos do e-MEC, dos 78 cursos que tiveram conceito CPC igual 1, 47 acabaram com conceito CC maior ou igual a três. Desses 47, 34 tiveram nota 1 no Enade. Ou seja, esses cursos obtiveram o menor conceito disponível, e claramente insuficiente em termos do desempenho dos estudantes, da qualidade do corpo docente e da percepção dos mesmos em relação às condições de oferta. No entanto, as condições de oferta observadas pelos avaliadores durante a visita in loco foram claramente divergentes, o que é espelhado pela nota do CC.

Assim, de um resultado de qualidade insuficiente dos cursos obtido por meio de uma avaliação mais abrangente, pois incluía a dimensão de desempenho dos estudantes, retratada pelo CPC, passou-se a um resultado de qualidade suficiente, por meio de uma avaliação que, apesar de aprofundar a análise das condições de oferta, legitimando uma possível alteração nessa dimensão, não é tão abrangente quanto a anterior, pois desconsidera a dimensão de resultado.

O mesmo se dá em relação aos cursos que tiveram CPC igual a dois. Dos 2.950 cursos, 1.957 (cerca de 66%) obtiveram CC maior ou igual a três, sendo que 117 ficaram com CC igual cinco. Dos que tiveram o conceito satisfatório recuperado por meio do CC (1.957) , 446 tiveram conceito Enade igual a 1.

Percebe-se que, 117 cursos não só passaram de um resultado insuficiente para o de suficiente, como obtiveram a nota máxima, que deveria ser atribuída somente aos cursos de excelência. Ainda que as condições de oferta seja uma dimensão relevante para a avaliação dos cursos, e que uma visita de especialistas, com um instrumento de diagnóstico mais elaborado possa rever essas condições em relação à percepção dos alunos, não é razoável simplesmente eliminar a dimensão de resultado dessa avaliação, ainda mais diante dessa alteração dos resultados. É o fato da dimensão de resultado não estar presente no CC que faz com que os conceitos sejam tão superiores em relação ao CPC.

Outra forma de chegar à mesma conclusão é a constatação de que, dos 26.942 cursos que fizeram o exame, 8.913 tiveram conceito insuficiente, ou seja, 33% dos cursos. Por outro lado, do total de cursos avaliados, 28.258, apenas 15% apresentaram CPC ou CC insatisfatórios. Parece inequívoco que é a nota no Enade que traz os conceitos do CPC para baixo. Isso sem contar todos os problemas envolvidos no cálculo do próprio conceito Enade, bem como no cálculo do CPC, conforme apresentado no cap. IV.1.

Por último, deve-se observar que uma das finalidades da educação superior é, segundo o Inciso II, do art. 43 da Lei 9.393 –LDB:

‘II - formar diplomados nas diferentes áreas de conhecimento, aptos para a inserção em setores profissionais e para a participação no desenvolvimento da sociedade brasileira, e colaborar na sua formação contínua; ‘

Em função dessa finalidade, não se pode prescindir da avaliação da capacidade dos egressos dos cursos de fazer frente aos desafios inerentes aos respectivos setores profissionais, incluindo aí a formação acadêmica mínima necessária para a aptidão dos egressos para o exercício da profissão. Pelo contrário, deve-se buscar a expansão da avaliação dessa dimensão a todos os cursos, conforme exposto no cap. IV.1, e como determinado na Lei do Sinaes, § 11º, do art. 5.

Em função do exposto, entende-se oportuno determinar que a métrica do CC inclua o resultado do Enade, para os cursos avaliados nesse exame, de modo a atender o previsto no art. 5, § 2º, da Lei 10.861/2004.

IV.3. Exame Unificado de Ordem (Exame da OAB) x Avaliações realizadas pelo Inep/MEC (Enade/CPC)

IV.3.1. Contextualização

Criado inicialmente pela Lei 4.215/1963, o Exame de Ordem tornou-se obrigatório por meio da Lei 8.906/1994 – que instituiu o Estatuto da Ordem dos Advogados do Brasil– incumbindo a OAB desse mister. Desse modo, o Exame passou a ser etapa obrigatória da avaliação dos bacharéis em Direito, constituindo-se requisito ao exercício da advocacia. Durante as duas últimas décadas, o Exame sofreu modificações para se adequar ao aumento de instituições de ensino superior no Brasil e do número de bacharéis em direito, resultando no Exame de Ordem Unificado (EOU) (site da OAB) .

Conforme informado na introdução desse relatório, apresente fiscalização originou-se de solicitação da Comissão de Defesa do Consumidor para avaliar a atuação do MEC nos procedimentos de fiscalização dos cursos de Direito. Conforme consignado na PFC nº 64/2015, a proposta de direcionamento do foco da auditoria para os cursos de graduação em direito baseia-se no tratamento diferenciado que lhe foi dado pela Constituição Federal e pelas portarias normativas expedidas pelo MEC. Na proposta de fiscalização em comento, discorre-se que:

‘Não obstante todo o aparato legislativo para que o Ministério (MEC) exerça a fiscalização sobre o funcionamento das Faculdades de Direito, os estudantes têm visto seus direitos de consumidores prejudicados diante da péssima qualidade de muitas instituições. Basta, para tanto, verificar o baixíssimo índice de aprovação nos Exames de Ordem da OAB para concluir que a formação de Bacharéis em Direito está comprometida.’

Para exemplificar a argumentação acima, mencionou-se trecho de estudo feito pelo Conselho Federal da OAB juntamente com a Fundação Getúlio Vargas (FGV) : ‘Exame de Ordem em números’, qual seja:

‘ (...) Um exemplo prático de certificação é o ‘Selo OAB Recomenda’, que reconhece e premia as instituições de ensino superior e os cursos de Direito e Ciências Jurídicas que atendam aos critérios de excelência, regularidade e qualidade mínima compatíveis com as expectativas da OAB e da sociedade brasileira. A Tabela 6 a seguir apresenta a evolução do número de cursos contemplados com o ‘Selo OAB Recomenda’ ao longo de suas quatro edições. Como é possível notar, apesar do aumento expressivo do número de cursos de Direito na última década, apenas 89 de um total de 1.210 cursos (cerca de 7%) atendiam aos critérios propostos pela OAB na última edição da avaliação (2011) . ‘

Por fim, menciona-se na PFC que, no período de 2008 a 2014, apenas 18% dos inscritos no Exame da OAB foram aprovados. Ante as narrativas anteriores, a Comissão de Defesa do Consumidor propôs a realização da fiscalização de que se trata.

Nesse relatório, utilizaremos a sigla OAB para fazer referência ao Conselho Federal da Ordem dos Advogados do Brasil (CFOAB) , tendo em vista a maior familiaridade, em termos gerais, e a simplicidade quanto à segunda sigla.

IV.3.2. Introdução

O presente capítulo decorre dos procedimentos e análises efetuados para responder à terceira questão de auditoria prevista na matriz de planejamento:

‘Questão 2: Quais os motivos para que a maioria dos cursos de direito tenham avaliação satisfatória por meio da avaliação realizada pelo MEC/Inep e baixo desempenho para os alunos que realizam o exame da OAB?’

O objetivo específico do capítulo é identificar se existem discrepâncias entre o desempenho dos cursos avaliados por meio do Sinaes e o desempenho dos estudantes por meio do exame unificado da OAB.

De acordo com o disposto no art. 28, §§2º e 3º, do Decreto 5.773/2006 (art. 41, caput e §§ 3º e 4º) , a oferta de cursos de graduação em Direito, bem como o aumento de vagas, depende de autorização do MEC, após prévia manifestação da OAB no primeiro caso. De acordo com o disposto no §4º do mesmo artigo, o prazo para manifestação dos Conselho é de sessenta dias, prorrogáveis por igual período, a requerimento do Conselho interessado, e terá caráter opinativo. Com a revogação do Decreto 5.773/2006, por meio do Decreto 9.235/2017, o prazo para manifestação dos Conselhos passou a ser de 30 dias, prorrogáveis por igual período.

As regras do Decreto 5.773/2006 são replicadas no art. 29, caput e §1º, da Portaria Normativa MEC 40/2007 (atualmente, art. 28, caput e parágrafo primeiro, Portaria Normativa MEC 23/2017) , acrescentando a obrigatoriedade de abertura de vista para manifestação da OAB nos processos de reconhecimento de curso. A Portaria Normativa MEC 20/2014 (atualmente, Portaria Normativa MEC 20/2017) , por sua vez, detalha os procedimentos e o padrão decisório para os pedidos de autorização dos cursos de graduação em direito ofertados pelas IES integrantes do Sistema Federal de Ensino.

IV.3.3. Estudantes têm pior desempenho nas avaliações realizadas por meio do Enade do que no Exame Unificado de Ordem (Exame da OAB)

Inicialmente salienta-se que as mesmas considerações realizadas em relação ao achado de auditoria relativo ao CPC (Achado IV.1) são válidas para o curso de Direito, tendo em vista que quando da análise dos dados e da realização das simulações na construção daquele achado, os cursos de Direito, além de não terem sido apartados, são submetidos aos mesmos procedimentos. De qualquer forma, nas análises que se seguem, justificaremos a esta pertinência.

Como procedimento de auditoria, solicitou-se à Seres/MEC e à OAB informações quanto ao posicionamento do MEC em relação à manifestação da OAB nos processos de autorização de cursos de graduação em Direito (peças 4, 10 e 16) . Em resposta, a Seres/MEC informou que fundamenta suas decisões, especialmente, com base no relatório de avaliação in loco do Inep (peças 20 e 33) . A OAB, por sua vez, informou que o posicionamento contido em seu parecer, de caráter opinativo, apesar de contribuir para o processo decisório da Seres/MEC, não é, via de regra, acompanhado pela Secretaria, (peça 15, p. 1-2) .

Das respostas apresentadas, bem como dos resultados de consultas efetuadas pela equipe de auditoria, percebe-se que, em regra, a manifestação da OAB, embora seja mais um subsídio aos processos, não é decisiva quanto ao seu deferimento.

Outro questionamento feito às entidades refere-se às diferenças conceituais entre as avaliações realizadas pelo MEC/Inep e o exame da OAB. Em resposta, a Seres/MEC informou que a solicitação ora apresentada extrapola suas competências por tratar-se o Exame da Ordem de avaliação a que se submetem os bacharéis em Direito, no sentido de demonstrar suas capacidades, conhecimentos e práticas necessárias ao exercício da advocacia, matéria fora da alçada do MEC.

A OAB, por seu turno, ressaltou que:

‘...a comparação entre a avaliação do Enade e a avaliação do Exame de Ordem Unificado são distintas, sendo que o Exame de Ordem Unificado possui a finalidade de avaliar a capacidade dos candidatos para o exercício profissional da advocacia, ao passo que o Enade é um componente curricular obrigatório composto de questões de formação geral e profissional, sendo assim, acreditamos que o desempenho dos candidatos na parte operacional da prova aplicada pelo Inep deveria ser condizente com o desempenho dos examinandos do Exame de Ordem Unificado.’

Conforme resposta da OAB por meio de Ofício e também por meio de entrevista, em que pesem as diferenças conceituais entre os exames, a entidade entende que alunos bem preparados, com bons resultados na parte específica do Enade, tendem a ter bom desempenho na parte geral do Exame da OAB, sendo a recíproca também verdadeira.

Tendo em vista essa suposição, questionou-se, por meio do Ofício mencionado, se a OAB havia realizado algum estudo que comparasse os resultados do Enade com os resultados do Exame da OAB?

Em resposta, a OAB informou que foi realizado estudo comparativo entre os resultados obtidos no Enade pelas IES com seus respectivos resultados no Exame de Ordem Unificado a fim de averiguar o índice de aprovação dos egressos das IES com conceito igual ou inferior a 2, no qual se constatou que os resultados das IES com índices negativos no Enade são compatíveis com os baixos resultados no Exame de Ordem Unificado.

A partir da resposta acima, é razoável supor que as IES cujos cursos de Direito com Conceito Enade igual ou superior a 3, analogamente, teriam resultados compatíveis no Exame de Ordem Unificado (EOU) . No entanto, conforme informado na PFC 64/2015, apenas 18% dos inscritos no EOU, no período de 2008 a 2014, foram aprovados. Cumpre salientar, no entanto, que as considerações acima foram feitas em termos gerais, isto é, não se levou em consideração cada aluno individualmente no período mencionado, mas apenas os percentuais gerais de aprovação no EOU e os desempenhos médios dos alunos nos cursos de Direito cujo Conceito Enade foi menor ou igual a 2.A questão que se torna imperiosa então é: quais são os motivos para que os desempenhos considerados insatisfatórios no Enade sejam compatíveis com os baixos desempenhos no EOU e os desempenhos considerados satisfatórios no Enade não sejam suficientemente refletidos em termos de taxas de aprovação no Exame de Ordem? Para responder à questão, buscou-se evidenciar as diferenças entre as sistemáticas utilizadas para avaliar os desempenhos dos alunos por meio do Enade e por meio do EOU. Além disso, como será visto, as análises e conclusões desfazem algumas das premissas assumidas.

Conforme informado no capítulo III deste relatório de fiscalização, para atribuição do Conceito Enade são realizadas as seguintes etapas:

Realização do Enade pelos estudantes concluintes habilitados, cuja prova é composta em 25% de conteúdo geral e 75% de conteúdo específico;

a partir das médias das notas obtidas por curso, faz-se o reescalonamento das notas por meio da utilização de escores padronizados, numa escala variando de zero a cinco, em valores contínuos;

das médias das notas obtidas pelos cursos, utilizando o procedimento descrito no item b) , são utilizados os parâmetros de conversão das notas contínuas em conceito, variando de 1 a 5, variável discreta (Tabela 1) .

No EOU, não há utilização do procedimento descrito acima, sendo a prova composta de 80 questões objetivas na primeira fase, sendo 40 o número mínimo de acerto de questões que o examinado precisa para avançar à segunda etapa (prova discursiva) , na qual é necessária média mínima de seis pontos para ser aprovado, de um total de dez. Assim, é necessário um mínimo de 50% de acerto na primeira fase e 60% na segunda. Em ambos os casos, as notas representam o desempenho bruto do candidato e não o desempenho relativo, como é feito no Enade. Há de se ressaltar, no entanto, que a prova discursiva do EOU versa sobre conteúdo referente ao exercício da advocacia.

Das características apontadas, verifica-se que as diferenças fundamentais entre os exames dizem respeito à forma de cálculo das notas/conceitos entre os exames e à presença de conteúdo específico referente ao exercício da advocacia na segunda fase do EOU.

No intuito de mitigar essas diferenças, de modo a tornar os exames mais próximos conceitualmente, a partir dos dados do CPC/Enade relativos aos anos de 2012 e 2015, conforme o CAE, foi realizada comparação entre as médias das notas brutas dos cursos de Direito avaliados, no que diz respeito ao componente específico do Enade, e às taxas de aprovação na primeira fase do EOU nesses mesmos anos, conforme Tabelas A. B e C.

Esses parâmetros utilizados para comparação se fizeram necessários em virtude de os conteúdos cobrados nos exames terem escopo semelhante, versando acerca das matérias ordinárias da grade curricular dos cursos de Direito. Apesar dessa consideração, de acordo com a Seres/MEC, até a parte geral do EOU apresenta diferenças substanciais no que diz respeito aos conteúdos cobrados, relacionando-se, em grande medida, com matérias direta ou indiretamente relacionados ao exercício da advocacia. A OAB, por sua vez, entende que a parte específica do Enade é comparável com a primeira fase do EOU, conforme informado por meio de reunião.

Quanto ao procedimento para atribuição das notas, utilizou-se as notas brutas do Enade, para efeito de comparação, devido às notas no EOU serem calculadas dessa forma, além de representarem um desempenho absoluto em relação a um parâmetro de qualidade estabelecido, o que se perde com o procedimento de padronização utilizado no Enade.

O parâmetro de comparação, considerando os critérios elencados acima, foi a Nota Bruta no Componente Específico do Enade (NBECE) que representa desempenho igual ou superior a 50%. Adicionalmente, foi realizada comparação das taxas de aprovação na primeira fase do EOU e o percentual de cursos com CPC maior ou igual a 3, conceito considerado de qualidade satisfatória para os cursos de graduação, conforme definido no §2º, art. 33-A, da Portaria 40/2007.

Tabela 6: Relação entre cursos de graduação em Direito com CPC maior ou igual a 3 e nota bruta no componente específico do Enade (NBECE) representando desempenho inferior a 50% do total – 2012 e 2015

Ano

Cursos de Direito com CPC atribuído

Cursos de Direito com CPC maior ou igual a 3 e % em rel. total

Cursos de Direito com CPC menor que 3 e % em rel. total

CPC >= 3 e NBECE menor que 50% e % em rel. aos cursos com CPC>=3

NBECE menor que 50%e % em rel. total

2012

960

826 (86,0%)

134 (14,0%)

793 (96,0%)

927 (96,5%)

2015

1.061

861 (81,1%)

200 (18,9%)

759 (88,1%)

948 (89,3%)

Total

2.021

1.687 (83,4%)

234 (16,6%)

1.552 (91,2%)

1.875 (92,3%)

Fonte: Equipe de Auditoria (A partir de dados fornecidos pelo Inep/MEC)

Conforme metodologia de cálculo constante do item III deste relatório, parte do CPC é composto pelas notas no Enade e a nota relativa ao componente específico representa 75% da nota nesse Exame. Dos dados expostos na Tabela 6, verifica-se uma aparente contradição, tendo em vista o desempenho diametralmente oposto entre o CPC e as NBECE. Enquanto apenas 7,7% das médias das NBECE dos cursos de Direito possuem desempenho superior a 50% (92,3% são inferiores) , os cursos considerados com desempenho satisfatório representam 83,4%.

Intuitivamente, as notas/desempenhos deveriam caminhar na mesma direção. No entanto, os demais componentes do CPC e, principalmente, sua forma de cálculo, elevam os desempenhos dos cursos, em termos de qualidade, conforme visto no capítulo IV.1, fazendo com que outros fatores sejam os responsáveis pelos resultados aparentemente contraditórios.

Estes fatores consubstanciam-se nas mesmas causas elencadas quanto à incapacidade de o CPC refletir adequadamente aspectos de excelência quanto aos cursos avaliados e são plenamente aplicáveis aos cursos de Direito, quais sejam – subachados: i) reescalonamento de notas a partir da utilização de escores padronizados; ii) ausência de critério de definição das ponderações aleatória dos componentes do CPC (e excessiva, no caso do IDD) ; iii) critérios de conversão de notas contínuas em conceitos, com tendência à sua superestimação; iv) ausência de estudos e fundamentos teórico-metodológicos que embasam a construção do conceito.

Conforme será exposto, os fatores mencionados acima explicam parcialmente a diferença entre o desempenho dos cursos de Direito avaliados por meio do Sinaes e o desempenho dos estudantes no Exame da OAB e, principalmente, do distanciamento em relação ao desempenho dos estudantes concluintes na parte específica do Enade, no que diz respeito às suas notas brutas não padronizadas.

Na Tabela 7 são apresentados dados referentes aos participantes do EOU nos exames realizados em 2012 e 2015 (EOU 2012: VI, VII, VIII e IX; EOU 2015: XV, XVI, XVII e XVIII) , os dados e percentuais de aprovação em cada fase do exame, bem como os dados e percentuais de cursos que obtiveram desempenho no componente específico do Enade superior a 50%, em termos de suas notas brutas.

Tabela 7: Relação entre cursos de graduação em Direito com CPC maior ou igual a 3 e nota bruta no componente específico do Enade representando desempenho inferior a 50% do total – 2012 e 2015

Ano

Inscritos no EOU que realizaram o Exame (4 exames)

(A)

Aprovados na primeira fase do EOU – Desempenho maior ou igual a 50% e % em rel. ao total

(B)

Aprovados na segunda fase do EOU – Desempenho maior ou igual a 60% e % em rel. ao total

(C)

NBECE maior que 50% e % em rel. total de alunos avaliados

(D)

2012

439.013

160.798 (36,6%)

76.249 (17,4%)

2.462 (2,35%)

2015

455.232

174.780 (38,4%)

94.002 (20,64%)

20.479 (19,06%)

Total

894.245

335.578 (37,5%)

170.251 (19,0%)

22.941 (10,82%)

Fonte: Equipe de Auditoria (dados fornecidos pelo Inep e extraídos do site da OAB)

Dos dados da Tabela 7, comparando-se o desempenho dos alunos no EOU com o desempenho dos cursos em relação à NBECE, nos anos de 2012 e 2015, percebe-se que o desempenho médio dos aprovados na primeira fase do EOU (37,5% - coluna B) é quase quatro vezes superior ao desempenho dos estudantes que realizaram o Enade (10,82% - coluna D) . O desempenho dos concluintes na parte específica do Enade, portanto, é significativamente pior que o desempenho dos estudantes na primeira fase do EOU, ao contrário do que se imaginou quando da proposição da PFC 64/2015.

Por outro lado, verifica-se que os cursos de direito com CPC maior ou igual a 3, os quais representam 83,4% do total (Tabela 6 – coluna B) , representam mais que duas vezes o desempenho médio dos alunos aprovados na primeira fase do EOU, os quais representam 37,5% do total (Tabela 7 – coluna B) , no mesmo período de comparação.

Da informação trazida por meio da PFC 64/2015, no que diz respeito ao percentual geral de aprovação no EOU no período de 2008 a 2014 (18%) , considerando todas as etapas do exame, verifica-se desempenho médio semelhante (19%) , no recorte de 2012 e 2015, conforme coluna (C) da Tabela 7.

Nesse momento, vale relembrar a questão 3 da matriz de planejamento mencionada na introdução ao presente capítulo: ‘Quais os motivos para que a maioria dos cursos de direito tenham avaliação satisfatória por meio da avaliação realizada pelo MEC/Inep e baixo desempenho para os alunos que realizam o exame da OAB?’

Dos dados e análises efetuados, nos anos de 2012 e 2015, verifica-se que, embora tenham sido atribuídos CPCs considerados de qualidade satisfatória a 83,4% dos cursos de graduação em Direito, o desempenho dos concluintes na parte específica do Enade não representa fator determinante para atribuição desses conceitos. Percebe-se também que, embora seja um de seus componentes, os resultados observados na parte específica do Enade estão mais correlacionados com os resultados do EOU do que com o próprio CPC.

Estas constatações reforçam a tese de que os outros fatores relacionados ao CPC, isto é, seus demais componentes, suas ponderações e procedimentos de cálculo são os responsáveis pela elevação dos conceitos atribuídos, recaindo no caso geral das análises efetuadas no Item IV.1 desse relatório.

Além dos dados e informações acima, apenas a título de informação, buscou-se evidenciar os resultados no Enade, por natureza jurídica da instituição (pública ou privada) , conforme dados constantes na Tabela 8.

Tabela 8: Número de alunos que realizaram o Enade, por tipo de instituição cujos cursos obtiveram média das notas brutas no componente específico do Enade superior a 50%– 2012 e 2015

Ano

Concluintes que realizaram o Enade (Instituições Públicas)

(A)

Concluintes que realizaram o Enade (Instituições Privadas)

(B)

Número de concluintes que realizaram o Enade cujas NBECE resultaram em média das notas do curso iguais ou superiores a 50% e % em rel. ao total (coluna A)

Instituições Públicas

(C)

Número de concluintes que realizaram o Enade cujas NBECE resultaram em médias das notas dos cursos iguais ou superiores a 50% e % em rel. ao total (coluna B)

Instituições Privadas

(D)

2012

11.051

88.344

1.310 (11,85%)

66 (0,00075%)

2015

11.696

90.773

6.157 (52,6%)

4.301 (4,7%)

Fonte: Planilha Inep/MEC (Tabela produzida pela equipe)

Dos dados da Tabela 8, verifica-se que dos poucos cursos cujas médias das NBECE foram superiores a 50%, a maioria concentra-se em instituições públicas. Em 2012, das 19 instituições nessa situação, 16 são públicas e 3 privadas. Nesses casos, dos 1.376 alunos pertencentes a estes cursos, 1.310 (95,2%) foram de instituições públicas e 66 (4,8%) de instituições privadas.

Percebe-se que o número de estudantes concluintes de instituições públicas cujos cursos tiveram média das NBECE igual ou superior a 50% é quase vinte vezes maior que o das instituições privadas em 2012. Os números sugerem que apenas 1 em cada 1.338 estudantes concluintes do curso de Direito em instituições privadas pertence a cursos com NBECE igual ou superior a 50%. Nas instituições públicas esse número é de 1 em cada 8,4 estudantes.

Em relação ao total, envolvendo instituições públicas e privadas em 2012, apenas 1.376 (1,4%) de 99.395 estudantes concluintes pertencem aos cursos que tiveram média das NBECE igual ou superior a 50%. Isto significa que apenas 1 em cada 372 estudantes pertence a estes cursos.

Os números de 2015 são melhores que os de 2012, embora no caso das instituições privadas o quantitativo de alunos pertencentes aos cursos que tiveram média das NBECE superiores a 50% ainda seja muito baixo, menor que 5%. Nas instituições públicas o percentual de alunos nestes cursos subiu de 11,85%, em 2012, para 52,6%, em 2015. O aumento representa melhora bastante significativa, onde mais de 1 a cada 2 estudantes pertencem aos cursos mencionados. Nas instituições privadas esse número é menor do que 1 a cada 20 estudantes.

OAB Recomenda

Em 1999, o Conselho Federal da Ordem dos Advogados do Brasil aprovou projeto que consiste em atribuir, de forma periódica, selo de qualidade aos cursos de Direito que se destaquem pelo nível de ensino oferecido, no intuito de colaborar com o aperfeiçoamento dos cursos jurídicos.

O programa, que recebeu o título de ‘OAB Recomenda’, é considerado pela entidade como indutor de qualidade na busca da elevação do padrão do ensino jurídico brasileiro, incentivador da melhoria das instituições de ensino, bem como orientador para a sociedade (www.oab.org.br/servicos/oabrecomenda) .

Na Nota Técnica referente ao estudo ‘OAB Recomenda – Educação Jurídica de Qualidade – 5ª Edição’, consta a metodologia de cálculo do indicador do Selo de Qualidade da OAB. Traremos, de forma resumida, os resultados e a metodologia utilizada para atribuição dessa certificação, ao passo que iremos compará-los com constatações do presente capítulo.

Na 5ª Edição, de pouco mais de 1.300 cursos de graduação em Direito em funcionamento no país, foram avaliados 1.071 cursos, os quais atendiam aos parâmetros estabelecidos de avaliação para atribuição do Selo de Qualidade da OAB, quais sejam: (i) ter participante presente em pelo menos três dos quatro Exames da OAB considerados como variáveis de análise (EOUs XII, XIII, XIV, XV) ; (ii) ter uma média mínima de 20 participantes presentes nos quatro exames utilizados na análise. Destes 1.071 avaliados, 142 receberam o Selo de Qualidade da OAB.

Para o cálculo da Nota Selo OAB (NSelo) , não foram utilizadas as notas obtidas pelos examinados nas provas do Exame da Ordem, mas apenas o resultado final de aprovação ou reprovação de cada um, isto é, a taxa de aprovação nos exames. Além destes exames, foram consideradas os conceitos Enade referentes à edição de 2012. Os resultados do Enade corresponderam a 20% da NSelo, enquanto os resultados nos EOUs corresponderam a 80% da nota, sendo 20% a participação de cada EOU. Foi realizado um reescalonamento por meio do procedimento de logaritmização dos índices de aprovação, ou seja, foram substituídos os valores por seus respectivos logaritmos naturais.

Com o procedimento, chegou-se à NSelo utilizando-se tabela de arredondamento na qual os cursos com NSelo (conceito) maior ou igual a 7 recebem o Selo de Qualidade da OAB. No caso de conceito 7, aqueles que obtiveram parecer desfavorável pela CNEJ/CFOAB (reconhecimento e renovação de reconhecimento) não recebem o Selo.

Do universo de cursos considerados na análise, 142 atendem aos critérios estabelecidos e integram a lista final de cursos recomendados, isto é, cursos com NSelo Conceito maior ou igual a 7. Os cursos recomendados pela OAB representam 13,26% do total de cursos avaliados.

Chama a atenção, no entanto, o número de cursos que conseguiriam NSelo suficiente para ser recomendado caso não tivesse sido realizado o procedimento de logaritmização, que consiste em substituir os valores de referência por seus logaritmos naturais, procedimento semelhante à padronização estatística, utilizado com o objetivo de obter uma distribuição que se aproxime da distribuição normal.

Conforme consta no documento, considerando-se apenas os resultados dos EOU (4 exames) , apenas 10 cursos teriam aproveitamento superior a 65% (o que caracteriza conceito maior ou igual a 7. Em termos percentuais, 0,9% dos cursos receberiam o Selo, enquanto no resultado final, 13,26%dos cursos avaliados foram contemplados, o que representa desempenho 14,73 vezes maior em virtude da utilização do procedimento de cálculo utilizado e da exclusão dos cursos avaliados por meio do Enade.

A constatação acima reforça, uma vez mais, que dependendo do procedimento estatístico utilizado, a exemplo da padronização, o desempenho pode sofrer variações muito significativas, superestimando resultados positivos e minimizando os negativos.

Se considerarmos o desempenho dos cursos no EOU e o desempenho bruto no Enade, fica evidente que o desempenho no primeiro exame é bem superior ao verificado no segundo. Essa afirmação nega, ao menos parte, a tese inicial de que os cursos apresentam baixo desempenho no EOU e vão bem nas avaliações do MEC.

Na verdade, quando a comparação é feita exame a exame, percebe-se que os cursos não apresentam desempenho satisfatório no EOU e desempenho ainda pior nas avaliações do MEC. No entanto, como o CPC não leva em consideração apenas o Enade em sua composição e apresenta outros fatores na composição das notas que dão origem aos conceitos, com tendência à sua superestimação, seus resultados, em grande parte, representam uma massa de cursos que obtém conceito de qualidade satisfatório apenas do ponto de vista formal, conforme análises efetuadas no item IV.1 desse relatório.

IV.4. Insuficiência dos controles existentes obre o registro de diplomas de graduação, favorecendo o registro de diplomas irregulares.

A Lei 9.394/1996 (LDB) , estabelece no art. 48 que todo diploma precisa ser registrado por uma universidade para que possua validade. Determina ainda que as universidades registrem os diplomas que expede. Cabe ao CNE determinar qual universidade registrará os diplomas expedidos por IES que não são universidades.

A Resolução nº 12/2007 do Conselho Nacional de Educação (CNE) estabelece que os diplomas expedidos por IES não-universitárias serão registrados por universidades credenciadas independentemente de autorização prévia do CNE. Essa Resolução flexibiliza as condições para que uma instituição de ensino superior possa registrar diplomas de graduação. Anteriormente, o tema era regulado pelo Parecer CNE/CES 287/2002 que estabelecia critérios para que uma universidade pudesse registrar diplomas de uma IES não-universitária:

1. ofereçam cursos de pós-graduação Stricto sensu cujos conceitos sejam iguais ou superiores a 3;

2. ofereçam cursos de graduação cujas condições de oferta sejam iguais ou superiores a CB para 50% ou mais dos cursos oferecidos e cujo desempenho no ENC seja igual ou superior a C para, também, 50% ou mais dos cursos avaliados.

O parecer citado ainda mantém a restrição, de que a universidade esteja na mesma unidade da federação da IES que expediu o diploma, conforme já havia sido determinado pela Resolução CNE 3/1997. Essa restrição estava baseada no argumento de que a proximidade permite maior conhecimento da IES por parte da universidade. No caso de não haver nenhuma universidade na mesma UF de uma dada IES que cumprisse os requisitos previstos na resolução, qualquer universidade de alguma unidade da Federação limítrofe poderia registrar os diplomas dessa IES.

A flexibilização promovida pela Resolução CNE 12/2007 retira os condicionantes e requer apenas que a universidade seja credenciada. Claro que o próprio credenciamento da universidade já pressupõe um conjunto de requisitos institucionais e de qualidade, conforme a LDB e o Decreto 5.773/2006 (atual Decreto 9.235/2017) . Contudo, a restrição quanto à localidade foi flexibilizada.

Essa flexibilização acompanha a rápida expansão do ensino superior no Brasil, e de maneira mais específica o número de concluintes nas diversas graduações. Em 2003 cerca de 503 mil estudantes terminaram sua graduação. Em 2013 esse número já era de cerca de um milhão de alunos. Paralelamente a essa expansão observa-se grande aumento do número de IES. Em 2016 havia 2.407 IES segundo o Censo da Educação Superior contra 1180 em 2000. Desse total, apenas 197 eram universidades.

Apesar disso, a maior parte dos concluintes estão nas universidades, cerca de 50%, enquanto que cerca de 30% dos concluintes estão em faculdades. Os outros 20% estão em centros universitários e institutos federais. Importa observar que os centros universitários possuem autonomia para registrar os diplomas por eles expedidos, conforme disposto no art. 2º, § 4º, do Decreto 5.786/2006. Mesmo assim, o volume de diplomas oriundos das IES para registro nas universidades tornou-se excessivo, o que motivou a flexibilização pelo CNE.

Cada universidade possui o seu próprio sistema de registro de diplomas. Antes da flexibilização decorrente da resolução do CNE, era possível saber quais universidades registravam os diplomas de quais IES, uma vez que elas deveriam pertencer à mesma unidade da federação e, em geral, eram as universidades públicas que exerciam esse papel. Em função dessas regras, não era imprescindível de centralizar os dados em sistema único, uma vez que as informações poderiam ser obtidas com relativa facilidade.

Após a flexibilização, uma IES pode registrar seus diplomas em qualquer universidade no Brasil, bastando que esta seja credenciada e ter o curso reconhecido. E como os processos de registro estão em sistemas específicos de cada universidade, o MEC nem o CNE não têm informações sobre qual universidade registra os diplomas de quais IES, sobre quantos diplomas são registrados ou se houve a adequada verificação das informações necessárias para o registro dos diplomas pelas diversas universidades. A única informação disponível, no que diz respeito ao número de concluintes, está no senso da educação superior e é informado pelas próprias IES.

A Tabela 9 exemplifica como o controle do processo de registro de diplomas é precário. Ela mostra a quantidade de vagas, o número de concluintes declarados no censo pela IES e o número de diplomas de fato registrados.

Tabela 9: Informações sobre concluintes de IES investigadas na CPI da ALEPE (Assembleia Legislativa de Pernambuco) .

IES investigadas vs. número de vagas autorizadas

Diplomas registrados pela Unig

Censo da Educação Superior

Código

IES

Vagas

2013

2014

2015

2016

subtotal

Total de diplomas

2013

2014

2015

subtotal

4446

Faculdade Cidade Guanhães - FACIG

500

231

690

1783

759

3463

3464

1

8

não disponível

9

2341

Carapicuíba

2380

1552

4128

2281

282

8243

8801

867

472

985

2324

1501

Faculdade Latino Americana de Educação

500

3164

4231

2090

9467

9499

não disponível

0

não disponível

0

5023

Faculdade Santo Augusto

400

3

484

1569

806

2862

2862

4

23

41

68

Total

3780

4950

9515

7723

1847

24035

24626

872

503

1026

2401

Fonte: equipe de auditoria a partir de informações do censo e dos dados extraídos da base de dados da Unig pela equipe da SERES/MEC.

As IES constantes da Tabela 9 foram escolhidas para compor esse estudo de caso dentre aquelas investigadas por uma Comissão Parlamentar de Inquérito (CPI) da Assembleia Legislativa de Pernambuco – ALEPE por apresentarem um número de diplomas registrados muito acima do número de vagas anuais autorizadas. A CPI foi instaurada para apurar possíveis irregularidades no registro de diplomas.

Duas constatações chamam a atenção: o número de diplomas registrados é muito maior que a quantidade de vagas autorizadas. Por exemplo, a Faculdade Latino Americana de Educação (Flated) registrou 3.164 diplomas em 2013, embora só tivesse 500 vagas registradas. Em 2014 o número foi ainda maior: 4.213 para as mesmas 500 vagas. Esses números não são compatíveis e constituem uma das principais evidências das irregularidades.

Observa-se também que a mesma Faculdade informou ao censo de 2014 que não havia nenhum concluinte entre seus alunos, embora tenha encaminhado à Unig 4.213 processos para registro de diplomas. Essa nova informação não apenas confirma a irregularidade mas revela fragilidade do sistema de controle e das informações disponíveis.

Em relação à qualidade da verificação das informações necessárias para o registro, informações sobre a IES, curso e aluno, o único controle é exercido pela universidade que recebeu o processo. Esse controle é feito conforme a Portaria MEC 33/1978, que estabelece conjunto de itens a serem verificados para que o registro possa ser realizado. Contudo, o caso da Unig mostra a necessidade de atualização do normativo, pelo MEC, e do exercício da supervisão para garantir a aderência das práticas de registro nas universidades às exigências legais.

Conforme conclusão do relatório da CPI, foi identificada uma ‘organização destinada a violar sistematicamente a legislação nacional, com atuação em todo o território nacional’. Na prática, as instituições credenciadas, instituições de ensino superior aprovadas em processo de credenciamento realizado pelo MEC, realizam convênios com entidades não credenciadas (não IES) para que estas últimas ofertassem cursos de extensão em várias áreas, com nomes idênticos a cursos de graduação (Pedagogia, Administração, Letras, Serviço Social, etc.) . Instituições credenciadas, e somente elas, estão aptas a oferecer cursos de graduação e a emitir diplomas de seus cursos reconhecidos (art. 48 da LDB) .

Na sistemática descrita, esses estudos eram posteriormente ‘aproveitados’ como créditos cursados em curso já reconhecido, ofertado por alguma IES devidamente credenciada. Essa IES encarregava-se de emitir os diplomas e encaminhá-los para registro, de modo que todo o processo aparentemente atendesse aos requisitos previstos no § 2º do art. 47 da Lei 9.394/1996. Segundo o relatório, no modus operandi do esquema, os diplomas irregulares eram registrados em universidade que facilitasse o registro sem fazer análise adequada das informações. A CPI apontou em seu relatório que esse papel caberia a Universidade Iguaçu (Unig) , localizada no Rio Grande do Sul. Uma vez registrados, os diplomas assim obtidos passaram a ter validade nacional.

Assim, a fraude envolveria, conforme destacado na Nota Técnica 194/2016/CGSO-Técnicos/DISUP/SERES, que analisou o relatório da CPI, pelo menos, as seguintes práticas: i) interpretação equivocada e enviesada da legislação educacional que levou ao aproveitamento irregular de estudos no âmbito de cursos de graduação; ii) convalidação automática e em bloco de conhecimentos adquiridos em cursos livres que não passaram pelo crivo do poder público; iii) extensão da atuação das IES envolvidas para além do estabelecido em seus atos autorizativos; iv) publicidade enganosa acerca das condições de oferta dos cursos irregulares com o objetivo de confundir os ingressantes nos cursos ofertados; e v) concepção equivocada dos objetivos dos cursos de extensão permitidos na LDB, mas utilizados para conferir pretensa legalidade aos cursos ofertados de forma irregular no contexto do esquema.

Segundo a apuração da CPI da Alepe, foram identificadas 35 IES e 37 entidades/institutos não credenciados envolvidos, localizadas em 15 estados, afetando entre 30 e 50 mil estudantes. O relatório foi encaminhado ao MEC em junho de 2016 para providências.

Paralelamente à CPI, em função de denúncia enviada pela Secretaria de Estado da Educação do Espírito Santo, que relatou a emissão irregular de diploma pela Faculdade de Ciências Humanas de Vitória (FAVIX) , registrados pela Universidade Iguaçu (Unig) , e outras denúncias de mesmo teor, a Seres instaurou processo de supervisão na Unig, e procedeu à verificação in loco, com objetivo de auditar seu sistema de registro de diplomas.

Na visita, a equipe da Seres constatou a ausência de normatização interna da atividade de registro de diplomas (não há registro dos pagamentos) , registro de diplomas sem verificação dos atos autorizativos das IES emissoras de tais diplomas. Após cruzamento da base de dados da Unig com as bases de dados das IES investigadas pela CPI da ALEPE, foi constatado:

registro de diploma para: cursos sem autorização; para cursos não reconhecidos (aproximadamente 15 mil) ; instituição descredenciada por venda de diploma;

negligência na análise dos históricos escolares (históricos fraudados replicados, inobservância à realização do ENADE) ;

inobservância da quantidade de vagas autorizadas para as instituições;

registro de diplomas de diferentes graduações para um mesmo aluno, em circunstâncias que indicam fraude;

registro de diplomas decorrentes de convalidação irregular de estudos e terceirização da educação superior (CPI da ALEPE) .

Foi detectado também que algumas IES enviaram para registro um número de diplomas muito superior às vagas autorizadas para as instituições, o que caracteriza forte indício de irregularidade na expedição dos diplomas. Esse é o caso da FLATED relatado acima. Outro exemplo é o do Instituto de Educação e Tecnologias (INET) , para o qual foram autorizadas 320 vagas anuais, e ele registrou 219 diplomas em 2013, e depois saltou para 1.212 em 2014, atingindo 3.018 em 2015.

Em função dessas constatações, foi publicada a Portaria Seres 738/2016 instaurando processo sancionatório. Posteriormente foi firmado protocolo de compromisso com a Unig, com participação do MPF/PE. O objetivo do acordo foi obter informações que levem a desvendar aspectos e envolvidos ainda obscuros do esquema de expedição e registro irregular de diplomas, bem como propiciar o saneamento e aperfeiçoamento dos procedimentos administrativos de registro de diplomas praticados pela Unig.

Por outro lado, a Seres estabeleceu um cronograma de inspeções in loco das IES identificadas nas bases de dados da Unig e das envolvidas no esquema apurado pela CPI da Alepe.

As primeiras visitas já foram realizadas. Foram visitadas 31 IES até a conclusão deste relatório. A cada visita, novos indícios e irregularidades são encontrados. Além disso, há suspeitas do envolvimento de outras universidades no registro irregular de diplomas. As apurações estão apenas no início e presume-se que o número de instituições envolvidas pode ser muito maior do que as que foram identificadas até o momento.

O MEC, por meio da Portaria 7/2016 instituiu o Cadastro Nacional de Concluintes, com o objetivo de centralizar informações de todos os diplomas expedidos e registrados no país. A própria CPI da Alepe, considerou o cadastro fundamental para combater as fraudes, dando maior transparência inclusive para o controle social. Segundo a portaria, caberia ao Inep a administração e manutenção do cadastro.

No entanto, por meio do Ofício 001460/2016 dirigido ao MEC (peça 34, pg. 1) , o Inep apresentou razões para revogar a referida portaria e a própria minuta da portaria de revogação. São duas as razões principais para a revogação: primeiramente, ausência de motivação de urgência, uma vez que o procedimento vem sendo realizado há muitos anos sem o cadastro; em segundo lugar, faltaria, segundo, o Inep, a indispensável motivação para o cadastro e as justificativas para sua imprescindibilidade.

Em função dos argumentos do Inep, a portaria que criou o cadastro foi revogada pela Portaria MEC 9/2016. Ora, as motivações e justificativas da imprescindibilidade e urgência que faltava em maio de 2016, quando da revogação da portaria, surgiram com os resultados da CPI e da apuração pela Seres das denúncias relativas à Unig. Ademais, como foi visto, a cada novo passo na investigação das IES envolvidas, surgem indícios de outras instituições envolvidas.

Assim, em função de todos os fatos relatados e do risco envolvido, parece claro que não basta apurar as irregularidades já detectadas e os novos indícios. É preciso reforçar o controle para que essas práticas sejam inibidas. Nesse sentido, e havendo agora a motivação que faltava quando da revogação da Portaria 7/2016 do MEC, entende-se oportuno determinar ao MEC que, em 90 dias, apresente plano de ação para que implemente cadastro nacional de concluintes, ou medida equivalente que propicie um maior controle social ao mesmo tempo que permita procedimentos básicos de monitoramento por parte da equipe da Seres, justificando as etapas e prazos, demonstrando a pertinência da medida adotada para a efetiva prevenção das irregularidades apontadas nesse relatório.

Além disso, nem o MEC, nem o CNE possuem informações específicas da situação que permita dimensionar o problema e os riscos envolvidos. Como foi visto, os dados do censo não são suficientes para ajudar a mapear os fluxos de diplomas dos últimos anos. Algumas questões precisam ser respondidas para que se possa aumentar o controle e a qualidade do processo de maneira efetiva, mas sem criar um gargalo que torne o processo de registro inviável. Quais universidades registram diplomas de quais IES? Qual o volume de registros em cada universidade? Qual o perfil dessas universidades? Qual a localidade? Qual o tempo médio de registro em cada caso?

Sem essas respostas é difícil equacionar o problema e ao mesmo tempo aumentar o controle sobre o registro de diplomas. A figura 4 a seguir mostra a razão de concluintes por universidades em cada Unidade da Federação, com base no número informado pelas IES no Censo da Educação Superior.

Figura 4: Proporção de concluintes por Universidades

O mapa mostra que em alguns estados a quantidade de concluintes em determinado ano é muito elevada para o número de universidades dessa UF, apontando para a necessidade de que universidades de outras UFs sejam envolvidas no processo de registro dos diplomas afim de evitar a formação de gargalos. No entanto, uma estratégia adequada deve considerar a capacidade de cada universidade para conduzir de maneira adequada a verificação necessária para o registro dos diplomas. Somente com informações precisas do fluxo de diplomas e da capacidade das universidades é que se pode elaborar sistema viável que coíba as irregularidades e garanta a tempestividade do processo.

Parte dessas respostas podem ser obtidas por meio de um cadastro nacional de concluintes, com a recuperação das informações passadas, inclusive para ampliar as investigações sobre outras possíveis fraudes. Por outro, em função do tempo requerido para a implantação do cadastro, entende-se que essas informações poderiam ser obtidas diretamente nas universidades por meio de solicitação da Seres. Essas informações serviriam para subsidiar a restruturação da resolução do CNE, de modo que um novo fluxo do registro de diplomas pudesse ser implantado.

Assim, entende-se oportuno propor determinação ao MEC para que, no próximo relatório de gestão da Secretaria-Executiva do Ministério, informe, para cada universidade federal: a relação das IES que registraram diplomas nos últimos 5 anos; quantidade de diplomas registrados por ano por IES; tempo médio transcorrido entre a solicitação do registro e o registro efetivo; total de registros não efetivados por problemas na documentação e a respectiva IES.

Como as inspeções da Seres nas IES ainda estão em andamento, e não há como saber a priori que instituições ainda podem estar envolvidas nas irregularidades, e só após a exaustiva análise das informações obtidas será possível obter um panorama da extensão das irregularidades e do universo de envolvidos, convém propor as seguintes medidas:

288.1 determinar, com fundamento no art. 43, I, da Lei 8.443/92 e no art. 250, II, do Regimento Interno/TCU, ao Ministério da Educação - MEC que encaminhe a esse tribunal, no próximo relatório de gestão da Secretaria Executiva do MEC:

a) anexo contendo a relação de todas as instituições envolvidas no registro irregular de diplomas identificadas nas investigações realizadas pela Secretaria de Regulação do Ensino Superior – Seres/MEC, originadas no relatório da Comissão Parlamentar de Inquérito - CPI da Assembleia Legislativa do Estado de Pernambuco, com descrição resumida do envolvimento de cada uma, bem como as medidas adotadas pela Seres/MEC em relação a cada instituição;

b) informe para cada universidade: a relação das IES que registraram diplomas nos últimos 5 anos; a quantidade de diplomas registra por ano por IES; o tempo médio transcorrido entre a solicitação do registro e o registro efetivo; o total de registros não efetivados por problemas na documentação e a respectiva IES;

288.2 determinar, com fundamento no art. 43, I, da Lei 8.443/92 e no art. 250, II, do Regimento Interno/TCU, ao Ministério da Educação – MEC, que encaminhe a esse tribunal, em 120 dias, plano de ação para a implentação do cadastro nacional de concluintes, ou medida equivalente que propicie um maior controle social e que permita procedimentos básicos de monitoramento por parte da equipe da Seres/MEC, justificando as etapas e prazos, demonstrando a pertinência da medida adotada para a efetiva prevenção das irregularidades apontadas nesse relatório.

288.3 recomendar, com fundamento no art. 250, II, do Regimento Interno/TCU, ao Ministério da Educação - MEC que supervisione diretamente o procedimento de registro de diplomas, nos processos de recredenciamento das Instituições de Ensino Superior (IES) , exercendo, assim, fiscalização sobre a qualidade dos procedimentos e aumentando a expectativa de controle.

V. Conclusão

A aplicação dos procedimentos de auditoria permitiu responder às quatro questões prevista na matriz de planejamento, de modo a apresentar diagnóstico dos principais problemas relacionados à avaliação de cursos do sistema federal de ensino superior, bem como em relação à emissão e registro de diplomas.

Das análises efetuadas, percebe-se que, em relação à avaliação dos cursos de graduação, o mecanismo de atribuição de notas e seus respectivos conceitos distorcem o diagnóstico relativo à qualidade/excelência dos cursos avaliados. Estes efeitos são gerados basicamente pelo peso excessivo atribuído ao IDD e sua forma de cálculo, pelo reescalonamento das notas a partir da utilização de escores padronizados e pelos critérios de conversão das notas contínuas em conceitos. Além disso, verificou-se que as ponderações utilizadas para cálculo da nota contínua do CPC, assim como os demais aspectos desse conceito, carecem de fundamentos teórico-metodológicos que as embasem (Achado IV.1) .

Nesse sentido, serão propostas medidas que mitiguem as causas elencadas, as quais prejudicam a aferição da qualidade dos cursos de graduação, no intuito de contribuir para que a avaliação seja capaz de refletir adequadamente o nível de excelência ou proficiência gerada pelos cursos ofertados, de modo que sejam atribuídos conceitos de qualidade satisfatórios somente a cursos que fazem jus a essa condição.

Também foi analisada a coerência entre o Conceito Preliminar de Curso (CPC) e o Conceito de Curso (CC) . Constatou-se que, diferentemente do CPC, o CC não possui na sua métrica nenhuma variável relativa ao desempenho dos estudantes. Como os dois indicadores são usados conjuntamente para avaliar os cursos e como base para os processos de reconhecimento e renovação destes, havendo casos em que um curso pode ter um conceito CC sem ter o conceito CPC, concluiu-se pela necessidade de propor a alteração da métrica do CC para que inclua essa dimensão, de modo a atende à LDB quanto a esse ponto (Achado IV.2) .

No que diz respeito à questão que originou a presente auditoria, qual seja: ‘Quais os motivos para que a maioria dos cursos de direito tenham avaliação satisfatória por meio da avaliação realizada pelo MEC/Inep e baixo desempenho para os alunos que realizam o exame da OAB?’, chegou-se à conclusão de que a premissa da questão acima não é verdadeira. Isto é, se considerarmos o desempenho dos cursos no EOU e o desempenho bruto no Enade, fica evidente que o desempenho na prova da OAB é bem superior ao verificado nas avaliações do MEC/Inep (Enade) .

Conclui-se que os mesmos problemas identificados quanto aos cursos em geral, descritos nos achados IV.1 e IV.2, são aplicáveis aos cursos de Direito e que, dessa forma, as propostas de encaminhamento ali efetuadas já englobam estes cursos, não sendo necessária a proposição de medidas adicionais em relação aos cursos de Direito (Achado IV.3) .

Em função das recorrentes notícias relativas a irregularidades na emissão e registro de diplomas, em especial aos resultados da CPI da Alepe, a auditoria buscou avaliar os mecanismos de controle existentes. Como forma de controle, a legislação prevê que as IES não universitárias precisam registrar os diplomas por elas emitidos em universidades, caso contrário eles não têm validade. No entanto, esse controle se mostra insuficiente, no caso de haver acordo entre uma dada universidade e uma instituição não-universitária para fins de registrar diplomas irregulares, como foi o caso constatado na referida CPI. Apenas com a supervisão pelo MEC de como as universidades estão conduzindo o processo de registro e do conhecimento de cada diploma registrado por cada IES em cada universidade, ano a ano, é que se pode ter um controle efetivo e preventivo da regularidade dos diplomas. Assim, a auditoria conclui pela necessidade de propor a implementação de um cadastro nacional de diplomas ou medida similar que forneça essas informações tempestivamente (Achado IV.4) .

VI. Proposta de Encaminhamento

Ante o exposto, submetem-se os autos à consideração superior, propondo:

determinar, com fundamento no art. 43, I, da Lei 8.443/92 e no art. 250, II, do Regimento Interno/TCU, ao Instituto Nacional de Estudos e Pesquisas Educacionais – Inep que, em 120 dias, apresente plano de ação para implementação das medidas constantes nos itens a seguir, contendo etapas e prazos razoáveis e justificados para:

a) com amparo no § 6º, art. 5º, da Lei 10.861/2004, no que diz respeito ao Exame Nacional de Desempenho de Estudantes - Enade:

a.1) finalizar o processo de classificação dos cursos superiores em funcionamento no país, no sentido de vinculá-los a determinada área do conhecimento para efeito de aplicação do Enade, de modo a possibilitar que o enquadramento dos cursos nas áreas de conhecimento tenha a maior abrangência possível, tornando residuais os casos nos quais não é possível vincular cursos às grandes áreas do conhecimento em razão das peculiaridades de seus projetos pedagógicos (itens 90 a 110) ;

a.2) estabelecer procedimentos de controle/verificação tendentes a averiguar a regularidade e suficiência das inscrições no Enade, de modo a gerar medidas efetivas no que diz respeito à participação dos concluintes, bem como gerar expectativa de controle no processo, a exemplo das medidas indicadas pelo Inep nos comentários ao relatório preliminar (itens 90 a 110) ;

b) desenvolver, com fundamento no art. 206, VII, da Constituição Federal e art. 1º, parágrafo primeiro, da Lei 10.861/2004, metodologia de avaliação do ensino superior que:

b.1) contemple o desenvolvimento de fundamentos teórico-metodológicos para construção dos indicadores do ensino superior, especialmente quanto: aos procedimentos utilizados para conversão das notas contínuas em conceitos, de modo que os meios a serem estabelecidos para tanto não gerem impactos significativos nos resultados das avaliações em decorrência estrita dos critérios de conversão utilizados; às justificativas técnicas para cada ponderação a ser utilizada nas notas que dão origem aos conceitos, demonstrando sua razoabilidade, conforme análises efetuadas em relação aos itens (Achado IV.I – itens 112 a 147) ;

b.2) reflita, objetivamente, o nível de qualidade/excelência no que concerne aos cursos superiores de graduação, e não somente o desempenho relativo entre cursos, como medido na metodologia atual (Achado IV.1 – itens 148 a 170) ;

b.3) em observância ao art. 5, § 2º, da Lei 10.861/2004, inclua os resultados do Enade na métrica relativa ao Conceito de Curso -CC (itens 176 a 202) ;

c) com fundamento no art. 37, caput, da Constituição Federal, dê publicidade à metodologia a ser desenvolvida, informando os fundamentos teórico-metodológicos para construção dos indicadores do ensino superior, os critérios de conversão das notas contínuas em conceitos, as justificativas técnicas para cada ponderação a ser utilizada nas notas que dão origem aos conceitos, bem como aos demais aspectos da metodologia.

determinar, com fundamento no art. 43, I, da Lei 8.443/92 e no art. 250, II, do Regimento Interno/TCU, ao Ministério da Educação - MEC que encaminhe a esse tribunal, no próximo relatório de gestão da Secretaria Executiva do MEC (Achado IV.4 – itens 256 a 288) :

a) anexo contendo a relação de todas as instituições envolvidas no registro irregular de diplomas identificadas nas investigações realizadas pela Secretaria de Regulação do Ensino Superior – Seres/MEC, originadas no relatório da Comissão Parlamentar de Inquérito - CPI da Assembleia Legislativa do Estado de Pernambuco, com descrição resumida do envolvimento de cada uma, bem como as medidas adotadas pela Seres/MEC em relação a cada instituição;

b) informe para cada universidade: a relação das IES que registraram diplomas nos últimos 5 anos; a quantidade de diplomas registra por ano por IES; o tempo médio transcorrido entre a solicitação do registro e o registro efetivo; o total de registros não efetivados por problemas na documentação e a respectiva IES;

determinar, com fundamento no art. 43, I, da Lei 8.443/92 e no art. 250, II, do Regimento Interno/TCU, ao Ministério da Educação - MEC que encaminhe a esse tribunal, no próximo relatório de gestão da Secretaria Executiva do MEC que, em 90 dias, apresente plano de ação para que implemente cadastro nacional de concluintes, ou medida equivalente que propicie um maior controle social ao mesmo tempo que permita procedimentos básicos de monitoramento por parte da equipe da Seres/MEC, justificando as etapas e prazos, demonstrando a pertinência da medida adotada para a efetiva prevenção das irregularidades apontadas nesse relatório (Achado IV.4 – itens 256 a 288) .

recomendar, com fundamento no art. 250, II, do Regimento Interno/TCU, ao Ministério da Educação - MEC que supervisione diretamente o procedimento de registro de diplomas, nos processos de recredenciamento das IES, exercendo, assim, controle sobre a qualidade dos procedimentos e aumentando a expectativa de controle (Achado IV.4 – itens 256 a 288) .

encaminhar cópia do presente relatório e da decisão que vier a ser proferida à Secretaria de Regulação do Ensino Superior do Ministério da Educação (Seres/MEC) , ao Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP, Controladoria Geral da União, à Comissão de Educação, Cultura e Esporte do Senado Federal e à Comissão de Educação e à Comissão de Defesa do Consumidor da Câmara dos Deputados” (peça 36)

É o relatório.

Disponível em: https://tcu.jusbrasil.com.br/jurisprudencia/582915007/relatorio-de-auditoria-ra-ra-1047120170/relatorio-582915239