Title: As Pesquisas de Levantamento: Implicações para a Pesquisa Educacional Brasileira
Author: C. J. HOOK
Last saved by: cabaret1

Como Anda a Educação Brasileira?
O Processo de Institucionalização e os Resultados Preliminares do SAEB

Alícia Bonamino
e
Creso Franco

PUC-Rio 
Departamento de Educação

Trabalho Apresentado no XXII Encontro Anual da ANPOCS

GT Educação e Sociedade

Caxambu – Outubro de 1998

Introdução
	Desde 1988 vêm sendo tomadas iniciativas voltadas à implantação e desenvolvimento do Sistema Nacional de Avaliação da Escola Básica (SAEB). Até o momento foram conduzidos quatro ciclos de avaliação e o próximo ciclo está programado para 1999. O presente trabalho focaliza o SAEB, mais precisamente seu processo de institucionalização, as influência dos diversos atores envolvidos no processo, as conclusões extraídas pelo MEC a partir dos diversos ciclos e o significado para a educação brasileira da existência de um sistema de avaliação como o SAEB.
	Inicialmente, discutimos a influência das pesquisas internacionais de levantamento sobre a educação e sobre a pesquisa educacional brasileira. Em seguida, com base na documentação pertinente, analisamos o desenvolvimento do SAEB em seus diversos ciclos. A parte final do trabalho é dedicada a nossas interpretações sobre o significado do SAEB na política educacional  em curso e a uma discussão acerca dos modelos adequados para a análise dos dados do SAEB.

As Pesquisas de Levantamento: Implicações para a Pesquisa Educacional Brasileira

O Relatório Coleman (Coleman, 1967) foi, provavelmente, uma das mais influentes pesquisas de levantamento na área de Educação. Para estudar em que medida as diferenças de raça, cor, religião, origem geográfica e origem social afetariam as oportunidades de educação, o governo americano realizou uma pesquisa a partir de uma amostra de 645.000 alunos, distribuídos por cinco níveis de estudos diferentes, e coletou dados sobre as características das escolas freqüentadas, do corpo docente, dos alunos e seus meios familiares. Através da aplicação de cinco grupos de testes, que objetivavam medir competências verbais e não verbais, procurou-se conhecer a variabilidade entre as escolas, de modo a subsidiar a implementação de políticas de melhoria escolar. 
Os resultados dessa pesquisa apontaram que as diferenças de desempenho eram explicadas em maior medida pelas variáveis sócio-econômicas do que pelas intra-escolares. Mostraram, ainda, que o desempenho de crianças de menor nível sócio-econômico que freqüentavam escolas cuja clientela era relativamente homogênea era pior do que o de crianças de mesmo nível sócio-econômico que freqüentavam escolas com clientelas mais heterogêneas. Em termos de orientações para as políticas educacionais americanas, as conclusões do Relatório Coleman levaram à valorização de ações de educação compensatória e indicaram a necessidade de remanejamentos que visassem garantir uma espécie de equilíbrio multirracial e multicultural entre as escolas. Em termos de visão geral de Educação, as conclusões do Relatório Coleman reforçaram as críticas à Teoria do Capital Humano e à visão do papel redentor da educação.

A pesquisa que gerou o Relatório Coleman foi uma exigência da Lei dos Direitos Civis. Apesar de a pesquisa focalizar prioritariamente nas questões de raça, cor, religião e nacionalidade, seus instrumentos captavam também outros aspectos relacionados com nível sócio-econômico.

No ano seguinte ao da pesquisa de Coleman, é publicado, na Inglaterra, o Relatório Plowden (Plowden, 1967) e pesquisas similares foram conduzidas também na França (Forquin, 1995). Em ambos os casos, os resultados foram, em linhas gerais, compatíveis com os do Relatório Coleman. 
Desde muito cedo, esse conjunto de pesquisas foi bastante criticado, principalmente em seus aspectos técnicos e nas suas derivações políticas. Do ponto de vista técnico, os críticos apontavam para o problema da colinearidade, argumentando que as mencionadas pesquisas de levantamento não possuíam instrumentos adequados para a mensuração de detalhes relevantes das variáveis intra-escolares. De acordo com esta linha de argumentação, e dada a tendência de que investimentos educacionais ocorram em maior grau em escolas freqüentadas por crianças de nível sócio-econômico mais alto, a não mensuração explícita desses investimentos e sua conseqüente não inclusão nos modelos de regressão causaria, segundo os críticos, uma superestimação do papel do nível sócio-econômico como fator de sucesso na escolarização. Entretanto, no início dos anos 70 foi possível mensurar de modo mais acurado as variáveis intra-escolares e testar empiricamente a crítica teórica dos anos anteriores. Os novos resultados obtidos corrigiram apenas levemente as estimativas precedentes, não modificando o sentido geral das conclusões obtidas na década anterior.
A segunda crítica centrava-se no questionamento das políticas de educação compensatória. O argumento principal era o de que o fracasso das crianças de minorias étnicas e de camadas populares relacionava-se com a desvalorização de culturas específicas, promovida tanto pelos currículos escolares quanto pelos instrumentos de pesquisa. De acordo com esta linha de argumentação, as políticas de educação compensatória seriam apenas novos instrumentos de reafirmação de certas culturas, em detrimento de outras. 
Já mencionamos que o Relatório Coleman reforçou as dúvidas acerca do papel redentor da educação. Em relação a este aspecto, podemos concluir que a primeira das críticas ao Relatório Coleman, referente à colinearidade, não obteve sucesso em sua tentativa de minimizar de modo expressivo o papel das variáveis sócio-econômicas no desempenho escolar, enquanto que a segunda crítica, referente ao etnocentrismo cultural da escola, reforçava as dúvidas acerca da relação entre mobilidade social e educação. 
No Brasil, no início da década de 70, a crítica à situação educacional do país, no âmbito da recém fundada pós-graduação, tinha diversas origens e abrigava a influência da sociologia radical americana (Bowles e Levin, 1968; Bowles e Gintis, 1976) e da sociologia francesa (Bourdieu e Passeron, 1975), além de uma produção interna diretamente relacionada com os grandes levantamentos da década de 60. 
Uma obra marcante deste período é Educação e Desenvolvimento Social no Brasil (Cunha, 1989), escrita entre 1972-75 e publicada em 1^a edição em 1975.. Com referência ao Relatório Coleman, Cunha (1989:152) afirmava:

O livro foi a 2^a obra publicada pela coleção Educação em Questão, da Editora Francisco Alves. O 1^o e 3^o livros da referida coleção foram, respectivamente, A Reprodução (Bourdieu e Passeron 1975) e A Escola Está Morta (Reimer 1976).

No Brasil, infelizmente, não há um estudo como esse que mostre, claramente, que as crianças da classe trabalhadora (naquele caso, de um segmento etnicamente distinto) freqüentam escolas de qualidade mais baixa e são mais intensamente afetadas por ela no seu desempenho educacional. No entanto, é possível tomar alguns dados, mesmo que parciais, e tentar especular sobre a existência de fenômeno da mesma natureza em nosso país, apesar de não podermos medir sua intensidade, como fez Coleman para os Estados Unidos. 

Em que pese as limitações de falta de dados e de pesquisas quantitativas, Cunha (1989) desenvolve essa idéia, principalmente nos capítulos 3 e 4 de sua obra, de modo bastante engenhoso, o que contribuiu para a grande importância que o livro teve em determinado período da pesquisa educacional brasileira.

É bem conhecido que a pesquisa nos primórdios  da Pós-Graduação em Educação no Brasil tinha forte influência quantitativa, o que poderia chocar-se com a afirmação acerca da falta de pesquisas de levantamento sobre o tema da democratização da educação. No entanto, faz-se necessário considerar que a tendência por pesquisas quantitativas naquele período era concentrada principalmente em estudos experimentais sobre a  eficácia comparativa de técnicas de ensino, freqüentemente articulada com a então nascente abordagem da tecnologia educacional.

Devido a um grande número de fatores, como a hegemonia da tecnologia educacional, as dificuldades organizacionais e financeiras inerentes à concretização de grandes levantamentos e a falta de uma cultura acadêmica que propiciasse o desenvolvimento deste tipo de investigação, as pesquisas educacionais quantitativas de corte sociológico foram escassas e de abrangência bastante limitada. 
As pesquisas educacionais com características quantitativas e relevância sociológica que foram desenvolvidas durante as décadas de 60 e 70 freqüentemente apresentavam três tipos diferentes de perfil. Primeiro existiram pesquisas que, em contextos específicos, investigaram as características sociodemográficas relacionadas com o acesso a determinados níveis de ensino ou ao fracasso em determinada série (Campos, 1960; Gouvea, 1967; Bessa, 1971). Uma segunda vertente, na medida em que estudava especificamente o caso do acesso ao ensino superior, pode contar com bases de dados mais amplas para investigar temas tais como o acesso da mulher ao ensino de terceiro grau (Barroso e Mello, 1975) e os condicionantes sociais do sucesso no vestibular (Siano, 1977). O terceiro veio de investigação está representado pelo ECIEL (Programa de Estudos Conjuntos para a Integração Econômica da América Latina), que focalizou os fatores determinantes da escolarização na América Latina (Castro e Sanguinetty, 1978; Lacerda, 1979; Silva, 1979). Embora as investigações desenvolvidas nas três linhas acima fossem muito heterogêneas em relação aos pressupostos teóricos utilizados, à maturidade intelectual de seus autores e à solidez de suas metodologias, elas produziram importantes elementos de contraposição à noção de que a concentração de renda no Brasil seria uma conseqüência do baixo nível educacional da população, tese defendida por autores ligados à Teoria do Capital Humano, com destaque para Langoni (1974).
Se durante os anos 60 e 70 a abordagem da questão do desempenho escolar se pautava principalmente nos fatores externos, na década de 80 surgem tanto estudos e pesquisas que enfatizam os fatores intra-escolares, como os que procuram equacionar conjuntamente os fatores sociais e escolares nas desigualdades educacionais (Goldberg et al,. 1981; Brandão, Baeta e Rocha, 1983).
Entre os estudos que, naquele período, procuraram abordar conjuntamente os fatores intra- e extra-escolares na educação básica, merecem destaque as pesquisas de avaliação do rendimento escolar desenvolvidas pela Fundação Carlos Chagas, pela Fundação Cearense de Pesquisa, pela UFCE e por pesquisadores estrangeiros no âmbito do Programa de Expansão e Melhoria do Ensino no Meio Rural do Nordeste Brasileiro – EDURURAL (Gatti,1993; Harbison e Hanushek, 1992). 
Harbison e Hanushek (1992) investigaram o impacto do EDURURAL nos estados de Pernambuco, Ceará e Piauí, avaliando as conseqüências dos investimentos do projeto em capacitação docente e insumos educacionais, no rendimento dos alunos e nas taxas de promoção na escola primária. A pesquisa possuía as seguintes características: desenho quase-experimental, com escolas não incluídas no programa EDURURAL formando um grupo de controle; desenho longitudinal, que submeteu os mesmos alunos a avaliações nos anos de 1981, 1983 e 1985, além de coletar, nos mesmos anos, informações sobre variáveis intra-escolares e sócio-econômicas e de adotar a abordagem de valor agregado que objetivava mensurar os progressos de cada aluno a cada biênio. 
Com relação ao aspecto da melhoria da performance dos alunos a partir de investimentos realizados, a pesquisa detectou resultado positivo apenas no estado do Piauí. Já quanto à melhoria da taxa de promoção, os resultados foram negativos nos três estados estudados, o que sugere que a melhoria nas taxas de promoção é um objetivo ainda mais difícil de ser alcançado do que a melhoria da performance dos alunos, já que diante de progressos das crianças no processo de ensino e aprendizagem os professores optam, ao menos em um primeiro momento, por modificar seus padrões de aprovação, o que redunda na tendência de manutenção de taxas de repetência elevada.

No entanto, a falta de resultados positivos nos dois outros estados não autoriza generalizações acerca da relação entre investimentos educacionais e resultados. Para uma revisão extensiva sobre o tema consulte-se Hedges, Laine e Greenwald (1994)

A pesquisa da Fundação Carlos Chagas guarda estreita relação com a de Harbison e Hanushek (1982), já que esta fundação encarregou-se da preparação e acompanhamento dos instrumentos utilizados na avaliação do EDURURAL. A contribuição adicional reside no fato de que os inquéritos foram seguidos de seis estudos etnográficos, realizados em escolas rurais dos estados participantes, que permitiram explicar o baixo rendimento curricular das crianças e o grande número de repetência como decorrência de um conjunto de fatores, como baixos salários, influência política na designação de professores e infra-estrutura curricular insuficiente, além de precariedades associadas às condições de vida dos alunos e suas famílias, em especial no que se refere às condições de saúde (Gatti, 1994). 
A persistência de altas taxas de repetência no país estimulou, já desde a entrada da década de 80, a realização de pesquisas e a formulação de políticas voltadas para o enfrentamento deste problema. As políticas de “não reprovação” (Fernandes, 1997) têm uma história já longa no país. Segundo Mainardes (1994), o referido tema chegou ao Brasil através de eventos promovidos pela UNESCO e implementou-se um primeiro ciclo de experiências de promoção automática nos estados de São Paulo (1968-72), Santa Catarina (1970-84) e Rio de Janeiro (1979-84). A adoção das referidas políticas de não reprovação esteve baseada em diagnósticos gerais sobre os problemas da repetência que careciam de articulação tanto com visões pedagógicas capazes de interpretar as causas dos altos índices de repetência na série inicial, como com propostas desenhadas para a superação do problema. Referindo-se a essas experiências, Cunha (1991:218) afirmou que “onde a promoção automática foi adotada sem outras medidas complementares, a qualidade do ensino caiu irremediavelmente, como foi o caso de Santa Catarina e do Rio de Janeiro”.
Ainda em 1979, na 3ª Reunião Anual da ANPEd, explicita-se um debate que daria base para o segundo ciclo de políticas de avaliação continuada. Na referida reunião, Guiomar Namo de Mello (1981) apontava para o fenômeno da retenção de alunos na 1ª série primária e enfatizava a necessidade de que se discutisse o modo pelo qual o fracasso era produzido no interior da escola. A educadora paulista afirmava que “todos os professores que entrevistamos até agora foram unânimes em declarar que, sem uma reformulação total  da seqüência da aprendizagem na 1ª e na 2ª séries do 1º grau não se resolverá o problema da alfabetização. Temos casos de professores que dizem: eu tenho que reprovar meus alunos que não conseguiram dominar as sílabas compostas, porque o currículo da 2ª série exige que ele tenha dominado as sílabas compostas, mas eu sou contra, acho que deviam ser aprovados com as sílabas simples dominadas, e completar na 2a série o seu processo de alfabetização” (Mello 1981:24-5). 
Em 1982, com o retorno das eleições diretas e a vitória da oposição em diversos governos de estados, houve grande renovação nos quadros dirigentes das redes de ensino. Em função das referidas mudanças, adotou-se nos estados de São Paulo, Minas Gerais e Paraná uma série de mudanças políticas, pedagógicas e organizacionais que focalizavam o problema da retenção das crianças de camadas populares na 1ª série primária. Nos três estados mencionados, as medidas implantadas tinham como característica comum a adoção do ciclo básico de alfabetização, englobando as duas primeiras séries. 
No mesmo período, Guiomar Namo de Mello assumiu a Secretaria Municipal de Educação de São Paulo, implementando uma proposta diferenciada, pela qual não haveria um ciclo básico de alfabetização mas sim um desdobramento do processo de alfabetização pelas duas primeiras séries, ficando a passagem para a segunda série condicionada ao domínio das sílabas simples (Cunha, 1991:218). 

O conjunto de medidas complementares à reorganização das séries iniciais está descrito, para os casos de São Paulo e Minas Gerais, em Neubauer-da-Silva e Davies (1993) e, para o caso do Paraná, em Mainardes (1994).

Um balanço geral do tema permite afirmar que apesar das medidas de caráter político, como a organização de fóruns para debate da proposta de política educacional, e das medidas de caráter pedagógico, como a veiculação de material didático e de fundamentação, as assessorias pedagógicas e as tentativas de viabilizar espaços no calendário escolar para discussões, as propostas de implementação do ciclo básico geraram resistência por parte dos professores e se descaracterizaram (Neubauer-da-Silva e Davis, 1993:27). 
O estudo do progresso de coortes de alunos que passaram pelo ciclo básico indica que as estratégias adotadas não superaram o problema da seletividade sócio-econômica no ensino de 1º grau como um todo (Klein e Ribeiro, 1993). Muito embora não estejam disponíveis pesquisas similares enfocando a especificidade do município de São Paulo a partir da gestão de Mello, há indícios de que a política diferenciada adotada pela referida gestão gerou menos conflitos, evitando o que Perrenoud (1993) caracteriza como desvio da racionalidade dos temas relacionados com a prática pedagógica para outros fins. Dentre os mencionados indícios deve ser registrado que, ao final de sua gestão, a então Secretária Municipal de Educação foi eleita Deputada Estadual e seus escritos continuaram a ter influência no meio educacional da época. 
Para alguns estudiosos, como Neubauer-da-Silva e Davis (1993), em artigo intitulado “É Proibido Repetir”, as propostas baseadas na não reprovação constituem-se em opção importante para uma educação não excludente e oferecem uma alternativa à cultura da repetência. 
Considerando-se que as gestões dos então secretários estaduais de educação nos referidos estados foram administrações relativamente bem sucedidas, não é difícil compreender que, apesar dos problemas mencionados em relação à implantação do Ciclo Básico, experiências deste tipo tenham sido introduzidas em outros contextos ou mesmo inspirado políticas mais ousadas de avaliação continuada. Neste caso, estão as políticas que, em conjunto com diversas medidas de caráter pedagógico e estrutural, estendem a promoção automática até a 8ª série do ensino fundamental ou impõem severas restrições à possibilidade de reprovação do aluno antes da última série. Muito embora o caso mais divulgado tenha sido a recente regulamentação de mecanismos deste tipo pela Secretaria Estadual de Educação e pelo Conselho Estadual de Educação de São Paulo, há diversas propostas deste tipo recém implantadas ou em gestação.
Com relação à promoção e evasão de alunos no sistema de ensino nacional, a partir de 1985, por iniciativa de alguns pesquisadores da área de estatística e economia, iniciou-se uma grande controvérsia sobre a validade das estatísticas oficiais na área de educação (Fletcher e Ribeiro, 1987 e 1993; Fletcher e Castro, 1993; Ribeiro e Klein, 1991; Ribeiro, 1991). Esses trabalhos questionavam as metodologias de apuração das estatísticas oficiais, argumentavam que os resultados apresentados estavam errados e enfatizavam que isso levava a diagnósticos equivocados sobre a situação da educação e as prioridades das política educacional. 
As conseqüências metodológicas desses trabalhos materializaram-se na adoção de um novo modelo de diagnóstico do fluxo de alunos (Profluxo) e na introdução de modificações em procedimentos estatísticos do MEC. Em termos de resultados, os mencionados pesquisadores insistiram nos seguintes pontos: as taxas de evasão são muito baixas; a cobertura da população em idade escolar é superior à até então admitida, chegando a 95%; o atraso no início da escolarização não é um problema expressivo; o problema central é a repetência, causada pela baixa qualidade do ensino. 
Observe-se que os três primeiros pontos enfatizados não estavam em sintonia com as análises dos pesquisadores que atuavam nos Programas de Pós-Graduação em Educação e que divulgavam suas pesquisas em livros, periódicos e encontros científicos da área. Muito embora os referidos pesquisadores tenham dado contribuições expressivas para a melhoria da qualidade das estatísticas educacionais no país, foi lastimável que seus trabalhos tenham tido influência marcante e hegemônica entre os formuladores de políticas oficiais sem que os mesmos fossem debatidos e submetidos a avaliações mais detidas. 
Carvalho e Kappel, (1997), com base na Contagem da População do IBGE, apontaram para uma expressiva subestimação por parte do Profluxo da população em idade escolar fora da escola, fato que levou o Ministério da Educação a formular programa específico para lidar com este problema. Mais recentemente, argumentamos que a entrada atrasada na escola é um problema de dimensões maiores que o divulgado e enfatizamos que as pequenas taxas de evasão divulgadas desde a implantação do Profluxo devem-se a uma definição muito peculiar do que seja evasão (Veiga Filho, Franco, Fernandes, Sztajn e Brandão 1998).
Também no final da década de 80, ocorreram as primeiras ações voltadas para a implementação no Brasil de um sistema nacional de avaliação da educação básica, buscando verificar não apenas a cobertura do atendimento educacional oferecido à população, mas, principalmente, o desempenho dos alunos dentro do sistema. Tais ações levaram à subseqüente institucionalização do Sistema Nacional de Avaliação Básico -  SAEB. 

O SAEB 
A década de 80 caracterizou-se pelo início de implementação de diversas reformas educacionais, com reflexos na América Latina (Castro e Carnoy, 1997; Bomeny, 1998). Trata-se, em primeiro lugar, de um movimento de reforma complexo tanto porque introduz mudanças profundas em diversas dimensões, tais como as prioridades educacionais, as formas de financiamento, o currículo, a avaliação educacional, como pelo fato de colocar na pauta de prioridades de atores como o Banco Mundial e setores empresariais uma série de temas historicamente valorizados por pesquisadores ligados à ANPEd e a setores que têm enfatizado as tensões existente entre os interesses empresariais e as propostas de universalização da educação de qualidade. 
Em segundo lugar, constitui um movimento de reformas ainda pouco investigado porque os esforços iniciais dos pesquisadores centraram-se em análises de discurso, que é uma abordagem válida e relevante do fenômeno mas que precisa ser complementada por análises empíricas que focalizem os processos de construção das políticas e suas conseqüências específicas. 
Face à ligação do SAEB com temáticas como a interferência do Banco Mundial nas políticas educacionais, a qualidade da educação e os currículos, iniciaremos a presente seção com uma breve consideração sobre a parcela da literatura crítica do movimento de reforma educacional que focaliza os temas acima mencionados. Em seguida, consideraremos de modo mais detalhado a trajetória de implantação do SAEB.
Lauglo (1997), ex-consultor do Banco Mundial (BM), tece uma abrangente crítica às prioridades educacionais do Banco Mundial. Este autor apresenta dados que ilustram a capacidade de interferência do BM nas políticas educacionais de países em desenvolvimento e discute criticamente as orientações daquele organismo multilateral. Este autor enfatiza o caráter fortemente seletivo das pesquisas que informam os documentos do BM, explicita a insensibilidade da instituição em relação aos temas pedagógicos, contrastando-a com o otimismo do Banco em relação às questões de gerenciamento, e sublinha as conseqüentes tensões entre os especialistas do BM e educadores e pesquisadores.
Com relação à avaliação, Lauglo (1997:32) aponta que “os educadores serão resistentes às tentativas de reduzir a complexidade da boa educação a generalizações de modelos que se baseiam em dados quantificáveis”. Esta resistência já tem se manifestado entre os pesquisadores brasileiros, que têm  discutido a relação entre políticas de avaliação e os Parâmetros Curriculares Nacionais propostos  pelo MEC (Moreira, 1995). 
Muito embora Lauglo apresente um panorama bastante crítico das prioridades educacionais do BM, este autor não assume uma postura dicotômica diante das tensões entre as políticas do BM e as alternativas dos educadores, preferindo interpretar as polêmicas entre pesquisadores em educação e intelectuais e executivos do BM como um conflito entre estratos profissionais distintos, ponto que não passou desapercebido por Zibas, Franco e Warde (1997:5), ao registrarem que Lauglo “defende uma perspectiva pouco aceita por parte considerável dos estudiosos latino-americanos”.
No veio dos estudos latino-americanos sobre a influência do BM em educação, Coraggio (1996) relaciona as diretivas do BM com o movimento de esvaziamento da dimensão social da cidadania, objetivo que se explicita nas formulações do BM que deslocam os tradicionais direitos universais do cidadão para a dimensão dos “direitos possíveis”, dependentes de disponibilidade financeira. É com referência a contextos como o diagnosticado por Coraggio que Enguita (1994) se refere à polissemia do conceito de qualidade e aponta a dissociação das noções de qualidade e igualdade no âmbito do discurso de muitas das reformas educacionais contemporâneas.
Torres (1996) critica o reducionismo implícito nas diretivas educacionais e visões sobre o currículo do BM, aspecto também considerado por Lauglo (1997) em suas considerações sobre a prioridade concedida pelo BM às “habilidades cognitivas básicas”. É notável, no entanto, que os exemplos de alternativas às visões reducionistas do currículo oferecidos por Torres (1996:141) incluam referências às propostas de Coll, professor espanhol cuja assessoria a governos latino-americanos, inclusive ao governo brasileiro, vem sendo interpretada por vários autores, por exemplo, Gentili (1996:44) como instância de transmissão de propostas neoliberais no contexto latino-americano. 
A origem do SAEB relaciona-se com demandas do Banco Mundial relativas à necessidade de desenvolvimento de um sistema de avaliação do impacto do Projeto Nordeste, seguimento Educação, no âmbito do VI Acordo MEC/BIRD, em 1988 ^,.  Tal demanda, aliada ao interesse do MEC em implementar um sistema mais amplo de avaliação da educação, levou a iniciativas que redundaram na criação do Sistema Nacional de Avaliação do Ensino Público de 1^o Grau ⎯ SAEP. Já em 1988, houve uma aplicação piloto do SAEP nos estados do Paraná e Rio Grande do Norte, com o intuito de testar a pertinência e adequação de instrumentos e procedimentos. No entanto, dificuldades financeiras impediram o prosseguimento do projeto, o qual só pode deslanchar em 1990, quando a Secretaria Nacional de Educação Básica alocou recursos necessários à viabilização do 1^o ciclo do Sistema Nacional de Avaliação do Ensino Básico ⎯ SAEB. 

IICA/MEC. Proposta de Avaliação do Programa de Educação Básica para o Nordeste (VI Acordo MEC/BIRD, 1988. (mimeo).

MEC/INEP/SAEB. Perfil e resultados do projeto. Brasília, s/d.

O 1^o Ciclo do SAEB
Segundo o documento intitulado Perfil e Resultados do Projeto a proposta original do SAEB já previa três grandes objetivos para a sistemática de avaliação que começava a ser implementada: 
•	desenvolver e aprofundar a capacidade avaliativa das unidades gestoras do sistema educacional (MEC, Secretarias Estaduais e Órgãos Municipais de Educação); 
•	regionalizar a operacionalização do processo avaliativo, criando nexos e estímulos para o desenvolvimento de infra-estrutura de pesquisa e avaliação educacional; 
•	propor uma estratégia de articulação dos resultados das pesquisas e avaliações já realizadas ou em vias de implementação.
A sistemática proposta buscava possibilitar a avaliação dos resultados das políticas e estratégias educacionais adotadas, explícita ou implicitamente, pelos sistemas de educação. Segundo o documento (ibid., p. 3) “tratava-se, em última instância, de avaliar a situação, as estratégias e os resultados dos sistemas educacionais, abordando-se as diversas questões relativas à universalização e qualidade do ensino; valorização do magistério e democratização da gestão”.
Estes eixos foram, por sua vez, traduzidos em três questões globais, a saber (ibid. p. 3-4): “em que medida as políticas adotadas nos planos estaduais, regionais e nacional, estão possibilitando o acesso (escolarização) e a melhoria da qualidade do ensino ministrado? (Eixo: universalização e qualidade do ensino) Quais as mudanças nas condições de trabalho e na competência pedagógica do professor? (Eixo: valorização do magistério). Em que medida a gestão educacional torna-se mais eficiente e democrática? (Eixo: democratização da gestão)”. Essas questões, decompostas em dimensões de análise específicas e referidas a indicadores concretos, nortearam a elaboração dos instrumentos utilizados neste 1º Ciclo. 

No eixo Universalização com Qualidade encontram-se as dimensões escolarização (indicadores matrícula e taxa de escolarização real); retenção (indicadores taxas de evasão, aprovação e repetência);  produtividade (indicador taxa de sobrevivência) e qualidade (indicadores rendimento do aluno, competência do professor, custo-aluno direto, condições de ensino). No eixo Valorização do Magistério, encontram-se as dimensões competência (indicador conteúdos e projeto pedagógico) e condições de trabalho (indicadores níveis salariais, taxa de professores concursados, vigência do Estatuto do Magistério). Por último, no eixo Gestão Educacional encontram-se as dimensões integração estado/município (indicadores diagnóstico de gestão/equalização custo-aluno); descentralização (indicadores diagnóstico de gestão/grau de autonomia da escola/melhoria da gestão escolar); desburocratização (indicadores diagnóstico de gestão/relação custo-pessoal docente/ pessoal não docente); eficiência (indicadores diagnóstico de gestão/racionalização de recursos) e democratização (indicadores diagnóstico de gestão/melhoria da gestão escolar).

Chama a atenção que as duas últimas perguntas, de caráter comparativo, tenham sido formuladas neste Ciclo inaugural do SAEB, quando ainda não existia uma base de dados da mesma natureza que permitisse fazer comparações ao longo do tempo, para saber se efetivamente se tratava de patamares instalados ou se tinha havido melhorias nos últimos anos. 
A partir desse desenho, foram realizados três estudos, de forma interligada, no âmbito da escola, a respeito da gestão escolar, da situação e competência do professor e do rendimento do aluno. A pesquisa foi realizada junto a uma amostra, onde participaram as 1ª, 3ª, 5ª e 7ª séries do então 1º grau, nas disciplinas de Português, Matemática e Ciências.
Os estudos sobre gestão escolar procuravam verificar a situação e melhoria dos seguintes aspectos: “serviços educacionais oferecidos pela escola; formas de gestão e participação existentes; níveis de autonomia da escola; infra-estrutura física; aproveitamento do 'tempo pedagógico'; estratégias de planejamento, execução e avaliação dos planos da escola; formas de articulação da escola com seu meio; processos de ensino-aprendizagem preconizados; conseqüências pedagógicas (rendimento do aluno, taxas de aprovação, evasão, repetência) relacionadas a diferentes estilos de gestão” (ibid, p. 7).
No que diz respeito ao professor, os instrumentos desse Ciclo procuravam investigar os seguintes aspectos: “níveis de formação e capacitação docente; condições de trabalho e experiência profissional; percepção do 'papel' do professor; formas de utilização do 'tempo pedagógico'; materiais e estratégias de ensino utilizadas; principais problemas do ensino; níveis de participação na gestão escolar; resultados pedagógicos (níveis de aprendizagem, evasão, repetência etc.) de diferentes estratégias e perfis docentes” (ibid, p.7).
Com relação ao desempenho do aluno, “pretendeu-se detectar os problemas de ensino-aprendizagem existentes e determinar em que condições (de gestão, de competência docente, de alternativas curriculares etc.) são obtidos melhores resultados e que áreas exigem uma intervenção para melhorar as condições de ensino” (ibid, p.7).
Em contraste com o trato dado às duas dimensões acima referidas, ao tratar dos instrumentos adotados para verificar o desempenho do aluno, o documento traz um alentado relato que explicita tanto a identidade da instituição responsável, como os critérios adotados na sua elaboração. De acordo com esse relato, o 1º Ciclo do SAEB visava conhecer e construir parâmetros de rendimento dos estudantes, “com base em propostas curriculares já existentes”.
A realização do 1^o Ciclo do SAEB contou com intensa participação da Fundação Carlos Chagas. Tomou-se como ponto de referência para a preparação dos instrumentos utilizados a pesquisa realizada pela referida fundação para o Ministério de Educação em 20 cidades do país (Avaliação do Rendimento de Alunos de Escolas de 1º Grau da Rede Pública), consubstanciando-se numa bateria de testes objetivos de Português, Matemática e Ciências para as 5ª e 7ª séries, além de uma prova de Redação.
Segundo o relatório preparado por pesquisadores da Fundação Carlos Chagas, na elaboração dos instrumentos “não se partiu de um currículo supostamente ideal, mas daquele efetivamente adotado pelo sistema e executado no dia-a-dia das atividades escolares (....). Participaram da estruturação dessa programação professores da rede oficial que procuraram definir os elementos desenvolvidos em atividades de aula indispensáveis na seqüência curricular. Desse modo, os diversos pontos identificados compuseram os programas mínimos (....). Os mesmos professores integraram uma equipe para a elaboração dos instrumentos de medida, os quais procuraram reproduzir o que fora efetivamente ministrado na escola de 1º grau”.

MEC/INEP/SAEB. Perfil e resultados do Projeto. Brasília, s/d

Guardando coerência com os objetivos traçados para o Sistema, no sentido de “desenvolver e aprofundar as capacidades avaliativas das unidades gestoras do sistema educacional (MEC, Secretarias Estaduais e Órgãos Municipais de Educação)” e de “regionalizar a operacionalização do processo avaliativo”, encontramos, neste Ciclo, a participação de equipes de professores e especialistas das Secretarias Estaduais de Educação, que se responsabilizaram pela aplicação e posterior correção das provas, segundo instruções elaboradas pela Fundação Carlos Chagas. 
Paralelamente, foram constituídas, em cada Unidade da Federação, equipes de professores e especialistas, com a finalidade tanto de “validar localmente os conteúdos das provas”, como de “determinar se os itens contidos nas mesmas formavam parte do que se considerava conteúdo mínimo para a UF” (ibid, p.12). De acordo com o documento, foram levados em conta os resultados dessas validações específicas, “eliminando-se, na correção dos testes, aqueles itens que as equipes estaduais de especialistas julgaram não formar parte da série/conteúdo da disciplina analisada” (ibid, p.13).
Quanto ao processo de elaboração das provas destinadas a aferir o desempenho discente, é possível verificar a adoção, neste primeiro Ciclo, de uma diretriz mais indutiva na construção de referenciais para a elaboração das provas destinadas aos alunos. Esta hipótese se sustenta nos próprios Relatórios consultados, na medida em que afirmam ter-se partido do que “efetivamente existia e era executado nas salas de aula”. 
Com relação às instâncias que foram envolvidas e a se julgar pelas informações veiculadas pelos documentos relativos ao 1º Ciclo, é possível afirmar que ele se caracteriza por ter estimulado o envolvimento de docentes e especialistas, seja em termos de definição da seqüência curricular e dos programas mínimos de referência, seja com relação à elaboração dos instrumentos de medida e à correção das provas. 
Quanto à análise dos resultados do 1^o ciclo do SAEB, foram produzidas tabulações dos resultados médios por regiões e estados. Não entraremos em maiores detalhes sobre as tabulações por duas razões: inexistência de referenciais que embasassem interpretações sobre o significado dos percentuais de acertos dos alunos; carência de informações sobre variáveis sócio-econômicas, de modo que as análises que articulavam dados sobre proficiência com variáveis referentes aos diretores ou professores não possuíam valor acadêmico. 
Entre os resultados apresentados, o relatório aponta o perfil relativamente jovem do diretor do ensino público de 1º grau, cuja média de idade se situa nos 37 anos, destacando que, embora predomine a formação de nível superior completo, os diretores apresentam baixos índices de formação específica em administração escolar. Registra, também, que a média salarial mensal dos diretores é de U$ 443, sendo a forma mais comum de acesso ao cargo a indicação de técnicos e políticos, em detrimento de mecanismos de seleção “formais e normatizados”. (p.70)

O plano amostral do SAEB baseia-se em alunos, de modo que informações médias sobre diretores, professores e  escolas devem ser tomadas em relação aos alunos. Por exemplo, uma informação sobre determinado percentual de formação de professores em nível superior deve ser interpretada como o percentual de alunos que estudam com professores com formação de nível superior, o que não é o mesmo que afirmar que o mesmo percentual dos professores possui formação de nível superior.

É em torno da prática administrativa dos diretores que o documento tece as considerações mais sugestivas. Sobre essa prática, o documento declara ser ela bastante diversificada, o que sugeriria “a incorporação de princípios das várias tendências e teorias que influenciam a administração em geral” (...) “...”principalmente as calcadas na divisão entre quem decide e quem executa e entre trabalho intelectual e trabalho manual, (que) tendem a produzir... uma racionalidade organizacional aparente, em detrimento do aspecto pedagógico, provocando a deturpação, e mesmo o esquecimento, dos objetivos da organização escolar” (ibid, p.70).
Nesse sentido, o documento destaca que se a maior parte dos diretores vê como principal função da direção garantir a eficiência da organização escolar e a adequação do trabalho pedagógico à realidade dos alunos, menos de 1% dos diretores reconhecem como importante a garantia do desenvolvimento dos conteúdos programados. 
Na análise do documento, “esses dados podem estar indicando que o conceito de eficiência utilizado pelos diretores é questionável, pois está muito mais vinculado ao desempenho do próprio diretor do que ao da organização escolar, em termos de seus objetivos fundamentais (que podem ser sintetizados na aprendizagem dos alunos)” (ibid, p.70). Tal visão estaria apontando que ainda é pouco disseminada a percepção da função pedagógica da direção.
Dessa falta de valorização da função pedagógica por parte da direção escolar, decorreriam o “distanciamento entre o ideário e a prática dos administradores escolares” e a pouca clareza existente quanto aos “reais objetivos da escola”. Isto explicaria o fato de os diretores “atribuírem o fracasso escolar a fatores externos à escola, tais como a miséria da população, a falta de apoio das famílias dos alunos e a estrutura e funcionamento do sistema educacional” (ibid, p.70).
As soluções apontadas pelos diretores para solucionar estes problemas aparecem vinculadas “à reorientação da atuação dos professores, à reorganização da escola para melhorar seu atendimento e a mudanças das condições de vida da população”. (ibid, p.70)
Em torno destas afirmações, o documento conclui que “a administração da escola se concretiza, portanto, como uma prática exterior ao processo educacional onde o desempenho da direção e o funcionamento administrativo da escola aparecem como funções prioritárias, onde é maior a preocupação com aspectos formais, em detrimento dos aspectos substantivos, quais sejam, processos pedagógicos, conteúdos e papel da escola, denotando ausência de responsabilidade pelos processos e produtos que são gerados” (ibid, p.70).
Com relação ao questionário dos professores, o relatório identifica que esses “ainda concebem sua prática pedagógica num plano essencialmente técnico, desvinculando-a da totalidade social”. Essa desvinculação, segundo o documento, estaria revelando que nem a formação escolar do professor, em todos os níveis, nem a formação em serviço estariam oferecendo “os fundamentos teórico-práticos para uma atuação competente” (ibid, p.101). Por esta via, chegasse à conclusão de que os professores, assim como os diretores, acabam “eximindo-se da responsabilidade pelo problema” do rendimento dos alunos (ibid, 101).
Embora possa ser reconhecida a fragilidade na forma como os dados foram obtidos, é necessário destacar que o documento extrai conclusões que, apoiadas em  literatura de ampla difusão no campo educacional, operam dentro de uma dupla crítica: ao tecnicismo e ao reprodutivismo em educação. Com efeito, por um lado, é possível perceber que o documento apresenta uma crítica à visão e às condições do funcionamento da escola, auspiciadas pelo tecnicismo na década de 70, materializadas na introdução da racionalização do processo educativo, no parcelamento do trabalho pedagógico e na especialização de funções. A sedimentação institucional e teórica dessa perspectiva teria operado no sentido de relegar os professores e, principalmente, os diretores à condição de executores de processos pedagógicos meramente técnicos, retirando deles sua iniciativa e a capacidade de perceber as relações que se estabelecem entre os aspectos técnicos e as dimensões pedagógica e política da prática educativa. Por outro lado, as conclusões revelam uma crítica à visão dos diretores e professores acerca da necessidade de uma mudança prévia nas condições sociais e econômicas de vida da população para ser possível a oferta de uma escola mais eficiente e capaz de garantir a aprendizagem dos alunos. É interessante notar que, coerentemente com o destaque que o SAEB dá às condições intra-escolares, as conclusões deste Ciclo não resgatam a que tal vez seja uma das contribuições mais importantes das teorias da reprodução. De fato, é a partir da ênfase que coloca nas determinações sociais do fenômeno educativo e no papel da escola na reprodução da sociedade, que o reprodutivismo contribuiu positivamente para revelar a natureza seletiva da escola. Entretanto, nas conclusões que o relatório deriva da discussão dos resultados das tabulações dos questionários de diretores e professores, o documento se reporta apenas ao fato de professores e diretores estarem informados por teorias e tendências que teriam servido para introduzir um sentimento de impotência, acerca de sua própria capacidade para transformar as condições de funcionamento da escola e os baixos níveis de desempenho escolar.
 
O 2^o  Ciclo do SAEB
Para o 2^o ciclo, não houve alteração nos objetivos gerais do SAEB. A partir de 1992, o Sistema ficou sob responsabilidade do Instituto Nacional de Estudos e Pesquisas Educacionais - INEP, e o 2º Ciclo de Aferição do SAEB se desenvolveu, no ano de 1993, em novo âmbito institucional. 

Durante a Nova República, em 1985, o modelo institucional do INEP foi reformulado, substituindo-se a função de fomento à pesquisa pela de órgão de suporte e assessoramento aos centros decisórios do MEC. Durante o governo FHC, transformado em 1997 em autarquia federal, o INEP inicia outro processo de reestruturação e de redefinição do seu papel, a partir de dois objetivos básicos: reorientar as políticas de apoio a pesquisas educacionais, que servem de base á tomada de decisões de política educacional, e reforçar o processo de disseminação de informações educacionais, pela incorporação de novas modalidades de produção e difusão de conhecimentos e informações. Nesse enquadramento, passaram a ser atribuídas ao INEP as responsabilidades técnicas e operacionais para implantação do SAEB, até então a cargo da Secretaria Nacional de Educação Básica. No campo das pesquisa educacionais, o INEP está orientado por duas linhas de atuação: apropriação e geração de conhecimentos sobre processos de ensino e funcionamento das escolas e produção de informações e estudos técnicos voltados para a formulação de políticas públicas.

Do ponto de vista do financiamento, ainda não foram empréstimos tomados junto ao Banco Mundial, mas recursos financeiros dos próprios estados que financiaram a reprodução de material e a aplicação do segundo ciclo do SAEB, enquanto o MEC, com verbas orçamentárias do INEP, financiou as equipes de especialistas. Vinte e quatro das vinte e sete unidades federadas participaram do 2^o Ciclo. Não entraram os estados de Santa Catarina e de São Paulo, devido à prolongada greve dos professores estaduais, e de Mato Grosso, que não conseguiu mobilizar recursos suficientes para a operação de campo. Além disto, as restrições orçamentárias dificultaram o processamento de dados e a integralização dos bancos de dados em vários estados, fazendo com que em fins de 1994 se contasse com dados completos apenas para 14 estados.

Os estados de Santa Catarina e São Paulo, entretanto, realizaram o levantamento em 1994.

De acordo com o documento Perfil e Resultados do Projeto, a pesquisa de campo e o tratamento e análise dos dados foram feitos nos próprios estados e municípios, por equipes vinculadas às Secretarias de Educação, de forma que o banco de dados gerado ficasse à disposição dessas instâncias administrativas e de outros interessados, “com o objetivo de servir à análise e formulação de política educacionais em suas diversas dimensões (treinamento e capacitação de recursos humanos, currículo, melhoria de gestão etc.)”.

Ver, Perfil e resultados do projeto. Ministério de Educação e Desporto. Instituto Nacional de Estudos e Pesquisas Educacionais, Sistema nacional de Avaliação da Educação Básica - SAEB. Brasília, s/d

Neste 2º Ciclo, foram novamente examinados os três aspectos abordados em 1990: gestão escolar, situação e competência do professor e rendimento do aluno. Foram avaliadas também as mesmas séries e disciplinas. Em decorrência de análises do ciclo anterior, os questionários destinados a levantar informações sobre os três aspectos acima foram reformulados. 
De acordo com o Relatório do 2º Ciclo do Sistema Nacional de Avaliação da Educação Básica, SAEB - 1993, as primeiras análises dos itens dos formulários, utilizados no 1º Ciclo sobre gestão escolar e professor, foram realizadas pela equipe técnica do SAEB. Esta equipe realizou também uma revisão bibliográfica de 41 pesquisas financiadas pelo INEP, visando a identificação de dimensões e indicadores tratados nesses trabalhos, em condições de serem utilizados na proposta do SAEB. Participaram também as equipes estaduais, através de uma análise dos problemas acontecidos tanto na fase de levantamento como na análise dos resultados relativos ao 1º Ciclo. As ponderações de ambas equipes foram discutidas no 2º Encontro Nacional do SAEB, realizado em agosto de 1992, quando foi elaborado um relatório contendo sugestões para o aprimoramento dos instrumentos.

MEC/SEDIAE/INEP/SAEB. Relatório do 2º Ciclo do Sistema Nacional de Avaliação da Educação Básica, SAEB - 1993. Brasília, maio de 1995.

O documento informa ainda que, em outubro de 1992, foram organizadas reuniões técnicas visando aprofundar as discussões sobre a reformulação dos instrumentos, com a presença de especialistas nas áreas de gestão escolar e docência, os quais sugeriram um novo formato para os dois instrumentos.

Participaram das reuniões José Cerchi Fusari (USP/SP); Fábio Ribas Jr. (PUC/SP); Vitor Henrique Paro (USP/PUC/SP); José Camilo dos Santos (UNICAMP/SP) e Marta Luz Sisson de Castro (PUC/RS)

Ainda foram analisados, em maio de 1993, por técnicos do SAEB e consultores ad hoc os resultados do 1º Ciclo. Posteriormente, a equipe técnica do SAEB/INEP elaborou a estrutura definitiva dos questionários de gestão escolar e professor. Os novos instrumentos, embora contemplassem os mesmos aspectos pesquisados no 1º Ciclo, privilegiaram àqueles relativos ao perfil e à prática de docentes e gestores. 

Os consultores foram Roberto Cláudio Frota Bezerra; João Batista Gomes Neto e Nicolino Trompieri Filho, todos eles da UFCE/CE.

O questionário de gestão escolar foi dividido em cinco blocos e o do professor em seis. Em comum, os dois questionários contemplavam aspectos relativos à identificação; formação e experiência profissional; forma de ingresso e situação funcional de diretores e professores. O questionário sobre gestão escolar incluía ainda informações relativas a equipamentos, atividades e funcionamento da escola, enquanto o questionário do professor acrescentava informações sobre planejamento das atividades e prática docente, condições de trabalho e participação (p. 11-12).
As principais modificações feitas no 2º Ciclo referem-se à metodologia seguida no processo de elaboração das questões e itens dos testes de rendimento dos alunos. Segundo o relatório, o processo de reformulação dos testes de rendimento utilizados no 1º Ciclo teve início com as críticas e observações formuladas pelas equipes estaduais encarregadas de sua aplicação e posterior correção, bem como com os pareceres específicos emitidos pelas equipes pedagógicas de Secretarias Estaduais de Educação. Paralelamente, a equipe do SAEB teria realizado análises estatísticas de confiabilidade e de validade. As principais críticas aos testes de rendimento utilizados no 1º Ciclo do SAEB diziam respeito, principalmente, a provas com questões inadequadas e/ou mecanizadas; questões com vocabulário inadequado à realidade regional; e questões e ilustrações dando margem a várias interpretações, mas com respostas.

Ver MEC/INEP/SAEB. Perfil e resultados do projeto. Brasília, s/d.

Numa crítica velada ao trabalho da Fundação Carlos Chagas, o Relatório do 2º Ciclo aponta que as principais sugestões apresentadas pelas equipes indicavam a necessidade de: modificações das questões em aspectos tais como: a elaboração de itens que medissem outras habilidades além da memorização, o uso de vocabulário adequado às diversas regiões, a formulação de enunciados mais esclarecedores da tarefa proposta e o cuidado especial com as ilustrações, de modo a evitar distorções na interpretação. Enfatizava-se ainda a importância de que o processo de validação dos itens em relação aos conteúdos mínimos fosse realizado antes da aplicação dos testes. 
O documento relata a metodologia seguida, em 1992, a partir dessas sugestões. Primeiramente, “procedeu-se ao levantamento das propostas curriculares sugeridas ou aplicadas pelas Secretarias Estaduais de Educação. Em seguida, as propostas curriculares de 15 Unidades Federadas foram encaminhadas a especialistas da UFPE, para elaboração de uma grade curricular sintética, que contemplasse os conteúdos comuns por série (1ª; 3ª; 4ª; 5ª, 7ª e 8ª) e disciplinas (Português, Matemática e Ciências) do 1º Grau” (p.13).

O documento Perfil e resultados do projeto, informa o nome de apenas 13 estados, cujas propostas teriam sido analisadas. Foram eles Acre, Alagoas, Amazonas, Ceará, Espírito Santo, Goiás, Mato Grosso do Sul, Minas Gerais, Paraná, Rio Grande do Norte, Rio Grande do Sul, Santa Catarina e São Paulo.

Essas especialistas foram Aída Maria Monteiro Silva e Iracema Lima Pires Ferreira

Na segunda etapa, desenvolvida em 1992, relativa à validação das “Grades Curriculares Mínimas Comuns”, o relatório informa que a coordenação do SAEB enviou às equipes pedagógicas de todas as Secretarias Estaduais de Educação cópia da grade curricular síntese, para que elas avaliassem separadamente cada conteúdo, indicando se o mesmo poderia ser considerado essencial, específico ou complementar. Os estados foram orientados no sentido de que a avaliação deveria ser realizada por especialistas em currículo nas áreas de Português, Matemática e Ciências e por professores com experiência em sala de aula. Ao todo, 23 estados remeteram os resultados da validação para a coordenação central do SAEB, o que possibilitou a montagem de uma matriz, pelo cruzamento de “fazer parte dos conteúdos mínimos” e “essencialidade do tema” (p. 13).
Na terceira etapa, em 1993, relativa ao reajuste das “Grades Curriculares Mínimas Comuns”, foi  convocada uma reunião de especialistas, “no sentido de estabelecer o conteúdo mínimo nacional para a elaboração dos testes de rendimento do SAEB”. Esse grupo teria procedido à atualização do trabalho de interseção e validação dos conteúdos, por série e disciplina.

Faziam parte desse grupo Iza Locatelli (SME/RJ); José Luiz Domingues (UFGO/GO); Lizete Castro Nunes (IPEA); Luiza Teodoro (UFSC/SC); Maria Inês Marcondes de Souza (UERJ/RJ); Maria Luiza Mota Machado (SEC/CE); Regina Lúcia Buriasco (UEL/PR); Terezinha Andrade ( (SEC/MG); Valda Marcelino Tolkmitt (SEC/PR)

Na quarta etapa, relativa à elaboração de “Testes Longos por Série e Disciplina”, foram constituídos três grupos de especialistas em três universidades, que tinham por função elaborar “uma proposta inicial de 40 itens por série e disciplina, a partir dos quais seriam montados os testes de rendimento. Os itens de Português foram elaborados pela UFMG, os de Matemática na UEL e os de Ciências na USP. Os grupos foram orientados a elaborarem questões semi-objetivas para a 1º e 3º séries e questões objetivas para a 5ª e 7ª séries, com 5 alternativas de respostas cada uma” (p. 13-14). O documento relata ainda que foi realizada uma pré-testagem dos 40 itens de Português e Matemática nas escolas de aplicação da UFMG e da UEL, com o objetivo de testar a clareza do enunciado e o nível de dificuldade da questão, seguida de um processo de ajustes e reformulações.

As coordenações foram as seguintes: o grupo 1 (Português), foi coordenado pela professora Magda B. Soares (UFMG), o grupo 2 (Matemática) pela professora Regina Luzia C. de Buriasco (UEL) e o grupo 3 (Ciências) pela professora Miriam Krasilchik (USP).

A quinta etapa, relativa à elaboração dos “Testes Definitivos”, foram compostas equipes diferentes de especialistas e professores das três disciplinas, que, com a participação dos coordenadores das equipes de elaboração de itens da quarta etapa, procederam “à seleção daqueles que comporiam os testes definitivos, (...e) definiram o número de questões que constituiriam cada teste: 30 para as de 5ª e 7ª séries e 20 para as de 1º e 3ª séries” (p.13-14). No plano da avaliação de desempenho, esses testes visavam verificar se os alunos tinham adquirido os conceitos básicos constantes do programa e se eram capazes de aplicá-los em assuntos relevantes do seu dia-a-dia.

Fizeram parte dessas equipes: Elaine Scheib Gazire, Ioshiro Mizusaki, José Luiz Domingues, Lia Lourdes Marquardt, Lígia Gomes Elliot, Lucilia Bandeira Kornijezuk, Magdalena Lana Gastelois, Maria do Carmo P. Coelho, Maria Helena carneiro, Maria Inês Mafra Goulart, Maineuza Gazzeta, Nilza Eingenheer Bertoni, Ocsana Sonia Danyluk, Regina Lizia Buriasco, Roberto Nardi, Sueli de Barros Alcanfor.

Entre novembro e dezembro de 1993, 23 estados realizaram o levantamento de dados. Foram pesquisados aproximadamente 1179.527 alunos, 8.756 professores em 3.100 escolas de 540 municípios brasileiros. Paralelamente, alguns municípios (Maceió, Natal, Recife, Rio de Janeiro, Salvador, Teresina e Vitória da Conquista) realizaram a pesquisa, envolvendo 18.500 alunos, 1.700 professores e 440 escolas.

Com o encerramento deste Ciclo, os documento oficiais afirmam terem se consolidado várias das metas básicas estipuladas pelo projeto do Sistema Nacional de Avaliação da Educação Básica - SAEB, entre elas:
•	a consolidação dos bancos de dados em cada unidade federada e do banco de dados a nível nacional, localizado no INEP;
•	o desenvolvimento de processos de avaliação do ensino de primeiro grau nas Secretarias Estaduais e Municipais de Educação, com o fim de incorporar os dados e informações resultantes dos Ciclos de Aferição na formulação de políticas e no planejamento do ensino. Preferentemente nos campos de elaboração de propostas curriculares, identificação de focos problemáticos para capacitação docente e desenvolvimento de novas estratégias de ensino-aprendizagem;
Comparando a forma de apresentação dos resultados obtidos nos dois primeiros ciclos do SAEB, é possível perceber que o relatório do 2º Ciclo segue uma diretriz mais técnica quando comparada com a abordagem de cunho político utilizada na análise dos resultados do 1º Ciclo.
A análise dos dados do 2^o ciclo, além de produzir as tabulações dos resultados por estados e regiões, dá ênfase ao estudo de correlações entre desempenho dos alunos e variáveis relacionadas com professores e diretores. 
No que diz respeito ao rendimento do aluno, os resultados dos dois primeiros ciclos do SAEB são solidários. Com efeito, tanto um como outro detectam que, se nas primeiras séries uma proporção baixa de alunos demonstra um domínio aceitável dos conteúdos mínimos, nas últimas séries esta proporção cai drasticamente: menos de 7% dos alunos da 7ª série  apresentam esse domínio nas áreas de Português, e monos de 1% nas áreas de Matemática e Ciências. Esses resultados, segundo o relatório, seriam consistentes com os obtidos por outras pesquisas como a realizada por Vianna em 1989 ou pela pesquisa internacional conduzida pelo Educational Testing Service. (p.159)
Um outro dado destacado no documento diz respeito a que os resultados mais elevados no rendimento dos alunos em todas as áreas disciplinares estão associados a maiores níveis de escolarização de diretores e professores. Segundo o documento, embora seja possível traçar essa associação positiva e geral entre rendimento do aluno e níveis de formação de diretores e professores, isto não acontece quando se levam em conta as diferentes modalidades de formação. “Assim, a habilitação magistério em nível de 2º Grau em pouco ou nada se associa a melhores resultados cognitivos dos alunos, quando comparada com os egressos de outras áreas do 2º Grau (inclusive, no caso do diretor, observa-se uma leve tendência em sentido contrário). Idêntica situação observa-se entre os professores e/ou diretores graduados no ensino superior com licenciatura, ou da área pedagógica, e os egressos de outras áreas: não se evidenciam diferenças significativas de resultados entre estes dois tipos de egressos do nível superior.  (...) também o fato  do professor e/ou diretor possuírem pós-graduação completa pouco ou nada se relaciona aos resultados dos alunos, quando comparado com professores que possuem só graduação”. (p.161) 
De forma similar, a escolaridade específica do diretor na área de administração escolar em nível de graduação mostrou-se positivamente associada ao rendimento dos alunos, enquanto a formação específica a nível de pós-graduação revelaria rendimentos dos alunos relativamente mais baixos.
Com relação a diretores e professores, o relatório aponta a inexistência de evidências que permitam associar a capacitação a melhores resultados por parte dos alunos. Essa capacitação encontra-se concentrada nos professores e diretores com maior nível de escolaridade. 
A respeito da forma de ingresso e situação funcional de professores e diretores, o documento aponta a existência de uma associação positiva entre ingresso na carreira por concurso público  e melhores resultados dos alunos. A situação funcional do professor também implicaria num diferencial quanto ao rendimento. “O professor estatutário, de forma consistente em todas as séries e disciplinas testadas, encontra-se associado a melhores resultados”. (p.162) 
O livro didático merece, no relatório, uma menção em separado, já que sua presença entre os alunos marcaria, por si mesma, diferenças de rendimento bastante expressivas. 
Uma das variáveis que teria se mostrado mais consistente com o rendimento do aluno teria sido o grau de desenvolvimento, por parte do professor, dos conteúdos previstos para o ano letivo. O mesmo aconteceria com o aproveitamento do “tempo pedagógico”, isto é com a utilização do tempo escolar em atividades diretamente ligadas ao ensino e a importância atribuída pela escola à aprendizagem dos conteúdos. Uma outra associação positiva entre funcionamento da escola e desempenho do aluno diz respeito à participação, tanto em termos dos diversos segmentos escolares envolvidos na elaboração do plano de trabalho, da freqüência com que são realizadas reuniões na escola para tratar de assuntos pedagógicos, do funcionamento dos conselhos de classe, como da participação e interesse dos pais e a capacidade da escola de atingir bons níveis de comparecimento, enquanto aspectos que se mostrariam sistematicamente associados ao rendimento do aluno. (id, ibid)
Para finalizar, o documento registra um paradoxo nos resultados do 2º Ciclo referentes à associação entre rendimento do aluno e proporção dos conteúdos previstos que o professor consegue desenvolver em sala. Com a intenção de aprofundar esta questão, o 2º Ciclo introduziu um novo instrumento, denominado Questionário sobre oportunidades de aprendizagem, com o objetivo de indagar, junto ao professor, a proporção entre conteúdos previstos e concretamente ensinados. 
Na análise dos resultados do 2º Ciclo, o documento registra o seguinte paradoxo: por um lado, se sustenta que a “associação entre proporção de conteúdos previstos, efetivamente desenvolvidos, com o rendimento do aluno continua sendo uma das mais fortes (25 pontos de diferença na 1ª série, em Português, entre os professores que menos e que mais desenvolveram os conteúdos previstos). Por outro lado, “quando se analisa esta mesma questão a partir das respostas do professor ... as relações ou são bem mais fracas (a diferença média entre os mesmos professores de 1ª série, Português, que desenvolveram o tema e os que não o fizeram é de apenas 7 pontos), ou praticamente inexistem, como nos casos da 5ª e da 7ª série, Matemática.
E o próprio relatório levanta a seguinte questão: “Como explicar que, em muitos itens destas últimas séries, os alunos de professores que afirmaram não haver ministrado o tema, obtenham melhores resultados do que os alunos cujos professores afirmaram que os ministraram?” E conclui: “Não existem, neste momento, condições de explicar este paradoxo.” (p. 164-165)

O 3^o Ciclo
O SAEB/95 introduz novos objetivos pautados na necessidade de “fornecer subsídios para as políticas voltadas para a melhoria da qualidade, eqüidade e eficiência da educação no Brasil, por meio do levantamento de informações que permitem:
•	a avaliação de conhecimentos e habilidades dos alunos em diferentes séries e áreas curriculares; 
•	a identificação de fatores contextuais de ensino, relacionados à organização e às condições de funcionamento da escola, aos professores, diretores, à prática  pedagógica e aos alunos e que influem na qualidade do ensino ministrado”;

Ver, a respeito, MEC/SEDIAE/INEP. Resultados do SAEB/95. Brasília, s/d., principalmente a Apresentação.

Nesta nova formulação, os objetivos deixam de estar centrados no desenvolvimento de uma “cultura de avaliação” no interior do sistema educacional, tal como definido para os primeiros dois Ciclos, aproximando-se dos objetivos que o Banco Mundial estabelece não apenas para justificar a necessidade de se introduzirem sistemas de avaliação em larga escala, com o objetivo de fornecer informações sobre os graus de qualidade, a eficiência e eqüidade atingidos pelos sistemas educacionais, como também os empréstimos financeiros que o Banco está empenhando para ajudar “muitos países a fortalecer as instituições responsáveis pelos sistemas nacionais de exames e avaliações públicas”.  

Em seu relatório sobre políticas de 1995, intitulado Prioridades e Estratégias para a Educação, o Banco Mundial traça orientações para governos aos quais concede empréstimos financeiros. Entre as preocupações do Banco Mundial explicitadas no documento estão aquelas ligadas à qualidade, à equidade e à eficácia da educação escolar. Entre as estratégias delineadas para fazer face a esses problemas, merece destaque especial as avaliações destinadas, por um lado, a aferir o rendimento dos alunos, com base em sistemas de indicadores de desempenho para monitorar a aprendizagem. Enfatiza também a importância das habilidades cognitivas nas áreas de Linguagem, Matemática e Ciências. Por outro lado, as avaliações em larga escala auspiciadas pelo Banco visam produzir informações que permitam uma distribuição mais eqüitativa dos recursos que, por definição, são escassos. A seguir, sintetizamos algumas das principais visões do Banco a respeito desta questão. “Uma vez que o setor público tenha decidido de que forma distribuirá os recursos públicos, é importante que se determine quais serão as especialidades e atitudes que será preciso adquirir em cada nível de ensino financiado publicamente e que se monitore sua aquisição. Uma vez estabelecidas as normas sobre rendimento, é preciso vinculá-los a incentivos. É possível utilizar uma variedade de indicadores, entre eles provas e exames. O que quer que se examine, deve ser aquilo que se ensina. Em conseqüência, os exames públicos têm grandes possibilidades de melhorar a qualidade da aprendizagem do aluno. (...) As medições de rendimento têm aplicações de política e aplicações pedagógicas. É possível utilizá-los para monitorar os avanços em direção à consecução de metas educacionais, avaliar a eficiência e a eficácia de políticas e programas, responsabilizar as escolas pelo rendimento dos alunos, selecionar estudantes, fornecer certificados e dar aos docentes informações acerca das necessidades de aprendizagem dos alunos.. No plano internacional há mais experiência com o uso de indicadores de rendimento para exigir a responsabilidade individual do que a institucional. É recente a utilização de medidas de rendimento para responsabilizar as instituições. Esta prática tem possibilidades limitadas. Pode ser difícil exigir das escolas que assumam a responsabilidade pelos resultados dos alunos por vários motivos: As medições de rendimento têm aplicações de política e aplicações pedagógicas. É possível utilizá-los para monitorar os avanços em direção à consecução de metas educacionais, avaliar a eficiência e a eficácia de políticas e programas, responsabilizar as escolas pelo rendimento dos alunos, selecionar estudantes, fornecer certificados e dar aos docentes informações acerca das necessidades de aprendizagem dos alunos. Além disso, podem ser combinados com incentivos para impulsionar o sistema a obter melhores resultados. Atualmente, as medidas de rendimento têm sido utilizadas para selecionar os beneficiários dos recursos e têm sido vinculadas a incentivos para melhoramentos. Em muitos países, os sistemas nacionais de avaliação da aprendizagem estão permitindo aos ministérios da educação monitorar seu próprio progresso, avaliar as repercussões dos programas experimentais e sua eficácia em função dos custos e melhorar a qualidade do planejamento educacional. A difusão das informações obtidas com as avaliações nacionais pode servir de fundamento aos processos de ensino-aprendizagem”.

De acordo com fontes do INEP, O SAEB-95 foi o primeiro ciclo de aferição financiado com verba oriunda de empréstimos do Banco Mundial. O quarto ciclo, realizado em 1997, contou com o mesmo tipo de financiamento e há arranjos em curso para garantir o financiamento do quinto e sexto ciclos previstos, respectivamente, para 1999 e 2003.
Para além da definição de novos objetivos, o terceiro Ciclo do SAEB inovou também em relação aos anteriores em vários outros aspectos: incluiu o Ensino Médio e a rede privada de ensino, adotou técnicas diferentes de medição do desempenho discente, incorporou instrumentos sobre as características sócio-econômicas e culturais e sobre os hábitos de estudo dos alunos e redefiniu as séries objeto de análise, selecionando as séries conclusivas de cada ciclo (4ª e 8ª do Ensino Fundamental e 3ª série do Ensino Médio). 
A segunda alteração relevante foi a adoção de abordagem alternativa à Teoria Clássica dos Testes. Referimo-nos à Teoria de Resposta ao Item (TRI), que foi utilizada com um duplo objetivo: garantir a comparabilidade de resultados obtidos com respostas a provas distintas, e possibilitar a interpretação das habilidades e competências associadas às escalas quantitativas de proficiência. De acordo com os documento, a TRI apresenta a vantagem de permitir que as provas de um ciclo cubram parcelas expressivas dos currículos, de garantir a possibilidade de comparação ao longo do tempo de resultados obtidos nos sucessivos ciclos e de viabilizar compreensão do significado educacional da escala quantitativa de proficiência.
Houve também alterações na forma de execução do ciclo. Segundo relato de Fontanive (1998:36) “o SAEB foi conduzido pelas Fundações Carlos Chagas e Cesgranrio, que, em convênio com o MEC, se responsabilizaram pela seleção da amostra, elaboração dos itens e confecção dos cadernos de teste, padronização e elaboração de manuais e vídeo de treinamento do procedimento de aplicação dos instrumentos - provas, questionários e formulários - distribuição dos materiais às sedes das secretarias estaduais de Educação, processamento e análise dos resultados”. Acrescentamos a este relato que as referidas fundações se responsabilizaram também pela definição das matrizes de conteúdo que serviram de base para a confecção dos itens. 
Muito embora o documento que apresentou os resultados do ciclo fizesse menção ao processo de construção de uma matriz de referência para a elaboração dos itens de provas, a Fundação Cesgranrio já desenvolvia, com apoio financeiro Fundação Ford, a construção de um banco de questões calibrado segundo a TRI. O MEC teria se interessado pela experiência e, a partir dela, teria introduzido uma série de inovações no Sistema de Avaliação do Ensino Básico, utilizando uma parcela desse banco nas provas nacionais de Matemática e Língua Portuguesa da 8º série do Ensino fundamental e nas da 3º série do Ensino Médio, enquanto os itens aplicados nas 4º séries foram elaborados pela Fundação Carlos Chagas, que também já vinha construindo um banco de itens. Tal cenário sugere que a construção da matriz para o SAEB-95 foi, ao menos parcialmente, influenciada pelos itens pré-existentes. 

MEC/SEDIAE/INEP. Resultados do SAEB/95. Brasília, s/d.

O levantamento incluiu também a 2a série do 2o grau. No entanto, problemas técnicos com os testes para esta série acabaram por levar ao abandono dos resultados obtidos.

Os demais instrumentos também foram alterados, com destaque para a inclusão de perguntas relacionadas com o nível sócio-econômico e hábitos de estudo dos alunos. O plano amostral selecionou uma amostra de estudantes representativa a nível dos estados da federação, do DF e das grandes regiões metropolitanas (de Belém; Fortaleza; Recife; Salvador; Belo Horizonte; Rio de Janeiro; São Paulo; Curitiba e Porto Alegre). A amostra incluiu 90.495 estudantes de 634 municípios distribuídos entre 3.449 turma de 2.289 escolas públicas e 511 escolas particulares. 

Os instrumentos de coleta estiveram constituídos pelos questionários do diretor (que levantam informações sobre sexo, idade, formação e experiência profissional, organização e funcionamento da escola); do professor (visando obter informações sobre sexo, idade, formação e experiência profissional, situação funcional, prática docente, organização e clima da escola, identificação da escola); dos alunos (incluindo questionário demográfico e sociocultural, além de  questionários sobre hábitos de estudo e testes de rendimento) e da escola (com informações sobre dependência administrativa, zona e localização, estado de conservação, instalações, materiais e equipamentos e condições da escola).

Foram divulgados três documentos de resultados do SAEB-95 que, em conjunto, objetivam superar as limitações das análises dos ciclos anteriores. Eles apresentam significados em termos de competências subjacentes a determinados níveis da escala de proficiência, o que dá significado educacional à tabulação de resultados de proficiência e retomam a tabulação e discussão das características da escola que os alunos freqüentam. No entanto, insiste-se em apresentar cruzamentos bivariados entre variáveis de proficiência e variáveis da escola e dos alunos. O caráter inapropriado destas análises é reconhecido pelo próprio documento do INEP: “temos que reconhecer que a realidade educacional é bem mais complexa que este modelo estatístico simples, razão pela qual seria recomendável a utilização de modelos de análise multivariados. [Além disso] No campo educacional apresenta-se uma hierarquia de níveis organizacionais (alunos, turmas, escolas, municípios, UF, etc.) que as técnicas, inclusive as multivariadas tradicionais, ignoram, tornando aconselhável a utilização de métodos de análise multinível (ou hierárquica)”(SAEB, Relatório Final, p.13).

Os três livretos foram publicados pelo INEP. São eles: Resultados do SAEB/95 - A escola que os alunos freqüentam. Brasília, s/d; Resultados Estaduais.  Brasília, s/d.

Ainda há incertezas relativas ao significado educacional dos diversos pontos da escala. O entendimento dos especialistas neste assunto é o de que a estabilização dos significados da escala é um processo que não se completa em um único exercício de avaliação.

O relatório Resultados do SAEB/95 - Escalas de Proficiência enfatiza informações que são sobejamente conhecidas, como o destaque dado ao fato de que o grau de escolarização dos pais influencia positivamente no desempenho dos alunos. Daí que o relatório afirme que os resultados obtidos pelos alunos são mais altos na rede particular de ensino, onde a situação sócio-econômica e de escolarização dos pais é melhor. Aponta um outro dado fartamente documentado: o desempenho médio dos alunos do período noturno é sempre mais baixo em todas as regiões. Ainda, segundo o relatório, o desempenho dos alunos de escolas situadas nas capitais é melhor e existe perda de proficiência na medida em que se aumenta a distorção idade-série.

Ver, MEC/SEDIAE/INEP. Resultados do SAEB/95 - Escalas de Proficiência, Brasília, s/d.

O nível de escolarização foi o aspecto selecionado para caracterizar os professores e diretores das escolas que os alunos freqüentam. Do ponto de vista da gestão da escola, o relatório informa que somente 1% de alunos da 4ª série estudam em escolas “geridas por diretores que somente concluíram o Ensino Fundamental. Ainda na 4ª série, 20 % dos alunos possuem diretores que finalizaram o Ensino Médio. Nas demais séries, a proporção de alunos com diretores com este nível de ensino cai para menos de 7%. Já os diretores que possuem curso de Pós-graduação são responsáveis pelas escolas que atendem 19% dos alunos da 4ª série. 21% dos alunos da 8ª série e 24% dos alunos da 3ª série do Ensino Médio”.. 

Ver, Resultados do SAEB/95 - A escola que os alunos freqüentam. Brasília, s/d, p. 17.

Com relação ao perfil dos docentes, o relatório apresenta informações apenas sobre a formação dos professores de Língua Portuguesa e Matemática. Assim, quanto ao nível de escolarização dos professores, o SAEB/95 informa que a maioria dos alunos (acima de 95%) estudaram com professores que completaram, no mínimo, o Ensino Médio ou que finalizaram o curso superior. Dos professores com formação a nível do Ensino Médio., a maior proporção é encontrada na 4ª série (mais de 60% dos alunos), situação esta que se modifica na 8ª série do Ensino Fundamental e no Ensino Médio que têm docentes com escolaridade superior. O relatório informa que ainda existe 4% de alunos da rede municipal que estudam com professores sem titulação, isto é , que têm professores leigos de Português e Matemática. (id., ibid, p. 19)
Segundo o relatório, a proficiência dos alunos do Ensino Fundamental e Médio aumenta a medida em que cresce o nível de escolaridade do professor, principalmente em Matemática. O mesmo documento registra que os alunos da 4^a série que têm professores com formação específica para o magistério ao nível de Ensino Médio têm desempenho melhor do que aqueles cujos professores cursaram outras modalidades de ensino médio e  enfatiza que situação inversa ocorre nas outras séries pesquisadas, nas quais os alunos de professores licenciados tiveram proficiência média igual ou inferior àqueles cujos professores possuíam outras modalidades de ensino superior. Devemos registrar que essas ponderações foram obtidas a partir de cruzamentos simples, não estando garantidas a  significância estatística dos achados. Também não foram construídos modelos multivariados adequados, de modo que não há garantias de que os resultados relatados não possam ser explicados por diferenças no perfil dos alunos atendidos por professores com diferentes modalidades de qualificação.
É possível perceber que, do ponto de vista do professor, o relatório dá novamente um caráter mais político à apresentação dos dados, deixando entrever a possibilidade de utilização desses resultados para dar base à introdução de futuras  mudanças na formação docente.
O 4º Ciclo do SAEB
Em 1997, foi realizado o 4º levantamento do SAEB. A maior parte das características presentes no ciclo de 95 foi mantida no SAEB-97. No entanto, o INEP procurou resgatar parte do poder de formulação e controle em relação às definições sobre o que o SAEB avalia, o que se materializou pela elaboração, no âmbito do INEP e com a contribuição de assessores, das Matrizes Curriculares de Referência para o SAEB. Os serviços técnicos de apoio à realização das diversas fases do ciclo foram licitados, em contraste com o 3o ciclo, quando houve dispensa de licitação. Além disto,  instituiu-se processo de validação empírica dos itens preparados e estes passaram a ser propriedade do MEC. 

Face à relevância para o presente projeto dessas matrizes, este tema será retomado em maiores detalhes na seção seguinte do presente projeto.

Os instrumentos do SAEB-97 foram aplicados em amostra representativa dos alunos das 4ª e 8ª séries do Ensino Fundamental e na 3ª série do Ensino Médio. Os bancos de dados referentes aos instrumentos que não envolvem os resultados dos testes foram consolidados no mês de junho de 1998 e o banco de dados que registrará a proficiência dos alunos será disponibilizado no segundo semestre desse ano. Os estudos relacionados com a construção de escalas de proficiências estáveis estão em curso no momento.
 
Considerações Finais 
O exame das características do SAEB ao longo dos quatro ciclos de avaliação evidencia elementos de diferenciação da experiência brasileira em relação a outras propostas de sistemas de avaliação da educação. O principal desses elementos refere-se ao caráter amostral do SAEB, enquanto outras experiências instituíram sistemas censitários de avaliação, com a publicação de rankings de escolas e a adoção de políticas de financiamento a eles atreladas.  

Como exemplos, considere-se as experiências da Inglaterra durante o governo de John Major e da província de Mendoza, na Argentina. Relatos dessas experiências são encontrados, respectivamente, em Gipps e Murphy (1994) e Gentili (1994). A proposta de Minas Gerais, descrita por Mares Guia (1997), possui algumas das características dos dois exemplos aqui considerados.

Muito embora a influência do Banco Mundial na montagem do SAEB seja bastante clara, principalmente a partir do terceiro ciclo, já levantamos elementos que invalidam a visão de que o sistema de avaliação tenha sido montado a partir de receituários preestabelecidos. 
Neste ponto, vale a pena ressaltar que o processo de implantação do SAEB esteve, desde o início, marcado pela existência de divergências entre os técnicos do MEC e do Banco Mundial e que estas divergências foram responsáveis, em parte, pela falta empréstimos financeiros durante os dois primeiros ciclos. 
Com efeito, documento de circulação mais restrita revela que enquanto os técnicos do INEP “defendiam um desenho organizacional descentralizado de execução, mas com um ‘core’ diretivo e técnico institucionalmente estruturado no Ministério e nas Secretarias, que supervisionasse o desenvolvimento do sistema e assegurasse a integração avaliação-formulação de políticas públicas”, os técnicos do Banco Mundial, “propugnavam, com base em estudos feitos em alguns países da América Latina, uma organização em que o Ministério apenas definiria e controlaria o alcance dos objetivos gerais de avaliação e licitaria, entre organizações não-lucrativas, a execução de todas as atividades do programa”. (p. 6) 

Ver, Políticas públicas de qualidade educacional: sistema de monitoramento e avaliação. Comissão Especial Constituída pela Portaria de 08 de novembro de 1994, em cumprimento à MP No. 711/94. Caberia a esta Comissão o encaminhamento de uma Portaria Ministerial estabelecendo normas e recomendações para o desenvolvimento, nos sistemas de ensino, de atividades contínuas e sistemáticas de avaliação externa, atendendo, assim, às atribuições do Conselho Nacional de Educação, fixadas no Artigo 9, incisos VII, VIII e IX, da Lei 4.024/61, alterado pelo Artigo 1º da aludida Medida Provisória. Logo depois, em Portaria  Nº 1.795 de 27 de dezembro de 1994, o então Ministro da Educação Murilo Avellar Hingel em atendimento às medidas legais anteriormente citadas considera: “- que as medidas educacionais exigidas por uma estratégia de desenvolvimento sustentado, democrático e socialmente justo, devem  assegurar oportunidades de educação básica de boa qualidade com eqüidade e eficiência, tal como foi acordado no amplo processo de discussão do Plano Decenal de Educação para Todos; - que a eficácia da formulação e gestão dessas políticas requer permanente monitoramento de sua execução e avaliação de seus resultados; - que os processo de avaliação e monitoramento devem ser organizados sistematicamente, para integrar todos os níveis da administração educacional e para mobilizar eficientemente os recursos humanos, técnicos e institucionais de organismos governamentais e de universidades e centros de pesquisa sócio-educacional; - que os conhecimentos e as informações gerados por esses processos devem ser de domínio público, contribuindo para subsidiar a participação de todos no encaminhamento de aquelas políticas e no controle social de seus resultados; - que nestes últimos anus, o Ministério da Educação e do Desporto -MEC, acumulou substancial experiência na organização e condução de processos avaliativos, que demandam adequada institucionalização; - que a Comissão Especial instituída pelo Decreto de 08 de novembro de 1994 consignou sua manifestação favorável à mesma, resolve - Art. 1º criar o Sistema Nacional de Avaliação da Educação Básica com os seguintes objetivos gerais: 1. Contribuir para o desenvolvimento, em todos os níveis do sistema educativo, de uma cultura avaliativa que estimule a melhoria dos padrões de qualidade e de eqüidade da educação básica e adequados controles sociais de seus resultados; 2. Implementar e desenvolver, em articulação com as Secretarias de Educação,  processos permanentes de avaliação, apoiados em ciclos regulares de aferições das aprendizagens e competências obtidos pelos alunos e do desempenho dos estabelecimentos que compõem o sistema de educação básica.”

Ainda de acordo com o documento, à época, “chegou-se a um termo conciliatório algo arriscado. Um dos projetos do subcomponente nacional dedicado à avaliação educacional (deverá) apoiar o desenvolvimento do SAEB, sob a condição de que (atenda) alguns critérios de avaliação de desempenho do projeto estabelecidos por um Comitê de Especialistas. Seguiriam o molde licitatório os demais projetos, como o de desenvolvimento de centros de excelência em avaliação e o de desenvolvimento de recursos humanos” (ibid, p.6)
É interessante assinalar que neste documento, produzido ao apagar das luzes da gestão de Murilo de Avellar Hingel a frente do Ministério de Educação e após a aprovação do Plano Decenal de Educação para Todos, houve uma tentativa de encaminhamento diferente da estrutura política e institucional do SAEB da que acabou sendo efetivamente implementada. Essas diferenças se revelam na tentativa de garantir, para os outros níveis e órgãos do sistema educacional, um padrão menos subordinado ao MEC e mais ativo no desenho político-institucional e na condução do sistema de avaliação. Para tanto, o documento propõe a organização de um Conselho Diretor, do qual participariam os órgãos do MEC responsáveis pelas políticas de qualidade da educação básica, as entidades representativas das administrações municipais e estaduais de ensino e das universidades, enfatizando que tanto melhor seria se esse Conselho incluísse também representantes dos agentes educativos e da sociedade civil. (p. 9)
Essa proposta é justificada tanto como forma de reduzir a sobrecarga de tarefas concentradas no INEP, quanto como modo de institucionalizar equipes estaduais e locais, “até o momento marginalmente situadas nos órgãos de planejamento ou de estatísticas educacionais, quando não isoladas em algum ponto das secretarias”. Como, “nelas se encontram os poucos técnicos treinados para essas atividades, o risco de desarticulação e de evasão aumenta a cada mudança de dirigentes”. (p.9)
Muito embora a influência do Banco Mundial na montagem do SAEB seja bastante clara, principalmente a partir do terceiro ciclo, a existência deste tipo de conflitos e divergências invalida a visão de que o Sistema teria sido montado a partir de receituários pré-estabelecidos. Tal cenário indica que a interpretação do significado do SAEB a partir de esquemas dedutivos baseados na análise de documentos de organismos internacionais ou a derivação direta de conclusões obtidas em outros contextos para o caso brasileiro é um caminho a ser evitado, já que eles não dão conta das mediações políticas e sociais que contribuem para assegurar, no interior de cada realidade nacional, uma configuração diferenciada na implementação da política nacional de avaliação. 
Num outro eixo, um balanço das características e significado dos quatro primeiros ciclos do SAEB permite afirmar que sua ênfase recai sobre as condições intra-escolares intervenientes no desempenho do aluno, relegando a um segundo plano fatores extra-escolares de peso, como as condições sócio-econômicas, a experiência cultural do aluno e as estratégias familiares com relação à escolarização dos filhos.
A partir dessa ênfase, o SAEB tende a se distanciar do desenho de levantamentos ingleses e americanos. A tradição desses países acumulou, durante as décadas de 60 e 70, um razoável conhecimento sobre o problema das desigualdades educacionais associado a fatores extra-escolares, cujos resultados enfatizavam a relação de fatores sócio-econômicos e culturais sobre o fracasso e a evasão do aluno. 

Nestes países, o foco dos estudos recaiu basicamente sobre as relações existentes entre origem social e escolarização e sublinharam os limites estreitos da democratização do sistema de ensino. (PEYRE, C. 1959; BOURDIEU e PASSERON, 1964, FORQUIN, 1996). Mas é a pesquisa realizada pelo I.N.E.D., entre 1962 e 1972 utilizando-se de uma abordagem longitudinal que acompanhou o mesmo grupo de indivíduos desde o término da 4ª série, a que tem lançado mais luz sobre um conjunto de questões sociológicas que procuram explicar as desigualdades educacionais, seja em termos econômicos, culturais, cognitivos, ou motivacionais, seja de acordo com o papel que os professores exercem no processo de diferenciação educacional. Apesar da generalização do acesso ao ensino secundário, entre meados das décadas de 60 e 70, uma pesquisa posterior, realizada pelo Ministério de Educação da França, confirma a tendência revelada pelo I.N.E.D., no sentido da existência de uma forte correlação entre origem social e seletividade escolar. Esse fato também foi (cont.) constatado por pesquisas similares realizadas junto aos países membros da O.C.D.E, durante 1971. Ver, a respeito, HUSÈN, Torsten. Social influences on Eduactional Attainment. Center for educational Research and Information (CERI).OECD, 1975 e FORQUIN, op. cit. p. 26)

As conclusões das pesquisas internacionais desse período são recorrentes em torno da idéia de que as desigualdades no desempenho dos alunos estão mais fortemente correlacionadas com suas diferentes origens sociais e familiares do que com as diferenças pedagógicas e infra-estruturais existentes entre as escolas. Se, no avesso do proclamado, estas conclusões acabaram por desencorajar a efetivação das políticas de equalização escolar que os mencionados levantamentos supostamente visavam subsidiar, por outro lado contribuíram para o reconhecimento da necessidade de articulação da política educacional com políticas sociais de escopo mais amplo. 
Se o tratamento dado por essas pesquisas à problemática das desigualdades educacionais vis a vis as desigualdades sociais tem aberto perspectivas fecundas de pesquisa, elas não se encontram incorporadas às referencias utilizadas na construção do SAEB. Nesse sentido, o SAEB opera um deslocamento bastante importante na problemática das desigualdades de educação, ao passar a focalizar o papel da própria escola no desempenho escolar do aluno, trazendo à tona a convicção de que o fracasso e o sucesso escolar são mediados por processos que envolvem os docentes e suas práticas, o ambiente escolar e as relações pedagógicas, o que acaba por reduzir o olhar para os fatores que operam no interior dos estabelecimentos escolares. 
Embora o SAEB resgate o papel das variáveis propriamente escolares, como a formação de professores e diretores, o estilo docente, o tempo dedicado ao ensino, a infra-estrutura escolar, ele subestima o peso dos fatores sócio-econômicos e culturais e a existência de relações estreitas entre fatores escolares e extra-escolares no desempenho do aluno, que precisariam ser estudadas conjuntamente. 
Parece ser esse o pano de fundo que permite aos sucessivos relatórios do SAEB tanto substituir o conceito consagrado de fracasso escolar para falar, reiteradamente, em “fracasso do ensino”, como criticar o fato de diretores e professores tenderem a colocar as causas do fracasso (do ensino) em fatores de caráter predominantemente extra-escolar, “eximindo-se da responsabilidade pelo problema” . Nesse sentido, é possível afirmar que o reducionismo sócio-econômico com que os recursos humanos da escola estariam operando é contestado a partir de um outro reducionismo de caráter pedagógico, pelo qual se tende a conceber a escola como instituição capaz de lidar unilateralmente com os problemas envolvidos na distribuição e no acesso ao saber. Essas ponderações, em conjunto com as críticas já formuladas acerca da análise dos dados do SAEB já efetuada, aponta para a necessidade de que a análise e modelagem dos dados do SAEB considerem simultaneamente as variáveis sócio-econômicas e intra-escolares. Para tanto, ainda se faz necessário considerar diversos aspectos. São eles: a adoção de técnicas multivariadas de modelagem que levem em conta a estrutura complexa e hierárquica da amostra do SAEB, de modo a viabilizar adequadamente o papel das variáveis sócio-econômicas e intra-escolares no rendimento educacional dos alunos; para os próximos exercícios de avaliação, a necessidade de aprimoramento das medidas de nível socio-econômico, em particular para os alunos de 4^a série do ensino fundamental, série em que ainda há altas taxas de não-resposta a questões relacionadas com nível sócio-econômico; e, ainda para os próximos exercícios de avaliação, a inclusão de perguntas no questionário do aluno que permitam avaliar envolvimento e estratégias familiares em relação à escolarização, complemento importante para o equacionamento satisfatório das influências extra-escolares no aproveitamento escolar dos alunos. A continuidade de nossa pesquisa inclui a adoção dos procedimentos descritos no primeiro dos pontos acima mencionados. Paralelamente, temos procurado levantar discussões com as autoridades educacionais e com a comunidade acadêmica acerca da importância de obtenção tanto de melhores medidas de nível sócio-econômico quanto de mensurações que envolvam aspectos relacionados a estratégias familiares. A superação dessas dificuldades poderá viabilizar cenários que desvelem com maior clareza as relações entre escola e democracia no Brasil.

Referências

BESSA, N.M. (1971). Alunos do curso colegial: planos e características sócio-econômicas. Rio de Janeiro, FGV.

BOMENY, H. [org.] (1998) Avaliação e determinação de padrões na educação latino-americana: realidades e desafios. FGV, Rio de Janeiro.

BOURDIEU, P. e PASSERON, J.C. (1975). A reprodução. Rio de Janeiro, Francisco Alves.

BOWLES S. & LEVIN H. (1968). “The determinants of  Scholastic Achievement - An Appraisal of some Recent Evidence” . Journal of Human Resources, 3,3-24.

BOWLES, S. and GINTIS, H. (1976). Schooling in capitalist America. New York, Basic Books.

BRANDÃO, BAETA & ROCHA (1983). Evasão e repetência no Brasil. A escola em questão.

BRASIL - COMISSÃO ESPECIAL CONSTITUÍDA PELA PORTARIA DE 08 DE NOVEMBRO DE 1994, EM CUMPRIMENTO À MP NO. 711/94. Políticas públicas de qualidade educacional: sistema de monitoramento e avaliação. Brasília, s/d. (mimeo)

CAMPOS, D.M.S. (1960). Que fatores são responsáveis pela reprovação na escolaprimária brasileira? Rio de Janeiro, MEC.

CARVALHO, J. C. B. E KAPPEL, M. D. (1997). A educação fundamental: censo domiciliar de 1996 como parâmetro para o Plano Nacional de Educação 1998-2007.  Rio de Janeiro:  Mimeo.

CASTRO, C.D., & CARNOY,M. (1997). Como anda a reforma da educação na América Latina? Rio de Janeiro: Fundação Getúlio Vargas.

CASTRO & FLETCHER (1993). Mitos, Estratégias e Prioridades para o Ensino de 1º Grau. Estudos em Avaliação Educacional, 39-56.

CASTRO & SANGUINETTY, J. (1978). Custos e determinantes da educação na América Latina. Rio de Janeiro:INTED.

COLEMAN, J.S. et al. (1966) Equality of educational opprotunity (Coleman Report). Washington, U.S. Government Priinting Office.

CORAGGIO, J.L. (1996) Propostas do Banco Mundial para a educação: sentido oculto ou problemas de concepção? Em L. De Tommasi, M.J. Warde e S. Haddad (org.) O Banco Mundial e as políticas educacionais. Cortez, São Paulo.

CUNHA, L. A. (1989). Educação e Desenvolvimento Educacional no Brasil. 11^a edição, Rio de Janeiro, Francisco Alves.

CUNHA, L.A. (1991). Educação, Estado e Democracia no Brasil. São Paulo:Cortez.

ENGUITA, M.F. (1994) O discurso da qualidade e a qualidade do discurso. Em P. Gentili e T.T. Silva, Neoliberalismo, qualidade total e educação. Vozes, Petrópolis.
FERNANDES, C. O (1997). A construção do currículo na escola pública: a interação de propostas curriculares oficiais com o projeto educativo de uma unidade escolar. Rio de Janeiro : PUC-Rio, Dissertação de Mestrado.

FLETCHER, P.R  (1996). SAEB - Relatório Técnico sobre a Amostra de 1995.

FLETCHER, P. & RIBEIRO ,S.C. (1987). O ensino de 1º grau no Brasil hoje. Em Aberto,6.

FORQUIN, J.C. [org.] (1995a). Sociologia da Educação. Dez anos de pesquisa. Petrópolis: Vozes.

FRANCO et al. (1997). Construção de instrumentos e modelagem estatística em avaliação educacional. Projeto de Pesquisa. PUC-Rio. Departamento de Educação e NTCE.

GATTI, B. (1993). O rendimento escolar em distintos setores da sociedade. Estudos em Avaliação Educacional.

GATTI, B. (1994). Avaliação Educacional no Brasil - experiências, problemas, recomendações. Estudos em Avaliação Educacional.

GENTILI, P. (1996) Neoliberalismo e educação: manual do usuário. Em T.T. Silva  e P. Gentili (org.) Escola S.A.: quem ganha e quem perde no mercado educacional do neoliberalismo. CNTE, Brasília.

GENTILI, P. (1994) O discurso da ‘qualidade’ como nova retórica conservadora. Em P. Gentili e T.T. Silva, Neoliberalismo, qualidade total e educação. Vozes, Petrópolis.

GOLDBERG, M. A.e.(.). (1981) Seletividade sócio-econômica no ensino de 1º grau. Rio de Janeiro: Achiamé.

GOLDSTEIN, H., & SPIEGELHATER, D.J. (1995). League Tables and their Limitations: Statistical Issues in Comparisons of Institutional Performance. The Curriculum Journal, 6.

GOUVEIA, A.J. (1967). Desigualdades no acesso à educação de nível médio. Revista Brasileira de Estudos Pedagógicos, 48 (107).

HARBISON, R.W., & HANUSEK, E.A. (1992). Educational Performance of the Poor. New York : Oxford University Press.

KLEIN, R. & RIBEIRO, S. C. (1991). O Censo Educacional e o Modelo de Fluxo: O Problema da Repetência. Revista Brasileira de Estatística, 52, 5-45.

LACERDA, E.R. (1979). Determinantes sócio-econômicos do rendimento e atraso escolar. PUC -Rio. Dissertação de Mestrado.

LANGONI, C. (1974). As causas do crescimento econômico do Brasil. Rio de Janeiro: APEC.

LAUGLO, J. (1997) Crítica às prioridades e estratégias do Banco Mundial para a educação. Cadernos de Pesquisa, 100, 11-36.

LEE, E.S.,  FORTHOFER, R.N., & LORIMOR, J.L. (1989). Analyzing Complex Survey Data. Sage.

MAINARDES, J. (1994). A promoção automática em questão: argumentos, implicações e possibilidades. Trabalho apresentado na Reunião Anual da ANPEd, Caxambu.

MEC/IICA. Proposta de Avaliação do Programa de Educação Básica para o Nordeste. VI Acordo

MEC/INEP/SAEB. Perfil e resultados do projeto. Brasília, s/d. (mimeo)

MEC/SEDIAE/INEP/SAEB. Relatório do 2º Ciclo do Sistema Nacional de Avaliação da Educação Básica, SAEB - 1993. Brasília,  maio de 1995.

MEC/SEDIAE/INEP. Resultados do SAEB/95 - A escola que os alunos freqüentam. Brasília, s/d.

MEC/SEDIAE/INEP. Resultados do SAEB/95 - Resultados Estaduais.  Brasília, s/d.

MEC/SEDIAE/INEP. Resultados do SAEB/95 - Escalas de Proficiência, Brasília, s/d.

MELLO, G.N. (1981). As condições intra-escolares na determinação da seletividade do ensino de 1º grau: um problema de pesquisa. In AAVV, Seletividade Sócio-Econômica no Ensino de 1º grau. (pp. 15-25). Rio de Janeiro: Achiamé/ ANPEd.

MOREIRA, A.F.B. (1995) Neoliberalismo, currículo nacional e avaliação. Em L.H. Silva e J.C. Azevedo (org.) Reestruturação curricular: teoria e prática no cotidiano da escola. Vozes, Petrópolis.

MOREIRA, A.F.B. (1996) Parâmetros curriculares nacionais: críticas e alternativas. Em T.T. Silva  e P. Gentili (org.) Escola S.A.: quem ganha e quem perde no mercado educacional do neoliberalismo. CNTE, Brasília.

NEUBAUER, S.d., & DAVIS, C. (1993). É Proibido Repetir. Estudos em Avaliação Educacional, 5-44.

PERRENOUD, P. (1993). Práticas Pedagógicas Profissão Docente e Formação - Perspectivas Sociológicas. Lisboa: Publicações Dom Quixote. Instituto de Inovação Educacional.

PESSOA, G.C.P.; SILVA, P.L.N. e  Duarte, R.P.N. (1997). Análise Estatística de Dados por Amostragem; Problemas no Uso de Pacotes Padrões.  Relatório técnico- IBGE.

RIBEIRO, S.C. (1991). A Pedagogia da Repetência. Estudos Avançados. IEA ,USP, 5, 7-22.

SCHULLER, C.R. (1998) Chile: sistema de medición de la calidade de la educación: características y uso de los resultados  de la evaluación para mejorar la calidad. Em H. Bomeny, Avaliação e determinação de padrões na educação latino-americana: realidades e desafios. FGV, Rio de Janeiro.

PESSOA, G.C.P.; SILVA, P.L.N. e  Duarte, R.P.N. (1997). Análise Estatística de Dados por Amostragem; Problemas no Uso de Pacotes Padrões.  Relatório técnico- IBGE.

SILVA. Maria Aparecida. (1979) Determinantes do desempenho escolar em sistemas educativos da América Latina. Rio de Janeiro : PUC-Rio, Dissertação de Mestrado.
TORRES, R.M. (1996) Melhorar a qualidade da educação básica? As estratégias do Banco Mundial. Em L. De Tommasi, M.J. Warde e S. Haddad (org.) O Banco Mundial e as políticas educacionais. Cotez, São Paulo.

ZIBAS, D.; Franco, M.L.P.B.; Warde, M.J.(1997) Globalização e políticas educacionais na América Latina: apresentação. Cadernos de Pesquisa, 100, 5-8.