MODELAGEM E AVALIAÇÃO DA PRODUTIVIDADE DE CURSOS DE MESTRADO EM ENGENHARIA DE PRODUÇÃO

 

 

Annibal Parracho Sant’Anna

Universidade Federal Fluminense

 

 

Abstract

            This paper compares different methodologies used to derive global productivity indices from particular criteria. To develop the comparison in a concrete framework, the methodologies are applied to evaluate the productivity of the Faculty resources of the Brazilian M.Sc. courses in the area of Production Engineering. Research is focused on the effect of the quantity of students on the productivity of Faculty, measured with respect to two output variables: students concluding the course and professors having full texts accepted in congresses during the year. The analysis of data and results obtained confirms the importance of taking into account the possibility of random deviations.

 

Keywords: Data Envelopment Analysis – Global Productivity – Hierarchical Models

 

 

1. Introdução.

            Neste trabalho são comparadas diferentes metodologias de agregação de critérios em uma medida de produtividade global. Para realizar esta comparação em uma situação concreta, medimos a produtividade dos recursos docentes dos cursos de mestrado em Engenharia de Produção. Nesta análise, investigamos como a quantidade de alunos no curso afeta a produção de dois outputs da atividade dos professores: formação de mestres e geração de resultados de pesquisa. Como elemento principal do processo de ensino-aprendizagem, sob a orientação dos professores, os alunos constituem um recurso ao lado do recurso docente. Por outro lado, a maior quantidade de alunos no curso pode reduzir as taxas de produção dos outputs valorizados quando se leva em conta apenas os objetivos acadêmicos. Especialmente na área de Engenharia de Produção, parte considerável da demanda atendida pode ser constituída de alunos voltados para o mercado de trabalho, que priorizam a aprendizagem em sala de aula e consideram secundária a conclusão do curso através da dissertação e a participação em projetos de pesquisa.

Partindo de que os mecanismos de avaliação da produtividade devem gerar medidas simples de forma clara para propiciar a sua aplicação consciente e transparente, limitamos a comparação a algoritmos relacionando medidas quantitativas de forma objetiva. Metacritérios, dentre os quais destacaríamos a qualidade das interpretações que os critérios básicos permitam e o seu potencial de motivar inovações, não devem ser incorporados no algoritmo de avaliação, mas aplicados a posteriori. Não se pretende, com isto, negar a importância destes aspectos, mas evitar que os elementos subjetivos da tomada de decisão final sejam escamoteados, a insuficiência dos valores explicitados no algoritmo servindo para autorizar o prevalecimento de valores contraditórios nunca explicitados.

Por mais simples que seja a metodologia, elementos intrínsecos na composição dos critérios, precisam ser esclarecidos. Investigamos, aqui, alguns destes aspectos: de um lado, a capacidade dos instrumentos de medição considerados de lidar com o efeito de perturbações aleatórias e, de outro, sua eficiência em levar em conta aspectos que afetam indiretamente a produtividade do fator cujo emprego se deseja avaliar.

Três medidas de produtividade são comparadas: a eficiência radial da Análise Envoltória de Dados clássica (Charnes, Cooper e Rhodes, 1978), a produtividade global avaliada probabilisticamente (Sant’Anna, 2001) e a produtividade explicada por um modelo hierárquico (Sant´Anna, 1999). Na seção seguinte, as estruturas dos algoritmos que conduzem a cada uma dessas medidas são delineadas. Na seção 3, a aplicação de DEA é comparada com a de critérios probabilísticos. Na Seção 4, o ajustamento de um modelo hierárquico é considerado, explorando-se a possibilidade de adicionar dados de um conjunto de unidades de observação com outras características, no caso os cursos de mestrado em Engenharia Mecânica. Conclusões são expostas na seção final.

 

 

 

2. Medidas Globais de Produtividade

            Esta seção apresenta, em primeiro lugar, medidas de produtividade individual deduzidas usando DEA e probabilidades de atingir a fronteira de excelência. Depois, se desenvolve a abordagem pelo ajustamento iterativo de um modelo hierárquico e o cálculo da produtividade explicada pelos fatores considerados no modelo.

            DEA mede a produtividade pela proximidade da fronteira de excelência. Para evitar arbitrar pesos para os diversos recursos e produtos, a produtividade é calculada com uma composição de pesos diferente para cada unidade avaliada, escolhida de modo a maximizar a razão entre o output agregado e o input agregado respectivo e aquele correspondente à fronteira de excelência.

            O cálculo de probabilidades se justifica pela imprecisão inerente aos dados. Considerando que os valores da fronteira de excelência são particularmente sujeitos à influência de perturbações aleatórias, um passo adicional para evitar as distorções delas decorrentes é comparar com a fronteira de ineficiência em vez de com a fronteira de eficiência. Partindo deste princípio, usa-se como indicador, nesta análise, a probabilidade de não atingir o valor mínimo em nenhum output sem atingir o valor máximo no input. 

            A principal finalidade do monitoramento da qualidade é motivar para a inovação chamando a atenção para as principais causas de defeito e de eficiência. Isto sugere derivar a avaliação dos resultados do ajustamento de um modelo hierárquico e dinâmico, que considere a influência sobre os coeficientes de produtividade de fatores e condições operacionais que variam com o tempo. Um tal modelo poderá ser satisfatoriamente ajustado se as observações passadas puderem ajudar a estimação dos parâmetros atuais. Este procedimento iterativo precisa ser explicado em mais detalhe que as outras duas abordagens com que será comparado no final. O modelo hierárquico dinâmico tem como centro uma aproximação linear para a função de produção, relacionando os volumes de output dos produtos considerados mais importantes com o custo total envolvido na sua produção. O coeficiente de cada output poderá variar ao longo do tempo e entre as unidades observadas de acordo com o contexto operacional. Formalmente esta estrutura pode ser descrita na forma seguinte.

  C_it = P_itb_it + e_it                            (equação de observação)                                (2.1)

onde C_it denota custo agregado observado na unidade i no instante t, P_it denota vetor de outputs, b_it denota vetor de coeficientes de produção e e_it denota perturbação estocástica de média zero.  

Y_pit = F_pitg_pit + h_pit                     (equações de estrutura)                                   (2.2)

onde Y_pit denota um estimador de b_pit, o coeficiente de produção da unidade i para o output p no instante t, F_pit denota um vetor de variáveis explicativas de segundo nível para o coeficiente de produção do output p, g_pit denota o vetor de coeficientes da equação estrutural relativa ao output p e h_pit denota perturbação estocástica de média zero para a p-ésima equação de estrutura.

     Uma vez obtidas estimativas diferenciadas para os co­eficientes da equação de observação de cada unidade, podemos ajustar as equações do segundo nível separadamente para, a seguir, suavizar os coeficientes do primeiro nível e, final­mente, gerar predições para a variável dependente deste nível, em um procedimento de quatro passos sucessivos: geração de coeficientes iniciais diferenciados para a equação de observação (inicialização); estimação dos coeficientes das equações estruturais (atualização); obtenção de estimativas finais para os coeficientes da equação de observação (suavização); composição dos coeficientes de produção em predições finais para a variável de custo (predição).

Para estabelecer um padrão que favoreça a detecção de inovações e enfatize a dinâmica da qualidade, utiliza-se aqui uma relação de 4 para 1 entre as variâncias da nova observação e do antigo estimador. Com isto, a aplicação de mínimos quadrados ponderados fixará a iteração do instante t-1 para o instante t através de:

Y_pit = b_pit + P_pit e_it/(w +úú P_itúú)           (equação de evolução)             (2.3)

ondeúú P_itúú denota a norma quadrática do vetor de outputs do indivíduo i no instante t, e_it denota o erro de predição inicial C_it – P_itb_it e w = 4, a razão entre as variâncias escolhidas. A produção das estimativas Y_pit encerra o estágio de inicialização.

A aproximação linear não costuma explicar satisfatoriamente a variação de coeficientes locais ao longo de um conjunto de unidades em situações muito distantes umas das outras e melhora quando elas são divididas em classes coerentes. Unidades de referência são usadas para identificar essas classes. É escolhida como primeira unidade de referência a mais representativa de todo o grupo, por um critério de ajustamento ao modelo do ano anterior ou, no primeiro ano, a um modelo simplificado. A segunda é a de maior coordenada no seu componente ortogonal à direção da primeira. A terceira, se houver mais de duas variáveis explicativas na equação de observação, será a de maior coordenada no componente ortogonal ao plano gerado pelas duas anteriores, e assim por diante.

O próximo passo após escolher as unidades de referência é calcular as coordenadas dos vetores de outputs padronizados das unidades na base formada pelos vetores correspondentes às unidades de referência. Usamos estas representações para separar as unidades observadas em grupos: a unidade i-ésima entra no grupo da unidade de referência p-ésima no instante t se P_pit* ³ P_qit* para todo q, onde (P_1it*, … , P_kit*) denota a representação do vetor (P_1it, … , P_kit) de outputs padronizados da unidade i-ésima na base formada pelos vetores de outputs padronizados das unidades de referência escolhidos para esse instante t.

Esta classificação é usada para ajustar equações do segundo nível com coeficientes constantes em cada classe. Estabelecida a homogeneidade dentro das classes, podemos assumir que os vetores de coeficientes das equações estruturais g_pit são de fato vetores de constantes g_pc(i,t) onde c(i,t) denota classe da unidade i-ésima no instante t. Simplifica-se a interpretação modelando o fator de correção e_it/(w +úú P_itúú), em vez de cada coeficiente. Neste caso, precisa­mos ajustar apenas uma equação de segundo nível para cada classe.

        Depois de atualizar, passamos às etapas de suavização e predição. Estas consistem na aplicação das equações (2) e (1), nesta ordem.

f_pit = F_pit g_pc(i,t)              (equação de suavização)                                             (2.4)

onde f_pit é a estimativa final de b_pit e g_pc(i,t) é a estimativa do vetor de coeficientes para a p-ésima equação do segundo nível na classe c(i,t). Alternativamente,

f_pit = b_pit + P_pit h_pc(i,t)     (equação de suavização do fator de correção) (2.5)

onde h_pc(i,t) é a estimativa para o fator de correção. E, finalmente,

Kit = P_itf_it                    (equação de predição)                                                (2.6)

onde Kit é o custo explicado para a unidade i no instante t e f_it é o vetor dos f_pit.

            O ajustamento do modelo fornece estimativas para os coeficientes de produção de cada unidade. Ponderando os coeficientes de produção estimados com pesos dados pela sua própria produção obtém-se o Custo Predito. Com medições sujeitas a erro, o comportamento médio oferece padrões de referência mais confiáveis que o comportamento extremo. Nesta perspectiva, em vez de comparar com o custo ótimo, devemos comparar com o comportamento central. Assim, obtemos um índice de produtividade comparando o custo predito para a combinação de outputs da unidade que usa como pesos as estimativas para os coeficientes de produção dela com a que usa as medianas dessas estimativas:

   Produtividade explicada = Custo Predito / Custo Mediano = K_it / P_itB_t,

onde o custo mediano P_itB_t é obtido substituindo, na expressão para o custo predito, o coeficiente técnico estimado para cada produto e cada unidade por uma mediana das estimativas para o coeficiente desse produto no conjunto de todas as unidades observadas.

            Os valores acima de 1 na produtividade explicada registram a presença de fatores estruturais considerados no modelo em um nível agregado alto o bastante para ele­var a relação custo/produto acima do nível mediano no conjunto examinado. Da mesma forma, valores baixos deste índice significam que o uso de recursos deve ser baixo relativamente à quantidade produzida, devido a valores pequenos das variáveis explicativas das equações estruturais.

 

 

 

3. Análise Envoltória de Dados e Produtividade Global Probabilística

As diferentes abordagens acima desenvolvidas aplicam-se aqui a um mesmo conjunto de dados, disponibilizado em capes@gov.br, relativo ao triênio de 1998 a 2000, de recursos e produção de cursos de mestrado em Engenharia de Produção. São também usados em todas as abordagens, como dados auxiliares, os disponibilizados no mesmo sítio relativos aos cursos de mestrado em Engenharia Mecânica.

Em todas as abordagens, o objetivo da análise é medir a produtividade do recurso docente na produção de ensino e pesquisa representada por dois itens, número de dissertações concluídas no curso e número de docentes do núcleo de referência docente mais estrito apresentando resultados de pesquisa aceitos para publicação integral em atas de congressos. Como variável subsidiária na análise é usada uma variável adicional: o número de alunos no curso, tratada nesta seção como um recurso adicional e na seção seguinte como condição de operação afetando os parâmetros de produtividade do recurso docente.  O volume do recurso docente é definido pela média entre os números de docentes no núcleo de referência docente, conforme as duas definições mais estrita e mais abrangente usadas pelos especialistas, NRD1 e NRD6.

Nesta seção, são empregados dois instrumentos de análise: DEA e avaliação probabilística da produtividade global. Para reduzir a influência das variações aleatórias, trabalhamos aqui com a média dos dados referentes aos 3 anos. O curso da Ufrn ficou fora desta análise por ter iniciado suas atividades em 2000, inviabilizando o uso de uma média.

Com a redução da influência de perturbação aleatória, se controla uma possível fonte de divergência entre os resultados da DEA e os da avaliação probabilística. Resta a divergência no conceito de produtividade global propriamente dito, isto é, entre a opção da DEA de adotar a composição de recursos e produtos mais favorável e da avaliação probabilística de levar em conta o afastamento de todos os patamares máximos de utilização de recursos e mínimos de produção de resultados.

            A Tabela 3.1 apresenta os valores das variáveis de insumo e produto consideradas e a Tabela 3.2 os resultados da aplicação da DEA e da avaliação probabilística ao conjunto dos cursos de Engenharia de Produção, com e sem a inclusão do número de alunos no curso como input adicional ao número de docentes. A Tabela 3.3 apresenta resultados das mesmas análises, para os mesmos cursos, mas, comparando cada um com um universo maior que inclui, além dos cursos de Engenharia de Produção, os de Engenharia Mecânica.

 

 

Tabela 3.1. Números Médios no Triênio 1998/2000

 

 

 

 

 

Tabela 3.2. Eficiência Relativa ao Grupo de Cursos de Engenharia de Produção

 

 

 

 

 

Tabela 3.3. Eficiência Relativa à Fronteira Ampliada com os Cursos de Mecânica

 

As Tabelas acima registram divergências entre os índices produzidos pelas duas abordagens. As diferenças são maiores para os cursos com posições extremas em alguma variável. Efei e Unespb chegam à fronteira DEA na Tabela 3.2 porque apresentam alta produtividade quando se limita o cálculo a um produto, presença em atas de congressos. Sua produtividade na formação de mestres é menor. Ufsc apresenta situação semelhante. O indicador probabilístico, mais abrangente, coloca esses cursos em posição muito diversa.

Para a maioria dos cursos, a eficiência DEA não é afetada pela inclusão do número de alunos entre os recursos. Isto significa que os resultados por aluno não são superiores aos resultados por professor. As principais exceções são Ufsm, Unespb e Ufpe, em que este indicador é fortemente afetado pelo pequeno número de alunos. Já no indicador probabilístico, a inclusão de um segundo recurso, pela grande diferença de escala de operação entre Ufsc e os outros cursos, resulta apenas em acentuar a distância do índice desse curso dos demais.

            O aumento do número de cursos comparados tem como efeito natural o deslocamento das fronteiras. Isto conduz à redução dos índices de eficiência pela DEA para alguns cursos, merecendo destaque, apenas, o deslocamento de Efei para fora da fronteira de eficiência. Pelo critério do afastamento probabilístico da fronteira inferior, o resultado da inclusão dos cursos de Engenharia Mecânica é a elevação dos índices para valores próximos a 100% para todos os cursos, exceto o da Ufsc, que mesmo no conjunto ampliado não consegue um efeito positivo do volume de produtos finais registrados capaz de compensar o efeito negativo da sua escala de recursos empregados.

            Especialistas são empregados para, com base em dezenas de indicadores extraídos do mesmo conjunto de dados, produzir uma classificação oficial dos cursos em uma escala de 5 níveis. Para comparar as classificações geradas acima com a produzida através dos especialistas, discretizamos as avaliações percentuais das eficiências relativas e das probabilidades globais em 5 classes, considerando empatados cursos em faixas com limites reduzidos sucessivamente a uma taxa de 20%, isto é nas faixas de valores de 80% a 99%, de 64% a 79%, de 52% a 63% e abaixo de 52%. A Tabela 3.4 mostra os coeficientes de correlação de postos de Spearman, os valores em negrito correspondendo a correlações positivas ao nível de significância de 95%.

 

                                       Tabela 3.4. Correlações entre Classificações

				DEA					PROBABILIDADE
		Oficial	s/  al.  c/ mec		c/  al.  c/ mec.	s/ al.    s/ mec.	c/  al. s/ mec.	s/  al.  c/ mec.		c/  al. c/ mec.	s/ al.   s/ mec.	c/ al. s/ mec.
Oficial		1
dea s/  al. c/ mec.		0,47	1
dea c/ al. c/ mec.		0,43	0,73		1
dea s/ al. s/ mec.		0,40	0,85		0,69	1
dea c/  al. s/ mec.		0,21	0,48		0,83	0,71	1
prob. s/  al. c/ mec.		0,05	0,02		0,07	-0,09	-0,02	1
prob. c/ al. c/ mec.		-0,09	-0,05		0,04	-0,11	0,01	0,90		1
prob. s/  al. s/ mec.		0,29	0,20		0,07	-0,05	-0,18	0,38		0,18	1
prob. c/ al. s/ mec.		0,22	0,27		0,10	0,10	-0,05	0,25		0,04	0,93	1

 

Na Tabela 3.4, verifica-se que, ao nível de 95%, somente é correlacionada com a avaliação dos especialistas a eficiência relativa da DEA nos modelos com um único input, a força de trabalho docente, com os cursos de Engenharia de Produção junto aos de Engenharia Mecânica. Embora não significativas a altos níveis, nota-se, entretanto, que as correlações com a classificação oficial são maiores para as classificações obtidas através da DEA que para aquelas obtidas através da probabilidade de afastamento de todas as fronteiras inferiores. Além disso, as classificações obtidas através da DEA são todas correlacionadas entre si ao nível de 95%.

A eficiência radial pode ser distorcida por falta de proporcionalidade entre os inputs ou entre os outputs de algumas unidades analisadas. Analisando as folgas no cálculo da eficiência radial com um único input e os cursos de Engenharia Mecânica incluídos no conjunto de referência, verifica-se apenas uma folga no conjunto dos cursos classificados como de Engenharia de Produção. Apenas a unidade de referência para Unespb com 74% do seu número de docentes produziria os mesmos outputs e mais uma folga de aproximadamente 3 alunos titulados a mais. Nestas condições, torna-se inútil estender a análise nesta direção.

 

 

 

4. Produtividade Explicada por Classificação em grupos

 Nesta seção são apresentados os resultados do ajustamento iterativo de um modelo linear com coeficientes variando ao longo do tempo e das unidades de observação. A partir do segundo ano, 1999, o ajustamento é realizado partindo das estimativas para os coeficientes de produção do ano anterior e atualizando com um fator de correção que varia de acordo com a classificação do curso em um de dois grupos determinados pela proximidade a dois cursos representativos, também escolhidos com base no resultado do ano anterior. O primeiro é aquele de melhor ajustamento ao modelo no ano anterior e o segundo o de maior coordenada no componente ortogonal à direção do primeiro.

            A equação de observação relaciona o tamanho do corpo docente, medido como na seção anterior, com os mesmos dois produtos ali considerados. O fator de correção é suavizado em função do número de alunos do curso e, quando se acrescentam os cursos de mestrado em Engenharia Mecânica, também em função de um indicador de área. Ao ajustar o modelo apenas aos dados dos cursos de Engenharia de Produção, a estimação dos coeficientes do segundo nível retorna valores não significativos, isto é, somos levados a aceitar que o número de alunos não é relevante. Quando se amplia a amostra, com a inclusão dos cursos de Engenharia Mecânica, entretanto, estes fatores, principalmente o relativo à diferença entre as áreas, tornam-se significativos em um dos grupos. Este grupo é caracterizado por número de docentes publicando mais afastado, para baixo, da média conjunta dos cursos das duas áreas que o número de mestres formados se afasta da respectiva média, em contraposição ao outro grupo em que o número de docentes publicando é relativamente mais alto e os afastamentos são semelhantes nas duas variáveis. 

As medianas dos coeficientes de produção estimados estão na Tabela 4.1 e os coeficientes estruturais no último ano, para o grupo caracterizado por, relativamente, mais orientações que publicações, na Tabela 4.2. A tabela 4.3 apresenta as produtividades explicadas pelo modelo, resultantes do ajustamento final, aos dados de 2000, para os cursos de mestrado em Engenharia de Produção, a primeira com os resultados obtidos quando se ajustam esses cursos isoladamente e a segunda quando se incluem os dados dos cursos de mestrado em Engenharia Mecânica.

 

 

Tabela 4.1. Medianas das Estimativas Finais para os Coeficientes de Produção

 

 

 

Tabela 4.2. Coeficientes Beta da Equação do 2º Nível no 2º Grupo

 

 

 

Tabela 4.3. Produtividades Explicadas

 

 

A Tabela 4.1 revela que a correlação parcial do número de docentes publicando em atas de congressos com o número de docentes no curso é mais que o dobro da do número de mestres formados no ano. A Tabela 4.2 mostra que no último ano o coeficiente do indicador de diferença entre as áreas é altamente significativo no segundo grupo, enquanto a hipótese de nulidade do coeficiente do número de alunos seria aceita aos níveis de significância mais elevados. Analisando a Tabela 4.3, verifica-se que a divisão em grupos propiciada pela inclusão dos cursos de Engenharia Mecânica eleva os índices de produtividade dos cursos com índices mais baixos na análise inicial, Ufsc e Ufsm.

 

 

 

5. Conclusão.

            A aplicação realizada evidencia as diferenças entre os conceitos agregados medidos pela diferentes abordagens. Constitui-se deste modo em exemplo útil para o usuário com dificuldades na interpretação dos resultados através de cada um deles.

            A eficiência pela DEA destaca as unidades com alta produtividade de algum recurso na produção de resultados específicos e julga as demais em referência a esses desempenhos especiais. Aplicando este critério, se estabelecem grandes distâncias entre os cursos analisados. A aplicação do critério probabilístico baseado na exigência de afastamento de todas as fronteiras inferiores resulta em medidas mais próximas, salvo para dois cursos situados na fronteira de excelência DEA e outro muito próximo dela, cuja produtividade se concentra em um único produto. Finalmente a grande homogeneidade do grupo, quando se deixa de lado a influência de variações não explicadas, é demonstrada pela aplicação do critério baseado na produtividade explicada pelo modelo hierárquico.

            Examinando os dados e os resultados obtidos, é de notar que a oscilação dos valores registrados exige que se leve em conta a presença de efeitos aleatórios, que podem distorcer as medidas geradas pela DEA. Do mesmo modo, a influência desses componentes aleatórios dificulta o ajustamento do modelo mais completo, que só consegue detectar alguma influência do número de alunos sobre os coeficientes de produção do recurso docente em parte dos cursos quando se amplia o volume de dados com a inclusão dos cursos de Engenharia Mecânica. O modelo evidencia, então, a significativa diferença entre os coeficientes da função de produção dos cursos das duas áreas.

 

 

 

Agradecimento.

Agradeço a atenção que os árbitros deram a este trabalho. Julgo interessante registrar a objeção de um deles, de que a validade dos resultados obtidos fica prejudicada pela falta de qualidade na coleta dos dados e pela falta, nos dados, de informação sobre a qualidade. Concordo com as premissas, mas não com a conclusão. Os resultados são válidos para avaliar os cursos do ponto de vista das metas explicitadas: dedicação dos docentes a orientar dissertações e divulgar os resultados de sua pesquisa. A mesma abordagem poderia ser usada para avaliar o cumprimento de metas como orientar dissertações de alta qualidade e divulgar resultados de alta qualidade. Para isto bastaria que, com o auxílio de especialistas, tivessem sido gerados dados sobre números de dissertações de alta qualidade defendidas e professores publicando artigos de alta qualidade. O que é inútil é gerar ampla profusão de dados e depois pedir a especialistas que, sem explicitar quais dados consideraram aproveitáveis e quais preferiram desprezar, apliquem a eles a sua percepção pessoal sobre a qualidade dos cursos objeto da avaliação, para produzir afinal uma avaliação que ninguém poderá discutir, por não saber em que, efetivamente, se fundamenta.

 

 

Referências.

Charnes, A., Cooper, W. W. e Rhodes. E. (1978). Measu­ring the Efficiency of Decision Making Units. European Journal of Oper­ations Research, 2: 429-444

Sant’Anna, A. P. (1999). Modelagem da Produtividade e Gestão da Qualidade Acadêmica. Produção. v.9, p.5–11.

Sant’Anna, A. P. Qualidade Produtividade e Gratificação de Estímulo à Docência. Anais do XXXIII SBPO, p. 421 – 434. Campos do Jordão, 2001.