Este estudo investiga a geração de valor público nas universidades federais brasileiras, avaliada pela metodologia da Public Value Account e pela análise da relação de causa-efeito dos custos e investimentos em infraestrutura na qualidade do ensino superior. Foram analisadas informações contábeis de 58 universidades federais brasileiras, do período de 2015 a 2019. Os dados apontam um resultado da public value account positivo para qualidade do ensino superior, pois os sacrifícios realizados são inferiores ao benefício gerado. Os resultados da análise de regressão evidenciaram que os custos e investimentos públicos influenciam na qualidade do ensino superior. A hipótese geral do estudo, de que a criação de valor público nas universidades federais pode ser percebida pela diferença positiva entre os benefícios e sacrifícios gerados foi confirmada e corroborada pela relação de causa-efeito dos custos e investimentos públicos em infraestrutura na qualidade do ensino superior.
Palavras chave: valor público, custos no setor público, investimentos públicos, universidades federais, qualidade do ensino superior, Brasil.
Este estudio investiga la generación de valor público en las universidades federales brasileñas, evaluada por la metodología de Public Value Account y por el análisis de la relación de causa-efecto de los costos e inversiones en infraestructura en la calidad de la educación superior. Se analizó información contable de 58 universidades federales brasileñas entre 2015 y 2019. Los datos apuntan a un resultado positivo de Public Value Account para la calidad de la educación superior, ya que los sacrificios realizados son menores que el beneficio generado. Los resultados del análisis de regresión mostraron que los costos públicos y las inversiones influyen en la calidad de la educación superior. La hipótesis general del estudio, de que la creación de valor público en las universidades federales puede ser percibida por la diferencia positiva entre los beneficios y sacrificios generados, fue confirmada y corroborada por la relación causa-efecto de los costos y las inversiones públicas en infraestructura en la calidad de la educación superior.
Palabras clave: valor público, costos en el sector público, inversiones públicas, universidades federales, calidad de la educación superior, Brasil.
This study explores the generation of public value in Brazilian federal universities, evaluated by the Public value account methodology and by the analysis of the cause-effect relationship of costs and investments in infrastructure on the quality of higher education. Financial information from 58 Brazilian federal universities between 2015 and 2019 was analyzed. The gathered data show a positive outcome of public value account for the quality of higher education, since the yielded sacrifices are lower than the generated benefit. The results of the regression analysis showed that public costs and investments influence the quality of higher education. The general hypothesis of the study, that the creation of public value in federal universities can be perceived by the positive difference between the benefits and sacrifices generated, was corroborated by the cause-effect relationship of costs and public investments in infrastructure on the quality of higher education.
Keywords: public value, public sector costs, public investments, federal universities, quality of higher education, Brazil.
A geração de Valor Público (VP) deve ser o objetivo principal da administração pública e sua estrutura se fundamenta em três aspectos: prestação efetiva de serviços, alcance de resultados sociais e manutenção da confiança e legitimidade (Moore, 1995, 2003, 2007). Instituições públicas geram VP quando atendem as necessidades coletivas. Quanto maior o grau de satisfação e conquistas sociais, maior é o valor público gerado (Moore, 1995). Dentre os anseios sociais, a educação pública de qualidade ocupa um papel importante no desenvolvimento socioeconômico de uma nação, especialmente em países como o Brasil, que tem o ensino superior ofertado, em grande parte, por universidades públicas.
Com a chegada dos movimentos reformistas da Nova Administração Pública, diversos desafios foram colocados aos entes públicos, inclusive às universidades federais, que passam a gerir os recursos públicos disponíveis com o propósito central de gerar VP. Resultados alcançados por instituições públicas de ensino superior têm sido tema de debate no ambiente internacional, em decorrência de pressões exercidas pela sociedade, que exige eficiência na distribuição e gestão dos recursos públicos, focada em bons indicadores de resultados acadêmicos (Wolszczak-Derlacz, 2017; Gralka, 2018).
Nesse ínterim, estudos que avaliem a relação entre alocação de recursos públicos e a qualidade do ensino superior vêm sendo desenvolvidos nos últimos anos (Agasisti e Bertoletti, 2019; Xavier Júnior et al., 2019). Em geral, estas pesquisas têm apontado para as relações positivas que ocorrem entre os gastos públicos e o desempenho do ensino superior, tanto na graduação, quanto na pós-graduação.
Contudo, a subjetividade inerente ao conceito de VP pode dificultar sua avaliação, e a abstração do próprio conceito provoca discussão sobre medidas e padrões adequados para mensurá-lo. Logo, a complexidade da medição do VP se torna evidente (Li, 2019). Para contribuir com esta discussão, algumas pesquisas se dedicaram a avaliar a geração de VP com metodologias próprias que podem auxiliar na compreensão e operacionalização desse conceito (Bracci et al., 2019; Papi et al., 2018; Li, 2019; Santos et al., 2022).
Embora as pesquisas desenvolvidas até o momento versem sobre os mais diversos tipos de instituições públicas, ainda não se desenvolveu ou aplicou uma metodologia de avaliação de VP em instituição de ensino superior. Este trabalho procura preencher esta lacuna, com o objetivo de investigar a geração de VP nas universidades federais, utilizando a Metodologia da Conta de Valor Público, e verificando o efeito dos custos e investimentos em infraestrutura na qualidade do ensino superior.
Em termos metodológicos, este estudo se diferencia dos demais em dois aspectos: O primeiro deles diz respeito a utilização de metodologia própria para avaliar a geração de VP no ambiente do ensino superior, com apoio da Public Value Account (PVA), proposta por Li (2019). O segundo aspecto corresponde ao complemento dos resultados da PVA, utilizada para o cálculo de VP, com a confirmação da relação de causa-efeito entre os elementos envolvidos, por meio da análise de regressão com dados em painel.
Outro ponto que pode contribuir com avanços na discussão dessa temática, corresponde a própria evolução da contabilidade pública nos últimos anos. A geração de informações sobre os gastos públicos de forma segregada, entre custos e investimentos, em uma abordagem econômica que extrapola a visão estritamente orçamentária, pode contribuir com discussões sobre os reais efeitos dos recursos públicos investidos na educação de forma longitudinal, ao longo do tempo.
A análise de dados disponíveis no Sistema de Informações de Custos do Governo Federal (SIC) pode se tornar mais assertiva sobre a realidade econômica dos resultados gerados pelos recursos públicos destinados à educação. Contudo, grande parte dos estudos que relacionaram os indicadores de qualidade do ensino superior com os recursos destinados à educação utilizou informações que refletem estritamente a execução orçamentária dos entes analisados (Hammes et al., 2020).
Como impacto social da pesquisa, destaca-se o conhecimento sobre a geração de VP nas instituições federais de ensino superior e as destinações financeiras que mais contribuem com a geração de VP. Logo, os gestores das universidades e o próprio governo federal podem conhecer as decisões fiscais que impactam na qualidade do ensino.
Moore (1994) é um dos autores pioneiros da Teoria do Valor Público e discute a criação de VP fazendo uma analogia com a geração de valor na perspectiva do setor privado. Argumenta que, no setor privado, o objetivo dos gestores é maximizar a riqueza dos acionistas e a capacidade de atingir esse objetivo é medida, no curto prazo, pelos lucros que obtêm e, no longo prazo, pelo preço das ações das empresas que lideram; mas qual seria o objetivo dos gestores do setor público, o que deveriam produzir e como seus desempenhos seriam medidos? Essas são as indagações que permearam o construto teórico de VP do autor.
A principal tarefa do gestor público é criar VP e isso consiste em oferecer respostas efetivas às necessidades coletivas, que sejam politicamente desejadas (legitimadas), cujos resultados modifiquem diferentes aspectos da sociedade, como redução no nível de criminalidade e aumento da taxa de alfabetização (Moore, 1994).
Os alicerces do VP estão na ideia de que os gestores públicos devem atingir os objetivos determinados da maneira mais eficiente e eficaz possível; de que padrões profissionais podem estabelecer padrões de referência para o setor público; de que o VP pode ser avaliado por meio de técnicas analíticas, como avaliação de programas, análise de custo-efetividade; por último na ideia de que o VP pode ser medido na satisfação de partes interessadas e clientes de empresas governamentais (Moore, 1994).
Para auxiliar os gestores públicos na compreensão de VP, Moore desenvolveu um “Triângulo Estratégico” (Kearney e Meynhardt, 2016). Essa ferramenta consiste em uma estrutura teórica que combina três processos distintos, contemplando três dimensões, a saber: 1) Objetivos e resultados do VP; 2) Ambiente de autorização; 3) Capacidade operacional. Cada um desses elementos é estrategicamente importante; entretanto, raramente estão alinhados, exigindo esforço constante dos gestores públicos neste alinhamento, buscando negociações viáveis entre eles (Benington e Moore, 2011).
Discutindo o VP pela ótica do ensino superior, Tilak (2008) trata-o como um bem público, sendo mais bem compreendido, quando se reconhecem as funções clássicas da educação superior e os benefícios sociais que ela gera, muitos dos quais constituem bens públicos em si. O autor destaca que, tradicionalmente, as funções do ensino superior são admitidas como nobres, sendo a essência da própria manutenção da sociedade.
Diferentes maneiras são sugeridas para medir e avaliar o VP, que vão desde a continuação de mandatos políticos de forma eficiente e eficaz, benchmarking, até o uso de técnicas analíticas (avaliação de programa, análise de eficácia de custo e semelhantes) (Bracci et al., 2019). Contudo, a maioria dos métodos prioriza a geração de valor e apenas algumas pesquisas focam no equilíbrio entre sacrifícios e benefícios (Moore, 2014; Papi et al., 2018).
Na abordagem de Papi et al. (2018), VP é concebido como a capacidade da administração pública de atingir e manter um equilíbrio entre a satisfação das necessidades de uma comunidade (por exemplo, da redução do desemprego) e as necessidades da administração pública (ou seja, receitas e despesas equilibradas), mediado por prioridades políticas. Por essa ótica, sistemas de medição de VP devem focar nos principais benefícios e sacrifícios envolvidos no processo de criação de valor (Moore, 2014).
Ao analisarem os itens que devem conter em um modelo de avaliação de desempenho de VP, Bracci et al. (2019) enfatizam a necessidade de considerar a perspectiva dos cidadãos e da administração pública, captando suas principais dimensões por meio de indicadores multidimensionais, com uma ponderação que reflita as prioridades políticas.
Dentre os modelos que buscam mensurar o valor público, destaca-se o abordado no estudo de Li (2019), que evolui do paradigma da Conta de Valor Público (Public Value Account – PVA) proposto por Moore. Nesse modelo, a PVA é demonstrada por uma tabela estatística anual que exibe a “perda e criação” de valor público em uma conta “em formato de T”.
Os itens da PVA são pautados na noção ampla de VP seguindo os valores multidimensionais, nos quais se originam nas práticas sociais. Li (2019) destaca que com a evolução da sociedade muitas dimensões de VP foram surgindo, tornando impossível uma fusão de todas elas para resolução de problemas práticos. Assim, o autor considera cinco dimensões em seu estudo, a saber: econômica, política, cultural, social e ecológica.
Li (2019) evidencia que conta de valor público pode funcionar tanto no âmbito teórico quanto no prático e lista as vantagens em quatro aspectos: 1) a PVA é uma materialização do VP, além de ser um método de medição viável; 2) a PVA é aberta e ampla, podendo ser ajustada com flexibilidade para novos objetivos; 3) a PVA é uma integração orgânica de indicadores existentes, fortemente correlacionado com os objetivos da pesquisa e com resultados maturados e regulares; 4) a PVA oferece um modo de avaliar sincronicamente benefícios e sacrifícios.
Nesse sentido, a PVA por ser aberta e flexível, pode ser ajustada para qualquer tipo de organização pública, servindo para mensurar a geração de VP de um país, estado, município ou até mesmo de uma organização específica, como por exemplo, universidades públicas. Considerando que cada organização possui características e missões distintas, as dimensões e indicadores a serem utilizados na PVA podem variar de uma instituição para outra.
Portanto, espera-se que as decisões fiscais das universidades federais sejam capazes de criar VP ao refletir positivamente na qualidade do ensino superior no Brasil. Parte-se da premissa de que a formação de capital intelectual, o desenvolvimento de pesquisas e a geração de inovação, com qualidade, são resultados socialmente desejáveis da atuação das universidades federais, portanto, atende-se aos pressupostos da Teoria do Valor Público. Sob essa perspectiva, a hipótese geral do estudo é que a criação de VP nas universidades federais pode ser percebida pela diferença positiva entre os benefícios e sacrifícios gerados e confirmada pela relação de causa-efeito entre os custos e investimentos em infraestrutura com a qualidade do ensino superior.
Estudos que utilizem dados gerenciais para analisar a influência a contribuição dos custos e investimentos públicos na geração de valor público, ainda são inexistentes. Dessa forma, este estudo pretende preencher essa lacuna na literatura, investigando a geração de valor público nas universidades federais, a partir da relação de causa-efeito dos custos e investimentos em infraestrutura com a qualidade do ensino superior no Brasil.
Este estudo tem como universo de investigação as 69 universidades federais brasileiras. Entretanto, sete universidades não fazem parte da amostra por terem sido criadas após 2015, visto que o período de análise dos dados compreende os anos de 2015 a 2019, definido por conveniência e acessibilidade dos dados. Além disso, quatro universidades federais também foram excluídas por serem consideradas outliers, totalizando 58 universidades federais na amostra final.
A qualidade do ensino superior foi avaliada pelo Índice Geral de Cursos (IGC), pois este indicador reflete o nível de excelência das instituições de educação superior. O IGC é parte integrante do processo de avaliação do ensino superior realizado por meio do Sistema Nacional de Avaliação da Educação Superior (SINAES), que utiliza o IGC como indicador de qualidade do ensino superior brasileiro. O IGC consolida informações relativas aos cursos superiores, censo e avaliações oficiais disponíveis no Instituto Nacional de Estudos e Pesquisa Anísio Teixeira (INEP). Sua composição contempla a média trienal do Conceito Preliminar do Curso (CPC), médias dos conceitos de avaliação de pós-graduação stricto sensu e distribuição dos estudantes entres os diferentes níveis de ensino, graduação ou pós-graduação (Ministério da Educação (MEC), 2020). A partir dos critérios estabelecidos pelo MEC, as instituições de educação superior têm sua nota do IGC classificadas da seguinte forma: 1 e 2 resultados insatisfatórios, 3 regular, e 4 e 5 satisfatórios.
As variáveis consideradas com potencial de afetar a qualidade do ensino superior foram: Os custos e investimentos em bens de infraestrutura; dentre os custos, destaca-se o valor de gasto com pessoal e encargos sociais, representando cerca de 80% dos custos das instituições (Prado e Teixeira, 2019). Os gastos com manutenção e custeio das atividades das universidades foram obtidos no SIC do Governo Federal por meio do grupo de despesa denominado “outras despesas correntes”. Quanto aos bens de infraestrutura, consideraram-se os investimentos realizados em bens móveis e imóveis.
Para estimar o efeito dos custos de programas e ações governamentais no IGC, selecionaram-se aqueles que têm relação direta com as principais atividades das universidades federais. Os programas de governo selecionados foram: “2080 - Educação de Qualidade Para Todos” e “2109 - Gestão e Manutenção do MEC”. As ações de governo escolhidas foram: “4002 - Assistência ao Estudante de Ensino Superior”, “20RK - Funcionamento das Universidades Federais”, “20TP Pagamento de Pessoal Ativo da União”, “8282 - Reestruturação e Expansão de Universidades Federais”.
Os procedimentos estatísticos empregados na análise dos dados foram: Estatística descritiva, modelos econométricos de regressão, por meio da análise de dados em painel e cálculo da PVA. Foi utilizado o software IBM® SPSS® statistic versão 25 para calcular e obter os dados da estatística descritiva da amostra. Para os modelos econométricos de regressão com dados em painel foi utilizado o pacote estatístico Stata Statistical Software® versão 16.0.
Os modelos estabelecidos para estimar a influência dos custos e investimentos em bens de infraestrutura na qualidade do ensino superior estão descritos nas equações 1, 2 e 3:
Qualidadeit = β_0 + β_1 Pessoalit + β_2 Correnteit + β_3 Auxílioit + β_4 Móveisit + β_5 Imóveisit + β_6 Alunoit + εit (1)
Qualidadeit = β_0 + β_1 Prog_Qualidit + β_2 Prog_Gest_MECit + β_3 Alunoit+ εit (2)
Qualidadeit = β_0 + β_1 Assistênciait + β_2 Funcionamentoit + β_3 Ativosit + β_4 Reestruturaçãoit + β_5 Alunoit + εit (3)
.
Em que, Qualidadeit é o IGC da universidade i no ano t; Pessoalit é o custo com pessoal, per capita, da universidade i, no ano t; Correnteit é custo com a manutenção das atividades, per capita, da universidade i no ano t; Auxílioit é o custo com auxílios financeiros pagos a estudantes, per capita, da universidade i no ano t; Móveisit é a incorporação de bens móveis, per capita, da universidade i no ano t; Imóveisit é a incorporação de bens imóveis, per capita, da universidade i no ano t; Alunoit é o número do aluno equivalente da universidade i no ano t; Prog_Qualidit é o custo do programa de governo “2080 - Educação de Qualidade Para Todos”, per capita, da universidade i no ano t; Prog_Gest_MECit é o custo do programa de governo “2109 - Gestão e Manutenção do MEC”, per capita, da universidade i no ano t; Assistênciait é o custo com a ação de governo “4002 Assistência ao Estudante de Ensino Superior”, per capita, da universidade i no ano t; Funcionamentoit é o custo com a ação de governo “20RK Funcionamento das Universidades Federais”, per capita, da universidade i no ano t; Ativosit é o custo com a ação de governo “20TP Ativos Civis da União”, per capita, da universidade i no ano t; Reestruturaçãoit é o custo com a ação governo “8282 Reestruturação e Expansão das Universidades Federais”, per capita, da universidade i no ano t; ε_it é o termo de erro estocástico da universidade i no ano t.
Em todos os modelos, a variável dependente corresponde ao IGC, que indica a qualidade do ensino superior das universidades federais pesquisadas (Xavier Junior et al., 2019; Soares et al., 2019). O modelo 1 analisa a relação entre todos os custos e bens de infraestrutura das universidades federais com o IGC. Já nos modelos 2 e 3, as especificações das variáveis independentes estão vinculadas aos custos com programas e ações governamentais efetuados pelas universidades federais.
Todas as variáveis financeiras foram deflacionadas pelo Índice de Preços para o Consumidor Amplo (IPCA) de dezembro de 2019, obtido no Instituto Brasileiro de Geografia e Estatística (IBGE), para uma melhor percepção da variação ao longo dos anos. Para fins de equiparações de instituições, os valores das variáveis monetárias foram ponderados pelo número de aluno equivalente das universidades federais, minimizando o efeito do porte das universidades federais sobre o custo e ativo imobilizado.
O indicador “Aluno equivalente” foi desenvolvido pela Secretaria de Educação Superior do MEC e Comissão de Modelos da Associação Nacional de Dirigentes das Instituições Federais de Ensino Superior (ANDIFES). O cálculo do “Aluno equivalente” é composto por quatro indicadores parciais, referentes às atividades educacionais nos níveis de graduação, mestrado stricto sensu, doutorado e residência médica.
Os modelos de regressões foram submetidos aos testes estatísticos F de Chow, Breusch-Pagan e Hausman, para decidir qual estimador apropriado para os modelos, se por efeitos de POLS (Pooled Ordinary Least Squares), efeitos fixos ou efeitos aleatórios. Ainda, aplicou-se o teste de Shapiro-Francia, para verificar a distribuição normal dos resíduos; teste de VIF (Variance Inflation Factor) e Tolerance para multicolinearidade; teste de Durbin-Watson para diagnosticar a autocorrelação dos resíduos. Nos três modelos de regressão utilizou-se o estimador de Huber-White, erro-padrão robusto, na ocorrência de heterocedasticidade. Não foi observada a presença de autocorrelação dos resíduos, pois o resultado do teste de Durbin-Watson dos três modelos foi superior a dois. Os resultados da estatística VIF e Tolerance indicam ausência de multicolinearidade, já que os valores de VIF encontram-se abaixo de 10.
Após confirmadas as relações e os efeitos esperados entre a qualidade do ensino superior e os elementos de custos e investimentos, se torna viável e empiricamente justificável a aplicação do modelo de mensuração do valor público com as variáveis selecionadas para este estudo
.
Após confirmadas as relações e os efeitos esperados entre a qualidade do ensino superior e os elementos de custos e investimentos, se torna viável e empiricamente justificável a aplicação do modelo de mensuração do valor público com as variáveis selecionadas para este estudo.
Para mensurar a geração de valor público das universidades federais, foi adotada a metodologia de Conta de Valor Público (PVA), adaptada de Li (2019), com as variáveis selecionadas neste estudo (tabela 1), composta por duas colunas em que a da esquerda indica os sacrifícios e a da direita os benefícios, dessa forma, foi possível avaliar se as universidades federais estão perdendo ou criando VP.
Os sacrifícios considerados na PVA são as variáveis independentes (equações 1, 2 e 3). Nesse estudo, se assume a premissa de que as universidades criam valor público por meio das atividades de ensino, pesquisa e extensão, expressado nos cursos de graduação e pós-graduação, a partir da qualidade do ensino. Dado que, o IGC consolida a qualidade dos cursos em um único indicador, ele será adotado como variável de benefício na PVA, na coluna da direita. Desse modo, adere-se ao conceito de valor público definido por Moore, que é voltado para resultados socialmente desejados.
Considerando que os indicadores quantitativos e qualitativos são heterogêneos, foi realizada a normalização dos dados, procedimento adequado que permite a comparação de valores de entrada, saída e medidas de resultado, expressos em termos quantitativos, qualitativos e monetários (Giancristofaro et al., 2009). Assim, a normalização transforma métricas heterogêneas em uma escala comum, de modo que os intervalos de valores fiquem ajustados entre 0 e 1, permitindo comparações homogêneas entre benefícios e sacrifícios que revelarão a geração de valor público (Gagliardo, 2015).
A análise descritiva das variáveis é um estágio inicial que permite compreender e sintetizar os dados das universidades federais analisados na pesquisa. Por meio da tabela 2 é possível ter um panorama geral da amostra em termos de magnitude, médias e desvio padrão das variáveis obtidas da amostra.
Os dados da tabela 2 revelam que o conceito médio do IGC no quinquênio analisado é 4,04. O maior valor de IGC (5) foi registrado em 12 universidades federais: do ABC (UFABC), de Ciências da Saúde de Porto Alegre (UFCSPA), de Lavras (UFLA), de Minas Gerais (UFMG), do Paraná (UFPR), do Rio Grande do Sul (UFRGS), do Rio de janeiro (UFRJ), de Santa Catarina (UFSC), de São Carlos (UFSCAR), de Viçosa (UFV), de São Paulo (UNIFESP) e de Brasília (UNB). Com isso, verificou-se que a média do IGC é maior nas instituições localizadas nas regiões sul e sudeste do Brasil e menor nas universidades das regiões norte e nordeste, resultados que são consistentes com estudos anteriores (Soares et al., 2019; Xavier Junior et al., 2019; Santos, 2021).
Em relação ao custo com pessoal per capita, a UFRJ (R$ 46 423.40) obteve o maior valor gastos com pessoal no período, enquanto a Universidade Federal de São João del-Rei (UFSJ) (R$ 9 107.65) obteve o menor gasto com a folha de pessoal. Os valores dos custos correntes per capita se destacam na Universidade Federal do Oeste da Bahia (UFOB) (R$ 14 821.08) e UFSJ (R$ 2 125.59). Os custos com o auxílio financeiro a estudante per capita apresentaram a UFMG (R$ 158.22) e UFOB (R$ 5 189.27) com os valores extremos no período. Nesse contexto, a análise dos custos com pessoal revelou que as universidades federais da região sudeste e sul demonstram média maior que as demais regiões do país. Em relação ao custo corrente, o valor médio é maior para as universidades do centro-oeste, e para auxílio financeiro a estudante, as instituições do nordeste têm maior média no período analisado.
O custo com programa de governo “2109 - Gestão e Manutenção do MEC” apresentou média, per capita, de R$ 18 909.15. A UFSJ (R$ 8 640.94) e UFOB (R$ 46 266.84) obtiveram, respectivamente, o menor e maior valor neste programa de governo. Já o custo com a ação governamental “20TP Ativos Civis da União” apresentou média per capita de R$ 14 989.36, sendo os valores extremos pertencentes a UFSJ (R$ 6 841.88) e UFOB (R$ 38 165.21).
Em relação aos bens de infraestrutura, o valor de bens móveis da UFABC (R$ 18 454.05) foi o maior valor na série temporal, enquanto o menor valor foi registrado na Universidade Federal do Cariri (UFCA) (R$ 511.75). Já o valor dos bens imóveis, apresentou média per capita de R$ 26 915.20 no período analisado, destacando-se a UNB (R$ 120 955.98) com o maior valor de bens imóveis, acima da média nacional, enquanto a UFOB apresentou valor nulo, registrando o menor valor no período entre 2015 e 2019. No tocante ao número de aluno equivalente, a média foi de 27 811 no período de 2015 a 2019, computando para UFOB (1 083) e UFRJ (79 362), o menor e maior valor respectivamente.
A seguir, são apresentados os resultados do modelo estabelecido para avaliar o efeito dos custos e investimentos em infraestrutura sobre a qualidade do ensino superior, por natureza do gasto (tabela 3).
Os resultados da tabela 3 revelam que o custo com pessoal, em bens móveis, imóveis e aluno equivalente apresentaram efeitos positivos e significativos sobre a qualidade do ensino superior, com intervalo de confiança de 99% e 95%. Os gastos com auxílio financeiro a estudantes apresentam efeito positivo e significativo ao nível de confiança 90%.
Dessa forma, observa-se que o maior gasto com remuneração de docentes e técnicos administrativos das universidades federais, seja pelo aumento da qualificação ou do quadro de pessoal, aumenta a qualidade dos cursos ofertados nessas universidades. Esse resultado é consistente com o estudo de Santos (2014), que confirmou a hipótese de que um maior percentual de gasto com pessoal reflete na maior qualidade dos cursos do ensino superior.
O custo corrente não apresentou significância estatística, indicando ausência de efeito sobre o indicador de qualidade do ensino superior. Isso sugere que os custos correntes com a manutenção das atividades institucionais não impactam o desempenho obtido no IGC, o que já foi observado em outros estudos (Freire et al., 2007; Ferreira et al., 2013).
A expectativa de uma relação positiva do custo de auxílio financeiro a estudantes com o indicador de qualidade IGC (Pinho, 2017) se confirmou nesse estudo. Isso porque, a influência do custo com auxílio estudantil sobre o IGC revela um efeito positivo e significativo, indicando que esse gasto quando analisado em conjunto com as demais naturezas de gasto e com os bens de infraestrutura, auxilia na melhora da qualidade do ensino superior.
Os efeitos observados dos investimentos em bens móveis e imóveis sobre a qualidade do ensino superior também são positivos e estatisticamente significativos. Contudo, os investimentos em bens móveis apresentaram maior grau de explicação sobre o indicador de qualidade IGC, se comparado ao efeito dos investimentos em bens imóveis. Isso pode estar relacionado ao aumento do número de cursos de pós-graduação nos últimos anos, que demandam por investimentos em mobiliários e equipamentos. Esse resultado corrobora com a pesquisa de Cunha e Rocha (2012) que defendem o impacto positivo dessas variáveis na qualidade do ensino superior, já que quanto maior o investimento com estrutura da universidade, em equipamentos e acesso a materiais essenciais no ensino superior, maior será a eficiência na formação dos alunos (Cunha e Rocha, 2012).
O próximo modelo descrito apresenta o efeito dos custos públicos em programas de governo sobre o indicador de qualidade do ensino superior (tabela 4).
O custo com o programa de governo “2109 - Gestão e Manutenção do MEC“ apresentou efeito positivo e estatisticamente significativo com o indicador de qualidade IGC. Destarte, entre 2015 e 2019 os custos com esse programa de governo nas IFES superam os R$ 150.8 bilhões conforme dados do SIC. Desse montante, cerca de 94.61% são relativos a gastos com pessoal e encargos sociais e 5.39% pertencem a outros gastos correntes. Essa massiva concentração de gasto com pessoal inerente ao programa “Gestão e Manutenção do MEC”, pode ser uma possível explicação do efeito positivo e estatisticamente significativo obtido no modelo 2 entre o gasto com o referido programa e a qualidade do ensino superior avaliada pelo IGC.
A outra variável desse modelo, o programa “2080 – Educação de Qualidade para Todos (Prog_Qualid)”, não apresentou significância estatística sobre o IGC. Possivelmente, sua estrutura de custo voltada para atividade terceirizada de suporte, bem como para políticas de assistencialismo estudantil, não parecem produzir efeitos diretos na qualidade do ensino superior medida pelo IGC. Os dados do relatório de avaliação do programa “2080 – Educação de Qualidade para Todos” de 2018 apontam que o MEC adotou uma série de medidas, ampliou a rede federal de ensino superior com a criação de campis, passando de 1.1 milhão de matrículas em 2015 para 1.2 milhão em 2017 (Ministério da Economia, 2018).
O resultado do modelo 3 (tabela 5) evidencia a influência dos custos de ação governamental sobre o indicador de qualidade do ensino IGC.
Apenas as variáveis relacionadas ao custo com a ação de governo vinculada ao Pessoal Ativo (Ativos) e a variável Aluno Equivalente (Aluno) impactam positivamente e são estatisticamente significativas sobre a qualidade do ensino superior (intervalo de confiança de 99%).
O efeito da Ação Ativos sobre o IGC pode estar atribuído a composição de custos dessa ação, formada integralmente por gastos com pessoal e encargo sociais. Logo, o efeito positivo sobre o IGC está em linha com as variáveis que englobam os gastos com pessoal dos modelos anteriores, como Pessoal (Mod.1) e Prog_Gest_MEC (Mod.2).
Assim, ao elevar os custos com os servidores federais ativos da educação superior, o governo federal melhora a qualidade dos cursos de graduação e pós-graduação de suas universidades. Entretanto, constatou-se que os gastos com pessoal possuem correlação maior com o IGC dos cursos de pós-graduação do que da graduação. Isso está diretamente associado a qualificação do corpo docente, uma vez que os cursos de pós-graduação exigem titulação docente em nível de doutorado, o que eleva custo com pessoal.
O número de aluno equivalente produz efeito positivo e estatisticamente significativo ao nível de confiança de 99% sobre o IGC. Isso é consistente com o estudo de Soares et al., (2019), que encontrou resultados melhores em indicadores de gestão e qualidade de ensino superior para as instituições de maior porte. Ademais, no estudo de Prado e Teixeira (2019) com uma amostra de 63 universidades federais encontram uma relação positiva e estatisticamente significativa com o indicador de Taxa de Sucesso, ressaltando que quanto maior o número de alunos, melhor é o desempenho.
Além disso, a variável que retrata número de Aluno Equivalente das universidades faz parte da matriz de distribuição orçamentária utilizada pelo Ministério da Educação; portanto, quando maior esse indicador, maior será o recurso financeiro recebido pela universidade, que como constatado, irá impactar positivamente em seu indicador de qualidade do ensino.
Nesta seção é apresentado o resultado da criação ou perda de VP nas universidades, avaliada pelo método da conta de valor público (PVA), abordado na pesquisa de Li (2019), com adaptações neste estudo. As variáveis de custos e investimentos dos modelos 1, 2 e 3, que na seção anterior revelaram influência estatisticamente significativa sobre a qualidade do ensino superior (IGC), foram consideradas na Tabela Estatística do cálculo do Valor Público (gráficos 1 e 2). Cumpre mencionar que foram utilizados os valores médios obtidos nos exercícios de 2015 e 2019, na elaboração dos gráficos.
O gráfico 1 apresenta o resultado das variáveis após o cálculo de normalização dos dados, que variam entre -1 e 1. Cabe destacar que as variáveis monetárias possuem sinal negativo, uma vez que representam sacrifícios, na conta valor público, enquanto a variável IGC tem sinal positivo, representando benefícios na conta de valor público. Observa-se maior representatividade no gasto médio com pessoal no período de 2015 a 2019. Já para as variáveis do ativo imobilizado, os bens móveis representam a maior parcela do investimento, sendo percebido uma redução no exercício de 2019.
Com os valores normalizados de cada variável, realizou-se a subtração do valor de cada variável sacrifício do valor da variável benefício, para se conhecer o saldo de VP, que poderá ser positivo (criação de valor público) ou negativo (perda de valor público).
Os resultados da conta de VP foram positivos, indicando que os benefícios superam os sacrifícios, havendo, portanto, criação de valor público nas universidades federais nos anos de 2015 a 2019.
Os resultados indicam que os sacrifícios com a Ação de Governo “20TP – Ativos Civis da União” apresenta elevação no consumo de valor público entre o exercício de 2015 e 2019. Esse aumento de sacrifícios com pagamento de servidores e empregados ativos das universidades federais foi de aproximadamente 15% no período analisado, enquanto o aumento de benefício obtidos com o IGC apresentou alta de cerca de 3.5%.
O resultado do IGC com os custos do programa de governo 2109 – Gestão e Manutenção do Ministério da Educação foi positivo, indicando que os sacrifícios com esse programa governamental geram benefícios superiores indicando a criação de valor público obtida pelo IGC. Entretanto, o resultado deste programa apresenta tendência de redução de geração de valor público no período de 2015 a 2019, uma diminuição de aproximadamente 20%.
Ao observar a geração de VP por meio do ativo imobilizado, verifica-se que o resultado positivo com os bens imóveis vem reduzindo de 2015 para 2019, ocorrendo situação inversa para os bens móveis, que aumentaram a criação de valor público ao longo do período, que pode estar vinculado ao crescimento dos cursos de pós-graduação que demandam esse tipo de investimento.
O resultado do custo com auxílio a estudantes e o IGC mostra-se positivo e com tendência de crescimento de geração de valor público no período de 2015 a 2019. Entretanto, para o resultado obtido do confronto entre o gasto com pessoal e o IGC, percebe-se que a geração de valor público ao longo do período entre 2015 e 2019 reduziu 38.65%.
A partir dos resultados apresentados, confirma-se a hipótese geral desse estudo de que a criação de VP nas universidades federais pode ser percebida pela diferença positiva entre os benefícios e sacrifícios gerados e confirmada pela relação de causa-efeito entre os custos e investimentos em infraestrutura com a qualidade do ensino superior.
Este estudo investigou a criação de valor público nas universidades federais, avaliado pela diferença entre os recursos utilizados (sacrifícios) e os resultados alcançados (benefícios). A partir desta perspectiva, delineou-se o objetivo geral que consistiu em investigar a geração de VP utilizando a Metodologia da Conta de Valor Público, e verificando o efeito dos custos e investimentos em infraestrutura (sacrifícios) sobre a qualidade do ensino superior (benefício).
Os resultados obtidos nos modelos econométricos indicam que cinco variáveis influenciam positivamente na qualidade do ensino superior das universidades federais brasileiras: custo com pessoal, investimentos em bens de móveis e imóveis, e gastos no Programa Governamental Gestão e Manutenção e na Ação Pessoal Ativo.
O custo com pessoal encontra-se em três das cinco variáveis significativas na explicação da qualidade do ensino, demonstrando a relevância dos servidores, que assumem posição de destaque na estrutura de custo por diferentes perspectivas, seja por natureza do gasto, por programa de governo ou por ação de governo. Logo, infere-se que a qualidade dos cursos de graduação e pós-graduação ofertados pelas universidades federais é impactada positivamente quando os gastos com pessoal aumentam.
Ademais, o efeito do indicador de aluno equivalente sobre a performance no IGC foi positivo e estatisticamente significativo. Com isso, quanto maior o número de aluno equivalente nas universidades federais, maior é a tendência de os cursos ofertados terem melhor qualidade. Isso deve estar vinculado ao fato da matriz orçamentária utilizada pelo MEC na distribuição dos recursos orçamentários entre as universidades utilizar o indicador de Aluno Equivalente nessa distribuição. Tendo em vista que o cálculo do IGC considera a proporção relativa de matrículas nos cursos de mestrado e doutorado, aquelas instituições que ofertam mais cursos de pós-graduação, por terem um número maior de aluno equivalente, tendem a alcançar um resultado melhor no indicador de qualidade IGC.
Por fim, avaliação da geração de VP nas universidades federais foi realizada com a estrutura da Conta de Valor Público proposta por Li (2019). Nesse sentido, ao confrontar os valores normalizados das variáveis com o indicador de qualidade do ensino superior (IGC), o saldo médio encontrado é positivo para todos resultados no período de 2015 e 2019. Com isso, os valores consumidos por natureza de gasto, programa de governo e ação de governo, e pela aquisição dos bens de infraestrutura são inferiores ao valor de qualidade gerado pelos cursos ofertados pelas universidades federais. Portanto, os sacrifícios realizados pelas universidades federais são menores que o benefício que geram, através da qualidade dos serviços educacionais ofertados a sociedade, indicando a geração de VP, em conformidade com Spano (2009) e Li (2019).
Dentre as implicações práticas dos resultados encontrados nesse estudo, destaca-se o efeito dos custos com pessoal sobre o IGC, mais forte do que o efeito das demais variáveis analisadas. Considerando que, atualmente, a elevação de gasto com pessoal é oriunda da qualificação dos servidores e não do aumento do quadro de pessoal, possivelmente, maiores graus de titulação refletem positivamente na qualidade dos cursos ofertados nas instituições. Assim, é importante que as universidades federais estimulem seus servidores para a qualificação, o que proporcionará um ganho futuro nos indicadores de qualidade do ensino superior.
No tocante aos investimentos em bens de infraestrutura, os resultados do estudo revelaram que os bens móveis influenciam positivamente o IGC em maior nível do que os bens imóveis. Isso pode estar relacionado com as aquisições de bens móveis para atender as necessidades dos cursos de pós-graduação. As pesquisas desenvolvidas nesses cursos, na maioria das vezes, requerem equipamentos e materiais permanentes para viabilizar os estudos.
Nesse contexto, destaca-se que a escassa dotação orçamentária recebida pelas universidades para investimento é discricionária, podendo o gestor decidir em quais bens de infraestrutura (bens móveis e bens imóveis) irá alocar os recursos. Portanto, segundo os resultados dessa pesquisa, a melhor decisão para os gestores das universidades federais que desejam um incremento no desempenho do IGC é priorizar os investimentos em bens móveis.
No que tange aos gastos com programas e ações de governo, fica claro que aqueles que são compostos com custos de pessoal, impactam positiva e significativamente o indicador de qualidade IGC. Assim, o governo ao elaborar os programas e ações governamentais com o intuito de melhorar a qualidade do ensino superior público, deveria focar nos gastos relacionados a força de trabalho, uma vez que o gasto com pessoal se mostrou o componente principal na qualidade dos cursos ofertados pelas universidades federais.
Dentre as limitações da pesquisa, destaca-se a falta de um indicador consolidado para a atividade extensão nas universidades federais, o que acabou restringido as análises desse estudo para qualidade das atividades de ensino e pesquisa. Reconhecidamente, as atividades de extensão têm forte potencial de geração de Valor Público, por sua própria natureza de intervenção na comunidade externa. Portanto, propõe-se que pesquisas futuras contemplem os gastos incorridos em atividade de extensão para verificar seu efeito no conceito IGC. Ou ainda, verificar de que forma as atividades de extensão têm gerado VP para a sociedade.
*Leonardo Pinto-Ortiz
Brasileiro. Mestre em Contabilidade pela Universidade Federal do Rio Grande (FURG), Brasil. Técnico Administrativo em Educação – Contador, Universidade Federal de Pelotas (UFPEL), Brasil. Temas de pesquisa: contabilidade pública e valor público. ORCID: https://orcid.org/0000-0001-8014-5848. leonardo_ortizrg@furg.br Regresar
**Daiane Pias-Machado
Brasileira. Doutora em Contabilidade, Universidade Federal do Paraná (UFPR), Brasil. Professora Adjunta, Universidade Federal de Alagoas (UFAL), Brasil. Temas de pesquisa: governança pública, valor público, ensino e pesquisa em Contabilidade. ORCID: https://orcid.org/0000-0002-8605-9892. daianepiasmachado@yahoo.com.br Regresar
***Alexandre Costa-Quintana
Brasileiro. Doutor em Controladoria e Contabilidade, Universidade de São Paulo (USP). Brasil. Professor Associado, Universidade Federal do Rio Grande (FURG), Brasil. Temas de pesquisa: ensino e pesquisa em Contabilidade, tecnologias da educação, Contabilidade Pública. ORCID: https://orcid.org/0000-0001-6896-9465.professorquintana@hotmail.com Regresar
Agasisti, Tommaso e Alice Bertoletti (2019), “Analysing the determinants of higher education systems’ performance–a structural equation modelling approach”, Science and Public Policy, vol. 46, núm. 6, pp. 834-852.
Benington, John e Mark Moore (2011), “Public Value in Complex and Changing Times”, Public value: Theory and practice, Basingstoke, Palgrave Macmillan.
Bracci, Enrico, Luca Papi, Michele Bigoni, Enrico Gagliardo e Hans-Jürgen Bruns (2019), “Public value and public sector accounting research: a structured literature review”, Journal of Public Budgeting, Accounting & Financial Management, vol. 31, núm. 1, pp. 103-136.
Cunha, Mariana e Vera Rocha (2012), “On the efficiency of public higher education institutions in Portugal: an exploratory study”, University of Porto: FEP Working Paper, vol. 468.
Ferreira, MarlonCruz, Waldir Jorge Ladeira dos Santos e José Francisco Moreira Pessanha (2013), “Avaliação do ensino superior: análise dos indicadores instituídos pelo TCU para as IFES”, Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ, vol. 18, núm, 1, pp. 104-124.
Freire, Fátima Souza, Vicente Lima Crisóstomo e Juscelino Emanoel Gomes de Castro (2007), “Análise do desempenho acadêmico e indicadores de gestão das IFES”, Revista Produção Online, vol. 7, núm. 4.
Gagliardo, E. D. (2015), Il valore pubblico: La nuova frontiera delle performance, RIREA.
Giancristofaro, Rosa Arboretti, Stefano Bonnini e Luigi Salmaso (2009), “Employment status and education/employment relationship of PhD graduates from the University of Ferrara”, Journal of Applied Statistics, vol. 36, núm. 12, pp. 1329-1344.
Gralka, S. (2018), “Persistent inefficiency in the higher education sector: Evidence from Germany”, Education Economics, vol. 26, núm. 4, pp. 373-392.
Hammes Junior, David Daniel, Leonardo Flasch e Luísa Karam de Mattos (2020), “A eficiência dos gastos públicos no Ensino Superior: um estudo com Universidades Federais brasileiras”, Ensaio: Avaliação e Políticas Públicas em Educação, vol. 28, núm. 109, pp. 1076-1097.
Kearney, Claudine e Timo Meynhardt (2016), “Directing corporate entrepreneurship strategy in the public sector to public value: Antecedents, components, and outcomes”, International Public Management Journal, vol. 19, núm. 4, pp. 543-572.
Li, S. (2019), “Public Value Account: Establishment and Application”, International Journal of Public Administration, pp. 1-11.
Ministério da Economia (2018), “Plano Plurianual (PPA) Cidadão”, Programa: Educação de qualidade para todos, <Plano Plurianual (PPA) — Ministério do Planejamento e Orçamento (www.gov.br)> [Consulta: outubro de 2020].
Ministério da Educação (2020), Índice Geral de cursos <Índice Geral de Cursos (IGC) — Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira | Inep (www.gov.br)> [Consulta: Novembro de 2020].
Moore, M. H. (2014), “Public value accounting: Establishing the philosophical basis”, Public Administration Review, vol. 74, núm. 4, pp. 465-477.
Moore, M. H. (2007), “Criando valor público por meio de parcerias público-privadas”, Revista do Serviço Público, vol. 58, núm. 2, pp. 151-179.
Moore, M. H. (2003), “The public value scorecard: a rejoinder and an alternative to strategic performance measurement and management in non-profit organizations by Robert Kaplan”, Hauser Center for Nonprofit Organizations Working Paper, núm. 18.
Moore, M. H. (1995), “Creating public value”, Strategic management in government, Cambridge, MA, Harvard University Press.
Moore, M. H. (1994), “Public value as the focus of strategy”, Australian Journal of Public Administration, vol. 53, núm. 3, pp. 296-303.
Papi, Luca, Michele Bigoni, Enrico Bracci e Enrico Deidda Gagliardo (2018), “Measuring public value: a conceptual and applied contribution to the debate”, Public Money & Management, vol. 38, núm. 7, pp. 503-510.
Pinho, José Adriano Carvalho de (2017), Impacto do auxílio estudantil sobre a evasão e aprovação escolar: uma análise do CAMPI do IFCE que compõem a Região Metropolitana de Fortaleza entre 2013-2014, Repositório Institucional, <https://repositorio.ufc.br/bitstream/riufc/24451/1/2017_dis-jacpinho.pdf> [Consulta: junho de 2020].
Prado, Cendyi Aparecida Paes de Barros do e Arilda Magna Campagnaro Teixeira (2019), “Gastos públicos e desempenho das Universidades Públicas Federais brasileiras”, Anais do XIII Congresso da Associação Nacional de Pós-Graduação em Ciências Contábeis ANPCONT, São Paulo.
Santos, Andreia de Oliveira e Hudson Fernandes Amaral e Wendel Alex Castro Silva (2022), “Indicador de Valor público e sua relação com a accountability”, Administração Pública e Gestão Social, vol. 14, núm. 1.
Santos, Cíntia Regina da Silva (2014), O olho do dono engorda o boi? Uma análise da relação entre os indicadores de gestão do Tribunal de Contas da União para os Institutos Federais de Educação, Ciência e Tecnologia e o índice geral de cursos, Repositório Institucional, <https://repositorio.ufba.br/bitstream/ri/17597/1/Santos,%20C%C3%ADntia%20Regina%20da%20Silva..pdf> [Consulta: maio de 2020].
Santos, João Paulo Araújo dos (2021), Indicadores de gestão e qualidade, e eficiência nas universidades federais brasileiras, Repositório Institucional, <http://www.realp.unb.br/jspui/bitstream/10482/41265/1/2021_JoãoPauloAraujodosSantos.pdf> [Consulta: maio de 2020].
Soares, Jailson Ribeiro, Ronaldo Bordin e Roger dos Santos Rosa (2019), “Indicadores de gestão e de qualidade nas Instituições Federais de Ensino Superior brasileiras-2009-2016”, REAd. Revista Eletrônica de Administração, vol. 25, núm. 2, pp. 215-239.
Spano, A. (2009), “Public value creation and management control systems”, Journal of Public Administration, vol. 32, núm. 3-4, pp. 328-348.
Tilak, J. B. G. (2008), “Higher education: a public good or a commodity for trade?, Prospects, vol. 38, núm. 4, pp. 449-466.
Wolszczak-Derlacz, J. (2017), “An evaluation and explanation of (in) efficiency in higher education institutions in Europe and the US with the application of two-stage semi-parametric DEA”, Research Policy, vol. 46, núm. 9, pp. 1595-1605.
Xavier Junior, Antonio Erivando, Aline Kelly de Menezes, Carlos Alano Soares de Almeida e Alvaro Fabiano Pereira Macedo (2019), “Relação entre desempenho e custos no setor público: um estudo nas Universidades Federais do Brasil”, Anais do XXVI Congresso Brasileiro De Custos-ABC, Curitiba.
Pinto-Ortiz, Leonardo, Daiane Pias-Machado y Alexandre Costa Quintana (2024), “Geração de valor público nas universidades federais brasileiras”, Revista Iberoamericana de Educación Superior (RIES), vol. XV, núm. 43, DOI: https://doi.org/10.22201/iisue.20072872e.2024.43.1330 [consulta: fecha de última consulta].