Resumo:
Propsito do Trabalho:
Neste contexto, emerge a seguinte questão-problema: Como o Tribunal de Contas da União tem realizado a Avaliação de Programas Públicos na área da saúde? É, portanto, objetivo desta pesquisa, analisar a atuação do TCU na avaliação de programas na área da saúde durante a existência da sua unidade especializada, a Seprog, entre dezembro/2000 a dezembro/2012, à luz dos critérios, padrões, técnicas e afins anteriormente mencionados. A relevância do estudo em curso consiste em desvendar as minúcias das avaliações de programas realizadas na função saúde, considerada uma das áreas básica e estratégica da maioria dos governos - a despeito das crescentes críticas e insatisfações por parte dos usuários dos serviços -, na perspectiva de contribuir para aprofundar o entendimento sobre a maneira como a avaliação de programas é realizada naquela corte de contas.
Cabe ainda destacar como relevante na produção desta pesquisa o fato de que seus resultados, além de serem reveladores para a sociedade - cidadãos e cidadãs usuários dos serviços de saúde e que esperam diuturnamente a melhora na qualidade desses serviços -, proverá o meio científico de informações e subsídios a serem utilizados na formulação de novas abordagens teóricas sobre a avaliação das ações governamentais implementadas no setor saúde no Brasil, resultados estes fundamentados em critérios e padrões utilizados pelo controle externo brasileiro, enquanto única Entidade de Fiscalização Superior (EFS) no Brasil, isto é, o TCU.
Base da plataforma terica:
A Auditoria de desempenho vem sendo rapidamente aceita no mundo como uma atividade profissional de revisão governamental ex-post (Rist, 1989), e tem sido utilizada para demarcar a distinção entre atividade de revisão governamental e/ou auditoria tradicional e a avaliação de programas.
Ainda não há um consenso quanto ao conceito de auditoria de desempenho (Barzelay,1997; Vieira & Gomes, 2002), visto que a maioria dos estudiosos define a auditoria de desempenho como forma a refletir as realidades institucionais de seus países. Os governos do sistema Westminster (Inglaterra, Canadá e Nova Zelândia) tendem a estabelecer uma distinção entre política e administração, já os Estados Unidos, Alemanha, Holanda e Suécia definem em um contexto de um regime de poder partilhado entre o executivo e o legislativo.
Pollitt et al. (1999) desenvolveu um modelo no qual a auditoria de desempenho pode estar relacionada com o atendimento dos seguintes critérios: economia, eficiência, efetividade, boa prática de gestão, boa governança, qualidade de serviço e atendimento de metas. Os autores testaram o modelo nas EFS da Inglaterra, França, Holanda, Finlândia e Suécia, concluindo que o critério da “boa prática de gestão” constitui a grande parte dos trabalhos de auditoria. Para Barzelay (1997) auditoria de desempenho é um nome incompleto para definir todos os modelos cognitivos mentais que essa atividade de avaliação e controle governamental incorpora. Segundo o autor os critérios de auditoria podem ser vistos como subcategorias ou tipos de auditoria de desempenho, tendo identificado os seguintes: eficiência, efetividade, capacidade de gerenciamento do desempenho, informações de desempenho, revisões da melhor prática de gestão, avaliação de risco e revisões gerais de gestão. O modelo foi testado em 13 países da OCDE.
Contandriopoulos et al. (1997) define avaliação normativa como “a atividade que consiste em fazer um julgamento sobre uma intervenção, comparando os recursos empregados e sua organização (estrutura), os serviços ou os bens produzidos (processo), e os resultados obtidos, com critérios e normas” e a pesquisa avaliativa como “o procedimento que consiste em fazer um julgamento ex-post de uma intervenção usando métodos científicos. Mais precisamente, trata-se de analisar a pertinência, os fundamentos teóricos, a produtividade, os efeitos e o rendimento de uma intervenção, assim como as relações existentes entre a intervenção e contexto no qual ela se situa”.
A avaliação, segundo Weiss (1998), é um termo bastante abrangente que acomoda muitas definições. No entanto, o que todas elas têm em comum é a noção de julgamento de mérito, baseado em critérios, segundo um método específico. Para Weiss a avaliação é “uma análise sistemática do processo e/ou dos resultados de um programa ou política, em comparação com um conjunto explícito ou implícito de padrões, com o objetivo de contribuir para o seu aperfeiçoamento” (Weiss, 1998).
Essa definição pode ser decomposta em cinco elementos: o primeiro diz respeito à análise sistemática, onde se enfatiza a natureza metodológica do trabalho; o segundo e o terceiro referem-se ao foco da investigação, ou seja, o processo de execução ou os resultados do programa e/ou política; o quarto trata dos critérios, que são os padrões de comparação; e o quinto se relaciona ao propósito da avaliação: contribuir para a melhoria do programa e/ou política, por meio da utilização dos resultados (Weiss, 1998).
Mtodo de investigao:
A pesquisa é exploratória com abordagem qualitativa-quantitativa e estudo de caso. Como Universo da pesquisa tem-se 74 avaliações de programas governamentais realizadas pela Seprog e como Amostra tem-se 17 avaliações na área da Saúde, escolhida por ser a mais representativa. A coleta de dados obtêm-se por meio dos relatórios e das publicações obtidos na sitio do TCU.
Foi adotado nesta pesquisa como ano da avaliação o da apreciação (decisum) pelo TCU (Decisão – até 2001 e Acórdão, a partir de 2002). Não foram consideradas válidas para a pesquisa a avaliação-piloto, realizada em 1997, por ocasião do “Projeto de Capacitação em Avaliações de Programas Públicos”, e nem as oito avaliações realizadas no Projeto TCU/Reino Unido, por serem consideradas treinamento.
Foram analisadas as metodologias utilizadas pelo TCU objetivando conhecer as técnicas de diagnóstico empregadas. Não foram inseridas entre as técnicas a análise bibliográfica e a normativa, nem o painel de referência, uma vez que é praxe do TCU utilizá-los em todas as avaliações, e como algumas avaliações deixam de citá-los na metodologia, foi conveniente não inserir.
A análise dos dados é documental e foram analisados os corpos dos relatórios de avaliação em busca de identificar a quantidade de indicadores de desempenhos utilizados pelos gestores públicos dos programas e detectados pela equipe responsável pela avaliação e também analisados os Acórdãos para detectar quantos indicadores foram propostos pelo TCU em suas recomendações. Foi passado sobre os Relatórios e Acórdãos a função localizar, utilizando a expressão “INDICADOR”.
As contracapas e a primeira folha dos Relatórios foram investigadas para verificar as equipes de auditoria, separando por gênero, bem como indicando se houve a participação de membros externos advindos de outras entidades.
Os Acórdãos foram lidos e analisados identificando a quantidade de recomendações, sendo expurgado as determinações internas de encaminhar cópia dos relatórios para os diversos órgãos e autoridades e de monitoramento por parte da Seprog.
As informações coletadas foram trabalhadas em planilhas do Microsoft Excel acompanhadas de procedimentos analíticos que acompanharam todo o transcorrer da pesquisa desde o momento em que se verificou a pertinência da questão selecionada ao objeto da pesquisa até as considerações finais.
Resultados, concluses e suas implicaes:
Concluindo esta pesquisa retoma-se a questão inicial: Como o Tribunal de Contas da União tem realizado a Avaliação de Programas Públicos na área da saúde?
A pesquisa revelou dezessete Programas de Governo na área da Saúde avaliados pelo TCU, período 2000-2012. O TCU, baseado nas experiências vivenciadas em suas auditorias e alinhado aos padrões de ANOp adotados pela International Organization of Supreme Audit Institutions (Intosai), emprega em suas avaliações de programas técnicas de diagnóstico, o que confere às avaliações um caráter científico. A pesquisa registrou a utilização de dezessete tipos de técnicas de diagnóstico, sobressaindo a entrevista seguida da pesquisa postal, web-mail e eletrônica.
As equipes de auditoria foram compostas por 121 auditores, representando uma média de 7,11 auditor/avaliação, tendo predominância do gênero masculino 65,29% (79). Quanto à disseminação dos conhecimentos da ANOp com outras instituições de controle governamental o TCU age de forma acanhada, representando 2,48% da composição das equipes e há registro de apenas um auxílio na implantação das ANOps no Peru.
Conclui-se, portanto, que as avaliações de programas realizadas pelo TCU estão em sintonia com a tendência mundial (Audit Comission for England and Wales, NAO, Office of Standards in Education, Office of Inspectors General, GAO e as EFS, como a Agência Nacional de Auditoria da Suécia, a Corte de Contas da Alemanha, o Escritório do Auditor Geral do Canadá e a Corte de Contas da França) e alinham-se com a Administração Pública Federal Brasileira, uma vez que o orçamento público está organizado em programas, no entanto, a pesquisa revelou que o TCU pode contribuir mais eficazmente realizando pelo menos quatro avaliações nesta área por exercício, como fez no ano de 2011, o que elevaria a média de avaliação/ano que atualmente é de 1,88.
As avaliações identificaram a existência de 186 ID, tendo o TCU proposto 79 novos ID. A pesquisa mostrou a existência de programas sem ID (Ação de Atenção aos Pacientes Portadores de Coagulopatias II), e que não houve proposta pelo TCU, o que não ajuda no aperfeiçoamento da administração pública, ficando sem parâmetro para medir o desempenho, e, assim estabelecer uma relação comparativa com metas pré-estabelecidas.
As avaliações de programas realizadas pelo TCU na área da saúde revelaram um instrumento operante de correção dos rumos da gestão pública nesta área estratégica de governo, uma vez que o TCU expediu 305 recomendações, o que representa 17,94 recomendação/avaliação, que caso sejam implementadas pela administração pública refletiriam em melhoria na efetividade dos programas avaliados, corrigindo distorções, aprumando rumos, melhorando o desempenho por responsabilização (accountability) da gestão pública, o que contribui para o aperfeiçoamento das políticas públicas.
Com relação aos monitoramentos, o TCU tem agido de forma tímida, pois realizou monitoramento em seis dos dezessete programas avaliados, o que representa 0,35 monitoramento/programa, e, impontual, pois cobra as recomendações das avaliações realizadas até 2007, ficando as avaliações a partir de 2008 (mais de quatro anos) sem o monitoramento. O Programa Nacional de Prevenção e Controle da Malária foi o único a receber os três monitoramentos, deixando o TCU perder a oportunidade de verificar o cumprimento de suas deliberações.
As avaliações de programas realizadas na área da saúde encontram-se disponível no sitio do TCU, de fácil acesso ao cidadão, que pode ter mais informação sobre os mais variados programas (74) já avaliados, o que favorece a transparência da gestão pública.
Recomendam-se outras pesquisas para que sejam verificadas as avaliações de programas realizadas pelo TCU em outras áreas sociais, visando apresentar aos cidadãos e à comunidade de pesquisadores do nosso País a forma como o TCU tem aferido o desempenho da gestão pública e o aperfeiçoamento das políticas públicas por meio das suas avaliações de programa, o que poderá contribuir para o bem-estar da coletividade, o zelo pela boa e regular aplicação dos recursos públicos (accountability) e a efetiva participação da transparência no setor público.
Referncias bibliogrficas:
Barzelay, Michael. Breaking through bureaucracy: A New Vision for Managing in Government. Berkeley; University of California Press, 1992.
Bastos, Glória M. Merola da Costa. A experiência do tribunal de contas da união em auditoria operacional e avaliação de programas governamentais. In: TRIBUNAL DE CONTAS DA UNIÃO. O Controle Externo e a nova administração pública: uma visão comparativa. Brasília, p.7-24, 102p., 2002.
Contandriopoulos, André-Pierre; Champagne, F.; Denis, J. L. & Pineault, R., A avaliação na área de saúde: Conceitos e métodos. In; Avaliação em saúde: Dos Modelos
La Forgia, G. M.; Couttolenc, B. F.Desempenho hospitalar no Brasil: em busca da excelência. São Paulo: Singular, 2009.
Pollit, Christopher et al. Performance or compliance? Performance Audit and Public management in Five Countries. Oxford: Oxford University Press: Addison-Wesley, 1999.
Raupp, F. M.; Beuren, I. M. Metodologia da pesquisa aplicável as ciências sociais. in: Beuren, I. M. (org.). Como elaborar trabalhos monográficos em Contabilidade: teoria e prática. 3. ed. São Paulo: atlas. p. 76-97, 2012.
Rist, Ray C., “Management acountability: the signals sent by auditing and evaluation”. Journal of Public Policy, 9, 3: 355-369, 1989.
Weiss, Carol. Evaluation. Methods for studying Programs and Policies. 2 ed., Upper Sadle River:Prentice-Hall, 1998.
|
