Resumo: Propósito do Trabalho: A necessidade da avaliação de desempenho no ensino superior é impulsionada pela crescente concorrência entre as instituições, pelos cortes orçamentários nas universidades por parte dos governos/órgãos de fomento, pelo desejo de melhoria interna no desempenho e, também, pelas pressões das partes interessadas (Asif & Searcy, 2014). Entretanto, esta atividade avaliativa é complexa, uma vez que envolve vários stakeholders com objetivos e interesses distintos, como agências de financiamento, governo, alunos potenciais e o próprio corpo docente e pessoal técnico-administrativo da universidade. Adicionalmente à dificuldade de envolver e/ou selecionar os stakeholders tem-se a questão da identificação/construção dos indicadores que farão parte do processo avaliativo (Asif & Searcy, 2014; Azma, 2010). A literatura aponta que os indicadores são capazes de fornecer orientações para gerenciar os processos-chave da universidade (Asif & Searcy, 2014). Entre os processos-chave da universidade, está a pesquisa, haja vista as IES terem tradicionalmente definido, entre seus objetivos principais, a construção e a transmissão de conhecimento (Higgins, 1989), sendo esse, justamente, o propósito da pesquisa científica (Agyemang & Broadbent, 2015). Assim, é necessário que o desempenho dos processos e da atividade de pesquisa dentro das universidades seja avaliado, para que o processo de criação e desenvolvimento de conhecimento possa ser aperfeiçoado e contribua, cada vez mais, para a comunidade científica e para a própria universidade (Agyemang & Broadbent, 2015). Nesse sentido, este estudo tem por objetivo construir um modelo de avaliação de desempenho multicritério construtivista para apoiar à gestão da atividade de pesquisa da Universidade de Mindelo (UM), sediada em Cabo Verde, na África.
Base da plataforma teórica: As universidades têm, tradicionalmente, entre seus objetivos principais, a construção e a transmissão de conhecimentos (Higgins, 1989). Uma das formas de atingir esse objetivo é pela realização de pesquisas científicas. Segundo Agyemang e Broadbent (2015), a pesquisa é um processo criativo e inovador que visa à descoberta de novos conhecimentos, mas é prejudicada quando a pesquisa, dentro das universidades, torna-se impulsionada por exigências de receita. Assim, universidades precisam relembrar que o propósito da pesquisa é a geração de conhecimento, e não geração de receita (Agyemang & Broadbent, 2015).
Segundo Prathap e Ratnaveln (2015), na maioria dos países, as Instituições de Ensino Superior são as maiores contribuintes no processo de produção da pesquisa. Por isso, no ambiente em que a pesquisa e as universidades se encontram hoje, dificilmente pode-se deixar o processo de investigação "não gerenciado" apenas sob responsabilidade dos acadêmicos individuais (Beerkens, 2013, p. 1679). Assim, a atuação da gestão no processo de avaliação de desempenho da pesquisa nas universidades torna-se essencial. É preciso gerenciar e controlar os processos que permitirão a criação e desenvolvimento da pesquisa para que a geração de conhecimento possa realmente ocorrer (Agyemang & Broadbent, 2015).
Segundo Beerkens (2013), nas últimas duas décadas, a avaliação de desempenho da pesquisa acadêmica tornou-se uma questão bastante discutida em muitos países. Korhonen, Tainio e Wallenius (2001) ressaltam que, apesar da importância visível da pesquisa em universidades, parece muito difícil avaliá-la, e este é um problema universal. Segundo Bei e Dongsheng (2014), a gestão da pesquisa universitária e a avaliação de desempenho ainda estão no estágio inicial e necessitam de desenvolvimento e aperfeiçoamento. Nesse contexto, os indicadores de desempenho são apontados como uma importante ferramenta para gestão da pesquisa universitária, uma vez que fornecem meios para medir, acompanhar, gerir e melhorar o desempenho das Instituições de Ensino Superior no processo de pesquisa. (Asif & Searcy, 2014).
A literatura apresenta alguns indicadores para avaliação de desempenho da pesquisa, entre eles estão: o número de citações de artigos dos docentes; o número de artigos publicados em periódicos; trabalhos em anais de eventos; o número de conclusões de doutorado; palestras científicas; patentes e direitos autorais; livros científicos; número de orientandos de doutorado; e % da receita gerada com base nas pesquisas científicas e pesquisa e desenvolvimento no montante total de receitas das universidades (Agyemang & Broadbent, 2015; Luvena, 2015; Azma, 2010; Korhonen, Tainio & Wallenius, 2001, Higgins, 1989).
Método de investigação: Esta pesquisa, ao promover a geração de conhecimento sobre os aspectos relevantes que concernem à atividade de pesquisa na UM para o pró-reitor de pesquisa, classifica-se como exploratória (Richardson, 1999). Como se pretende construir um modelo personalizado para apoiar à gestão da atividade de pesquisa da UM, utilizou-se, como procedimento técnico, o estudo de caso. Assim, a coleta de dados é de natureza primária, tendo em vista que os dados serão coletados por meio de entrevistas semiestruturadas com o pró-reitor de pesquisa da Universidade de Mindelo. Quanto à abordagem do problema, este estudo caracteriza-se como qualitativo na fase de estruturação e recomendação da metodologia Multicritério de Apoio à Decisão-Construtivista (MCDA-C) (Richardson, 1999). A metodologia MCDA-C, de acordo com Ensslin et al. (2010, p.130), tem como sua “principal vocação o processo de desenvolver o conhecimento do decisor sobre o contexto”. Essa geração de conhecimento é permitida por meio da operacionalização das três fases: Estruturação, Avaliação e Recomendação. A fase de estruturação tem como objetivo a geração de conhecimento do contexto para o decisor, identificando quais aspectos são importantes segundo a sua percepção, de modo que suas preferências sejam incorporadas na construção do modelo. Esse conhecimento é obtido por meio de diversas entrevistas semiestruturadas (Ensslin et al., 2010). Nessa fase, após a identificação dos aspectos importantes para serem geridos, escalas ordinais são construídas e os níveis de referência de cada escala são identificados (Valmorbida et al., 2014). A fase de avaliação não será operacionalizada neste trabalho, uma vez que o pró-reitor optou por, neste primeiro momento, focar na geração de conhceimento de quais aspectos são importantes e respondem pela pesquisa da Universidade de Mindelo. Já a fase de recomendações busca auxiliar o decisor na identificação de ações de melhoria do estado atual do perfil de desempenho (Ensslin et al. 2013). Essa etapa também é realizada pela interação entre o gestor e os facilitadores, visando identificar oportunidades para melhoria dos aspectos considerados importantes e podem, em curto ou longo prazo, comprometer o desempenho. Tendo identificado esses aspectos, pode-se desenvolver estratégias para aperfeiçoamento do desempenho observado indesejado.
Resultados, conclusões e suas implicações: Para a construção do modelo de avaliação de desempenho ad hoc para apoiar à gestão da atividade de pesquisa da Universidade de Mindelo (UM), sediada em Cabo Verde, na África, entrevistas semiestruturadas foram realizadas, onde identificaram-se 39 Elementos Primários de Avaliação (EPAs), os quais deram origem a 64 conceitos que foram agrupados em cinco áreas de preocupação: Capacitação; Estruturação da Pesquisa; Captação de Recursos; Operacionalização da Pesquisa; e Resultados da Pesquisa, formando a Estrutura Hierárquica de Valor com os Pontos de Vistas Fundamentais (PVFs). Após o agrupamento, mapas cognitivos foram criados que permitiram que novos conceitos fossem incluídos e alguns descartados por terem contribuído para expansão do conhecimento do pró-reitor.
Depois da criação dos mapas, os conceitos foram divididos em clusters e subclusters e deram origem a Árvore de Valor com os Pontos de Vistas Elementares (PVEs). Para os PVEs foram construídos descritores (escalas ordinais qualitativas) que permitiram a transmissão da informação do que é importante, para a UM, em cada uma dessas escalas, bem como sua ordem de preferência. Na sequência, os níveis de referência (com o nível Bom e o nível Neutro) foram definidos e o perfil de desempenho (status quo) da UM foi identificado.
Com a definição do status quo, foi possível identificar os aspectos que a gestão da pesquisa apresentava como um desempenho Bom e aqueles que apresentavam um desempenho comprometedor. Os aspectos da gestão que estavam com desempenho comprometedor são: % de participação docente em eventos científicos no último ano; % de docentes com publicação em revistas de alto fator de impacto nos últimos dois anos; % do corpo docente com doutorado; e, % de pesquisas voltadas a temas ligados a problemas ambientais no último ano. Para esses aspectos, tendo em vista a necessidade de aperfeiçoamento para melhoria dos desempenhos individual e global, as ações de melhoria foram propostas para alavancar o desempenho da atividade de pesquisa nesses quatro indicadores.
Na percepção dos autores deste estudo, a construção do modelo personalizado, para avaliar a atividade de pesquisa da Universidade de Mindelo, apoiará a tomada de decisão da Pró-Reitoria de pesquisa, contribuindo para o desenvolvimento da pesquisa científica e para geração de conhecimento dos pesquisadores em geral e, centralmente, dos pesquisadores de Mindelo.
Este estudo limita-se à construção de um modelo personalizado (ad hoc) para apoiar a gestão da Universidade de Mindelo, segundo a percepção do pró-reitor de pesquisa, nas decisões a serem tomadas. Dessa forma, para a replicação do estudo é preciso adaptações que devem considerar o contexto único do objeto a ser replicado; ou seja, os aspectos importantes para a UM não necessariamente são importantes e contribuirão para a melhoria do desempenho de outras universidades, de forma genérica. Haja vista os indicadores - referentes ao número de citações de artigos dos docentes; número de conclusões de doutorado; palestras científicas; direitos autorais; livros científicos; número de orientandos de doutorado; e, ao % da receita gerada com base nas pesquisas científicas e pesquisa e desenvolvimento no montante total de receitas das universidades -, encontrados na literatura, que não foram considerados pelo pró-reitor de pesquisa da UM como aspectos específicos que, neste momento merecem ser gerenciados.
Referências bibliográficas: Agyemang, G.; Broadbent, J. (2015) Management control systems and research management in universities: An empirical and conceptual exploration. Accounting Auditing and Accountability, 28(7), 1018-1046.
Asif, M.; Searcy, C. (2014) A composite index for measuring performance in higher education institutions. International Journal of Quality & Reliability Management, 31(9), 983-1001.
Azma, F. (2010) Qualitative Indicators for the evaluation of universities performance. Procedia Social and Behavioral Sciences, 2, 5408-5411.
Beerkens, M. (2013) Facts and fads in academic research management: The effect of management practices on research productivity in Australia. Research Policy, 42, 1679-1693.
Ensslin, L.; Ensslin, S. R.; Pinto, H. M.; (2013) Processo de investigação e Análise bibliométrica: Avaliação da Qualidade dos Serviços Bancários. RAC – Revista de Administração Contemporânea, 17(3), 325-349.
Ensslin, L.; Giffhorn, E.; Ensslin, S. R.; Petri, S. M.; Vianna, W. B. (2010) Avaliação do Desempenho de Empresas Terceirizadas com o Uso da Metodologia Multicritério de Apoio à Decisão- Construtivista. Revista Pesquisa Operacional, 30(1), 125-152.
Higgins, J. C. (1989) Performance measurement in universities. European Journal of Operational Research, 38, 358-368.
Valmorbida, S. M. I.; Ensslin, S. R.; Ensslin, L. (2014) Avaliação de Desempenho para Auxílio na Gestão de Universidades Públicas: Análise da Literatura para Identificação de Oportunidades de Pesquisas. Contabilidade, Gestão e Governança, 17(3), 4-28.
|