Beruflich Dokumente
Kultur Dokumente
, So Carlos
http://dx.doi.org/10.1590/0104-530X2089-16
Resumo: Este estudo prope um modelo para apoiar o processo decisrio na seleo de propostas de projetos
de pesquisa cientfica em uma instituio de ensino e pesquisa. Na construo do modelo foi utilizado o mtodo
Analytic Hierarchy Process (AHP), combinando tcnicas de mensurao relativa e absoluta. Tal combinao
tornou possvel tratar um grande nmero de projetos e mensurar, mais facilmente, todas as variveis do problema
de seleo. Como procedimento de pesquisa utilizou-se o estudo de caso, baseando-se em pesquisa exploratria,
seguida de uma abordagem de modelagem quantitativa. Adicionalmente, empregaram-se pesquisa documental e
entrevistas no estruturadas, a fim de compreender melhor o contexto da pesquisa e os objetivos institucionais e
propor adaptaes mais consistentes nos critrios de seleo de projetos de solicitao de bolsas e recursos para
pesquisa na instituio. Este estudo contribui para a escolha de propostas de projetos de pesquisa mais aderentes
aos objetivos institucionais, permitindo que gestores de instituies de ensino lidem com o problema de alocao
de recursos limitados face o grande nmero de demandantes de projetos.
Palavras-chave: Apoio multicritrio deciso; AHP; Gerenciamento de portflio de projetos; Avaliao da pesquisa
cientfica; Seleo de projetos.
Abstract: This paper proposes a model to support decisions in scientific-research project portfolio selection in
an educational institution. We used the Analytic Hierarchy Process (AHP) method for development of this model,
combining relative and absolute measurement techniques. That combination allowed us to handle a large number
of projects and to measure, in an easier way, all variables in the selection. Our research procedure was a case
study based on exploratory research and followed by a quantitative modeling approach. Additionally, we performed
documental research and conducted non-structured interviews to better understand the research setting and institutional
goals. This contributes to propose a more consistent tailoring grant-request and research-funding project selection
criteria. This paper contributes to sort out research project proposals that best adhered to the organizations goals,
allowing educational-organization managers to handle the problem of limited-resource allocation in the context
of large number of project requests.
Keywords: Multicriteria support to decision-making; AHP; Project portfolio management; Scientific research
evaluation; Project selection.
1 Introduo
Em decorrncia da velocidade e do dinamismo do Gerenciamento de Portflio de Projetos, ou Project
mundo dos negcios, as organizaes contam cada vez Portfolio Management (PPM). Tal conceito proporciona
mais com projetos para conduzir as aes necessrias um conjunto de ferramentas para assegurar que
para alcanarem seus objetivos. Consequentemente, uma coleo de projetos possa ser avaliada visando
os projetos vm crescendo no somente em volume a priorizao na alocao de recursos, ao alcance
mas tambm em complexidade. Para fazer frente de um portflio de projetos alinhado s estratgias
crescente demanda por projetos, surge o conceito de organizacionais (Project Management Institute, 2013).
1
Instituto Federal Fluminense IFF, Campus Campos Centro, Rua Dr. Siqueira, 273, Pq. Dom Bosco, CEP 28030-130, Campos dos
Goytacazes, RJ, Brasil, e-mail: celestecrr@gmail.com
2
Departamento de Economia, Administrao e Sociologia, Escola Superior de Agricultura Luiz de Queiroz, Universidade de So
Paulo USP, Avenida Pdua Dias, 11, CEP 13418-900, Piracicaba, SP, Brasil, e-mail: alexds.alves@usp.br
Recebido em Mar. 24, 2015 - Aceito em Out. 3, 2015
Suporte financeiro: Nenhum.
2 Ribeiro, M. C. C. R.etal. Gest. Prod., So Carlos
Entretanto, a quantidade de ideias e projetos que de avaliao deveriam estar em consonncia com os
surgem nas organizaes normalmente superior objetivos e a misso da instituio. Considerou-se
disponibilidade de recursos. Esse fato requer de um um ambiente organizacional no qual os objetivos e a
mtodo para apoiar o processo de seleo, como os misso institucional estivessem previamente definidos.
mtodos multicritrios (Archer & Ghasemzadeh, A presente pesquisa contribui para estimular a prtica
1999; Almeida & Duarte, 2011; Carvalho et al., de mtodos de anlise multicritrio de deciso por
2013). Trata-se de requisito ainda mais necessrio gestores de empresas pblicas e privadas para lidar
para as organizaes pblicas, responsveis pela com problemas complexos de deciso em projetos de
administrao de recursos pblicos que devem gerar pesquisa. A questo levantada pela atual pesquisa foi
resultados satisfatrios para a sociedade. a seguinte: Como priorizar e selecionar os projetos de
Esse um desafio enfrentado pelos gestores do pesquisa mais alinhados aos objetivos da instituio
Instituto Federal de Educao, Cincia e Tecnologia atravs dos mtodos de Apoio Multicritrio Deciso
Fluminense (IF Fluminense ou IFF). O IFF uma (AMD)? As sees seguintes descrevem o referencial
autarquia federal que atua nas atividades de ensino, terico que serviu de base para o desenvolvimento
pesquisa e extenso no estado do Rio de Janeiro. desta pesquisa, a metodologia utilizada, o resultado
Sua abrangncia compreende os municpios das da aplicao do modelo e as consideraes finais.
regies Norte Fluminense, Noroeste Fluminense
e Baixadas Litorneas e da regio Metropolitana. 2 Referencial terico
A rea de pesquisa do IFF tem como uma de suas
atribuies o controle da concesso de bolsas de 2.1 Apoio multicritrio deciso
incentivo pesquisa cientfica. Trata-se da distribuio Os primeiros mtodos cientficos de apoio deciso
de recursos escassos para atender crescente demanda foram criados a partir da dcada de 1970. Tais mtodos
de projetos de pesquisa oriundos dos proponentes. surgiram da necessidade de incorporar as vrias
Tais projetos so submetidos avaliao segundo dimenses de um problema, as quais envolviam tanto
mltiplos critrios. aspectos quantitativos quanto qualitativos do processo
O problema apresentado pela instituio, portanto, de tomada de deciso. Esses mtodos consideram
consiste na falta de um modelo sistematizado de seleo a subjetividade do tomador de deciso e permitem
de projetos que possa garantir a alocao mais eficiente avaliar as alternativas com base na modelagem das
de recursos. Tais projetos, alm de satisfazerem os preferncias dos decisores para o alcance de uma
critrios necessrios para gerar, adensar e disseminar soluo satisfatria (Gomesetal., 2004).
o conhecimento cientfico, tambm devem se adequar A utilizao dessa metodologia permite lidar com
aos propsitos institucionais. O presente estudo a complexidade do problema de uma forma mais
trata do problema de deciso que surge ao longo do simples. Alm disso, favorece a comunicao entre
processo de avaliao de elevado nmero de projetos as pessoas envolvidas e aumenta a credibilidade da
de pesquisa envolvendo mltiplas variveis. Tem-se deciso, graas transparncia da tomada de deciso,
como desafio, portanto, a seleo das propostas de uma vez que as preferncias dos agentes de deciso so
projetos que apresentem maior convergncia com os externadas, levando-os a uma relao de compromisso
propsitos da instituio. no processo decisrio (Gomesetal., 2002).
Como objetivo geral, este estudo prope uma De acordo com Vincke (1992), especialistas
soluo para o problema de seleo de projetos em AMD classificaram os mtodos AMD em trs
de pesquisa em instituies de ensino atravs do grandes famlias: Teoria da Utilidade Multiatributo,
mtodo de apoio multicritrio deciso, o Analytic Mtodos de Subordinao e Mtodos Interativos.
Hierarchy Process (AHP), cuja aplicao combina a As duas primeiras famlias so conhecidas como
mensurao relativa com a absoluta. Como objetivos escola americana e escola francesa, respectivamente.
especficos deste estudo, destacam-se: a) Identificar Observa-se em Gomesetal. (2002) que essas escolas
o estado da arte em apoio multicritrio deciso que se diferenciam pela estrutura de preferncias em que
possa orientar os tomadores de deciso em gesto se baseiam. Tais estruturas resultam da combinao
de ensino envolvidos nos processos de priorizao de relaes de preferncias estabelecidas e de suas
e seleo de projetos de pesquisa; b) Reestruturar os propriedades.
critrios utilizados na avaliao da pesquisa cientfica De acordo com os autores referidos, os mtodos da
e identificar os aspectos considerados em cada critrio, escola americana se apoiam numa estrutura relacional
visando o atendimento dos objetivos da instituio e a de preferncia que no admite a incomparabilidade
qualidade da pesquisa; e c) Caracterizar o contexto sob e permite a transitividade na relao de preferncia.
a ptica multicritrio, a fim de verificar a adequao Isso torna possvel a agregao dos desempenhos das
do mtodo multicritrio adotado ao problema tratado. alternativas obtidos nos vrios critrios num nico
Este estudo enfocou a seleo de propostas de valor, critrio nico e sntese. Os mtodos da escola
projetos de pesquisa bsica e aplicada. Os critrios francesa admitem a incomparabilidade. Tais mtodos
O problema de seleo de portflio de projetos... 3
se aplicam situao na qual se necessita incorporar Nevesetal. (2015) apontaram o AHP como o mtodo
limites de tolerncia para representar a hesitao do multicritrio mais utilizado na rea de planejamento
decisor na emisso de suas preferncias. e gesto da indstria de petrleo e gs. Mxasetal.
Em relao aos Mtodos Interativos, por outro (2013) adotaram o AHP para a seleo dos sistemas
lado, Roy & Slowinski (2013) mencionam que eles integrados de gesto (ERP) e constataram que esse
contemplam duas fases: clculo e dilogo. A fase mtodo um dos mais utilizados na seleo de sistemas
de dilogo permite ao tomador de deciso fornecer ERP. Outro exemplo o da aplicao do AHP com
suas preferncias caso no concorde com o resultado, programao inteira por Padovanietal. (2010) na
repetindo-se o ciclo at que se encontre um resultado seleo e alocao de recursos para o portflio de
que o satisfaa. projetos no setor qumico. A integrao dos dois
Segundo Roy (2005), na prtica, a aplicao do mtodos ajudou no alinhamento do portflio, na
AMD atende s seguintes problemticas: problema priorizao dos projetos e na alocao dos recursos.
de escolha, problema de classificao e problema de Os autores alertam sobre a inviabilidade do mtodo
ordenao. Pode haver uma dependncia entre essas para problema que apresente um nmero elevado de
problemticas (Gomes et al., 2004). Tal situao alternativas, presente na problemtica deste trabalho.
se assemelha a este trabalho, o qual consistiu no Entretanto, Saaty (2005) sugere a adoo do
problema de ordenao das alternativas, da melhor AHP mesclando-se a mensurao relativa com
pior, em funo da contribuio dos projetos de a mensurao absoluta para tratar uma grande
pesquisa no atendimento dos objetivos institucionais quantidade de alternativas. Essa soluo atendeu
e de qualidade das pesquisas. O resultado garantiu problemtica deste trabalho, permitindo mensurar
aos gestores uma escolha satisfatria de um conjunto de forma compensatria os critrios qualitativos e
de alternativas potenciais. avaliar as alternativas em cada critrio com valores
Foram encontradas na literatura pesquisada vrias absolutos. A seo seguinte apresenta uma breve
aplicaes recentes em seleo de projetos. Como descrio desse mtodo.
exemplo, pode-se citar o trabalho de Lima et al.
(2014), que utilizaram o mtodo Preference Ranking 2.1.1 O mtodo AHP
Organization Method for Enrichment Evaluations O mtodo AHP foi criado na dcada de 1970 por
I (PROMETHEE I) visando priorizar os projetos Thomas L. Saaty. Esse mtodo consiste na criao
numa empresa de saneamento e tratamento de guas. de um modelo que reflete o funcionamento da mente
Tambm, os autores Lpez & Almeida (2014) aplicaram humana na avaliao das alternativas diante de
o mtodo PROMETHEE V para seleo de portflio um problema complexo de deciso. Alm disso, o
de projetos do setor eltrico, caracterizado por um mtodo permite lidar com problemas que envolvem
problema de ordenao. Em ambas as aplicaes tantos valores tangveis como intangveis, graas a
levaram em conta a racionalidade no compensatria sua capacidade de criar medidas para as variveis
da deciso existente no problema. qualitativas, com base em julgamentos subjetivos
De acordo com Silvaetal. (2014), os mtodos emitidos pelos decisores (Saaty, 1991). De acordo
compensatrios permitem que uma m avaliao obtida com Paoli & Moraes (2011), o mtodo AHP permite
pela alternativa em algum critrio seja compensada em medir o impacto dos diferentes critrios considerados
outros. Destaca-se ainda, a aplicao de outro mtodo no problema decisrio em relao ao objetivo geral.
da mesma famlia PROMETHEE, o PROMETHEE II, um dos mtodos mais conhecidos e utilizados da
empregado por Arajo & Almeida (2009) na seleo escola americana (Gomesetal., 2002).
de investimentos em petrleo e gs para atender um De acordo com Saaty (1990), o AHP permite modelar
problema de ordenao. Tais mtodos no se aplicam o problema de deciso em uma estrutura hierrquica.
ao presente trabalho, no qual h necessidade de se Tal modelo, partindo do objetivo principal, se decompe
fazer uma abordagem compensatria na mensurao em vrios critrios, formando uma nova camada. Cada
dos critrios. critrio de um mesmo nvel pode ser composto em dois
Acrescenta-se, tambm, a aplicao do mtodo ou mais critrios, e assim sucessivamente, tornando
Analytic Network Process (ANP) por Ivanovietal. mais fcil o tratamento e a compreenso do problema.
(2013) na seleo de projetos na rea de transportes, Cada critrio posicionado na extremidade inferior da
considerando as interaes e correlaes entre os estrutura, ou seja, critrio-folha, decomposto em
elementos existentes no problema de deciso. Omesmo alternativas. Isso permite que cada alternativa seja
mtodo foi usado por Cheng & Li (2005) para avaliada luz de cada critrio-folha. Recomenda-se
ordenao e seleo de projetos na rea de construo. um nmero reduzido de nveis e critrios de modo
Tambm levaram-se em conta as interdependncias a no comprometer a compreenso do problema
existentes no problema, diferentemente do problema (Gomesetal., 2004). A Figura1 mostra a estrutura
em questo, no qual os critrios so independentes. hierrquica do AHP.
4 Ribeiro, M. C. C. R.etal. Gest. Prod., So Carlos
Uma vez estruturado o problema, realiza-se a coleta Regra 2: Se Ci julgado de igual importncia
de julgamento das preferncias dos decisores. Nesse relativa a Cj, ento aij = 1 e aji = 1; e, em particular,
caso, todos os critrios imediatamente subordinados aij = 1, i = j, i = 1, 2, ..., n.
a um mesmo critrio so organizados numa matriz
quadrada, de forma que eles possam ser comparados Ao se comparar o critrio Ci e Cj, deve-se primeiro
pelos decisores, conforme a representao genrica identificar qual o elemento mais importante. E, em
mostrada na Tabela1. seguida, o quanto ele o mais importante. Caso Ci
A Tabela 1 mostra uma matriz quadrada de seja mais importante do que Cj, ento aij = e aji = 1/.
ordem n, cujos critrios so representados por Caso contrrio, aij = 1/ e aji = .
C1 a Cn. Osjulgamentos entre os critrios formam Conforme Saaty (1991), aps se realizar o julgamento,
uma matriz A = (aij), onde as posies de linha (i) e calcula-se a prioridade mdia local (PL). O valor da
coluna (j)variam de 1 a n. O julgamento aij segue PL determina a importncia de cada critrio em relao
as seguintes regras: ao critrio superior imediato. O clculo das PL dos
elementos (critrios ou alternativas) representados na
Regra 1: Se aij = , ento aji = 1/, 0, onde matriz de julgamento pode ser realizado atravs do
o valor numrico do julgamento baseado na mtodo exato ou aproximado (Saaty, 1991). Deacordo
com Vargas (2010), o mtodo aproximado to
escala de Saaty (1991), apresentada no Quadro1.
eficiente quanto o exato, porm de implementao
Logo, temos aji = 1/aij.
mais simples. O clculo das PL utilizando o mtodo
aproximado mostrado na Tabela2, na qual se nota
que o clculo atribudo a w1, w2, ..., wn representa,
respectivamente, a PL do critrio C1, C2, ..., Cn.
Saaty (1991) verificou que uma matriz de julgamento
recproca e positiva A = (aij) cujos julgamentos emitidos
pelos decisores so considerados perfeitos gera uma
matriz consistente, onde aik = aij . ajk, i, j, k = 1, 2, ...,
n. A ocorrncia desta situao satisfaz Equao 1:
Aw = nw (1)
uma tolerncia de 10%. Para valores acima desse, o critrio-folha e determinam-se suas PL. Finalmente,
julgamento deve ser refeito. a PG de cada alternativa resulta no somatrio dos
O passo seguinte consiste em verificar a consistncia produtos da PL relativa a cada critrio-folha pela PG
dos julgamentos. Vargas (2010), baseando-se na proposta desse critrio. Os valores da PG, gerados pelo AHP,
de Saaty, adota os seguintes passos para o clculo determinam o fator percentual de importncia dos
do CR: por meio da Equao 2, abaixo, calcula-se critrios e alternativas para se alcanar o objetivo
o maior autovalor da matriz de julgamento (Max). principal com base nas preferncias dos agentes de
n deciso. Um exemplo do modelo clssico da aplicao
Max
= t j . w j (2) do AHP pode ser visto em Vargas (2010).
j =1
Tabela 2. Clculo das prioridades mdias locais em relao a determinado critrio imediatamente superior.
C1 C2 ... Cn PLs
C1 w11= a11 / t1 w12=a12 / t2 ... w1n=a1n / tn w1=(w11+...+w1n)/ n
C2 w21=a21 / t1 w22 =a22 / t2 ... w2n=a2n / tn w2=(w21+...+w2n)/ n
... ... ... ... ... ...
Cn wn1=an1 / t1 wn2 = an2 / t2 ... wnn=ann / tn wn=(wn1+...+wnn)/ n
tj = o total da coluna j da matriz de origem dos julgamentos A = (aij), j, i = 1, ..., n. Fonte: Adaptado de Vargas (2010).
critrio-folha dada pela mensurao relativa do implementadas atravs das agncias de fomento
AHP pela mensurao absoluta da alternativa no pesquisa (Alvesetal., 2015).
respectivo critrio. O desempenho da alternativa Entretanto, o considervel aumento verificado
determina a sua prioridade. Quanto maior for o seu nas atividades de pesquisa, tanto de organizaes
desempenho, melhor a alternativa. Isto permite pblicas como privadas, requer a utilizao de um
gerar um ranking descendente de prioridades das sistema de avaliao, devido aos limitados recursos
alternativas. de fomento disponveis. Tal sistema serve tanto
para justificar as escolhas dos gestores em relao
alocao de investimentos na rea de pesquisa, como
2.2 Gerenciamento de portflio de
para assegurar sociedade uma boa destinao dos
projetos recursos pblicos, permitindo maior transparncia
Os primeiros projetos datam de tempos remotos. nas decises tomadas (Francisco, 2002). Segundo
No entanto, somente a partir da dcada de 1940 se Rodrigues (2011) e Moreira & Velho (2008), tais
observou a necessidade do emprego de maiores agncias tm valorizado os aspectos quantitativos
esforos de planejamento em projetos, devido na avaliao. Torna-se, portanto, necessrio dar
crescente incerteza e maiores custos de oportunidade mais ateno aos aspectos qualitativos da produo
na alocao de capital aos novos empreendimentos do conhecimento, permitindo o investimento em
(Kerzner, 2009). Seu uso se acentuou a partir da projetos de maior qualidade.
dcada de 1990, motivado pela necessidade de Segundo Francisco (2002), na seleo de projetos
responder de forma mais rpida e eficaz ao menor de pesquisa deve-se considerar como importante no
ciclo de vida dos produtos, evoluo tecnolgica e projeto proposto seu impacto no setor produtivo,
maior competio no mercado. Ao final da dcada de motivado por alguns aspectos como a inovao gerada
1990, com o aumento tanto da quantidade quanto da e o potencial de orientar novas polticas pblicas.
complexidade do escopo dos projetos, as organizaes Francisco (2002) no negligencia em sua anlise
passaram a se preocupar com o alinhamento dos a importncia de outros critrios, como o impacto
social, a capacidade de gerar novas oportunidades
projetos aos objetivos das organizaes, crescendo a
de trabalho, de gerao de novas competncias e de
importncia atribuda gesto de portflio de projetos
reutilizao do conhecimento gerado pela pesquisa em
(Carvalhoetal., 2013).
disciplinas acadmicas e nas organizaes. E,ainda no
O Project Management Institute (2013) conceitua
aspecto social, Francisco (2002) tambm ressalta os
o portflio de projetos como uma coleo de projetos
aspectos ambientais, como critrios que incorporem
ou programas, de modo a permitir um gerenciamento
a capacidade de adoo de tecnologias limpas.
eficaz, cujo foco consiste na anlise e manuteno Trata-se de um tema que est longe de ser consenso.
do portflio. A manuteno busca a identificao, Em vises menos recentes, comum encontrar em
priorizao e autorizao de projetos, a fim de melhor autores como Tuncer (1975) a percepo de que a
alocar os recursos e garantir um portflio consistente pesquisa cientfica, mesmo que no gere inovaes
e alinhado s estratgias organizacionais. Os objetivos para o setor produtivo, tem sua utilidade quando serve
so fontes direcionadoras na tomada de deciso, de fonte de informaes para a comunidade cientfica
devendo ser considerados na composio do portflio e tcnica. Mesmo atualmente h autores que defendem
de projetos (Meskendahl, 2010; Bondetal., 2008). essa viso. Andrade (2010), por exemplo, aponta que
Conforme Meskendahl (2010), a seleo de projetos mesmo que a pesquisa no seja inovadora, deve trazer
para compor o portflio vem sendo crescentemente algum enfoque ou esclarecimento de algum assunto.
auxiliada por mtodos de apoio deciso, dada a Para Andrade (2010), deve-se considerar a viabilidade
complexidade e a amplitude das variveis envolvidas. da pesquisa, a facilidade de acesso ao assunto tratado,
O emprego de tais mtodos, como sustenta Vargas a disponibilidade de recursos financeiros e materiais,
(2010), garante que os recursos disponveis sejam assim como a adequao ao prazo.
alocados nas propostas mais alinhadas aos objetivos Miranda & Almeida (2004) apresentam uma lista
institucionais. de critrios analisados na avaliao de cursos de
ps-graduao pela Coordenao de Aperfeioamento
2.3 Critrios de avaliao considerados em de Pessoal de Nvel Superior (CAPES) na rea
projetos de pesquisa cientfica de Engenharias III, agrupados em seis dimenses
de critrios, dentre elas a Atividade de Pesquisa,
A pesquisa cientfica fundamental para o contemplando os subcritrios: adequao das linhas de
crescimento econmico e o desenvolvimento social. pesquisa s reas de concentrao; vnculo entre linhas
O governo brasileiro, em suas esferas federal e e projetos de pesquisa; adequao da quantidade de
estadual, o maior responsvel pelas atividades de linhas de pesquisa em relao dimenso do Ncleo
pesquisa cientfica e tecnolgica no Brasil, aes de Referncia Docente 6 [parcela do corpo docente
O problema de seleo de portflio de projetos... 7
das instituies de ensino superior com participao critrio: critrios para o alinhamento aos objetivos
representativa nas atividades de docncia, pesquisa e institucionais; e critrios especficos para avaliao
orientao, segundo Smitetal. (2002)]; e participao da pesquisa cientfica. Definiram-se, tambm, os
do corpo discente nos projetos de pesquisa. aspectos a serem analisados para cada critrio.
De acordo com Santana (2009), na avaliao da importante frisar o papel da comisso constituda
pesquisa devem-se considerar critrios tais como: para monitorar e validar o processo de adequao
contribuio para o avano do conhecimento e dos critrios e de seus aspectos ao mtodo AHP.
desenvolvimento tecnolgico; atendimento aos Osdados provenientes das entrevistas no estruturadas
problemas nacionais, regionais e locais; formao de foram cruzados com outras informaes extradas da
pesquisadores e qualificao de profissionais para o pesquisa documental, o que permitiu a construo e
mercado; motivao para busca da excelncia cientfica, a triangulao das evidncias traduzidas pelo estudo
propagao da cincia, garantia da hegemonia cientfica de caso. Os membros integrantes da comisso interna
do pas; influenciar a sociedade, em sua concepo da instituio tiveram acesso aos resultados para
de vida, comportamentos, valores e cultura. J Luiz comentrios e validao, tanto da fase de readequao
(2006) leva em conta os critrios relacionados ao dos critrios e de seus aspectos, quanto dos resultados
perfil e a capacidade produtiva do pesquisador, tais da pesquisa.
como: titulao, tempo de magistrio e nmero de Os dois grupos de critrios dividiram o processo
orientaes, distines e prmios acadmicos, produo de seleo em duas etapas. A primeira, com base
bibliogrfica, impacto da produo bibliogrfica, no primeiro grupo, visou filtrar os projetos mais
trabalhos tcnicos e participao em bancas. alinhados aos objetivos institucionais. A segunda
Tal conjunto de aspectos norteou a adequao dos visou selecionar, dentre os projetos aprovados na
critrios junto aos membros da comisso encarregada primeira fase, aqueles mais adequados aos requisitos
de acompanhar a modelagem de deciso proposta neste da pesquisa cientfica.
trabalho. O modelo proposto ser discutido adiante.
3.2 Aplicao do AHP para mensurao
3 Metodologia dos critrios e aspectos
A metodologia utilizada neste trabalho fundamentou-se
no mtodo multicritrio AHP mensurao relativa A mensurao dos critrios e aspectos obtida
combinada com a mensurao absoluta. Uma das atravs do clculo de prioridades do AHP com base no
motivaes para o uso do AHP foi a facilidade que julgamento dos decisores. Para facilitar, utilizou-se uma
proporciona na mensurao de todas as variveis do planilha eletrnica de dados previamente configurada
problema. Outra motivao para a sua adoo foi sua para cada etapa de seleo, a fim de processar todas
capacidade de estruturar o problema hierarquicamente, as etapas necessrias ao AHP.
o que permitiu mensurar de forma compensatria Primeiramente, organizou-se cada grupo de critrios
os critrios em funo de sua contribuio para o na hierarquia do AHP. Para facilitar as comparaes
objetivo principal. Isso possibilitou expressar melhor durante o julgamento, elaborou-se uma estrutura com
o problema em questo, que consistia na priorizao 3 camadas e no mximo 6 elementos subordinados
de projetos que estivessem mais alinhados com os para cada critrio.
objetivos da instituio e com os requisitos exigidos A coleta de julgamentos foi registrada na prpria
por cada projeto de pesquisa. O modelo proposto planilha. O registro foi realizado por um dos autores
para a seleo de projetos de pesquisa cientfica do deste trabalho, o qual teve o papel de facilitador,
IF Fluminense compreendeu os passos apresentados no interferindo no processo decisrio. A cada
a seguir. julgamento, os clculos de prioridades, locais, globais
e de consistncia eram realizados automaticamente.
Isso permitiu ao grupo de decisores refletir e refazer
3.1 Identificao dos critrios
seus julgamentos. O julgamento foi realizado atravs
Com a pesquisa documental, conheceram-se os do consenso obtido pelos membros da comisso e,
critrios j utilizados na avaliao de pesquisas. posteriormente, homologado pela Cmara de Pesquisa
Observou-se que os critrios j existentes, apesar de do IF Fluminense.
alinhados aos objetivos, no apresentavam definio
clara dos aspectos a considerar na avaliao e, alm 3.3 Elaborao dos modelos das fichas de
disso, que tanto os critrios relacionados aos aspectos
avaliao individual dos projetos
tcnicos da pesquisa quanto os critrios relacionados
aos objetivos da instituio eram avaliados num A composio da ficha de avaliao do projeto de
mesmo nvel. Isso poderia ocasionar conflitos e pesquisa para cada etapa se baseou no seu grupo de
inconsistncia na avaliao final dos projetos. Para critrios. Cada item de avaliao correspondeu ao
resolver esse problema, criaram-se dois grupos de critrio/aspecto folha da hierarquia do AHP. Sendo
8 Ribeiro, M. C. C. R.etal. Gest. Prod., So Carlos
assim, o peso gerado para o critrio/aspecto folha alternativa no critrio. Emseguida, calculou-se o
determinou o peso da questo. Nessa etapa foram desempenho global do projeto somando-se os produtos
definidas as escalas nominais a serem utilizadas obtidos em cada critrio.
pelos avaliadores como respostas optativas para cada
item. Para alguns aspectos que possuam natureza 3.6 Priorizao e seleo dos projetos
quantitativa, foi criada uma tabela de converso alinhados aos objetivos institucionais
atendendo ao contexto de pesquisa da instituio.
Tal tabela foi definida pela comisso e homologada Baseando-se nos desempenhos dos projetos
pela cmara de pesquisa. A tabela foi anexada ficha calculados na planilha de respostas da avaliao
de avaliao, visando sua consulta pelo avaliador. quanto aos objetivos institucionais, realizou-se a
ordenao descendente por desempenho. Sendo assim,
ficaram mais prximos ao topo da lista os projetos
3.4 Aplicao do AHP na mensurao das
mais aderentes aos objetivos institucionais. Os piores
escalas nominais projetos aparecem no final da lista. A ordenao foi
Para cada estrutura de critrios, aplicou-se o mtodo feita atravs da funcionalidade presente na planilha
AHP para determinar o grau de importncia de cada eletrnica de dados.
escala nominal, utilizada como resposta optativa em
relao ao critrio-folha, que corresponde ao item 3.7 Priorizao e seleo de projetos mais
da ficha de avaliao. Os valores nominais de cada aderentes aos requisitos da pesquisa
escala foram dispostos numa matriz quadrada, do cientfica
melhor ao pior: nas linhas, de cima para baixo, e,
nas colunas, da esquerda para direita. Atravs dessa Nessa etapa eliminaram-se os piores projetos
matriz realizou-se o julgamento dos valores nominais analisados no ranking anterior. Foi feita a ordenao
luz do critrio-folha relacionado e determinaram-se descendente do desempenho obtido em relao aos
suas prioridades mdias locais e a consistncia do critrios da pesquisa cientfica. Os gestores escolheram
julgamento. os projetos que atenderam satisfatoriamente aos
O julgamento foi realizado por um dos autores critrios de avaliao da pesquisa cientfica, assim
deste artigo, sendo homologado posteriormente como ao alinhamento institucional, visando a alocao
pela comisso e pela cmara de pesquisa. Tambm, de bolsas de pesquisa.
todos os procedimentos necessrios ao clculo foram
desenvolvidos e integrados na planilha eletrnica 4 Resultados
de dados. O valor da prioridade calculada para cada O modelo proposto foi aplicado no IF Fluminense.
escala corresponde ao valor absoluto a ser atribudo O IF Fluminense exerce atividades de ensino, pesquisa
ao critrio na ocasio da avaliao do projeto, com e extenso visando contribuir para o desenvolvimento
base na avaliao conceitual do decisor. econmico e social da regio. Tem como misso
desenvolver uma educao comprometida com as
3.5 Avaliao individual das propostas de necessidades da sociedade, alm de promover o
projetos avano cientfico e tecnolgico de modo sustentvel.
A atividade de pesquisa exercida pela Pr-Reitoria
A avaliao dos projetos foi realizada com base de Pesquisa e Inovao. Esse rgo centraliza a
nas duas fichas de avaliao, uma para cada etapa. O administrao das atividades e polticas de pesquisa,
procedimento de avaliao foi gerenciado pela prpria articuladas com a pesquisa e extenso, e promove
rea de pesquisa. Essa se responsabilizou pelo envio aes de fomento pesquisa, cincia, tecnologia e
eletrnico das fichas de avaliao para os avaliadores, inovao. A Pr-Reitoria de Pesquisa e Inovao
juntamente com a proposta de projeto. Terminado o tem como uma das atribuies a seleo de projetos
perodo de avaliao, a rea de pesquisa transportou as de pesquisa que concorrem s bolsas de iniciao
respostas de cada etapa de avaliao para as respectivas cientfica.
planilhas eletrnicas de dados. Taisplanilhas foram Tal processo de seleo obedece s normas
previamente configuradas e integradas ao clculo prescritas no Programa de Bolsas Institucionais de
das mensuraes dos critrios/aspectos e das escalas Incentivo Pesquisa e ao Empreendedorismo no IF
nominais geradas pelo mtodo AHP. Fluminense. Esse programa visa incentivar a pesquisa
As planilhas das duas etapas foram programadas para e o empreendedorismo atravs de bolsas concedidas
atribuir os valores absolutos associados s respostas pelos rgos de fomento pesquisa ou por meio de
nominais dos avaliadores. Sendo assim, para cada recursos financeiros da prpria instituio.
planilha calculou-se automaticamente o valor do Porm, o problema tratado limita-se seleo de novos
projeto relativo a cada critrio atravs do produto da projetos de pesquisa bsica e aplicada. Esses projetos
mensurao relativa desse pelo valor absoluto atribudo concorrem s bolsas do Programa de Bolsas Institucionais
O problema de seleo de portflio de projetos... 9
Quadro 2. Representao na hierarquia AHP dos critrios para avaliao dos projetos de pesquisa em relao contribuio
nos objetivos institucionais.
Objetivo principal Cdigo do
Critrios Aspectos
(Obj#1) aspecto
Proporciona novos conhecimentos (novas leis,
teorias, conceitos, modelos) cientficos/tecnolgicos
Obj#1_1
ou novo enfoque a partir de conhecimentos
anteriores.
Proporciona a criao e/ou melhoramento de
mtodos, processos, produtos, materiais e /ou de
Avano cientfico e Obj#1_2
servios novos, potencialmente aplicveis nos
tecnolgico
setores econmicos, polticos e/ou sociais.
Estimula formao de competncias em pesquisa
atravs da participao de bolsistas de iniciao
cientfica, pessoal de nvel tcnico e superior, Obj#1_3
mestrandos, doutorandos, mestres, doutores e ps-
doutores.
Estimula novas oportunidades de trabalho, estgios,
Pesquisa comprometida cursos, produtos e servios, desenvolve habilidades
com o desenvolvimento Obj#1_4
profissionais dos servidores e alunos e contribui
local e regional para a formao da conscincia crtica do cidado.
Compromisso social
Colabora direta ou indiretamente para o
desenvolvimento sustentvel, adotando e/ou
Obj#1_5
estimulando prticas sustentveis do ponto de vista
ambiental, econmico e social.
Prev articulao entre as atividades de ensino,
Articulao com pesquisa e extenso desenvolvidas no IF Obj#1_6
ensino, pesquisa e Fluminense.
extenso Prev aplicao do conhecimento resultante da
Obj#1_7
pesquisa na soluo de problemas da sociedade.
A rea de pesquisa do projeto corresponde a uma
Vinculao com as Obj#1_8
das reas de pesquisa prioritrias do IF Fluminense.
reas de pesquisa
H coerncia do tema com as linhas de pesquisa no
do IFF Obj#1_9
ncleo de pesquisa ao qual o projeto est associado.
Fonte: Elaborado pelos autores.
10 Ribeiro, M. C. C. R.etal. Gest. Prod., So Carlos
Quadro 3. Representao na hierarquia AHP dos critrios de avaliao dos projetos em relao aos requisitos exigidos para
cada pesquisa cientfica.
Objetivo principal Cdigo do
Critrios Aspectos
(Obj#2) aspecto
Trata-se de novo tema ou discute uma nova
Originalidade da pesquisa Obj#2_1
abordagem referente a um tema j existente.
Clareza na definio do problema. Obj#2_2
Adequao metodolgica. Obj#2_3
Qualidade tcnica do projeto Embasamento terico. Obj#2_4
Procedimentos de divulgao e apropriao dos
Obj#2_5
resultados pela sociedade.
Ortografia Obj#2_6
Qualidade de redao e Gramtica Obj#2_7
organizao e organizao Clareza Obj#2_8
do texto Objetividade Obj#2_9
Estrutura formal Obj#2_10
Alinhamento das atividades com os objetivos do
Adequao entre o plano Obj#2_11
projeto.
de atividades do(s) aluno(s)
Avaliao da Adequao das atividades a serem
bolsista(s) e os objetivos e
pesquisa cientfica desempenhadas pelo(s) aluno(s) bolsista(s) ao Obj#2_12
cronograma do projeto
cronograma de execuo do projeto.
Disponibilidade de recursos materiais. Obj#2_13
Viabilidade da execuo do Apoio financeiro por outra instituio de
Obj#2_14
projeto fomento.
Dimensionamento do cronograma. Obj#2_15
Titulao Obj#2_16
Publicaes (artigo em peridicos indexados,
livro ou coletnea, captulo de livro) ou patente Obj#2_17
Produtividade cientfica e depositada.
tecnolgica do pesquisador Publicao em anais de congressos/eventos. Obj#2_18
na rea temtica do projeto, Orientaes de IC e TCC (graduao e ps-
Obj#2_19
segundo o CV Lattes graduao lato sensu).
Orientaes de mestrado e doutorado. Obj#2_20
Participao em bancas (TCC, mestrado e
Obj#2_21
doutorado).
Fonte: Elaborado pelos autores.
a qualidade na deciso. Tambm, a definio dos determinado critrio. A descrio de tal cdigo
aspectos para cada critrio permitiu uma padronizao identificador pode ser obtida nos quadros anteriores,
e uma compreenso comum entre diferentes pessoas, 2 e 3. Acoluna Peso mostra as prioridades globais de
evitando pareceres diferentes. cada critrio-folha. OsQuadros4e5 mostram tambm
Na segunda etapa da aplicao procurou-se o valor RC calculado com base no julgamento entre
mensurar os critrios e aspectos. Os pesos gerados os critrios/aspectos imediatamente subordinados ao
pelo AHP para cada grupo de critrios, com base critrio superior para obteno dos pesos.
nos julgamentos emitidos pelos decisores da rea Uma vez definidos os critrios e pesos, elaborou-se
de pesquisa, podem ser vistos nos Quadros4e5. a ficha de avaliao individual dos projetos para cada
Em decorrncia da experincia e do conhecimento etapa de seleo e definiram-se as escalas nominais
desses na rea, tal julgamento pde ser facilmente de cada item. Os itens de cada ficha de avaliao,
desempenhado, permitindo gerar um resultado associados a cada critrio-folha, so mostrados na
satisfatrio, tendo em vista os objetivos desejados. coluna Item de avaliao dos Quadros4e5. Para cada
Os Quadros 4 e 5 mostram os critrios que item so listados os elementos das escalas definidas.
fazem parte da primeira camada de critrios na Tais escalas permitiram a avaliao conceitual do
estrutura hierrquica do AHP, com seus respectivos item pelo avaliador, se adequando bem aos critrios
PG gerados pelo AHP. Os Quadros4e5 mostram qualitativos.
o cdigo identificador de cada critrio-folha, ou O passo seguinte consistiu em determinar as
seja, de cada aspecto considerado na avaliao de mensuraes das escalas nominais. Para cada grupo de
O problema de seleo de portflio de projetos... 11
Quadro 4. Peso dos critrios e escalas utilizados na avaliao dos projetos em relao contribuio para os objetivos
institucionais.
Objetivo principal: Pesquisa comprometida com o desenvolvimento local e regional (RC = 0,00)
Item de
Critrios/Aspectos Peso Pesos das opes de resposta
avaliao
Avano cientfico e tecnolgico peso = 0,3507 (RC = 0,03)
muito satisfatoriamente pouco nada
Obj#1_1 (RC = 0,00) 0,1992 1,1
0,5375 0,3027 0,1055 0,0543
muito satisfatoriamente pouco nada
Obj#1_2 (RC = 0,00) 0,0344 1,2
0,5375 0,3027 0,1055 0,0543
muito satisfatoriamente pouco nada
Obj#1_3 (RC = 0,00) 0,1171 1,3
0,5375 0,3027 0,1055 0,0543
Compromisso social peso = 0,3507 (RC = 0,00)
2,1 muito satisfatoriamente pouco nada
Obj#1_4 (RC = 0,00) 0,2630
0,5375 0,3027 0,1055 0,0543
2,2 muito satisfatoriamente pouco nada
Obj#1_5 (RC = 0,00) 0,0877
0,5375 0,3027 0,1055 0,0543
Articulao com ensino, pesquisa e extenso peso = 0,1892 (RC = 0,00)
3,1 muito satisfatoriamente pouco nada
Obj#1_6 (RC = 0,00) 0,1419
0,5375 0,3027 0,1055 0,0543
3,2 muito satisfatoriamente pouco nada
Obj#1_7 (RC = 0,00) 0,0473
0,5375 0,3027 0,1055 0,0543
Vinculao com as reas de pesquisa do IFF peso = 0,1093 (RC = 0,00)
4,1 sim No
Obj#1_8 (RC = 0,00) 0,0364
0,9000 0,1000
4,2 alta Mdia baixa nenhum
Obj#1_9 (RC = 0,00) 0,0729
0,5375 0,3027 0,1055 0,0543
Total 1,0000
Fonte: Elaborado pelos autores.
Quadro 5. Peso dos critrios e escalas utilizados na avaliao dos projetos em relao aos requisitos exigidos para cada
pesquisa cientfica.
Objetivo principal: Avaliao da pesquisa cientfica (RC = 0,01)
Item de
Critrios/Aspectos Peso Pesos das opes de resposta
avaliao
Originalidade da pesquisa peso = 0,0580
sim parcialmente No
Obj#2_1 (RC=0,00) 0,0580 1,1
0,7606 0,1577 0,0817
Qualidade tcnica do projeto peso = 0,2204 (RC = 0,00)
timo bom Regular pssimo
Obj#2_2 (RC=0,00) 0,0773 2,1
0,5375 0,3027 0,1055 0,0543
timo bom Regular pssimo
Obj#2_3 (RC=0,00) 0,0773 2,2
0,5375 0,3027 0,1055 0,0543
2,3 timo bom Regular pssimo
Obj#2_4 (RC=0,00) 0,0417
0,5375 0,3027 0,1055 0,0543
timo bom Regular pssimo
Obj#2_5 (RC=0,00) 0,0241 2,4
0,5375 0,3027 0,1055 0,0543
Qualidade de redao e organizao do texto peso = 0,0800 (RC = 0,01)
timo bom Regular pssimo
Obj#2_6 (RC=0,00) 0,0114 3,1
0,5375 0,3027 0,1055 0,0543
timo bom Regular pssimo
Obj#2_7 (RC=0,00) 0,0114 3,2
0,5375 0,3027 0,1055 0,0543
Fonte: Elaborado pelos autores.
12 Ribeiro, M. C. C. R.etal. Gest. Prod., So Carlos
Quadro 5. Continuao...
Objetivo principal: Avaliao da pesquisa cientfica (RC = 0,01)
Item de
Critrios/Aspectos Peso Pesos das opes de resposta
avaliao
timo bom Regular pssimo
Obj#2_8 (RC=0,00) 0,0314 3,3
0,5375 0,3027 0,1055 0,0543
timo bom Regular pssimo
Obj#2_9(RC=0,00) 0,0186 3,4
0,5375 0,3027 0,1055 0,0543
timo bom Regular pssimo
Obj#2_10 (RC=0,00) 0,0071 3,5
0,5375 0,3027 0,1055 0,0543
Adequao entre o plano de atividades do(s) aluno(s) bolsista(s) e os objetivos/cronograma do projeto
peso = 0,2106 (RC = 0,00)
timo bom Regular pssimo
Obj#2_11(RC=0,00) 0,1580 4,1
0,5375 0,3027 0,1055 0,0543
timo boa Regular pssima
Obj#2_12 (RC=0,00) 0,0527 4,2
0,5375 0,3027 0,1055 0,0543
Viabilidade de execuo do projeto peso = 0,2106 (RC = 0,01)
alta satisfatria Baixa
Obj#2_13 (RC=0,00) 0,1135 5,1
0,7606 0,1577 0,0817
considervel suficiente Pouco nenhum
Obj#2_14 (RC=0,00) 0,0345 5,2
0,5375 0,3027 0,1055 0,0543
timo Bom Regular pssimo
Obj#2_15(RC=0,00) 0,0626 5,3
0,5375 0,3027 0,1055 0,0543
Produtividade cientfica e tecnolgica do pesquisador na rea temtica do projeto, segundo CV Lattes
peso = 0,2204 (RC = 0,05)
Especia-
Ps-doutorado Doutorado Mestrado Graduao
Obj#2_16(RC=0,03) 0,0264 6,1 lizao
0,4867 0,2720 0,1370 0,0661 0,0382
timo bom Regular baixo Nenhum
Obj#2_17 (RC=0,03) 0,0982 6,2
0,4867 0,2720 0,1370 0,0661 0,0382
timo bom Regular baixo Nenhum
Obj#2_18 (RC=0,03) 0,0084 6,3
0,4867 0,2720 0,1370 0,0661 0,0382
timo bom Regular baixo Nenhum
Obj#2_19 (RC=0,03) 0,0311 6,4
0,4867 0,2720 0,1370 0,0661 0,0382
timo bom Regular baixo Nenhum
Obj#2_20 (RC=0,03) 0,0480 6,5
0,4867 0,2720 0,1370 0,0661 0,0382
timo bom Regular baixo Nenhum
Obj#2_21 (RC=0,03) 0,0084 6,6
0,4867 0,2720 0,1370 0,0661 0,0382
Total 1,0000
Fonte: Elaborado pelos autores.
a combinao do mtodo AHP com mensuraes Engineering and Management, 131(4), 459-466. http://
relativa e absoluta integrado ao processo de coleta dx.doi.org/10.1061/(ASCE)0733-9364(2005)131:4(459).
da avaliao individual dos projetos. A facilidade Francisco, L. T. S. T. (2002). Indicadores para avaliao
de operacionalizao do mtodo em tal software de resultados de projetos de pesquisa cientfica e
pode permitir novas aplicaes em outros mbitos tecnolgica (Dissertao de mestrado). Universidade
da instituio de ensino e pesquisa. Federal do Rio Grande do Sul, Porto Alegre.
Como proposta de natureza exploratria, este artigo
apresenta limitaes. Considerando que o trabalho se Gomes, L. F. A. M., Araya, M. C. G., & Carignano, C.
restringiu seleo de novos projetos submetidos (2004). Tomada de decises em cenrios complexos
(M. C. G. Araya, Trad.). So Paulo: Pioneira Thomson
avaliao conceitual em mltiplos critrios com base
Learning.
em um estudo de caso, as generalizaes derivadas
de um trabalho dessa natureza podem no ser de Gomes, L. F. A. M., Simes Gomes, C. F., & de Almeida,
todo aplicveis em contextos similares em outras A. T. (2002). Tomada de deciso gerencial: enfoque
instituies de ensino e pesquisa. No entanto, pela multicritrio. So Paulo: Atlas.
prpria natureza exploratria, acredita-se que tais Ivanovi, I., Grujii, D., Macura, D., Jovi, J., & Bojovi,
aspectos no reduzam sua validade como esforo de N. (2013). One approach for road transport project
pesquisa emprica voltada soluo de um problema selection. Transport Policy, 25, 22-29. http://dx.doi.
de gesto envolvendo alocao de recursos em uma org/10.1016/j.tranpol.2012.10.001.
instituio de ensino e pesquisa.
Kerzner, H. (2009). Project Management: a systems
approach to planning, scheduling, and controlling (10.
Referncias ed.). New Jersey: John Wiley & Sons.
Almeida, A. T., & Duarte, M. D. O. (2011). A multicriteria Lima, M. T. A., Oliveira, E. C. B., & Alencar, L. H. (2014).
decision model for selecting project portfolio with Modelo de apoio deciso para priorizao de projetos
consideration being given to a new concept for synergies.
em uma empresa de saneamento. Production, 24(2),
Pesquisa Operacional, 31(2), 301-318. http://dx.doi.
351-363.
org/10.1590/S0101-74382011000200006.
Lpez, H. M. L., & Almeida, A. T. (2014). Utilizando
Alves, A. S., Quelhas, O. L. G., Silva, M. H. T., & Lameira,
PROMETHEE V para seleo de portflio de projetos
V. J. (2015). On the role of university in the promotion
de uma empresa de energia eltrica. Production,
of innovation: exploratory evidences from a university-
24(3), 559-571. http://dx.doi.org/10.1590/S0103-
industry cooperation experience in Brazil. International
65132013005000045.
Journal of Innovation and Learning, 17(1), 1-18. http://
dx.doi.org/10.1504/IJIL.2015.066061. Luiz, R. R. (2006). Avaliao de produtividade acadmica:
uma proposta de quanticao. RBPG, 3(6), 300-312.
Andrade, M. M. (2010). Introduo metodologia do trabalho
cientfico: elaborao de trabalhos na graduao (10. Meskendahl, S. (2010). The influence of business strategy
ed.). So Paulo: Atlas. on project portfolio management and its success: a
Arajo, A. G., & Almeida, A. T. (2009). Apoio deciso conceptual framework. International Journal of Project
na seleo de investimentos em petrleo e gs: uma Management, 28(8), 807-817. http://dx.doi.org/10.1016/j.
aplicao utilizando o mtodo PROMETHEE. Gesto ijproman.2010.06.007.
& Produo, 16(4), 534-543. http://dx.doi.org/10.1590/ Mxas, M. P. P., Costa, H. G., & Quelhas, O. L. G. (2013).
S0104-530X2009000400004. Avaliao da importncia relativa dos critrios para
Archer, N. P., & Ghasemzadeh, F. (1999). An integrated a seleo de Sistemas Integrados de Gesto (ERP)
framework for project portfolio selection. International para uso em empresas da construo civil. Gesto &
Journal of Project Management, 17(4), 207-216. http:// Produo, 20(2), 337-356. http://dx.doi.org/10.1590/
dx.doi.org/10.1016/S0263-7863(98)00032-5. S0104-530X2013000200007.
Bond, S. D., Carlson, K. A., & Keeney, R. L. (2008). Miranda, C. M. G., & Almeida, A. T. (2004). Viso
Generating objectives: can decision makers articulate multicritrio da avaliao de programas de ps-graduao
what they want? Management Science, 54(1), 56-70. pela CAPES: o caso da rea engenharia III baseado no
http://dx.doi.org/10.1287/mnsc.1070.0754. ELECTRE II e MAUT. Gesto & Produo, 11(1), 51-64.
http://dx.doi.org/10.1590/S0104-530X2004000100005.
Carvalho, M. M., Lopes, P. V. B. V. L., & Marzago,
D. S. L. (2013). Gesto de portflio de projetos: Moreira, M. L., & Velho, L. (2008). Ps-graduao no
contribuies e tendncias da literatura. Gesto & Brasil: da concepo ofertista linear para novos
Produo, 20(2), 433-453. http://dx.doi.org/10.1590/ modos de produo do conhecimento implicaes
S0104-530X2013000200013. para avaliao. Avaliao, 13(3), 625-645.
Cheng, E. W. L., & Li, H. (2005). Analytic network process Neves, R. B., Pereira, V., & Costa, H. G. (2015). Auxlio
applied to project selection. Journal of Construction multicritrio deciso aplicado ao planejamento e gesto
O problema de seleo de portflio de projetos... 15
na indstria de petrleo e gs. Production, 25(1), 43-53. Saaty, T. L. (2005). The Analytic Hierarchy and Analytic
http://dx.doi.org/10.1590/S0103-65132013005000060. Network Processes for the measurement of intangible
Padovani, M., Carvalho, M. M., & Muscat, A. R. N. criteria and for decision-making. I In J. Figueira, S.
(2010). Seleo e alocao de recursos em portflio de Greco & M. Ehrgott (Eds.), Multiple criteria decision
projetos: estudo de caso no setor qumico. Gesto & analysis: state of the art surveys (pp. 345-408). New
Produo, 17(1), 157-180. http://dx.doi.org/10.1590/ York: Springer Sciense+Business Media.
S0104-530X2010000100013.
Santana, M. G. H. (2009). Produo do conhecimento
Paoli, D., & Moraes, L. A. F. (2011). Apoio Multicritrio cientfico em transio: novas perspectivas para a
deciso como subsdio gesto ambiental: o caso da avaliao das aes induzidas na rea de sade pelo
Aggreko Brasil. Gesto & Produo, 18(2), 379-390. CNPq (Tese de doutorado). Universidade de Braslia,
http://dx.doi.org/10.1590/S0104-530X2011000200012. Braslia.
Project Management Institute PMI. (2013). Um guia Silva, V. B. S., Schramm, F., & Carvalho, H. R. C. (2014).
do conjunto de conhecimentos em gerenciamento de O uso do mtodo PROMETHEE para seleo de
projetos: Guia PMBOK (5. ed.). Pennsylvania. candidatos bolsa-formao do Pronatec. Production,
Rodrigues, L. O. C., Fo. (2011). Publicar mais, ou melhor? 24(3), 548-558.
O tamandu olmpico. Psicologia USP, 22(2), 457-472.
Smit, J. W., Dias, E. W., & Souza, R. F. (2002). Contribuio
http://dx.doi.org/10.1590/S0103-65642011005000014.
da Ps-graduao para a Cincia da Informao no
Roy, B. (2005). Paradigms and challenges. In J. Figueira, Brasil: uma viso. DataGramaZero: Revista de Cincia
S. Greco & M. Ehrgott (Eds.), Multiple criteria decision da Informao, 3(6).
analysis: state of the art surveys (pp. 3-24). New York:
Springer Sciense+Business Media. Tuncer, Y. (1975). Some aspects of science-based technological
promotion. Policy Sciences, 6(3), 267-280. http://dx.doi.
Roy, B., & Slowinski, R. (2013). Questions guiding the
org/10.1007/BF00139970.
choice of a multicriteria decision aiding method. EURO
Journal on Decision Processes, 1(1), 69-97. http:// Vargas, R. V. (2010). Utilizando a programao multicritrio
dx.doi.org/10.1007/s40070-013-0004-7. (Analytic Hierarchy Process AHP) para selecionar
Saaty, T. L. (1990). How to make a decision: The analytic e priorizar projetos na gesto de portflio. In PMI
hierarchy process. European Journal of Operational Global Congress 2010. Washington. Recuperado em
Research, 48(1), 9-26. http://dx.doi.org/10.1016/0377- 12 de janeiro de 2016, de http://www.ricardo-vargas.
2217(90)90057-I. com/articles/analytic-hierarchy-process/#portuguese
Saaty, T. L. (1991). Mtodo de anlise hierrquica (W. S. Vincke, P. (1992). Multicriteria decision-aid. England:
Silva, Trad.). So Paulo: McGraw-Hill. John Wiley & Sons.