O VALOR DA INFORMAÇÃO CIENTÍFICA EM PORTUGAL: ESTUDO
DO CASO B-ON
Luiza Baptista Melo1, Cesaltina Pires2
1Estudante de Doutoramento, CIDEHUS – Universidade de Évora, Évora, Portugal
2Professora Associada com Agregação, Dep. Gestão e CEFAGE – Universidade de Évora, Évora,
Portugal
Resumo
Na actualidade, a comunidade académica de Portugal tem acesso, via
Internet, a grande quantidade de informação científica de qualidade adquirida por
compra. O Governo investe quer em infra-estruturas quer em informação. Neste
contexto, é útil estimar quais são os retornos. O presente estudo tem enfoque nas
seguintes questões; determinar o valor económico, em termos monetários, dos
serviços oferecidos pela Biblioteca do Conhecimento Online (b-on), na perspectiva
do usuário, e correlacionar esse valor com a utilização e a produção científica.
A amostra é constituída por 1930 respostas obtidas por questionário
electrónico enviado via e-mail à comunidade académica. O Método de Avaliação
Contingencial (MAC), na forma willingness to pay (WTP), estimou em termos
monetários, o valor económico que os usuários atribuem ao consórcio b-on. A
metodologia desenvolvida baseia-se no cálculo da média ponderada do WTP para
os usuários das várias instituições académicas e na análise de correlações com
dados de utilização da b-on e bibliométricos.
Palavras-Chave: Economia da Informação 1; Bibliotecas Digitais 2; Bibliotecas Académicas
3; Avaliação de Bibliotecas 4; Avaliação Contingencial 5.
Abstract
Nowadays the Biblioteca do Conhecimento Online (b-on) provides unlimited
access to research and academic institutions to the full texts of more than 16,750
scientific publications, via Internet, at the national level. The Portuguese Government
has been investing to improve the access to the production of knowledge so as to
develop the country. It is important to know the return on the investments in university
libraries. This paper explores some issues, they are the following: (i) to investigate
how the Portuguese academic community values b-on services in monetary terms;
(ii) to investigate the correlations between; the use of the b-on services and the
Portuguese production of knowledge (published papers), and the use of the b-on
services and the average user being willingness to pay to access the b-on services,
in the various academic institutions.
In order to investigate these problems we use a sample consists of 1930
responses from a questionnaire sent via e-mail to the academic community. The
Contingent Evaluation Method, as willingness to pay (WTP), estimated in monetary
terms, the value for the users of the b-on services. The methodology is based on
statistic calculations of the WTP values and correlation analysis with data use and
bibliometrics.
Keywords: Information Economic 1; Digital Libraries 2; Academic Libraries 3;
Libraries Evaluation 4; Contingent Valuation 5.
1 Introdução
O Mundo está atravessando uma grave crise económica a nível global. Os
países desenvolvidos enfrentam vários e sérios problemas orçamentais, estando
sujeitos a fortes restrições. As organizações públicas e privadas encontram-se sob
grandes constrangimentos orçamentais. As instituições Portuguesas académicas, de
investigação e de desenvolvimento não são excepção. É urgente estudar e aferir o
problema dos custos e dos retornos dos investimentos nos serviços prestados pelas
bibliotecas académicas.
Na actualidade, o consórcio Português, Biblioteca do Conhecimento Online
(b-on), dá acesso ilimitado a grande quantidade de informação científica, adquirida
por compra. São mais de 16.750 revistas, em texto integral, que podem ser
acessadas, via Internet, a nível nacional, nas universidades, centros de investigação
e hospitais (FCCN, 2008).
O governo de Portugal tem vindo a investir de forma a promover o acesso ao
conhecimento, com o objectivo de reunir sinergias, para um aceleramento do
desenvolvimento sustentado do País. É importante avaliar os benefícios desses
investimentos nas bibliotecas académicas. Este estudo tem como principal enfoque
identificar o impacto dos serviços da b-on, Biblioteca do Conhecimento Online, nas
bibliotecas do Ensino Superior em Portugal. Esta investigação explora as seguintes
questões: (i) Qual o valor económico da b-on, em termos monetários, na perspectiva
dos usuários; (ii) Que correlações existem entre esses valores, a utilização desse
serviço e a produção científica.
2 Revisão de Literatura
Existe extensa literatura que expõe um enorme conjunto de métodos para a
análise de avaliações de bibliotecas académicas. Não é objectivo deste estudo
referir exaustivamente esses trabalhos de imenso valor e utilidade. No entanto, não
se pode deixar de referir o manual Measurement in Academic Libraries, publicado
em 1996, e criado no âmbito dos trabalhos da Statistics and Evaluation Section da
International Federation of Library Associations and Institutions (IFLA) para as
bibliotecas académicas e especializadas, que se tornou rapidamente uma obra
reconhecida internacionalmente e aceite na área das Bibliotecas e Ciência da
Informação. É neste contexto, que Roswitha Poll e Peter te Boekhorst publicam, em
2007, a segunda edição revista e alargada, intitulada Measuring Quality.
Em 1999, surgiu o projecto LibQUAL+ que foi desenvolvido por uma parceria
entre a Association of Research Libraries e a Texas A&M University. A metodologia
LibQUAL+ alicerçou-se no modelo SERVQUAL (PARASURAMAN et al., 1985). Na
actualidade, este projecto exibe uma extraordinária dimensão e já foi testado com
600.000 usuários, em mais de 800 instituições, em várias línguas, nos seguintes
países: Estados Unidos da América do Norte, Canada, Austrália, Reino Unido,
França, Irlanda, Holanda, Suíça, Dinamarca, Finlândia, Noruega, Suécia, Egipto,
Emiratos Árabes Unidos e África do Sul (THOMPSON, KYRILLIDOU, COOK, 2008).
A metodologia LibQUAL+ tem dado lugar à fundamentação de algumas
investigações em Portugal e no Brasil. Um projecto consolidado, inspirado no
modelo SERVQUAL e no LIBQUAL+ é sem dúvida o Programa de Avaliação da
Qualidade de Produtos e Serviços do Sistema Integrado das Bibliotecas da
Universidade de São Paulo (2009) desenvolvido, desde 2000, por um grupo de
bibliotecários no Brasil.
Lancaster (1993) afirmou que era excepcionalmente difícil, senão quase
impossível, traduzir em termos monetários os benefícios dos serviços de uma
biblioteca. No entanto, Hider (2008) refere que nas últimas décadas identificaram-se
“correntes” de avaliação de bibliotecas com enfoque na quantificação do benefício
do usuário final. Este autor explica ainda que os estudos evoluíram no sentido de
encontrar novos caminhos pelos quais a organização beneficie com os serviços de
informação. Adjacente a esta ideia, emergiram investigações para determinar o valor
económico, em termos monetários, dos serviços prestados pelas bibliotecas
recorrendo a um modelo económico o Método de Avaliação Contingencial (MAC)
com o objectivo de estimar a razão Custo/Benefício.
Murgai e Ahmadi (2007) se referem a estudos de Tenopir, 1991-2000, e
argumentam que "as suas investigações indicam que as bibliotecas adoptaram pelos
serviços digitais para as fontes de informação a um ritmo acelerado, devido à
disponibilidade da Internet, em especial a World Wide Web”. Os recursos digitais
transformaram completamente os serviços das bibliotecas universitárias. Esses
autores enfatizam a relevância de colectar e reportar estatísticas para acreditação,
comparação e obtenção de boas práticas.
Segundo Noonan (2003), o "Método de Avaliação Contingencial (MAC) tem
sido cada vez mais aplicada aos recursos culturais" e, portanto, ele é um candidato
natural para estimar o valor monetário dos serviços das bibliotecas. De facto, na
última década, alguns autores recorreram ao Método de Avaliação Contingencial
para valorar em termos monetária os serviços das bibliotecas (HOLT; ELLIOTT;
MOORE, 1999; MCDERMOTT, 2002; MORRIS; SUMSION; HAWKINS, 2002; HOLT;
ELLIOTT, 2003; BRITISH LIBRARY, 2004; BARRON et al., 2005; AABø, 2005a;
MORRIS; AYRE; JONES, 2006; ELLIOTT et al., 2007; HIDER, 2008), por exemplo
das bibliotecas públicas (HARLESS e FRANK, 1999; MELO e PIRES, 2010) das
bibliotecas académicas, (CHUNG, 2007) e das bibliotecas especializadas.
3 Materiais e Métodos
3.1 Métodos
A avaliação do consórcio português b-on, na comunidade académica,
decorreu com base nas Normas Internacionais ISO 11620:1998, Amendment 1:2003
additional performance indicators for libraries e ISO 2789:2006.
Oliveira e Coelho (2007) afirmam que “a metodologia de Avaliação
Contingencial consiste em simular um mercado hipotético para o recurso em
avaliação, contemplando diferentes níveis de provisão, e inquirir directamente os
indivíduos sobre a sua disponibilidade em pagar por esse serviço (willingness to pay,
WTP) e/ou disponibilidade em aceitar uma compensação pela potencial perda do
mesmo (willingness to accept, WTA)”.
Nesta investigação implementou-se o Método de Avaliação Contingencial para
estimar em termos monetários a Biblioteca do Conhecimento Online (b-on) na forma
willingness to pay (WTP).
A colecta de dados procedeu-se através de questionários. Inicialmente,
efectuou-se um pré-teste com 50 questionários, em suporte papel. Após essa etapa,
a recolha de dados realizou-se via questionário electrónico. Foram enviadas
mensagens electrónicas à comunidade académica (trinta e duas instituições de
Ensino Superior Público e uma instituição de Ensino Superior Privado), solicitando a
resposta a um questionário electrónico, de 15 de Janeiro a 15 de Maio de 2009.
Obtiveram-se 1930 respostas completas.
O questionário electrónico baseou-se em indicadores de desempenho
definidos pelas Normas Internacionais ISO e no Método de Avaliação Contingencial
(MAC), para avaliar os serviços electrónicos de informação das bibliotecas
académicas portuguesas. O cenário hipotético criado para esta aferição, com base
no MAC, fundamentou-se na seguinte ideia: Suponha que a Biblioteca do
Conhecimento Online deixava de existir, não sendo possível utilizar estes serviços
através da sua instituição. Contudo, continua a ser possível acessar aos serviços
individualmente através do pagamento de uma mensalidade. Qual é o máximo que
estaria disposto a pagar para continuar a acessar às fontes desta biblioteca digital,
tendo em consideração os benefícios de tempo, esforço, custos de deslocação,
impacto no número de artigos publicados, além de outros factores, numa escala de 5
Euros a 50 Euros? (MELO, PIRES 2009). A escala de valoração considerada no
estudo baseou-se em dados da FCCN (2008).
Existindo um enorme número de potenciais usuários destes serviços, o
questionário foi realizado a uma amostra da população académica portuguesa.
Nesta pesquisa, ao inferirmos resultados utilizámos a amostra estratificação em
cada instituição que participou no projecto de avaliação.
WTP (Euros/Mês)
0
5
10
15
20
30
40
50
outro
Média Ponderada
ISTEC*
33.3
33.3
33.3
0.0
0.0
0.0
0.0
0.0
0.0
5.00
Universidade dos Açores
22.2
7.4
33.3
7.4
11.1
7.4
0.0
7.4
0.0
12.95
Universidade do Algarve
17.7
31.9
13.8
4.3
5.7
1.1
0.4
0.0
0.7
5.25
Universidade de Aveiro
26.8
26.8
15.9
3.7
9.8
4.9
2.4
2.4
3.7
9.08
Universidade da Beira Interior
17.1
17.1
31.4
2.9
2.9
0.0
0.0
0.0
5.7
5.01
Universidade Católica Portuguesa
28.6
14.3
7.1
7.1
28.6
7.1
0.0
0.0
0.0
10.34
Universidade de Coimbra
29.3
25.9
16.4
2.6
0.9
6.0
0.0
2.6
1.7
6.61
Universidade de Évora
20.8
25.0
25.0
6.8
3.4
1.1
0.0
0.0
1.1
5.78
Univeridade de Lisboa
25.4
27.7
13.8
4.6
6.9
1.5
0.0
3.1
4.6
6.84
Universidade da Madeira
25.0
16.7
0.0
8.3
25.0
16.7
0.0
0.0
8.3
12.09
Univeridade do Minho
42.0
0.0
4.8
4.8
23.8
0.0
0.0
14.3
4.8
13.11
Universidade Nova de Lisboa
16.8
31.0
19.4
3.9
5.2
0.4
0.4
1.3
2.2
6.05
Universidade do Porto
18.1
29.0
13.0
3.6
5.3
1.9
0.4
4.1
2.6
7.13
Universidade Técnica de Lisboa
28.8
11.3
17.5
8.8
7.5
6.3
1.3
3.8
2.5
9.45
Univer. de Trás-os-Montes e Alto Douro
16.0
40.0
28.0
4.0
4.0
4.0
0.0
4.0
0.0
9.40
* Instituto Superior de Ciências do Trabalho e da Empresa
Qual é o máximo que estaria disposto a pagar para continuar a acessar à b-on (Euros/mês) ? (%)
Instituições
3.2 Análise de dados
A primeira fase deste projecto concretizou-se com a recolha de dados via
questionário electrónico. A fase seguinte envolveu a comparação entre os diferentes
tipos de usuários. A composição da amostra de usuários que respondeu ao
questionário
foi
a
seguinte:
Professor
28.0%,
Estudante
de
Doutoramento/Investigador 13.9%, Estudante de Mestrado 19.3%, Estudante de
Licenciatura 31.1% e Outro 7.7% (incluí funcionários das bibliotecas, das
administrações das instituições do Ensino Superior e qualquer outra pessoa da
comunidade académica).
No estudo considera-se que os dados de utilização da Biblioteca do
Conhecimento Online, por instituição, são identificados pelo número de downloads
de cada instituição membro da b-on, no ano de 2007 (FCCN, 2008).
Para a pesquisa assumiram-se, ainda, o número de documentos publicados
por instituição, em 2007, divulgados nos trabalhos de Nouws, Albergaria, Vieira,
Delerue-Matos e Gomes (2008). Neste trabalho recorreu-se à estatística descritiva
(tabelas de frequência e regressões). Os cálculos foram realizados com os
programas informáticos EXCEL e SPSS (Statistical Package for the Social
Sciences).
4 Resultados
A Tabela 1 sumariza os dados das 1930 respostas obtidas por questionário
electrónico. Esta tabela mostra a distribuição de frequências dos valores máximos
que os usuários estão dispostos a pagar (willingness to pay, WTP) para continuar a
acessar aos serviços da Biblioteca do Conhecimento Online (b-on) e a média
poderada do WTP, por instituição. O cenário hipotético considera que os custos
mensais dos serviços da b-on, para cada usuário, podem variar numa escala de 5 a
50 Euros.
Tabela 1 - Distribuição de frequências e média ponderada do WTP.
Tabela elaborada, em 2010, apartir dos resultados do questionário electrónico.
Panorâmica da distribuição de frequências dos valores máximos que os usuário
estão dispostos a pagar (willingness to pay, WTP) para continuar a aceder aos
serviços da Biblioteca do Conhecimento Online e média ponderada do WTP.
Em seguida, procurou-se observar a relação que existe entre a utilização dos
serviços da Biblioteca do Conhecimento Online (número de downloads por docente
realizados no ano de 2007 (FCCN, 2008)) e a produção científica nacional em
relação às várias Universidades Portuguesas (NOUWS; et al., 2008). Na Figura 1
observa-se facilmente que estes dados estar relacionados.
0.00%
2.00%
4.00%
6.00%
8.00%
10.00%
12.00%
14.00%
16.00%
18.00%
IST
EC
Universidade do
s A
çores
Universidade do
Alg
arve
Universidade de
Ave
iro
Universidade da
Beira In
terior
Universidade C
ató
lica P
ortug
uesa
Universidade de
Coim
bra
Universidade de
Évo
ra
Univerida
de de Lisboa
Universidade da
Madeira
Univerida
de do M
inho
Universidade N
ova de L
isb
oa
Universidade do
Porto
Universidade T
écnica de Lisbo
a
Univer. de T
rás-os-M
ontes e A
lto D
ouro
dow nloads (b-on)/
docente %
Doc.
Publicados/docente%
Figura 1: Frequências relativas do número de downloads por docente
realizados nos serviços b-on, (FCCN, 2008) e a produção científica nacional
(frequência relativa do número de documentos publicados por docente) das
várias Universidades Portuguesas no ano de 2007.
Na Figura 2 observa-se a regressão dos downloads por docente (número de
docentes de acordo com o GPEARI (2008)) versus as publicações por docente para
as várias universidades, no ano de 2007. O coeficiente de correlação é de 0.91179
(aproximadamente 1) o que significa que existe uma boa correlação positiva entre as
duas variáveis.
UTrásMontes
UTecLisboa
UPorto
UNovaLisboa
UMinho
UMadeira
ULisboa
UÉvora
UCoimbra
UCatólica
UBeiraInterior
UAveiro
UAlgarve
UAçores
ISCTE
0.00
0.20
0.40
0.60
0.80
1.00
1.20
0
100
200
300
400
500
600
Downloads/docente
P
u
b
lica
çõ
e
s p
o
r d
o
ce
n
te
Figura 2: Regressão dos downloads por docente versus as publicações por
docente para cada Universidade Pública Portuguesa no ano de 2007
O Figura 3 representa a regressão dos documentos publicados por docente
versus os documentos previstos publicados por docente, das várias Universidades
Portuguesas em função do valor WTP ponderado. O valor do coeficiente de
correlação é 0.04624 (aproximadamente 0) o que significa que as duas variáveis não
dependem linearmente uma da outra.
y = 0.0021x + 0.4159
R2 = 0.0021
0.39
0.40
0.40
0.41
0.41
0.42
0.42
0.43
0.43
0.44
0.00
0.20
0.40
0.60
0.80
1.00
Documentos publicados/docente
D
o
c
u
m
e
n
to
s
p
u
b
lic
a
d
o
s
p
re
v
is
to
s
/d
o
c
e
n
te
Figura 3: Regressão dos documentos publicados por docente versus os
documentos publicados por docente previstos em função do valor WTP
ponderado nas Universidades Portuguesas
5 Conclusões
Os estudos de aferição dos custos, em termos monetários, e dos retornos dos
serviços das bibliotecas académicas são muito úteis na gestão destas organizações.
Na actualidade, as bibliotecas digitais constituem um espaço extremamente
relevante no Ensino Superior. A análise da problemática da Biblioteca do
Conhecimento Online (b-on) tornou-se um imperativo em todas as instituições de
Investigação e de Ensino Superior em Portugal.
O Método de Avaliação Contingencial (MAC) é um excelente modelo para
calcular, em termos monetários, o valor de um bem ou serviço. Verifica-se que o
MAC é um instrumento válido a ser utilizado na avaliação de bibliotecas e centros de
informação.
Neste estudo, observa-se uma boa correlação entre o acesso à Biblioteca do
Conhecimento Online (b-on) e o número de publicações produzidas pelos
investigadores e docentes.
Investigações similares a este estudo são vantajosas para monitorizar as
actividades que se vão desenvolvendo nas bibliotecas do Ensino Superior.
6 Referências
AABø, S. Are public libraries worth their price? A contingent valuation study of Norwegian
public libraries. New Library World, v. 106, n. 1218/129, p. 487-494, 2005.
BARRON, D.; WILLIAMS, R.V.; BAJJALY, S.; ARNS, J.; WILSON, S. The economic impact of
public libraries on South Carolina. Columbia: University of South Carolina, 2005. Disponível
em: <http://www.libsci.sc.edu/SCEIS/home.htm> . Acesso em: 3 jun. 2009.
BRISTISH LIBRARY. Measuring Our Values. London: British Library, 2004. Disponível em: <
http://www.bl.uk/pdf/measuring.pdf> . Acesso em: 15 jan. 2007
CHUNG, H.-K. Measuring the economic value of special libraries. The Bottom
Line: Managing Library Finances, v. 20, n. 1, p. 30-44, 2007.
ELLIOTT, D.S.; HOLT, G.E.; HAYDEN, S.W.; HOLT, L.E. (2007). Measuring your library’s
value: how to do a cost-benefit analysis for public library. Chicago: ALA, 2007.
FCCN-FUNDAÇÃO PARA A COMPUTAÇÃO CIENTÍFICA NACIONAL. b-on: Boletim
Estatístico 2007. Lisboa: Disponível em:
<http://www.bon.pt/dmdocuments/Boletim_estatistico_2007.pdf>. Acesso em 15 out. 2008
FCCN-FUNDAÇÃO PARA A COMPUTAÇÃO CIENTÍFICA NACIONAL. O que é a b-on?
Disponível em: <http://www.b-
on.pt/index.php?option=com_content&view=article&id=116&Itemid=34&lang=pt>. Acesso 20
jun. 2010
GPEARI - Gabinete de Planeamento, Estratégia, Avaliação e Relações Internacionais.
Estatísticas Nacionais: Ensino Superior. Lisboa: GPEARI, 2008. Disponível em:
http://www.estatisticas.gpeari.mctes.pt/?action=5&idt=58>. Acesso em: 28 jul.2008
HARLESS, D. W.; ALLEN, F. R. Using the Contingent Valuation Method to Measure Patron
Benefits of Reference Desk Service in an Academic Library. College & Research Libraries, v.
60, n. 1, p. 56-69, 1999.
HIDER, P. Using the contingent valuation method for dollar valuations of library
services. Library Quarterly, v. 78, n. 4, p. 137-158 (2008).
HOLT, G.E.; ELLIOTT, D.; MOORE, A. Placing a value on public library services.
Public Libraries, v. 38, n. 2, p. 98-108, 1999.
HOLT, G.E.; ELLIOTT, D. Measuring outcomes: Applying cost-benefit analysis to middle-sized
and smaller public libraries. Library Trends, v. 51, n. 3, p. 424-440, 2003.
ISO 11620. Information and documentation – library performance indicators. Geneva:
International Organisation for Standardisation, 1998.
ISO 11620. Information and documentation – library performance indicators: amendment1:
additional performance des bibliothéques. Geneva: International
Organisation for Standardisation, 2003.
ISO 2789. Information and documentation – international library statistics. Geneva:
International Organisation for Standardisation, 2006.
LANCASTER, F. W. If you want to evaluate your library. 2nd ed. Champaign: University of
Illinois Press, 1993.
MCDERMOTT, M. National Bibliographic Database and National Union Catalogue: Economic
Evaluation for the National Library of New Zealand. Wellington: National
Library of New Zealand, 2002. Disponível em: < http://www.natlib.govt.nz/catalogues/library-
documents/economic-valuation-nbd-nuc >. Acesso em: 14 dez 2006.
MELO, L.B.; PIRES C. The impact of the electronic resources in Portuguese academic
libraries: results of a quantitativesurvey. In KATSIRIKOU, A.; SKIADA C. H.
Qualitative and Quantitative Methods in Libraries : theory and applications: proceedings of
the International Conference on QQML2009. New Jersey: Word Scientific, 2009, p. 455-464.
MELO, L.B.; PIRES C. Electronic academic libraries valuation: a case study of the
Portuguese electronic scientific information consortium b-on. In KATSIRIKOU, A.; SKIADA C.
H. (Ed.), QQML2010 - International Conference on Qualitative and Quantitative Methods in
Libraries Proceedings. Chania, Crete, Greece: ASMDA International, 2010.
MORRIS, A.; AYRES C.; JONES, A. Audiovisual materials in UK public libraries: economic
sense? Journal of Documentation, vol. 62, n. 5, p. 555-569, 2006.
MORRIS, A.; SUMSION, J.; Hawkins, M. Economic value of public libraries in the UK. Libri ,
vol. 52, p. 78-87, 2002.
MURGAI, S. R.; AHMADI, M. A multiple regression model for predicting reference desk
staffing requirements. The Bottom Line: Managing Library Finances, v. 20, n. 2, p. 69-76,
2007.
NOONAN, D.S. Contingent Valuation and Cultural Resources: A Meta-analytic Review of
Literature. Journal of Cultural Economics, vol. 27, p. 159-176, 2003.
NOUWS, H.; ALBERGARIA, J.T., VIEIRA, E.S, DELERUE-MATOS, C.; GOMES J.A.N.F.
Documentos indexados no ISI Web of Knowledge, 2000-2007. Research Metrics, n. 1,
2008. Disponível em: <http://www.requimte.pt/index.php?section=416> . Acesso em: 25
mar. 2008.
OLIVEIRA, M.L.; COELHO, M.P. Valorização de bens e serviços culturais: o método de
avaliação contingencial aplicado ao caso das bibliotecas. In: CONGRESSO NACIONAL DE
BIBLIOTECÁRIOS, ARQUIVISTAS E DOCUMENTALISTAS, 9, Ponta Delgada, Açores.
Bibliotecas e arquivos: informação para a cidadania, o desenvolvimento e a inovação.
Disponível em: <http://badinfo.apbad.pt/Congresso9/COM9.pdf> . Acesso em: 16 mai 2007.
PARASURAMAN, A.; ZEITHAML V.A.; BERRY L.L. A conceptual model of service quality
and its implications for future research. Journal of Marketing, v. 49, p. 41-50, 1985.
POLL, R., te BOEKHORST, P. Measuring quality: performance measurement in libraries. 2nd
revised edition. München: K.G. Saur, 2007.
TENOPIR, C.; Read, E. Patterns of database use in academic libraries. College & Research
Libraries, v. 61 n. may, p. 234-246, 2000.
TENOPIR, C. Use and users of electronic library resources: an overview and analysis of
recent research studies. Washington, D.C.: Council on Library and Information Resources.
2003. Disponível em:<http://www.clir.org/pubs/reports/pub120/pub120.pdf>. Acesso em: 6
nov. 2009.
THOMPSON, B.; KYRILLIDOU, M.; COOK, C. How you can evaluate the integrity of your
library service quality assessment data Intercontinental LibQUAL+ analyses used as
concrete heuristic examples. Performance Measurement and Metrics, v.9, n. 3, p. 202-215,
2008.
UNIVERSIDADE DE SÃO PAULO. Sistema Integrado de Bibliotecas. Equipe PAQ; coord.
Maria Imaculada Sampaio... [et al.]; Relatório do Programa de Avaliação da Qualidade dos
Produtos e Serviços das Bibliotecas do SIBi/USP: PAQ/2009. Disponível em: <www:
http://www.sibi.usp.br/areatecnica/Relatório_PAQ_200
9.pdf>. Acesso em: 12 out. 2009.