IFLA

As of 22 April 2009 this website is 'frozen' in time — see the current IFLA websites

This old website and all of its content will stay on as archive – http://archive.ifla.org

IFLANET home - International Federation of Library Associations and InstitutionsAnnual ConferenceSearchContacts
*    
To Bangkok Conference programme

65th IFLA Council and General
Conference

Bangkok, Thailand,
August 20 - August 28, 1999


Code Number: 004-120-F
Division Number: VI
Professional Group: Statistics
Joint Meeting with: -
Meeting Number: 120
Simultaneous Interpretation:   No

Une collecte judicieuse de données dans les structures d'information

G. E. Gorman
School of Communications and Information Management
Victoria University of Wellington
Wellington 6001, New Zealand
E-mail: gary.gorman@vuw.ac.nz


Abstract

Les bibliothèques et les centres de documentation dépendent largement des statistiques pour décrire leurs services, évaluer leur activité et mesurer leur performance. Dans le recueil des données dont dépend leur analyse statistique, il y a toujours des suppositions et des variables non contrôlées qui interfèrent avec la pureté et l'objectivité des données, et par conséquent contaminent l'analyse et l'interprétation de celles-ci.

Cette communication met en lumière quelques unes de ces variables, dans une tentative pour attirer l'attention des responsables des structures d'information sur les pièges de la collecte de données et de les encourager à développer des moyens de contrôle des données afin de leur permettre d'utiliser les statistiques plus efficacement.


Paper

Nota bene : les numéros entre parenthèses renvoient aux références bibliographiques.

Les statistiques comme centre d'intérêt

A la fin du 20ème siècle, un des aspects essentiels de la gestion des bibliothèques est la collecte et la production de statistiques. Pour la majorité des directeurs de bibliothèques, le plus est le mieux. : une plus grande quantité de données débouchera sur des informations plus utiles, qui entraîneront des décisions mieux informées et, par conséquent, un service géré de façon plus pertinente. L'hypothèse sous-jacente est que les données concernant l'activité des bibliothèques peuvent être transformées en information utile et que cette information deviendra un outil de gestion.

Il est donc compréhensible que la collecte de données soit considérée par beaucoup comme l'activité de base de tout processus de management. Mais il est moins compréhensible que les directeurs de bibliothèques aient dans l'ensemble tendance à considérer le processus de collecte/interprétation/utilisation de données comme quelque chose à accepter sans discussion, et que beaucoup d'entre eux se contentent de reproduire le même modèle d'année en année sans se poser la question de savoir s'il n'y a pas une meilleure façon de collecter et d'utiliser les données. Pour un spécialiste en sciences sociales, dont l'intérêt premier est la méthodologie de la recherche et dont l'occupation essentielle est d'enseigner cette matière à des étudiants en science de l'information et des bibliothèques, c'est un état de fait inquiétant qui dure depuis plusieurs décennies.

L'objectif principal de cette communication est de suggérer que les professionnels de l'information devraient songer avec profit à utiliser des méthodes de recueil et d'analyse de données non seulement quantitatives, mais aussi qualitatives, dans le but d'arriver à une plus grande fiabilité et à une interprétation plus affinée des résultats de leurs enquêtes. L'objectif secondaire est de mettre en évidence quelques-uns des dangers constitués par l'utilisation de procédés de recueil et d'interprétation de données qui ne soient jamais remis en question.

Les variables qualitatives montrent combien de caractéristiques ou attributs spécifiques sont présents dans un objet, un événement, une personne ou un phénomène : par exemple, le nombre de micro-ordinateurs mis à disposition des étudiants sur un campus. Les variables qualitatives classent l'objet, l'événement, la personne ou le phénomène en catégories définies en fonction des caractéristiques ou attributs par lesquels ils diffèrent : par exemple, la langue de publication d'un titre de journal donné, qui peut être l'anglais, le français, l'hébreu ou l'espagnol (1).

Regarder derrière les «combien» propres aux caractéristiques ou attributs des personnes, choses ou activités que l'on compte ne peut rien changer, mais les bibliothécaires peuvent avoir une meilleure compréhension de leur organisation et de leur travail.

Ceci n'est pas une nouvelle préoccupation, pas plus que ne sont uniques les solutions proposées dans cette communication ; mais, quel que soit ce qui a été dit dans le passé, le problème subsiste et cela vaut la peine d'énumérer de nouveau les réalités. Une de mes collègues de l'Université de Victoria, Rowena Cullen, a mis en doute l'utilité du seul recours aux données quantitatives, dans le cadre de ses recherches sur la mesure des performances. Ainsi, examinant les travaux produits par Pratt et Altmann (2) et par la Library and Information Statistics Unit (LISU) (3), elle se pose des questions au sujet de la fiabilité que l'on peut accorder aux seules statistiques de bibliothèques comme mesure fiable de l'activité des bibliothèques, et elle se demande particulièrement si de telles données peuvent permettre de faire une corrélation entre les moyens et la productivité. En particulier, les questions essentielles de la satisfaction des usagers vis-à vis des services de bibliothèques ou d'information ne sont abordées que par une faible part des études mentionnées ici, en dépit du fait que les auteurs indiquent à plusieurs reprises qu'une analyse plus approfondie est possible et même désirable.

Cullen, dans sa publication, démontre que une bibliothèque est une construction sociale et que, par conséquent, la mesure des performances est également une construction sociale. Ceci signifie que nous devons examiner de très près une matrice intégrant les valeurs, missions et objectifs - trois axes essentiels pour la compréhension de la bibliothèque comme construction sociale. De mon point de vue, le concept de construction sociale est une approche de la bibliothèque et des services d'information, et puisque nous sommes dans le domaine des constructions sociales, les méthodes non quantitatives de recueil et d'analyse de données deviennent plus pertinentes. C'est particulièrement valable dans trois domaines : les usagers des bibliothèques, les collections et les services ou les demandes de renseignements ; nous allons examiner successivement chacun d'eux.

Le décompte des usagers a-t-il un sens ?

La collecte de données repose sur la supposition qu'il est possible d'obtenir une juste représentation des objets ou de la population soumis à étude. Dans une bibliothèque, la valeur d'une telle supposition doit être remise en cause quand on l'applique aux usagers d'une service particulier de bibliothèque. Supposons, par exemple, que nous souhaitons connaître le nombre d'individus utilisant la bibliothèque. Comment comptons-nous ou mesurons-nous cela ? Une méthode élémentaire consiste à tout simplement compter ceux qui entrent dans le bâtiment ou qui en sortent, que ce soit selon des méthodes manuelles ou mécaniques. Et beaucoup de bibliothèques font précisément cela : dans combien de rapports annuels d'activité ne se glorifie-t-on pas du fait que la bibliothèque a reçu en 199 ? la visite de ? ? ? usagers ? Mais qu'est-ce que cela nous apprend ? Ces usagers étaient-ils des usagers occasionnels, des érudits recourant de manière intensive aux services sophistiqués de recherche, des étudiants en quête des documents figurant sur des listes de textes à lire, des personnes âgées utilisant la librairie comme un centre social ou des parents tirant profit pour leurs enfants des programmes d'activités ? En d'autres termes, le décompte des individus ne nous apprend pas grand-chose : il ne distingue pas les différentes catégories d'usagers, pas plus que leurs attentes par rapport au service de bibliothèque. Cet exemple est la parfaite illustration de l'impossibilité de tirer des données quantitatives des statistiques qui fassent sens et une information de valeur : la perception des la population des usagers est par trop rudimentaire. La supposition de base est imparfaite, les données sont imparfaites : il en découle donc que l'interprétation est également imparfaite.

Ce que nous souhaitons réellement, c'est le profil des véritables utilisateurs d'une bibliothèque : qui ils sont, ce qu'ils attendent quand ils pénètrent dans la bibliothèque, quelle utilisation ils font des ressources et services, ce qu'ils pensent des ressources et services, les raisons pour lesquelles ils choisissent d'accéder à la bibliothèque électroniquement ou en personne, etc. Aucune de ces données très utiles ne peut être obtenue par un simple décompte des usagers. De plus, aucun calcul, même dans le cadre des enquêtes d'usagers les plus sophistiquées et les plus détaillées, ne nous apporte des informations sur les usagers potentiels ou les non-usagers, alors que c'est évidemment de ce type de renseignement dont les directeurs de bibliothèques souhaitent disposer : ils veulent avoir des informations sur le marché potentiel de leurs services, de façon à établir un plan des gestion pour utiliser cette réserve. Mais dans un pays aussi sensibilisé aux questions de bibliothèques (plus de 60% de la population utilise les services de bibliothèques publiques - quel que soit le sens du terme « utilise »), la part de la population non-utilisatrice, qu'il convient d'attirer vers notre service de bibliothèque, est très importante. Même le meilleur spécialiste de la question vous dira que la collecte de ces données plus utiles, et donc plus sophistiquées, sur les usagers et les non-usagers est pleine de difficultés et que c'est une affaire dévoreuse de temps et d'argent. Mais jusqu'à maintenant il n'y a pas de solution de remplacement.

Quelle est l'utilité du décompte des collections ?

Si je ne fais pas une erreur en mettant en doute la pertinence du décompte des usagers, distinct du décompte des cohortes distinctes d'usagers et de la définition de leur appréciation des services particuliers, est-il possible de déplacer notre centre d'intérêt des individus aux objets, et plus spécialement, aux collections (néanmoins définies) ?

En bibliothèques, c'est presque une vérité de La Palice, particulièrement depuis le « bon vieux temps » quand la formule de Clapp-Jordan était en vogue que de dire que le décompte d'une collection de livres nous fournit des données qui sont significatives aussi bien en termes quantitatifs que qualitatifs (5). Je le dis à nouveau, presque tous les rapports annuels d'activité déclarent que « la taille de la collection a maintenant atteint tant de livres, tant d'abonnements courants, tant de documents électroniques ». Mais quelle est le lien entre la taille ou le volume de la collection et sa qualité ? C'est une question qui invariablement frustre les statisticiens, parce elle remet en cause l'utilité de l'entreprise statistique. Mais, comme avec les usagers, nous devons être, en tant que professionnels de l'information, essentiellement intéressés par les valeurs et les significations, même si nous examinons des usagers et des collections.

Partant du principe qu'il y a une relation entre quantité et qualité - et ce n'est certainement pas moi qui part de ce principe - il est nécessaire de ? ? ? ? Pour compenser cela, beaucoup de bibliothèques comptent le nombre de prêts ou le nombre d'utilisations des livres, des documents de référence, des revues, des cédéroms, etc. Cependant, tout décompte des prêts ou des utilisations de documents est facilement biaisé par une usage inhabituel ou sortant de l'ordinaire des ceux-ci, comme celui que peut en faire un érudit travaillant sur un projet exceptionnel, un emprunteur avec une lubie passagère pour tel sujet, etc. On peut aussi se demander, si l'on considère un ? ? ? ou un service à forte valeur ajoutée, si les prêts ou les utilisations des documents de la bibliothèque sont un indicateur valide.

Il est possible, bien sûr, d'améliorer les données concernant les prêts et les utilisations de documents en introduisant quelques indicateurs de qualité pour évaluer les collections. Cela signifie que l'on bâtit un système de classement qui généralement compare les documents d'une collection locale avec une mesure extérieure quelconque. En Nouvelle-Zélande, ceci peut vouloir dire que la bibliothèque publique de Wellington, par exemple, accorde une plus grande valeur aux documents qui sont également possédés par la bibliothèque publique de New York. Ou bien, une université peut placer les publications des éditeurs académiques les plus fameux ou celles de agences de Nations Unies au dessus de romans populaires ou des publications des autorités locales. Mais quelle est la mission d'une bibliothèque ou d'un service d'informations, répondre aux besoins d'une communauté locale spécifique ou se mesurer à partir de critères nationaux ou internationaux ? Pour la bibliothèque publique de Wellington, cela peut vouloir dire - peut-être cela doit-il vouloir dire - que les documents qu'elle est la seule à posséder - et non pas ceux qui sont également à la bibliothèque publique de New York - sont les plus appropriés aux besoins des usagers locaux.

En d'autres termes, le décompte des collections, que ce soit les collections de livres ou de tout autre support, n'est pas une mesure de la demande ; le décompte des utilisations n'est pas une mesure du niveau ou de la qualité de l'utilisation ; cela indique seulement que les documents ont été retirés des rayons ou que l'on y a accédé par voie électronique, peut-être parce que rien de mieux n'était disponible. Mais est-ce que cela élude la question ? Pour de trop nombreux bibliothécaires, le niveau des demandes de services n'est pas significatif, alors que la taille des collections ou le nombre d'utilisations des documents l'est.

Les demandes de recherche des usagers peuvent-elles remplacer le décompte des usagers ou des collections ?

Le décompte des usagers et des collections peut nous fournir quelques données, bien que d'une utilité limitée, mais on se sent gêné de répéter que de trop nombreux services de bibliothèques se cachent derrière ces données brutes et font appel à celles-ci à la place d'une analyse pertinente des données. Une alternative adoptée par quelques institutions consiste à compter les demandes de recherche des usagers (à partir du personnel, des systèmes informatiques ou d'autres modes de questions-réponses) Quelques très bons exemples de ceci peuvent être trouvés dans Les bibliothèques professionnelles, un de ces excellents rapports publiés par David Spiller et la LISU : combien de recherches (par l'usager final et avec intermédiaire) ont été, d'après vous, effectuées à partir de votre bibliothèque ou centre d'information ? A combien d'investigations a-t-on, d'après vous, apporté une réponse à partir de votre bibliothèque ou centre d'information ? (6).

Quand on les interroge au sujet du nombre de demandes de recherche, les bibliothèques ont tendance à recenser les demandes sur une période de temps donnée, ou à mettre en relation les interactions perçues des usagers avec les ressources d'information inanimées. Comme toujours avec la collecte de données, il est relativement facile que les données soient biaisées ou déformées par celui qui les recueille - habituellement un membre du personnel de la bibliothèque, qui peut très bien se sentir angoissé par la procédure et qui peut, par conséquent, gonfler les chiffres afin de donner l'impression que le service de recherche est plus actif qu'il ne l'est réellement. Un membre de l'équipe peut, par exemple, altérer intentionnellement les chiffres pour inclure un nombre de questions plus important qu'il ne l'est en réalité ; ou, plus typiquement, une simple demande directionnelle peut être traitée comme une demande de recherche, alors qu'en réalité l'équipe ne doit compter que les demandes d'information.

Comme pour les questions concernant la circulation des collections, nous voulons avoir des informations sur le niveau des demandes. Est-ce que toutes les demandes sont égales ? Non. Est-ce que certaines exigent plus de temps et de plus grands efforts ? Evidemment. Aussi pourquoi ne pas produire des données au sujet du temps consacré à la recherche et du niveau de détail fourni dans la réponse aux questions ?

Considérez combien plus riches pourraient être les données si la question suivante était posée : D'après vous, quelle proportion du nombre total de demandes de recherches auxquelles la bibliothèque ou le centre de documentation doit répondre sont traitées en ? (ici indiquer un éventail de réponses, de 1 minute à 10 minutes ? Ou, pourquoi ne pas demander des informations au sujet du type de questions : qu'est-ce qui relève du domaine du loisir, de l'information, de la recherche ? Est-ce que des questions de ce type nous permettraient d'avoir une meilleure idée de la nature, de la profondeur et de la qualité du service qui a été fourni ?

Comme les demandes de recherche des usagers sont de plus en plus souvent traitées par informatique, il est relativement simple de introduire des mécanismes d'enregistrement dans les systèmes informatiques, permettant une récupération de données sur la longueur des demandes, la quantité de données récupérées, etc. Puisque nous avons abordé la question des systèmes informatisés, il y a aussi la question de compter les interactions usager/machine. Ici il est plus difficile d'altérer les données, ou tout au moins plus facile d'éliminer les questions qui ne sont pas des demandes d'information.

A l'autre extrême, il y a la collecte de données concernant les comportements perçus des usagers, qui sont notoirement peu fiables parce qu'elles reposent sur une observation neutre et discrète. Cette méthode de recueil de données est particulièrement sujette aux distorsions, spécialement dans une bibliothèque, où de la main d'œuvre à bon marché (par exemple, des enquêteurs étudiants) est employée. Cela peut conduire à l'enregistrement sélectif de données d'observation. Certains objets et certaines relations peuvent plus probablement être enregistrés par des enquêteurs qui ont différents intérêts, inclinations et antécédents (7).

En d'autres termes, les compétences dans le domaine de l'observation sont essentielles, à tel point que si celles-ci sont imparfaites, les données recueillies seront imparfaites. L'excellent travail d'Allan Kellehear sur l'observation contient un certain nombre d'avertissements au sujet des techniques de recueil de données, que l'on peut résumer de la manière suivante : l'observateur doit être adroit dans l'observation et ne doit jamais imputer aucune motivation au comportement ou à la conduite observée. Dans les structures d'information, la tendance naturelle est de supposer que l'interaction fait partie en quelque sorte du travail (un usager recherche une information dans un but précis) et cela consiste à imputer une motivation qui peut-être n'existe pas.

Les problèmes des décideurs...

Bien sûr, un des problèmes avec les universitaires qui plaident en faveur de techniques plus élaborées de recueil de données est que, comme tous les praticiens le savent, nous vivons dans des tours d'ivoire, très à l'écart du « monde réel ». Et, on sait bien que dans ce « monde réel », les décideurs pour lesquels très souvent on entreprend le recueil et l'analyse des données ne veulent tout simplement pas avoir beaucoup de détails, ne veulent pas avoir à réfléchir sur ces données et veulent juste une liste pour montrer à quelle point l'institution X est meilleure que l'institution Y (« meilleure » signifiant un budget plus élevé, des transactions plus nombreuses, une collections de livres plus importante, etc.). C'est un fait, nous sommes obligés de reconnaître que la collecte de données est poussée à un degré considérable par ceux auxquels les praticiens doivent rendre des comptes (…).

Que les décideurs soient des administratifs, des gestionnaires, des politiques ou des financiers, il est important d'admettre que ce sont eux qui ont le pouvoir de nous imposer quelles données collecter, comment les utiliser et comment les présenter. Toutes les bibliothèques ou centres de documentation doivent rendre des compte à quelqu'un d'autre, dans la mesure où ils dépendent de ce quelqu'un pour l'attribution de ressources, pour leur raison d'être elle-même. Ce « quelqu'un d'autre » doit comprendre les besoins en informations des bibliothèques. Si les décideurs externes sont autorisés à imposer les besoins en matière de données et les normes de présentation, alors il est totalement réaliste de s'attendre à ce qu'ils structurent les données en fonction de leurs propres intérêts plutôt qu'en fonction des intérêts de la bibliothèque. Et pourquoi ne le devraient-ils pas le faire ?

La sophistication de plus en plus grande des systèmes de gestion de bibliothèques, et la collecte de plus en plus facile des données numériques - sur les usagers, les collections, les dépenses, les transactions - signifie que nous sommes plus liés que jamais aux méthodes quantitatives comme mode d'évaluation. Comme cela se produit souvent, les décideurs deviennent de plus en plus persuadés que les données peuvent être collectées le plus simplement du monde, en tapant ici ou là sur le clavier de l'ordinateur. Par conséquent, il est peu probable que nous puissions casser le moule du quantitatif, parce que ceux qui nous contrôlent continuent à penser que c'est le moyen le plus efficace d'évaluer nos services. De plus - et nous devons l'admettre - les logiciels d'aide à l'analyse des données qualitatives (qui ne sont pas simples à analyser) ne rendent tout simplement pas compte de l'amabilité de l'usager et manquent de la souplesse d'interprétation requise par l'analyse de données. En dépit des appréciations positives des logiciels d'analyse qualitative de données, faites par des spécialistes de l'évaluation comme Miles et Huberman (8), on ne peut s'empêcher d'être septique en considérant les « packages » les plus couramment disponibles sur le marché. Les logiciels, après tout, utilisent des méthodes de traitement des données qualitatives qui intrinsèquement sont plus adaptées à d'autres types de données et qui sont plus dévoreuses de temps.

Il est important de distinguer l'efficience (le prix à l'unité le plus bas pour quelque chose) et l'efficacité (l'accomplissement réussi d'une tâche ou d'une mission). Nos décideurs presque invariablement sont des adeptes de l'efficience, et la technologie qui favorise la collecte et l'analyse de données accroît aussi certainement l'efficience (et seulement l'efficience). Nous, les professionnels de l'information, par contraste, nous sommes membres d'une industrie de service pour laquelle l'accomplissement réussi d'une mission - l'efficacité - devrait être ce qui compte le plus.

Que pouvons-nous faire ?

Il y a un certain nombre de conséquences de la discussion précédente sur ce que nous pourrions faire pour changer la situation et passer d'une collecte et analyse de données, centrées sur les chiffres et motivées par l'efficience, à des techniques de collecte et d'analyse en plus étroite liaison avec le contexte et plus productrices de sens. Toutes ces suggestions sont proposées non pas comme des alternatives, mais comme des améliorations aux mesures statistiques normalisées universellement employées dans le secteur de l'information. Considérons sérieusement les véritables défauts des méthodes quantitatives de collecte et d'analyse de données et cherchons à incorporer des méthodes qualitatives qui permettraient une compréhension plus approfondie des usagers des bibliothèques, des collections et des services :

  • Centrer moins sur les usagers comme un genre et plus sur les catégories spécifiques d'usagers et les profils de leurs demandes et besoins ;
  • Centrer moins sur les aspects numériques des collections et plus sur des indicateurs opportuns de la qualité des collections ;
  • Centrer moins sur le décompte des demandes de recherche des usagers et plus sur la nature et le niveau de ces demandes ;
  • Employer des méthodes qualitatives de recueil de données ayant conscience des difficultés qui sont associés à l'utilisation (…) de ces méthodes ;
  • Favoriser la prise de conscience, parmi les décideurs, que l'efficience et l'efficacité ne sont pas des concepts équivalents, et que l'efficacité dans le secteur de l'information est plus importante que l'efficience ;
  • Travailler avec les sociétés de développement de logiciels à la création de logiciels de traitement qualitatif de données, plus à même de traduire le degré d'amabilité de l'usager et ayant plus de capacités analytiques.

Conclusion

Dans une récente contribution, Dole et Hurych (9) examinent les « nouveaux modes de mesure » dans le domaine de l'évaluation des bibliothèques, en liaison avec les ressources électroniques. Les auteurs passent en revue les mesures traditionnelles et donnent également un aperçu des développements en cours. Il est encourageant de voir que des mesures de l'usage sont dorénavant prises en compte, mais déprimant de voir que celles-ci ne constituent qu'une faible partie des mesures traditionnelles basées sur les coûts, le temps et le nombre de transactions. Si tel est le futur de la collecte de données dans les bibliothèques, alors je ne suis pas convaincu de voir une grande amélioration dans ce que je considère comme une situation moins qu'acceptable.

Plus porteurs de promesses sont les travaux encouragés par la U.S.-based Coalition for Networked Information (http :/www.cni.org), et en particulier, par Charles McClure. Avec l'ouvrage Assessing the Academic Networked Environment : Strategies and options, lui et Cynthia Lopata proposent un manuel d'évaluation des réseaux, d'une approche largement qualitative et très solidement argumenté en faveur de méthodes qualitatives d'évaluation des réseaux dans les bibliothèques universitaires (10). Tout ceci, cependant, n'a pas été accueilli avec beaucoup d'enthousiasme, et n'a certainement pas eu beaucoup d'impact sur la communauté qui effectue la collecte des données.

Au stade final de l'analyse, ce pour quoi nous luttons, c'est pour que les professionnels de l'information soient plus conscients de certaines choses : que les données significatives sont liées au contexte et que le sens dépend de l'interprétation ; qu'elles découlent de variables complexes et difficiles à mesurer ; que la compréhension est un processus inductif. Cela diffère de - mais n'est pas obligatoirement en conflit avec - l'approche quantitative traditionnelle du statisticien qui admet la possibilité d'identifier et mesurer des variables d'une manière relativement simple, qui admet aussi que l'on peut aboutir à des normes et à un consensus par déduction (11). Ces deux points de vue ont leur place dans le travail d'information, mais, s'il vous plaît, ne privilégions pas l'un au dépens de l'autre - ou plutôt ne continuons pas à privilégier l'un (le point de vue quantitatif) aux dépens de l'autre (le point de vue qualitatif).

Rappelons nous le travail ,désormais considéré comme un classique, de Webb et al. sur les mesures « discrètes ». Le chapitre 8 contient le plaidoyer passionné d'un statisticien, qui défend l'utilisation par les chercheurs de « toutes armes d'attaque disponibles » (12). Plus de trente après, il est grand temps que les professionnels de l'information tiennent compte de l'appel et regardent derrière leurs chiffres pour trouver des sources d'une signification potentiellement plus approfondie.

Références bibliographiques

1. Hafner, A.W. (1998). Descriptive Statistical Techniques for Librarians. 2nd ed. Chicago: American Library Association.

2. Pratt, A., and Altmann, E. (1997). 'Live by the Numbers, Die by the Numbers.' Library Journal April 15: 48-49.

3. England L., and Sumsion, J. (1995). Perspectives of Public Library Use: A Compendium of Survey Information. Loughborough: Library and Information Statistics Unit.

4. Cullen, R. (1998). "Does Performance Measurement Improve Organisational Effectiveness? A Post-modern Analysis.' In Proceedings of the 2nd Northumbria International Conference on Performance Measurement in Libraries and Information Services Held at Longhirst Hall, Northumberland, England, 7-11 September, 1997, 3-20. Newcastle upon Tyne: Information North.

5. Clapp, V.W., and Jordan, R.T. (1965). 'Quantitative Criteria for Adequacy of Academic Library Collections.' College and Research Libraries 26: 371-380.

6. Spiller, D.; Creaser, C.; and Murphy, A. (1998). Libraries in the Workplace. LISU Occasional Papers, 20. Loughborough: Loughborough University of Technology, Library and Information Statistics Unit.

7. Kellehear, A. (1993). The Unobtrusive Researcher: A Guide to Methods. St Leonards, NSW: Allen and Unwin.

8. Miles, M.B., and Huberman, A.M. (1994). Qualitative Data Analysis: An Expanded Sourcebook . 2nd ed. Thousand Oaks, CA: Sage Publications.

9. Dole, W.V., and Hurych, J. M. (1999). 'New Measurements for the Next Millennium: Evaluating Libraries in the Electronic Age.' paper prepared for CoLIS3: The Third International Conference on Conception of Library and Information Science, Dubrovnik, Croatia, 23-27 May.

10. McClure, C.R., and Lopata, C. (1996). Assessing the Academic Networked Environment: Strategies and Options. February 1996.

11. Gorman, G.E., and Clayton, P.R. (1997). Qualitative Research for the Information Professional: A Practical Handbook. London: Library Association Publishing.

12. Webb, E., et al. (1966). Unobtrusive Measures: Non-Reactive Research in the Social Sciences. Chicago: Rand-McNally.

*    

Latest Revision: July 27, 1999 Copyright © 1995-2000
International Federation of Library Associations and Institutions
www.ifla.org