IFLA

As of 22 April 2009 this website is 'frozen' in time — see the current IFLA websites

This old website and all of its content will stay on as archive – http://archive.ifla.org

IFLANET home - International Federation of Library Associations and InstitutionsAnnual ConferenceSearchContacts

62nd IFLA General Conference - Conference Proceedings - August 25-31, 1996

Des statistiques à l’évaluation : Méthodes et outils dans le projet de la nouvelle bibliothèque de Fresnes

Thierry Giappiconi


PAPER

Un bâtiment au service de la gestion

La ville de Fresnes (commune d'importance moyenne située dans la banlieue sud de Paris), prépare pour l’été 1998, la reconstruction de sa bibliothèque municipale. Ce projet vise à répondre, comme le recommande le "Manifeste de l’UNESCO sur les bibliothèques publiques", aux besoins de la population en matière de formation, d’information et de culture.

La construction de ce bâtiment constitue, à l'échelle d'une ville de cette importance, un investissement important. Si ce projet peut voir le jour malgré une conjoncture budgétaire très défavorable, c'est d’abord parce qu’il répond à des objectifs sociaux clairement définis :

C'est ensuite parce que le projet de construction s'est accompagné d'une réforme de l'organisation visant à en rendre les coûts de fonctionnement raisonnables. La démarche de rationalisation qui a dicté la conception de la nouvelle bibliothèque se traduit ainsi dans la définition d'objectifs d'efficience visant à la recherche du meilleur coût-efficacité.

C'est enfin parce qu'il est apparu que ces objectifs, loin de relever du seul domaine de la déclaration d'intention, pouvaient se traduire en résultats concrets et donc mesurables.

De la mesure de l'activité, à la mesure de l'efficacité

Toute démarche de management suppose que les objectifs puissent être, à un moment ou un autre, comparés à des résultats. Il ne peut en effet y avoir de gestion sérieuse sans objectifs et sans contrôle. Il en est ainsi de la gestion d’entreprise, il en est de même, des services publics et donc des bibliothèques financées par les gouvernements ou les collectivités territoriales.

C'est pourquoi, les gestionnaires publics s'attachent depuis plusieurs années à la définition d'un "management public". Ce management s'est d'abord largement inspirés du management d'entreprise. Cependant (et il faut y voir, sans nul doute, un signe de maturité), le management public à tendance à s'en dégager. C'est qu'il convient en effet de ne pas confondre la gestion des affaires publi ques et la gestion des affaires privées. La gestion privée relève, rappelons le, d'objectifs tournés vers l’intérêt de l’entreprise (c'est à dire celui de ses dirigeants et des ses actionnaires) ; alors que la gestion publique relève de l’expression de "politiques publiques", c'est à dire d’objectifs considérés par les autorités nationales ou locales comme étant d'intérêt public< /b> (par exemple, la défense, la santé publique, l'éducation, etc.).

Cette différence d'objectifs implique des stratégies spécifiques qui font que les critères et les méthodes d’évaluation ne peuvent (pas plus que d'autres outils de gestion), être mécaniquement transposées.

Le caractère d'intérêt public des missions assignées à une bibliothèque la place sous la responsabilité de l’autorité politique à laquelle revient la décision (et donc la responsabilité devant la population) de son financement. Cette autorité doit par conséquent être impliquée dans la définition des objectifs généraux et des objectifs opérationnels de l'établissement.

Si l'on s'accorde à penser que le but de l'évaluation est de déterminer dans quelle mesure l'établissement a répondu aux besoins sociaux qu'il a été chargé de satisfaire et a fait bon usage du bien commun, on peut également penser qu’il doit en être de même pour le choix des indicateurs. Cette question mérite d'autant plus d'attention que les statistiques traditionnelles les plus ré pandues ne reflètent trop souvent qu’une activité qui ne permet pas en elle même, de mesurer la réalisation des objectifs sociaux. En outre, les bibliothèques publiques (qui répondent déjà à des besoins très diversifiés) appliquent des politiques parfois profondément divergentes. C'est pourquoi, la définition explicite des objectifs qualitatifs des services et des politiques doc umentaires est pour les bibliothèques publiques, bien plus encore que pour les bibliothèques universitaires, un préalable à toute mise en place d'un dispositif d'évaluation.

Ainsi, en matière d’efficacité, la valeur que l’on peut par exemple accorder au nombre de prêts par habitant ou au nombre d’inscrits, dépend du contenu des services offerts. La forte fréquentation d'un établissement ou dominent disques et vidéos ne peut, sans abus, être considérée comme un signe d’efficacité du point de vue du développement de la lecture. La formule "Il faut fai re venir le plus de monde possible à la bibliothèque" communément admise comme une évidence est une affirmation dépourvue de sens, si l'on ne précise pas en fonction de quel rôle ou quelle mission, il convient de formuler une telle ambition.

En matière d’efficience les administrations dont dépendent les bibliothèques de service public réduisent souvent leurs objectifs de performance à la baisse de leurs dotations budgétaires. Il s’agit là d’une démarche pour le moins rudimentaire, qui ne peut aboutir qu’à des économies arbitraires et à court terme. Ces mesures technocratiques sont en général indifférentes aux finalités de l’institution. Il en résulte que si l'économie des dépenses publiques réalisée par ce moyen est indéniable, le service, privée de ses moyens d’action est devenu inefficace. Il demeurera cependant toujours trop coûteux, a fortiori si il n'est plus en mesure de jouer son rôle... (Cette logique absurde n’est pas innocente, elle est parfois le moyen choisi par des gouvernements pour déconsidére r, avant de la supprimer, une institution dont il souhaite se décharger.).

La notion de coût n'a de sens que rapportée à la notion d'efficacité. C'est pourquoi, dans l'esprit d'un management public digne de ce nom, le projet de Fresnes a d'abord porté sur la définition d'objectifs qui découlent du choix des rôles et missions assignées à l'établissement. Les options fondamentales de gestion (bâtiments, équipements, personnels, crédits de fonctionnement) rel èvent d'une recherche de pertinence vis à vis des missions assignées à l'établissement. C'est dans ce contexte qu'il conviendra d'apprécier l'efficience de l'organisation, c'est à dire sa capacité a tirer le meilleur parti de ses ressources.

Le choix des indicateurs et des outils de recueil des données

Le projet de Fresnes bénéficie de la chance de définir simultanément une gestion, une construction et des aménagements. Il est donc permis d'envisager de façon cohérente les dimensions théorique et pratique d'un dispositif d'évaluation. Pratiquement, la mise en oeuvre d'un système d'évaluation suppose une instrumentation technique (indicateurs) et un outillage de recueils de ces données (apparei ls électroniques et traitements informatiques).

Du point de vue de l'instrumentation théorique, les bibliothécaires bénéficient d'une abondante littérature professionnelle, et d'une expérience qui en confirme la maturité. Ils disposeront bientôt d’un manuel préparé par l'IFLA (1), d’une sélection d’indicateurs préparée à la demande de la CEE, par la LISU et la De Monfort university (2) et d’une norme ISO (actuellement à l'étape d 'avant projet) (3).

Du point de vue de l'équipement matériel, les progrès rapides de la technique offrent aujourd'hui des possibilités de recueil et de traitement des données qui eussent hier été hors de porté d'une bibliothèque moyenne.

Cependant, les résultat obtenus au moyen de cette instrumentation sont essentiellement quantitatifs. Il ne prennent leur sens que si l'on rend explicite les objectifs qualitatifs et leur traduction en termes de contenu des collections et des services.

Les prêts

Les données traditionnelles d’inscrits et de taux d’emprunt de documents continueront d’être pris en compte aisément par le système informatique intégré qui croise automatiquement les donnés relatives aux lecteurs, et celles relatives aux documents. C’est cependant la rédaction et la publication d’un "Protocole de développement des collections", formulant les buts et les règles du dével oppement des collections, qui permettra de rapporter cette fréquentation à son impact social. Le taux de pénétration de la population en terme d’emprunteurs pourra en effet se référer à une définition explicite du contenu des collections empruntées. Il en est de même du taux de rotation des collections.

A cet égard, l’un des objectifs étant notamment de contribuer à la lecture des oeuvres littéraires, il est envisagé de construire un indicateur à partir d’une sélection d’oeuvres essentielles (notamment de la littérature française que la bibliothèque à pour mission particulière, au sein du réseau départemental, de mettre en valeur pour la période allant du onzième au début du dix-neuvième siècle) . Cet indicateur devrait permettre de tester les capacités de la bibliothèque à contribuer au développement de la lecture (notamment par la rencontre avec les formes soutenues du langage) et la culture (qualité artistique des oeuvres), dans toutes les catégories de la population.

Consultation, référence et information

L’un des objectifs essentiels des nouveaux services est, comme on l'a vu, de répondre à des besoins d'étude, qu'il s'agisse de cursus institutionnels, de nécessités professionnelles ou de loisirs. C'est dans ce but que des salles de lecture sont mises à disposition du public. Il convient donc de mesurer le taux d'occupation de ces équipements et d'établir dans quelle proportion ils sont ut ilisés par les différentes tranches de la population. La solution retenue consiste à contrôler l’accès de la salle d’étude et de la salle de travail. L’ouverture des portes se fera au moyen de la lecture automatique du code à barres de la carte de lecteur. Il sera ainsi possible de disposer de données variables (profil des usagers, des salles d’étude et de lecture) qui pourront être comparées à des données fixes (nombre de place et heures de disponibilité des salles de lecture).

Il en sera de même de l’utilisation des cabines de langue. Lors de la mise à disposition des casques d’écoute contre la remise de la carte des usagers, la saisie des données concernant fréquentation sera enregistrée sur le système d’exploitation afin de déterminer le taux d’utilisation des cabines de langue et le profil de leurs utilisateurs.

Le nombre de visiteurs demeurant sur place pour une lecture informelle dite de « butinage » pourra être estimé par comptage automatique au moyen de cellules photoélectriques situées aux points d'accès du bâtiment. Le système devrait ainsi calculer le temps moyen entre les entrées et les sorties, temps duquel sera déduit le temps d’occupation des salles de travail, afin d’obtenir un taux moyen de séjour dans la bibliothèque (salle de lecture non comprise).

Les catalogues

La réduction du coût du catalogage est un des objectifs majeurs de l’amélioration de la gestion (le temps consacré a un catalogage, au demeurant médiocre, constitue encore en France prés de 3O% du temps de travail du personnel des bibliothèques publiques). Cet objectif va bien entendu de pair avec l’amélioration du catalogue. L'enjeu. est ici la qualité des OPAC, la fiabilité et la pertinence du développement des collections et la facilité d'utilisation de la base pour la production de bibliographies destinées à la mise en valeur des collections.

La solution retenu réside dans le choix d'un système informatique permettant la récupération complète des notices bibliographiques et des notices d'autorité de la Bibliothèque Nationale de France, ainsi que leur mise à jour. Le rapport coût-efficacité de cette solution a déjà permis d'estimer une baisse d'environ 6O% du coût de la constitution des catalogues (4). La qualité des notices bib liographiques étant sans commune mesure avec ce qu'une bibliothèque de cette échelle est capable de produire (notamment celles des notices d'autorité qui contrôlent directement les points d'accés du catalogue, et disposent d'une grande profondeur d'informations), l'évaluation portera sur la capacité de l'OPAC à tirer parti des ressources de cette richesse bibliographique pour la satisfacti on des usagers.

L'étude des coûts et la mise en place des tableaux de bord (Key indicators)

Le lien entre les données bibliographiques et les données de gestion administrative devra permettre, d'une part une analyse comptable des coûts d'acquisition des différents domaines du développement des collections (afin de vérifier la pertinence des attributions budgétaires), et d'autre part un suivi automatique des temps de traitement des documents. Ce dispositif permettra en outr e le calcul des remises, et la prise en compte des frais annexes (emballage, livraisons...), afin de gérer et contrôler les budgets et les comptes fournisseurs.

Enfin, les données comptables (issus d'une saisie détaillée des données de commande et de facturation) gérées automatiquement pourront être transférées, et croisées sur un tableur avec des données estimées (notamment les coûts et temps de travail ) afin de calculer l'évolution des coûts des services ou de celui des différentes fonctions internes de l'organisation de la bibliothèque.

La mise en place des "tableaux de bord" du personnel reposera sur le même principe. Pour chaque échelon de responsabilité, le transfert sur un tableau de calcul permettra de croiser les donnés bibliographiques, les données financières, et les données d'exploitation nécessaires au suivi et à l'évaluation des actions relatives à l'exercice d'une fonction déterminée au sein de la bibliothèqu e .

Les limites de l'évaluation courante

Les informations automatiquement enregistrées par les équipements ne peuvent bien évidement traduire tous les domaines de l'efficacité de l'organisation. Nombre de domaines qualitatifs ne peuvent d'ailleurs relever que d'appréciations subjectives. La mesure de la satisfaction des utilisateurs avec tel ou tel aspect des collections ou des services ne peut, par exemple, reposer que sur des enquêtes dont l'objectivité et l'interprétation seront toujours discutables. En outre, les solutions techniques les plus facilement envisageables ne peuvent, pour des raisons juridiques, être toutes appliquées. Ainsi, le recueil et l'exploitation des données concernant les personnes sont limitées par l'exigence du respect de la vie privée des usagers. Cependant, pour peu que l'on consente à définir des p olitiques et des objectifs explicites, le progrès des méthodes d'évaluation des bibliothèques, et celui des équipements dont elles disposent, mettent désormais à la portée d'un nombre croissant d'entre elles une évaluation plus fine que les statistiques traditionnelles.

Evaluation, responsabilité et démocratie

Le projet de construction de la bibliothèque municipale de Fresnes se fonde sur la définition explicite d'objectifs sociaux essentiels, et sur une démarche de rationalité de la gestion qui rend supportable la charge de son fonctionnement. Or c'est la perspective de pouvoir apprécier les résultats qui out rendu ces objectifs crédibles. Il convient de relever que sans elle cette décision n'aurait p robablement jamais été prise.

C'est pourquoi, le dispositif d'évaluation a joué et jouera un rôle majeur. Il constituera, dés l'ouverture, un outil de référence et de dialogue entre la population (qui supporte, au nom de l'intérêt général, la charge financière de la bibliothèque), l’autorité politique (qui au nom de la population accorde les moyens humains, financiers et matériels) et l’équipe professionnelle (qui recherche le meilleur service de la population, en tirant le meilleur parti des ressources qui lui sont accordées).

Il devra tout d'abord permettre à l'équipe professionnelle de "maintenir le cap" évaluer l'impact des actions pour, au besoin, les réajuster et maîtriser les coûts d'exploitation.

Il devra ensuite permettre à l'autorité politique de mesurer les résultats obtenus et d'apprécier la pertinence des moyens accordés (les ressources de l'établissement sont elles suffisantes, insuffisantes ou bien encore, pourquoi pas, excessives ?).

A moyen terme, il devra enfin permettre à la population de juger si cette réalisation remplit le rôle qui lui a été assigné, et si elle mérite bien les moyens que la collectivité lui accorde.

Cette démarche relève d'une exigence démocratique. Elle répond, en France, à un principe à caractère constitutionnel (5). La "Déclaration des droits de l’homme et du citoyen du 26 août 1989", stipule en effet dans ses articles 14 & 15 que : « les citoyens ont le droit de constater par eux mêmes ou par leurs représentants, la nécessité de la contribution publique, de la consentir librem ent, d’en suivre l’emploi... » (art. 14) ; « la société a le droit de demander compte à tout agent public de son administration » (art. 15). L'évaluation s'affirme ainsi comme un outil de l'exercice de la responsabilité de tous les partenaires de la cité : élus, fonctionnaires, et citoyens. Ainsi conçue, sa philosophie s’inscrit délibérément et profondément dans la pensée Répub licaine des dix-neuvièmes et vingtièmes siècles (héritière da la révolution française), qui repose tout autant sur le respect des droits, que sur l'exercice de la responsabilité des citoyens.

THIERRY GIAPPICONI, mars 1996

Bibliographie

  1. Poll, R. and Boekhorst, P., Measuring quality : international guideline for performances measurement in Academic libraries. München, Germany : Saur 1995.

  2. Ward S. et al. Sumsion, J. Library performance indicators and library management tools. Office of the European Communuties, 1995. (EUR 16448EN)

  3. Libraries performances indicators, (ISO CD 11620)

  4. Deriez, René and Giappiconi, Thierry. Analyser et comparer les coûts du catalogage. Bulletin des bibliothèques de France, T. 39, n°6, 1994.

  5. Kupiec, A. et al. Bibliothèques et évaluation. Paris, France :Editions du Cercle de la Librairie, 1994.