Support de cours sur le management de la qualité dans les enquêtes
Introduction
Contexte général
La gestion de la qualité
La Politique générale en matière de gestion de la qualité de l’Institut de la statistique du Québec1 prévoit l’élaboration d’un Recueil de bonnes pratiques dans les enquêtes permettant l’harmonisation des façons de faire lors des phases de conception et de réalisation. On entend ici par « enquête » toute activité visant à recueillir ou à acquérir des données à des fins statistiques. Cela inclut les recensements, les enquêtes par sondage et la production de statistiques à partir de données provenant de dossiers administratifs. La constitution et le maintien d’un fichier administratif à des fins statistiques n’entrent pas dans cette catégorie, seule l’exploitation d’un tel fichier à des fins statistiques appartient au domaine des enquêtes. Le Recueil de bonnes pratiques constitue un des mécanismes internes concourant à la qualité des processus, condition indispensable à la qualité des produits et services. Diffusé au personnel de l’Institut au printemps 2009, il constitue un guide à l’intention des équipes de travail responsables de la production d’enquêtes. Cependant, le désir de l’Institut de s’adresser à un plus large public formé de clients, utilisateurs et partenaires a mené à la conception du Document de principes sur la qualité dans les enquêtes. Celuici est constitué des sections du Recueil de bonnes pratiques dans les enquêtes dont le contenu est moins spécialisé. Ainsi, le présent document est conçu par l’Institut pour informer ses clients, ses utilisateurs et ses partenaires de ses préoccupations générales en matière d’assurance qualité à chacune des étapes de réalisation de ses enquêtes statistiques.
La définition de la qualité
Comme de nombreux organismes statistiques, l’Institut définit la qualité d’un produit par l’ensemble des caractéristiques qui influent sur sa capacité à satisfaire un besoin donné, à permettre un usage prévu. L’Institut retient six dimensions comme critères de la qualité : la pertinence, la fiabilité et l’objectivité, la comparabilité, l’actualité, l’intelligibilité et l’accessibilité. Le tableau 1 résume la définition et les orientations générales d’assurance de la qualité pour chacune de ces dimensions. Pendant la réalisation d’un projet d’enquête, les dimensions constituent des cibles à atteindre pour assurer la qualité de l’information statistique issue de cette enquête. Après sa réalisation, elles repré- sentent les critères qui permettent d’évaluer la qualité de l’information statistique produite. En cours de réalisation, les décisions prises en ce qui a trait aux façons de faire et à leur mise en œuvre doivent tenir compte de toutes les dimensions de la qualité. L’assurance de la qualité d’un produit d’enquête dépend donc du travail effectué par l’équipe de réalisation et par l’ensemble du personnel impliqué, et ce, à toutes les étapes de réalisation de l’enquête. L’objectif ultime est d’assurer la pertinence, la fiabilité et l’objectivité, la comparabilité, l’actualité, l’intelligibilité et l’accessibilité de l’information statistique tirée de l’enquête.
Certains objectifs de qualité peuvent cependant s’opposer. Par exemple, il est difficile de maximiser à la fois l’actualité et la fiabilité et l’objectivité de l’information statistique. Ainsi, l’orientation générale retenue par l’Institut en matière de qualité de ses produits est la suivante : pour un niveau donné de ressources (humaines, matérielles et financières), on doit chercher à atteindre le meilleur équilibre entre les différentes dimensions de la qualité en vue de satisfaire le mieux possible les besoins des utilisateurs et permettre les utilisations prévues.
…
Chapitre 1 – Objectifs, utilisation, utilisateurs, démarrage et planification de l’enquête
Tout projet d’enquête commence par une phase de démarrage puis de planification qui permet, entre autres, de préciser les objectifs et l’utilisation de l’enquête ainsi que les besoins des utilisateurs. Or, à l’étape de la définition des objectifs, utilisations et utilisateurs d’une enquête, c’est d’abord la dimension de la pertinence et, dans une moindre mesure, celles de la fiabilité et de l’objectivité des produits de l’Institut dont il est question. La pertinence de l’information statistique est définie par l’Institut comme sa concordance par rapport aux besoins qu’elle doit combler. Assurer la pertinence de l’information statistique, c’est faire en sorte que les données, les analyses et les synthèses que l’Institut produit répondent de la manière la plus complète possible aux besoins que les utilisateurs institutionnels et autres jugent les plus importants. Donc, assurer la pertinence d’une enquête, c’est s’assurer qu’elle répond aux besoins des utilisateurs, qu’elle est conforme à la mission et au mandat de l’Institut et qu’elle répond à ses orientations stratégiques.
Quant à la dimension fiabilité et objectivité, elle fait référence à la conformité de l’information statistique à la réalité qu’elle doit décrire. Pour l’Institut, assurer la fiabilité et l’objectivité de l’information statistique, c’est pouvoir garantir aux utilisateurs que l’information générée ou utilisée est la plus exacte possible, qu’elle a été produite de manière à minimiser les erreurs typiques qui entachent normalement les données et de façon à maximiser la rigueur scientifique dans les interprétations, analyses et synthèses qui en sont faites. Dans toute enquête, une définition adéquate des objectifs, utilisations et utilisateurs est donc une étape primordiale du processus visant à assurer l’exactitude de l’information statistique produite et sa conformité à la réalité qu’elle doit décrire.
Définitions
Dans Le Petit Robert, un objectif se définit de la façon suivante : « But précis que se propose l’action ». Dans le contexte d’enquêtes statistiques, les objectifs de l’enquête sont définis à partir des besoins pour lesquels on requiert l’information. Ils sont établis en fonction de la problématique de la gouverne, de la recherche ou des hypothèses qui donnent naissance au besoin en information. L’utilisation est l’application attendue des résultats. Elle peut viser différents usages, dont la prise de décision, la veille, la production de statistiques officielles, etc. Pour les enquêtes récurrentes, l’utilisation des résultats peut évoluer au fil du temps. Les utilisateurs sont ceux qui se servent de l’information. Ils sont de toutes natures : organismes publics (ministères, organismes, etc.), groupes de recherche (universités, instituts scientifiques), organismes privés (entreprises, associations d’employeurs, associations professionnelles, syndicats, etc.) ou individus (professeurs, chercheurs, étudiants ou grand public). Dans certains cas, les clients et les principaux utilisateurs, qu’ils participent ou non au financement de l’enquête, peuvent être plus directement concernés par l’information à recueillir.
La phase de démarrage d’une enquête statistique consiste à déterminer les objectifs généraux, les principales hypothèses et contraintes qui caractérisent le projet ainsi qu’une estimation très large des dépenses et des échéanciers prévisibles. Cette phase exploratoire se retrouve au début du processus d’une enquête statistique, lors des discussions et des échanges avec les clients et utilisateurs principaux. Par la suite, une phase de planification de l’enquête vient notamment préciser, dans un énoncé de contenu puis, éventuellement, dans un plan de projet, les objectifs spécifiques et les éléments de qualité attendue et autres paramètres connus.
i) La pertinence d’une enquête se décide lors de la phase de démarrage, en établissant le lien entre les besoins des clients, des utilisateurs et l’intérêt de l’Institut pour une telle enquête. Il va sans dire que cet intérêt dépend de la mission et du mandat de l’Institut, des balises qu’il s’est données en matière de production statistique et de ses moyens. De ces besoins et de l’intérêt de l’Institut découleront des objectifs. Une définition claire des objectifs et de l’utilisation d’une enquête est une condition préalable à la phase de planification de celle-ci qui se fera en collaboration avec les parties prenantes à l’enquête (clients, utilisateurs et équipe de réalisation).
ii) À la phase de démarrage, les échanges avec les clients et utilisateurs permettent de définir les grands objectifs de l’enquête. Lorsque ces échanges sont concluants, la phase de planification peut commencer. À cette étape, il est important de déterminer des objectifs spécifiques et d’en faire un énoncé de contenu clair en indiquant les hypothèses à mettre à l’épreuve et les exigences de données spécifiques. Le consensus au sein de l’équipe de travail de même que chez les clients et utilisateurs sur l’utilisation et les objectifs précis d’une enquête facilite sa planification.
iii) Dans certains cas, la production de statistiques est requise par la loi. Les objectifs et l’utilisation de ces statistiques sont donc définis par une loi. À titre d’exemple, la loi constitutive de l’Institut l’oblige à produire le bilan démographique et la comparaison de la rémunération globale des salariés de l’État avec celle des autres salariés québécois. Dans d’autres cas, les objectifs, l’utilisation et les utilisateurs découlent de grandes orientations gouvernementales. Parfois, ils sont définis ou mis sur pied par des comités d’orientation ou des tables de concertation.
Chapitre 2 – Concepts, variables et classifications
L’essentiel du cadre conceptuel et opérationnel d’une production statistique est constitué de l’ensemble des concepts, des variables et des classifications (nomenclatures). Leurs définitions, préférablement normalisées, doivent respecter les utilisations prévues des données. Les choix des concepts, variables et classifications sont cruciaux pour assurer la pertinence de l’information statistique. En effet, ces choix sont d’abord faits parce qu’ils permettent de satisfaire aux objectifs de l’enquête : les concepts, variables et classifications doivent répondre aux besoins que l’enquête doit combler et permettre les utilisations prévues. Quant à la comparabilité de l’enquête dans le temps ou avec d’autres enquêtes, elle repose en grande partie sur l’utilisation de concepts, variables et classifications communes et normalisées. Enfin, il importe à cette étape de réalisation de l’enquête de préciser les concepts et classifications choisis. Quant aux variables déterminées pour mesurer ces concepts, elles doivent être basées sur des questions, et plus généralement sur le recueil de renseignements, faciles à comprendre par les répondants et par les intervieweurs, le cas échéant. La clarté des formulations utilisées est de mise afin de minimiser les erreurs de réponse, de non-réponse et toute autre erreur de mesure (ex. : erreur de rappels). La dimension fiabilité et objectivité de l’information statistique produite à l’issue de l’enquête en dépend.
Définitions
La classification, dans sa forme la plus simple, consiste en une structure hiérarchisée de noms de groupes et de sous-groupes auxquels correspondent des identificateurs (codes numériques ou alphanumériques). Les classifications comprennent ainsi les définitions des groupes (noms, codes et description de chaque groupe) et une présentation des concepts de base et des principes et critères de classification.
Les classifications peuvent être catégorisées comme suit :
- les classifications décrivant la population, les personnes et leurs conditions de vie (classifications démographiques);
- les classifications décrivant l’activité économique et l’économie nationale;
- les classifications géographiques et les classifications pour les statistiques environnementales;
- les classifications spéciales, telles que la classification des maladies, la classification sur la criminologie, la classification des activités de la culture et des communications, etc. Les critères de classification choisis pour regrouper de façon systématique les données recueillies dans une enquête doivent être pertinents aux besoins de l’analyse.
Principes
i) Afin de pouvoir tirer de bonnes conclusions à partir d’un ensemble de données, il est extrêmement important que les utilisateurs aient une connaissance des concepts qui sous-tendent les données, c’est-à-dire qu’ils doivent savoir ce que les données devraient mesurer. L’Institut doit informer les utilisateurs en cette matière.
ii) La classification fait partie intégrante des statistiques produites dans une enquête. Les classifications standards sont donc des instruments clés de la statistique officielle à des fins de comparabilité notamment.
iv) Les définitions des concepts, des variables et des classifications doivent être soigneusement documentées. Par ailleurs, il faut noter toute différence par rapport aux normes ou aux définitions utilisées pour produire les statistiques. Cette documentation est particulièrement importante pour les utilisateurs qui désirent se servir des données pour un usage autre que celui prévu au plan initial.
v) La classification doit être systématique et doit permettre de classer les unités de façon cohérente en utilisant un critère accepté. Les groupes formés doivent être sans équivoque, exhaustifs et exclusifs; la catégorie « autres » ne doit contenir que très peu d’unités relativement aux autres catégories.
vi) Les variables et les classifications utilisées pour mesurer un concept doivent également tenir compte de facteurs comme :
- la facilité d’obtenir l’information désirée (ex. : la facilité de compréhension du répondant, la clarté du langage utilisé dans le questionnaire, etc.);
- le fardeau imposé au répondant;
- la méthode de collecte;
- le traitement des données;
- la présence d’information dans les dossiers administratifs;
- les coûts associés à la collecte et au traitement.
vii) Il faut changer ou modifier les variables ou classifications devenues désuètes avec le temps.
Chapitre 3 – Base de sondage, population visée et couverture
Définitions
Une base de sondage est soit une liste, soit un document ou un système qui délimite et définit les éléments d’une population visée (ou population cible) et permet d’y avoir accès. La population visée correspond à l’ensemble d’éléments sur lequel on désire recueillir des renseignements et produire des estimations. Parfois, pour diverses raisons, dont celle de minimiser les coûts de collecte, il est convenable d’exclure certaines unités de l’enquête. On définit alors la population enquêtée qui correspond à la population visée moins les unités exclues. La population enquêtée (ou échantillonnée) correspond donc en pratique à la population à partir de laquelle on sélectionne l’échantillon. Le plan de sondage fait partie intégrante du plan global de l’enquête. Il est essentiellement constitué des éléments suivants : le plan d’échantillonnage, les méthodes d’estimation et les méthodes de mesure de la précision. Le plan d’échantillonnage précise comment l’échantillon est tiré de la base de sondage. La couverture désigne la proportion des éléments de la population visée, qui se retrouvent dans la base de sondage. Le potentiel d’inférence, la pertinence et l’exactitude des résultats d’une enquête statistique dépendent de l’utilisation d’une base de sondage adéquate.
Principes
i) La population visée par l’enquête devrait être définie de telle sorte que l’inclusion de chaque unité dans la population peut être déterminée sans ambiguïté. La définition doit donc préciser les critères d’inclusion dans la population.
ii) Une enquête requiert une base de sondage qui couvre toutes les unités de la population visée une et une seule fois, avec chaque unité clairement distincte des autres. Idéalement, chaque unité est accompagnée des renseignements pertinents qui pourront être utilisés pour le plan de sondage ou le contact ou l’estimation.
Table des matières :
INTRODUCTION......................................... 7
CHAPITRE 1
Objectifs, utilisation, utilisateurs, démarrage et planification de l’enquête ........ 13
CHAPITRE 2
Concepts, variables et classifications.............. 15
CHAPITRE 3
Base de sondage, population visée
et couverture ............................................ 19
CHAPITRE 4
Échantillonnage ........................................ 21
CHAPITRE 5
Méthodes de collecte des données et élaboration du questionnaire et des instruments de collecte........................ 23
CHAPITRE 6
Opérations de collecte et de saisie des données ............................................. 29
CHAPITRE 7
Réponse et non-réponse ............................ 31
CHAPITRE 8
Validation et imputation............................. 33
CHAPITRE 9
Pondération.............................................. 37
CHAPITRE 10
Estimation................................................ 39
CHAPITRE 11
Désaisonnalisation et estimation de la tendance-cycle ................................. 41
CHAPITRE 12
Évaluation de la qualité ............................. 45
CHAPITRE 13
Contrôle de divulgation.............................. 47
CHAPITRE 14
Analyse et présentation des données.............. 51
CHAPITRE 15
Diffusion des données ............................... 53
CHAPITRE 16
Documentation et emmagasinage ............... 55
CHAPITRE 17
Utilisation des données administratives ....... 57
ANNEXE A
Les méthodes de collecte........................... 59
BIBLIOGRAPHIE ...................................... 63
