- 1. Quelles recommandations peuvent être évaluées avec la Grille AGREE II?
La Grille AGREE II, tout comme la grille précédente, est conçue pour évaluer les RPC élaborées par des groupes locaux, régionaux, nationaux ou internationaux ou par des institutions gouvernementales affiliées. Cela inclut les versions originales et les mises à jour des RPC existantes.
La Grille AGREE II est générique et peut être appliquée à tout type de RPC, quel que soit le problème de santé, l’intervention médicale ou le type de soins : promotion de la santé, santé publique, dépistage, diagnostic, traitement ou autres interventions. La grille s’applique à des RPC en format papier ou électronique. À cette étape, la Grille AGREE II n’est pas conçue pour évaluer la qualité des documents d’orientation qui portent sur les problèmes organisationnels dans les soins de santé. Son rôle dans l’évaluation des technologies de la santé n’a pas encore été officiellement évalué.
- 2. Outil de formation en ligne de la Grille AGREE II
On trouve l’outil de formation en ligne de la Grille AGREE II à : http://www.agreetrust.org.
- 3. Se préparer à utiliser la Grille AGREE II
- Documents d’accompagnement
Avant d’appliquer la Grille AGREE II, les utilisateurs devraient d’abord lire attentivement la RPC. En plus de la RPC, les utilisateurs devraient s’efforcer de rassembler tous les renseignements relatifs au processus d’élaboration de la RPC avant leur évaluation. Ces renseignements peuvent être réunis dans le document même de la RPC ou être résumés dans un rapport technique distinct, un manuel méthodologique ou l’énoncé de politique des concepteurs de RPC. Ces documents d’accompagnement peuvent être publiés ou rendus publics sur le Web. Il revient aux auteurs de la RPC d’aviser les lecteurs de l’existence et de l’emplacement des documents d’accompagnement et des documents techniques additionnels pertinents; les utilisateurs de la Grille AGREE II doivent faire tout en leur pouvoir pour repérer et inclure ces documents lors de l’évaluation.
Afin d’accroître la fiabilité de l’évaluation, la RPC devrait être revue par au moins deux lecteurs, et préférablement par quatre.
- 4. Structure et contenu de la Grille AGREE II
La Grille AGREE II se compose de 23 éléments clés organisés en six domaines, suivis de deux éléments généraux d’évaluation (« Évaluation générale »). Chaque domaine porte sur une dimension particulière de la qualité des RPC.
- Le Domaine 1, « Champ et objectifs », concerne l’objectif global de la RPC, les questions de santé abordées et des populations cibles (éléments 1-3).
- Le Domaine 2, « Participation des groupes concernés », sert à examiner dans quelle mesure la RPC a été élaborée par les groupes appropriés et prend en considération les points de vue des utilisateurs visés (éléments 4-6).
- Le Domaine 3, « Rigueur d’élaboration », décrit le processus de recherche et de synthèse des preuves scientifiques ainsi que les méthodes utilisées pour formuler les RPC et les mettre à jour (éléments 7-14).
- Le Domaine 4, « Clarté et présentation », sert à étudier la langue, la structure et le format de la RPC (éléments 15-17).
- Le Domaine 5, « Applicabilité », examine les obstacles et les éléments favorisant l’application de la RPC, les stratégies d’amélioration de l’application ainsi que les coûts d’application (éléments 18-21).
- Le Domaine 6, « Indépendance éditoriale », concerne la formulation des RPC et vise à s’assurer qu’elles n’ont pas été indûment biaisées par des intérêts divergents (éléments 22-23).
- L’évaluation générale sert à évaluer la qualité générale de la RPC et à déterminer si l’on en recommande l’application.
- 5. Échelle de notation et sections du manuel d’utilisateur
Par souci de faisabilité sur MGWiki, l'échelle AGREE II (2009) allant de 1 à 7 a été rempacée par l'échelle initiale de AGREE (2003) allant de 1 à 4
Chaque item est coté sur une échelle à quatre points allant de 4 « tout à fait d’accord » à 1 « pas du tout d’accord » avec deux points intermédiaires : 3 « d’accord » et 2 « pas d’accord ». L’échelle
mesure le degré d’accord avec le critère :
- - si vous êtes sûr(e) que le critère a été entièrement respecté, répondez « tout à fait d’accord »;
- - si vous êtes sûr(e) que le critère n’a pas du tout été respecté ou s’il n’y a pas de renseignements disponibles, répondez « pas du tout d’accord »;
- - si vous n’êtes pas sûr(e) que le critère a été respecté, par exemple parce que les renseignements ne sont pas clairs ou parce que seule une partie de la recommandation remplit le critère, répondez « d’accord » ou « pas d’accord » en évaluant jusqu'à quel point vous pensez que la question a été abordée.
- Description du manuel d’utilisateur
On donne, dans cette section, les grandes lignes du concept qui sous-tend chacun des éléments, accompagnées d’exemples.
Dans cette section, on indique à l’évaluateur dans quelle partie de la RPC l’on trouve généralement l’information relative aux différents éléments. On y donne aussi le nom que l’on donne généralement aux parties ou chapitres de la RPC où l’on retrouve cette information. Il est à noter qu’il ne s’agit que de suggestions. Il revient à l’évaluateur d’examiner l’ensemble de la RPC et des documents d’accompagnement pour s’assurer que son évaluation est équitable.
Dans cette section, on présente plus en détail les critères d’évaluation ainsi que les points à considérer pour chacun des éléments.
- - Les critères précisent de façon explicite les aspects qui correspondent à la définition opérationnelle de l’élément. Plus les critères sont respectés, plus le score de la RPC pour cet élément doit être élevé.
- - Les considérations ont pour objectif de favoriser une évaluation éclairée. Comme dans toute évaluation, les évaluateurs doivent faire preuve de jugement. Plus on aura tenu compte des considérations dans l’élaboration de la RPC, plus le score de la RPC pour cet élément doit être élevé.
Il est important de noter que la notation de la RPC exige de faire preuve de jugement. Les critères et les considérations sont là pour servir de guide, pas pour remplacer le jugement des évaluateurs. Par ailleurs, aucun des éléments de la Grille AGREE II ne précise d’attentes explicites pour les sept points de l’échelle de notation.
- Autres facteurs à considérer lors de l’application de la Grille AGREE II
À l’occasion, certains éléments de la Grille AGREE II peuvent ne pas s’appliquer à la RPC évaluée. Par exemple, des RPC dont le champ est limité peuvent ne pas fournir toute la gamme d’options de prise en charge de la situation clinique (voir élément 16). La Grille AGREE II ne comprend pas de choix de réponse « Ne s’applique pas ». Cette situation peut être gérée de différentes façons, notamment en sautant l’élément ou en lui accordant le score « 1 » (absence d’information) et en expliquant les raisons de ce résultat. Peu importe la stratégie adoptée, les décisions doivent être prises à l’avance et décrites de façon explicite. De plus, si l’on décide de sauter des éléments, il est essentiel d’apporter les modifications nécessaires au calcul du score. Par principe, l’exclusion d’éléments d’évaluation n’est pas encouragée.
- 6 Notation à l’aide de la Grille AGREE II
Le score accordé pour la qualité est calculé pour chacun des six domaines de la Grille AGREE II. Les six domaines sont indépendants et ne devraient pas être regroupés en un score global de qualité.
- Calcul du score des domaines
Le score des domaines est calculé en additionnant les scores des différents éléments du domaine et en traduisant le résultat en pourcentage du score maximal pour ce domaine.
En cas d’exclusion d’éléments, le calcul des scores minimum et maximum devront être modifiés.
- Interpréter le score par domaine
Bien que le score par domaine soit utile pour comparer des RPC et qu’il indique si une RPC doit être recommandée, le Consortium n’a pas fixé de score minimal ou de modèle de notation pour distinguer les RPC de grande et de mauvaise qualité. Ces décisions doivent être prises par l’utilisateur et guidée par le contexte d’utilisation de la Grille AGREE II.
- 7 Évaluation générale
Une fois les 23 éléments évalués, les utilisateurs de la Grille AGREE II doivent répondre aux deux questions de l’évaluation générale de la RPC. L’évaluation générale exige que l’utilisateur
de la Grille AGREE II évalue la qualité de la RPC en tenant compte des éléments d’évaluation prévus dans le processus d’évaluation. L’utilisateur doit également dire s’il recommande l’utilisation de la RPC.