25. Comment formuler des leçons apprises de qualité. Une revue rapide

Résumé

Les leçons apprises traduisent des informations et des expériences étudiées lors de la conduite de projets ou de politiques, afin d’améliorer les procédures et les pratiques dans d’autres contextes. Des milliers d’articles scientifiques proposent des leçons apprises, mais, dans la grande majorité des cas, sans décrire la manière dont elles ont été produites et la rigueur de leur développement. Dans le cadre d’un projet visant à tirer des leçons de la résilience des hôpitaux face à la pandémie de Covid-19 dans cinq pays (HoSPiCOVID), nous avons systématisé le processus pour produire ces leçons. Une revue rapide a été conduite pour cerner les meilleures façons d’élaborer des leçons apprises de qualité (LAQ). Sur 1870 documents initialement repérés, 18 ont été retenus. Leur analyse a permis de cerner trois principes sur lesquels s’appuyer pour entreprendre une démarche d’élaboration de LAQ ainsi que 11 étapes à franchir pour en compléter le processus. Cette procédure rigoureuse peut être suivie par des équipes souhaitant améliorer la qualité des leçons apprises qu’elles formulent.

Mots-clés : revue rapide, leçons apprises de qualité (LAQ), Québec, résilience hospitalière, Covid-19

Abstract

Lessons learned convey information and experiences that were studied when carrying out projects or policies, in order to improve procedures and practices in other contexts. Thousands of scientific articles present lessons learned, but, in the vast majority of cases, without describing how they were produced and how rigorously they were developed. As part of a project aimed at deriving lessons from hospitals’ resilience in the context of the COVID-19 pandemic in five countries (the HoSPiCOVID project), we systematized the process for producing these lessons. A rapid review was conducted to identify the best ways of developing quality lessons learned (QLLs). From 1,870 documents initially identified, 18 were retained. Their analysis identified three principles to guide the process of developing QLLs and 11 steps to complete the process. This rigorous procedure can be followed by teams wishing to improve the quality of the lessons learned that they formulate.

Keywords: Rapid Review, quality lessons learned (QLL), Quebec, hospitals’ resilience, COVID-19

Contexte

Au début de l’année 2020, le directeur de l’Organisation mondiale de la Santé (OMS) déclarait qu’une épidémie due à un nouveau Coronavirus, le nCoV , représentait une urgence sanitaire de portée internationale (OMS, 2020). Face à ce qui allait rapidement devenir la pandémie de Covid-19, une grande diversité de politiques et de pratiques ont été mises en place pour tenter de ralentir la transmission et la propagation du virus, de développer et valider des tests de dépistage rapides et efficaces, de prendre en charge les personnes malades, ou encore de développer des vaccins pour venir à bout de cette maladie à coronavirus. Les hôpitaux du monde entier ont dû développer des stratégies pour faire face à l’afflux de patients victimes de ce nouveau virus.

Dans la foulée des nombreuses perturbations et des chocs provoqués partout dans le monde par la pandémie de Covid-19, il est apparu urgent de mettre en œuvre des mesures de ripostes rapides et efficaces de contrôles sanitaires tout en assurant une réponse appropriée et le maintien du fonctionnement des systèmes de santé. La pandémie de Covid-19 offrait de nombreuses opportunités d’apprentissages qui devaient être bien décrites, de façon transparente et systématique, pour en tirer des leçons qui puissent permettre d’ajuster leurs actions et de tirer des enseignements pour de futures urgences sanitaires. Ainsi, en 2020, l’OMS soulignait la nécessité de documenter de façon périodique les leçons apprises sur les réponses nationales à la Covid-19 (Greiner et al. 2020). À cet effet, un guide et une boîte à outils ont été créés pour mener une « Intra-Action Review », c’est-à-dire une discussion de groupe structurée, organisée avec des personnes clés de la réponse nationale, et ce sur des sujets prédéfinis (OMS 2020).

Néanmoins, les articles scientifiques font rarement état d’une procédure structurée comme celle décrite par l’OMS. Il arrive fréquemment que ceux-ci proposent un certain nombre de leçons apprises ou usent de ces vocables dans le titre de l’article, mais la manière dont elles ont été élaborées est de façon générale occultée (McClory et al. 2017). En pratique, les processus systématiques, transparents et de qualité pour circonscrire des leçons apprises sont très peu décrits dans les publications scientifiques (William 2003 dans McClory et al. 2017; Lo & Fong 2011).

L’objectif de cet article est de présenter les résultats d’une revue rapide sur les meilleures pratiques, procédures et approches pour élaborer des leçons apprises de qualité (LAQ). Cette revue a été réalisée dans le cadre du projet HoSPiCOVID visant à comparer la résilience des hôpitaux et de leur personnel face à la pandémie de Covid-19 dans cinq pays (Brésil, Canada, Japon, France, Mali) (Ridde 2021). Au-delà de ses analyses empiriques, le projet visait explicitement à tirer des LAQ des expériences vécues par le personnel hospitalier afin de les partager aux responsables des hôpitaux des pays concernés.

Méthode

Une revue rapide permet de faire un bilan des connaissances disponibles sur un objet d’étude donné (Belaid & Ridde 2020; Haby et al. 2016; Kelly et al. 2016; Polisena et al. 2015). La méthode s’appuie sur les mêmes étapes que celles d’une revue systématique, mais de manière accélérée et simplifiée (Tricco et al. 2015; Wagner et al. 2017), afin de favoriser la production de preuves dans un laps de temps plus court imposé par un contexte d’urgence (Garrity et al. 2020; Grant & Booth 2009), comme cela était le cas dans le contexte pandémique. Pour la présente revue, notre équipe a choisi de restreindre le nombre de bases de données interrogées, en excluant l’évaluation de la qualité méthodologique des documents retenus et en se concentrant sur une synthèse descriptive des résultats (Garrity et al. 2020; Hartling et al. 2015; Tricco et al. 2017).

Stratégie de recherche documentaire

La stratégie de recherche (disponible sur demande) a été développée en étroite collaboration avec une spécialiste en gestion de l’information. Les termes de recherche étaient liés aux : (1) leçons apprises et (2) méthodes (par exemple, processus, approche, critères). Une recherche systématique de la littérature empirique et grise a été effectuée par notre spécialiste de l’information dans deux bases de données électroniques : MEDLINE et Web of Science. La littérature grise a été recherchée à l’aide des moteurs de recherche Google Web.

Sélection des études : critères d’inclusion

Les documents ont été inclus dans l’examen s’ils décrivaient une méthodologie ou un processus permettant de tirer des leçons de qualité, ou s’ils présentaient un outil permettant de tirer des leçons, et s’ils avaient été publiés entre 2000 et 2020 en langue anglaise.

Ont été exclus de l’analyse les documents qui : traitaient d’un processus ou d’un outil spécifique à leur domaine et non pertinent pour le secteur de la santé (par exemple, l’informatique, l’ingénierie), traitaient des leçons tirées d’un seul projet ou d’une seule initiative ou encore n’étaient pas disponibles en texte intégral (par exemple, uniquement sous forme de résumé).

Extraction des données : sélection et codage

Tout d’abord, les titres et les résumés de tous les documents ont été examinés dans Zotero par le premier auteur afin d’évaluer leur éligibilité potentielle sur la base des critères d’inclusion et d’exclusion. Ensuite, tous les documents présumés conformes aux critères ont été extraits en texte intégral. La sélection finale des documents pertinents a été effectuée indépendamment par trois auteur·rice·s (CD, MP et EMC) sur la base d’un examen des articles complets. Toute divergence éventuelle concernant l’extraction des articles a été résolue par consensus. L’extraction des données a été réalisée par l’auteur principal et trois autrices (CD, MP, EMC, RV), à l’aide de feuilles d’extraction de données Excel prédéfinies qui incluaient les caractéristiques des documents ainsi que les critères définis ci-dessus.

Les informations extraites des documents sélectionnés comprenaient :

• Les caractéristiques des éléments sélectionnés (titre, auteurs ou autrice, année de publication, pays, revue, discipline…);

• La définition proposée pour la notion de « leçon apprise »;

• Les étapes de production des leçons tirées (moment, processus, parties prenantes, etc.);

• Les méthodes ou techniques de collecte de données (par exemple, grilles d’entretien);

• Les critères de qualité d’une leçon apprise (par exemple, liste de contrôle…);

• Les méthodes de formulation des leçons tirées;

• La mise en œuvre ou diffusion des leçons tirées.

Résultats

Les recherches ont permis de repérer 1870 documents, desquels 673 doublons ont été retirés, pour un total de 1197 documents à traiter. De ce nombre, 18 documents ont été retenus (Figure 1). Ces documents ont été publiés au cours des années 2000 à 2020. Ils ont été produits aux USA (5), au Royaume-Uni (4), au Canada (4), au Royaume-Uni et aux USA (1), au Royaume-Uni et au Japon (1) en Australie (1), en Suisse (1) et en Arabie Saoudite (1). On y trouve 6 articles scientifiques, 1 article publié dans des actes de conférence, 1 commentaire par un chercheur, 5 documents produits par une instance officielle, 2 documents émanant d’organismes non officiels, 1 chapitre de monographie et 2 monographies (Tableau 1). Ils font état de principes, de procédures ou de lignes directrices, d’exemples d’application de LAQ, de modèles conceptuels, ou de techniques à privilégier pour produire une LAQ. Un tableau décrivant les documents retenus est disponible sur demande.

Sur la base d’une analyse du contenu de ces travaux, nous présentons la manière dont est généralement définie une LAQ, les principes qui devraient en guider le développement et les principales étapes d’élaboration d’une LAQ.

Qu’est-ce qu’une leçon apprise de qualité?

Une LAQ peut être définie comme un énoncé ou une recommandation découlant d’informations recueillies à la lumière d’expériences et de connaissances tacites ou explicites, qu’elles soient positives ou négatives (CDC 2006; Davies 2009; Mansourian & Vallauri 2020; Milton 2010), et pouvant être éventuellement utiles à d’autres acteurs et actrices pour la conduite de tâches ou en réponse à un objectif (Milton, 2010). Une LAQ permet d’effectuer des généralisations basées sur l’évaluation d’expériences de projets, de programmes, de politiques ou de recherches. Une LAQ peut aussi rendre compte d’actions suffisamment importantes ou significatives pour être communiquées à des collègues (Milton 2010). Elle permet ainsi de transposer des enseignements tirés de circonstances spécifiques dans d’autres contextes organisationnels (McClory et al. 2017) ou dans des situations plus larges (CDC 2006). Il peut s’agir de connaissances utiles acquises par l’expérience, ou d’informations servant d’exemples, et pouvant être considérées comme « les meilleures façons de faire quelque chose » (Williams 2007). Elle doit bénéficier à une organisation afin d’améliorer un processus ou une activité pour opérer de manière plus sécuritaire ou plus efficace (BNL 2008 dans Milton 2010) et de bonifier ses actions futures (Mansourian & Vallauri 2020; Milton 2010; Williams 2007). Les LAQ peuvent couvrir un éventail de problématiques : techniques, managériales, commerciales, d’interprétations des contrats, d’organisation et relations inter-organisations, de processus et procédures internes à l’organisation (William 2007). Il est à noter que certain·e·s conçoivent qu’une leçon n’est apprise que lorsqu’elle s’accompagne de changements dans les comportements personnels ou organisationnels, par exemple (Milton 2010).

Principes guidant la démarche d’élaboration des leçons apprises

Trois principes pour guider la démarche d’élaboration de LAQ se dégagent des documents analysés. Ces principes sont ancrés dans une démarche scientifique qui valorise la co-création des savoirs avec différentes parties prenantes. Toutefois, il faut considérer que la formulation de LAQ demande de déployer des efforts soutenus pour demeurer, autant que possible, impartiale. Le contexte d’un projet qui fait l’objet d’un examen peut avoir été parsemé d’obstacles, voire de conflits, ou marqué par des rapports de pouvoir qui teintent les discours des différentes parties prenantes impliquées dans la formulation des LAQ et les représentations des expériences vécues. Le succès de l’exercice repose donc en grande partie sur la préparation du processus avec l’ensemble des parties prenantes afin de favoriser l’expression de perspectives diverses et complémentaires. Nous présentons brièvement trois principes clés tirés des écrits consultés :

1. La création d’un climat favorable. Un climat de confiance doit régner pour que les parties prenantes acceptent de révéler ce qui n’a pas bien fonctionné (Duffield & Whitty 2015). Un environnement collaboratif devra être créé (Williams 2007) à tous les niveaux de l’organisation dans un effort collectif (Friesen 2017; Williams 2007). Pour ce faire, la transparence et la communication sont primordiales. Il faudra idéalement vaincre les résistances en expliquant les avantages de l’exercice et en respectant tous les points de vue (Cronin & Andrew 2009). Au-delà du besoin de s’assurer du soutien des personnes clés dans le processus, on pourra accompagner le déploiement de cet effort collectif en proposant un cadre de responsabilité partagée entre les différents partenaires (Williams 2007; Friesen 2017).

2. Le choix des bon·ne·s responsables ou facilitateur·rice·s de la démarche. La démarche sera facilitée à condition de mobiliser des responsables fort·e·s, c’est-à-dire, qui fassent preuve d’ouverture et d’honnêteté et qui soient soucieux·ses de mettre en place des espaces sécurisants au sein desquels les participant·e·s seront enclin·e·s à prendre la parole avec confiance (Cronin & Andrew 2009). Dans la mesure du possible, les responsables de projet/d’équipe seront impliqué·e·s et assumeront diverses responsabilités (p. ex. coordination, mise en place des réunions, déroulement et suivi). Les gestionnaires pourront aussi jouer un rôle important en soutenant et en motivant leurs équipes (Milton 2010).

3. L’engagement dans une démarche scientifique. Le processus d’élaboration d’une LAQ devrait refléter une démarche de recherche scientifique, éclairée par des échanges soutenus avec les parties prenantes à des fins de validation et d’enrichissement. Les responsables de la formulation des LAQ devront spécifier une question de recherche, collecter systématiquement des données, les analyser de manière logique et transparente pour formuler des conclusions (McDonald 2015). Toutes les sources disponibles devront être utilisées pour la collecte des données, les sources primaires et originales étant privilégiées (p. ex. données d’admission dans un hôpital). Il faudra éviter de filtrer les données, de faire des interprétations ou de se fier à une seule source faisant autorité.

Étapes pour élaborer des leçons apprises de qualité

L’examen des 18 documents sélectionnés nous amène à proposer une démarche itérative en 11 étapes pour l’élaboration et la diffusion de LAQ (Figure 2), que nous avons divisée en deux grandes phases, soit :

Étapes de préparation à l’élaboration des LAQ :

1. Identifier et mobiliser les parties prenantes

2. Formuler un objectif clair pour la démarche

3. Identifier le ou les projets à l’étude et des événements associés

4. Choisir le moment pour l’élaboration des LAQ

5. Choisir la stratégie de collecte de données

Étapes d’identification et de formulation des LAQ :

6. Choisir les questions à poser pour la collecte des données

7. Collecter les données

8. Vérifier les données et réviser les aspects à couvrir

9. Analyser et formuler les LAQ

10. Vérifier la qualité des LAQ

11. Archiver, disséminer et implanter les LAQ

Étapes de préparation de l’élaboration des leçons apprises de qualité (étapes 1 à 5) :

Étape 1 : Identifier et mobiliser les parties prenantes

Il est important de bien identifier les parties prenantes et de les mobiliser dès le début, que ce soit pour définir les buts, la portée (p. ex. jusqu’où nous allons), le processus (p. ex. qui sera impliqué) et les sources de données qui seront examinées pour élaborer les LAQ. En effet, selon Mansourian & Vallauri (2020) et Williams (2007), la participation des parties prenantes permet d’assurer une réponse plus adaptée à leurs besoins. Il faut ainsi pouvoir jauger les intérêts, identifier les capacités (p. ex. ressources) de l’organisation pour pouvoir mener à bien la démarche. Les parties prenantes peuvent être mobilisées à différentes étapes (Mansourian & Vallauri 2020; Williams 2007), selon leurs besoins et leurs capacités (Mansourian & Vallauri 2020). Ces parties prenantes incluent différents acteur·rice·s (internes ou externes à l’organisation) et publics cibles (Grantham 2010). Elles sont formées de quiconque possède des connaissances pertinentes à partager (Milton 2010).

Étape 2 : Formuler un objectif clair pour la démarche

Il est important de formuler un objectif clair pour la démarche (p. ex. est-ce que l’on veut seulement identifier les LAQ ou les partager ou encore les mettre en œuvre?) et ce, en étroite collaboration avec les parties prenantes (Mansourian & Vallauri 2020; McClory et al. 2017; White & Cohan 2005).

Étape 3 : Identifier le projet ou les projets à l’étude et leurs événements associés

Les motifs qui sous-tendent la recherche de LAQ peuvent être multiples. Ils doivent être les plus clairs possibles pour bien cerner les étapes subséquentes du processus, les ressources nécessaires, la manière dont le processus va prendre forme, sous la responsabilité de qui, comment et à quelle fréquence (Mansourian & Vallauri 2020). Identifier les motifs de l’exercice permettra également de cibler le projet, le programme, la procédure ou les activités à l’étude (p. ex. gestion de la crise en milieu hospitalier). Au cœur du processus d’élaboration des LAQ, se trouvent des événements significatifs vécus par les parties prenantes. Ces événements doivent constituer des opportunités d’apprentissage (Nova Scotia, s.d.; Lo 2011), parfois parce qu’ils revêtent une importance particulière en raison d’un caractère d’urgence (crises), d’un risque, ou parce qu’une réponse s’imposait (Friesen 2017).

Étape 4 : Choisir le moment pour la capture des LAQ

Il n’est pas nécessaire d’attendre la fin d’un projet pour identifier une LAQ. Son élaboration peut être réalisée à n’importe quel moment au cours d’un projet (Mansourian et Vallauri 2020; McIntyre et al. 2011; Williams 2017; White & Cohan 2005; Cronin & Andrews 2009), plutôt qu’à la fin, et améliorer ainsi sa conduite (CDC 2006). Certains conçoivent même ce processus comme faisant  partie de la routine d’une organisation (Williams 2017) ou d’une « capacité organisationnelle », par la disponibilité de dispositifs au sein de l’organisation permettant d’identifier les LAQ en continu (Friesen 2017). En revanche, d’autres sont d’avis qu’une LAQ doit être élaborée à des moments spécifiques, soit pendant et après un événement donné (Friesen 2017; Kate Bray et al. 2013) ou de façon presque immédiate lorsqu’une urgence se présente (Nova Scotia, s.d.). Le temps apparaît donc ici un enjeu important si l’on veut éviter que les parties prenantes oublient des aspects importants du projet au moment de la collecte de données (Rowe 2006).

Étape 5 : Choisir la stratégie de collecte de données

L’élaboration d’une LAQ devra suivre une démarche rigoureuse qui prendra en compte six éléments (Mansourian et Vallauri 2020; Milton 2010; White et Cohan 2005) :

• le public visé (différents publics pouvant nécessiter différents processus, par exemple des entretiens individuels plutôt que de groupe);

• la portée ou l’étendue de la démarche;

• le calendrier de la recherche;

• les ressources nécessaires;

• la méthode (p. ex. sources de données qui seront consultées);

• les rédacteur·rice·s des LAQ.

Étapes d’élaboration des leçons apprises (étapes 6 à 10)

Étape 6 : Choisir les questions pour la collecte des données

Les données doivent être collectées à partir d’une série de questions spécifiques pour identifier les LAQ. Ces questions aident à documenter un ensemble d’aspects à l’œuvre dans la production du ou des événement(s) à l’étude et ce, à partir de l’examen du plus grand nombre de sources possibles. Les documents consultés sont nombreux à proposer des questions pour aider à l’identification des LAQ. Mais de manière générale, celles-ci sont regroupées autour de quatre grandes questions (Bray et al. 2013; Duffield & Whitty 2015; Mansourian & Vallauri 2020; Rowe et Sikes 2006; Whyte & Cohan 2005) :

• Que s’est-il passé?

• Qu’est-ce qui a bien fonctionné?

• Qu’est-ce qui n’a pas bien fonctionné?

• Qu’est-ce qui doit être amélioré ou qu’est-ce que l’on ferait différemment si c’était à refaire?

Il est à noter que la technique désignée « After Action Review » (AAR), évoquée dans les écrits comme soutien à la collecte de données pour l’élaboration d’une LAQ (Bray et al. 2013; Cronin & Andrews 2009; Milton 2010), peut s’avérer particulièrement utile ici. Il s’agit d’une discussion en groupe où sont réunis des acteur·rice·s engagé·e·s dans un projet donné qui permet de découvrir et d’apprendre ensemble ce qui s’est passé, ne s’est pas bien passé et ce qui devrait être fait différemment. Une AAR est soumise à des règles de déroulement (p. ex. explication du fonctionnement de la discussion au début de la rencontre, accord sur le ou les thème(s) de discussion, expression des attentes de chacun·e, identification des moments clés de la discussion ou événements critiques dans le cours d’un projet, réflexion et consensus sur ces moments clés ou événements, identification des problèmes survenus) (Bray et al. 2013; Cronin & Andrews 2009).

Étape 7 : Collecter les données

Pour arriver à identifier une LAQ, il faut repérer toutes les sources de données disponibles (Duffield et Whitty 2015; McDonald 2015). Les sources des documents inclus dans la revue (Bray et al. 2013; Cronin & Andrews 2009; Duffield & Whitty 2015; McDonald 2016; McIntyre & Kaminska 2011; Milton 2010; White & Cohan 2005) sont les suivantes :

• Discussions de groupe (de type AAR ou autres);

• Entretiens individuels en présentiel ou en virtuel;

• Documentation (p. ex. publications, transcription, photographies, historiques, rapports);

• Observations directes;

• Rapports d’enquêtes sur des incidents.

Étape 8 : Vérifier les données et réviser les aspects à couvrir

Une fois les données recueillies, les équipes devront s’interroger sur ce qu’il manque, sur ce qui n’a pas été couvert à partir des sources consultées et des questions posées. Cette étape est cruciale. Elle servira à combler les contenus manquants. Ceci pourra être l’occasion d’interroger de nouveau des acteur·rice·s clés ou de rechercher du matériel en appui (White & Cohan 2005).

Étape 9 : Analyser les données et formuler les LAQ

L’étape des analyses est sans doute la plus complexe à opérationnaliser. Cette étape consiste en une démarche systématique d’identification des problèmes rencontrés dans le cadre d’un projet, programme ou événement, suivie d’une analyse objective des données recueillies et de la validation des résultats (McIntyre et Kaminska 2011). Ce dernier aspect est discuté à l’étape 10.

De façon générale, les écrits consultés fournissent peu d’indications explicites et rigoureuses sur la manière dont les analyses doivent être conduites (Mc Donald, 2015). Selon des documents consultés, il ressort néanmoins que les analyses peuvent être effectuées :

• Dans le cadre de discussions entre acteur·rice·s concerné·e·s (Nova Scotia, s.d.; Rowe & Sikes 2006; White & Cohan 2005), un premier niveau d’analyse pouvant être effectué par une équipe donnée, suivi d’un partage d’informations avec d’autres équipes lors des réunions formelles d’une organisation (Rowe & Sikes 2006). La technique AAR paraît ici utile non seulement pour la collecte des données mais aussi pour aider à circonscrire les LAQ (Bray et al. 2013; Cronin & Andrews 2009);

• À partir d’une analyse de contenus appliquée à l’ensemble du corpus de données recueillies (codification et catégorisation), ceci en procédant selon les règles de l’art (co-codification, co-validation) (Lo & Fong 2011; McIntyre & Kaminska 2011). À ce sujet, McDonald (2015) est sans doute le chercheur qui propose la démarche analytique la plus approfondie parmi l’ensemble des documents de la revue. À partir d’une matrice qu’il a développée, l’auteur suggère de recueillir et d’analyser les données collectées en dyades à partir de questions ciblées (Annexe 3), les analyses se déclinant en différentes étapes (évaluation du niveau de congruence entre dyades, formulation et mise à l’épreuve d’hypothèses, formulation des leçons apprises);

• Sur la base de modèles conceptuels (par exemple : le SYLK Model de Duffield et Whitty 2015; ou le modèle en trois boucles de connaissances organisationnelles de McClory et al. 2017);

• À partir d’une classification des leçons recherchées selon, par exemple, qu’elles concernent un processus (destinées à celles et ceux concerné·e·s par le déroulement du projet), un résultat (destinées à celles et ceux concerné·e·s par les résultats) ou une transformation (à ce qui peut faire une différence pour des projets futurs) (Mansourian & Vallauri 2020);

• À l’aide de grilles ou de tableaux qui mèneront l’équipe d’évaluation à formuler la ou les LAQ (CDC 2006; Milton 2010; Nova Scotia, s.d.; Qatar, s.d.). Le Tableau 1 en présente plusieurs exemples.

Étape 10 : Vérifier la qualité des LAQ

Les processus de validation pourront varier selon les besoins et les capacités des équipes. Un moyen est de réunir les acteur·rice·s séniors concerné·e·s par le projet dans le cadre d’une rencontre bilan au cours de laquelle les LAQ sont présentées, discutées et validées (Milton 2010). Pour mener cette réflexion, plusieurs critères et listes de questions sont proposés. Ces critères se rapportent à la richesse du contexte présenté, au processus de formulation des LAQ, au format des LAQ, à leur adéquation pour répondre aux besoins ou à leur utilisation effective (Lo 2011; Milton 2010; Patton 2001; Rowe & Sikes 2006).

Les critères suivants sont proposés pour s’assurer de la validité et de la qualité des LAQ développées :

• Sources variées de collectes de données (Patton, 2001) et documentation des divers points de vue (Lo 2011), des antécédents des parties prenantes et de leurs relations entre elles (Lo 2011);

• LAQ ancrées dans leur contexte (Patton 2001), sachant que plus le contexte des LAQ est riche, meilleure est la qualité de son contenu (Lo, 2011);

• Identification des preuves à l’appui (Patton 2001);

• Description de la manière dont les connaissances ont été identifiées (Lo 2011), des raisons pour lesquelles les événements se sont produits (Lo, 2011);

• Niveau de spécificité suffisant pour guider les pratiques de façon concrète (Patton 2001);

• Identification du public cible (Lo 2011; Patton 2001);

• Liste d’attributs comme critères pour évaluer la qualité des enseignements tirés, tels que l’exhaustivité, la pertinence, pour répondre à la question : quelles sont les dimensions appropriées pour évaluer la qualité des connaissances? (Lo 2011; Holsapple 2003; Boisot 1998; Szulanski 2003; Zhao & Anand 2009);

• Identification des conditions particulières ou exceptions où les recommandations peuvent ne pas être applicables (Lo 2011);

• Identification des biais potentiels (p. ex. biais cognitifs) et la manière dont on a procédé pour s’en prémunir (McDonald 2015).

Par exemple, selon Milton (2010), la formulation d’une LAQ doit être claire, écrite sous la forme d’une recommandation étayée par un bon argument et une bonnne contextualisation. Le lecteur d’une LAQ doit savoir exactement ce qu’il devrait faire pour faire face à une éventuelle crise (ex : l’organisation d’une formation régulière sur la lutte contre les infections en milieu hospitalier améliorera la base de connaissances du personnel hospitalier).

Étape 11 : Archiver, disséminer et implanter les LAQ

Le processus d’élaboration des LAQ doit prévoir et intégrer une étape complémentaire d’archivage et de dissémination des LAQ. À ceci peut s’ajouter un effort de mise en œuvre, ou de prise en compte des leçons développées pour la poursuite du projet ou dans le cadre d’autres projets similaires (Mansourian & Vallauri 2020; McClory et al. 2017; Rowe & Sikes 2006; White & Cohan 2005).

Pour archiver des LAQ (voir Milton 2010; Williams 2007 ou Friesen 2017), on peut penser par exemple à des bases de données, des registres, des fichiers partagés ou des portails web, etc. qui organiseront l’information selon une taxonomie adaptée. Un système ou moteur de recherche intuitif assurera un accès optimal à ces connaissances, grâce à l’utilisation de mots clés ou de « tags ». Pour disséminer les LAQ, de nombreuses possibilités existent : listes de distribution, bulletins, forums de communautés de pratique, portails web, etc.

Quant à l’implantation des LAQ, McIntyre (2011) rappelle que les enseignements tirés doivent se transformer en apprentissages. Ainsi, il faut planifier l’intégration des LAQ dans des initiatives de formation et désigner des personnes responsables, des « agent·e·s de changement » pour assurer que les LAQ soient prises en compte par les parties prenantes concernées. Ceci permet aussi de s’assurer que les LAQ développées ont entraîné des changements effectifs. Par ailleurs, un plan qui détaille l’implantation des LAQ, une feuille de route par exemple, est une bonne option pour décrire les actions à entreprendre (Carillo et al. 2013 dans Duffield & Whitly 2015).

Discussion

L’analyse présentée dans le présent chapitre peut être comprise comme le contenu d’un guide de production de LAQ avec ses principes et ses étapes. Nous pensons qu’il peut faciliter la planification d’une démarche raisonnée et rigoureuse, tout en permettant la consultation de sources spécifiques pour approfondir certaines étapes. Son objectif est de livrer une synthèse utile aux équipes qui souhaitent tirer des LAQ à la suite d’interventions ou d’événements.

Le chapitre présente les différentes balises pour s’assurer de la qualité des leçons apprises. Cette somme de connaissances assure une vue d’ensemble du processus, au-delà de contextes et secteurs d’activités spécifiques. Elle permettra aux équipes de poser les bonnes questions et de faire des choix éclairés avant de se lancer dans un processus d’élaboration de LAQ. La mise en commun de questions, d’outils et de réflexions dans le cadre de la revue rapide assure l’adaptabilité des recommandations proposées à une diversité de situations. Par exemple, bien que des situations de crise ou à haut risque constituent les événements au cœur du processus de capture de leçons apprises pour plusieurs auteur·rice·s, d’autres proposent d’améliorer des processus ou des procédures qui font partie des activités régulières d’une organisation, sans caractère d’exception ou d’urgence.

Néanmoins, il est à noter que les écrits examinés dans le cadre de cette revue rapide présentent certaines lacunes. Peu d’écrits décrivent en détails les étapes d’analyse des informations recueillies pour produire des LAQ (problèmes rencontrés et résolution, défis, recommandations). De la même façon, l’application des LAQ à d’autres contextes n’est pas abordée systématiquement. Enfin, peu d’aut·eur·rices·s s’attardent sur l’importance d’identifier les relations de pouvoir qui existent entre les différentes parties prenantes et qui teinteront l’interprétation des expériences vécues, entraîneront des résistances au changement ou les faciliteront. De même, il est peu question, dans les documents analysés, de l’influence de ceux et celles qui initient et dirigent la démarche de conceptualisation des LAQ, alors que ces personnes sont susceptibles, par exemple, de privilégier des informations qui répondent à leurs attentes et façons de penser ou encore d’être à la recherche d’exemples qui confirment leurs visions du monde, ce que l’on désigne en recherche comme un biais de confirmation (Larivée et al. 2019) ou biais cognitif (McDonald 2015). Si la méthode des LAQ met de l’avant des mécanismes qui permettent de se prémunir de ces types de biais par la triangulation des sources, la recherche d’informations négatives ou un exercice de validation des données, il demeure que ces biais peuvent être présents et doivent être soulevés, et ce, surtout lorsque les évaluateur·rice·s ou les examinateur·rice·s font partie intégrante d’une organisation qui, elle-même, finance ou supervise la production de LAQ. Enfin, au même titre que précédemment, les conflits ou tensions qui règnent au sein d’une équipe doivent être évoqués et la collaboration entre collègues qui ont des points de vue différents valorisée (Larivée et al. 2019).

Conclusion

Cette revue rapide sur les leçons apprises de qualité a permis de dégager une proposition de procédure de formulation de LAQ qui se veut utile et applicable et qui mérite d’être testée et évaluée. L’intention était d’appuyer le travail dans le cadre d’un projet d’étude de la résilience des hôpitaux, projet impliquant plusieurs équipes de recherche de différents pays. Il s’agira donc de comprendre, dans une étude subséquente, comment les membres de ces équipes de recherche se sont appropriés la démarche afin d’en affiner le processus. La revue rapide confirme qu’un ensemble de principes et balises existent pour mener à bien ce processus et que la qualité des leçons développées dépend d’une préparation adéquate, d’une appropriation par les parties prenantes, d’une responsabilité partagée ainsi que d’un engagement dans une démarche rigoureuse susceptible de mener à la mise en œuvre des leçons apprises.

Références

Bray, Kate, Sara Laker, Irene Ilott, et Kate Gerrish. 2013. « After Action Review: An Evaluation Tool ». National Institute for Health Research Collaboration for Leadership in Applied Health Research and Care for South Yorkshire (NIHR CLAHRC SY). https ://www.cebma.org/wp-content/uploads/Starter-for-10-No-9-Final-05-03-2013.pdf

CDC. 2006. « CDC Unified Process Practices Guide. Lessons Learned ». CDC. https ://www2a.cdc.gov/cdcup/library/practices_guides/cdc_up_lessons_learned_practices_guide.pdf

Carrillo, Patricia, Kirti Ruikar, et Paul Fuller. 2013. « When Will We Learn? Improving Lessons Learned Practice in Construction ». International Journal of Project Management 31(4): 567‑78. https://doi.org/10.1016/j.ijproman.2012.10.005.

Gerard Cronin, Steven Andrews. 2009. « After Action Reviews: A New Model for Learning ». Emergency Nurse 17(3): 32-35. https://doi.org/10.7748/en2009.06.17.3.32.c7090.

Davies, Rick. 2009. « Expectations about Identifying and Documenting “Lessons Learned” ». https://mande.co.uk/wp-content/uploads/2009/08/2009%2008%2026%20Guidance…

Duffield, Stephen, et S. Jonathan Whitty. 2015. « Developing a Systemic Lessons Learned Knowledge Model for Organisational Learning through Projects ». International Journal of Project Management 33(2): 311‑24. https://doi.org/10.1016/j.ijproman.2014.07.004.

Friesen, Shaye K, Shelley Kelsey, et J A Jim Legere. 2017. « Defining a risk-informed framework for whole-of-government lessons learned: A Canadian perspective. » Journal of emergency management (Weston, Mass.) 15(4) : 219‑31. https://doi.org/10.5055/jem.2017.0331.

Greiner, Ashley L., Laura Nguyen, Mays Shamout, Sharanya Krishnan, et Daniel Stowell. 2021. « COVID-19 Intra-Action Reviews: Potential for a Sustained Response Plan ». The Lancet Global Health 9(5): e594. https://doi.org/10.1016/S2214-109X(21)00078-4.

Grantham, Hedley S, Michael Bode, Eve McDonald-Madden, Edward T Game, Andrew T Knight, et Hugh P Possingham. 2010. « Effective Conservation Planning Requires Learning and Adaptation ». Frontiers in Ecology and the Environment 8(8): 431‑37. https://doi.org/10.1890/080151.

Larivée, Serge, Carole Sénéchal, Zoé St-Onge, et Mathieu-Robert Sauvé. 2019. « Le biais de confirmation en recherche ». Revue de psychoéducation 48 (1): 245‑63. https://doi.org/10.7202/1060013ar.

Lo, T.K.M., et Patrick Fong. 2011. « Evaluation of knowledge quality of lessons learned by asking questions ». Proceedings of the European Conference on Knowledge Management, ECKM 2 (janvier): 1049‑57.

Mansourian, Stephanie, et Daniel Vallauri. 2020. « How to Learn Lessons from Field Experience in Forest Landscape Restoration: A Tentative Framework. » Environmental management, no du2, 7703893. https://doi.org/10.1007/s00267-020-01295-4.

McClory, Sue, Martin Read, et Ashraf Labib. 2017. « Conceptualising the lessons-learned process in project management: Towards a triple-loop learning framework ». International Journal of Project Management 35(7): 1322‑35. https://doi.org/10.1016/j.ijproman.2017.05.006.

McDonald, Robert A. 2015. A methodology for identifying lessons learned: an integration of case study techniques with general systems paradigm & congruence theory. CSNR lessons learned series. Washington, DC: Center for the Study of National Reconnaissance. http://catalog.gpo.gov/F/?func=direct&doc_number=001094857&format=999.

McIntyre, Susan, et Kate Kaminska. 2011. « Capturing Lessons That Should Be Learned: An After Event Review for Whole-of-Government Security Planning and Operations ». Defence Research and Development Canada Ottawa (Ontario) Centre for Security Science. https://apps.dtic.mil/sti/citations/ada568447.

Milton, N. J. 2010. The lessons learned handbook: practical approaches to learning from experience. Oxford, UK: Chandos Publishing.

Nova Scotia (s. d.). « Debriefing and Lessons Learned Process ». Health Promotion and Protection Health.

Organisation mondiale de la Santé. 2020. « Guidance for conducting a country COVID-19 intra-action review (IAR) ». https://www.who.int/publications/i/item/WHO-2019-nCoV-Country_IAR-2020.1.

Organisation mondiale de la Santé. 2020. « Déclaration sur la deuxième réunion du Comité d’urgence du Règlement sanitaire international (2005) concernant la flambée de nouveau coronavirus 2019 (2019-nCoV) ». https://www.who.int/fr/news/item/30-01-2020-statement-on-the-second-meeting-of-the-international-health-regulations-(2005)·emergency-committee-regarding-the-outbreak-of-novel-coronavirus-(2019-ncov).

Patton, Michael Quinn. 2001. « Evaluation, Knowledge Management, Best Practices, and High Quality Lessons Learned ». American Journal of Evaluation 22(3): 329‑36. https://doi.org/10.1177/109821400102200307.

Qatar National Project Management. s. d. « Lessons Learned Document Preparation Guidelines ». https://www.psa.gov.qa/en/knowledge/qnpm/Documents/10%20Project%20Closeout/Lesson%20Learned%20Document%20Preparation%20Guidelines.PDF.

Ridde, Valéry, Lara Gautier, Christian Dagenais, Fanny Chabrol, Renyou Hou, Emmanuel Bonnet, Pierre-Marie David, et al. 2021. « Learning from public health and hospital resilience to the SARS-CoV-2 pandemic: protocol for a multiple case study (Brazil, Canada, China, France, Japan, and Mali) ». Health Research Policy and Systems 19(1): 76. https://doi.org/10.1186/s12961-021-00707-z.

Rowe, Sandra F., et Sharon Sikes. 2006. « Lessons learned: taking it to the next level ». Communation présentée au PMI® Global Congress 2006—North America, Seattle, WA. Newtown Square, PA: Project Management Institute. https://www.pmi.org/learning/library/lessons-learned-next-level-communicating-7991.

White, Mark, et Alison Cohan. 2016. « A guide to capturing lessons learned. The Nature Conservancy ». https://www.conservationgateway.org/ConservationPlanning/partnering/cpc/Documents/Capturing_Lessons_Learned_Final.pdf.

Williams, Patrick. 2007. « Lessons Learned Guidelines ». Vivace Consortium Members. https://www.ltu.se/cms_fs/1.34181!/vivace-guideline-lessonslearned.pdf.