“There is nothing quite so useless as doing with great efficiency things that should not be done at all” (Peter Drucker)
De titel van het symposium sprak me gelijk al aan: ‘Errors of the third kind in management research: Creating meaning in scholarly work’, verzorgd door Ian Mitroff, Sandra Waddock, Nancy Adler, Robert Edward Freeman, Robert E. Quinn. En ik werd niet teleurgesteld. Ian opent met zijn definitie van DE WAARHEID vanuit een pragmatisch standpunt: “Truth is that what makes an ethical difference in the quality of life; of individuals, organizations, society“. (Voor lezers die het nog even niet kunnen plaatsen, we zitten op 7 augustus 2016 bij de Academy of Management meeting, in Anaheim, Californië, zie deel 1 en deel 2 van deze bloemlezing). Nu wil ik zelf als initiator en begeleider van praktijkgericht onderzoek in het hbo graag iets bijdragen aan zinvol organiseren en aan kwaliteit van leven. In het hbo is een flinke discussie gaande over de eisen die aan onderzoek gesteld moeten worden, dus ik zit op het puntje van mijn stoel.
Theorie kan niet leidend zijn voor de complexe praktijk van professionals
De boodschap van het symposium is dat in onderzoek voor management professionals en andere dienstverleners, we niet in de valkuil moeten stappen van academisch positivistisch onderzoek. Onderzoek met generaliseerbare uitkomsten, gebaseerd op grondige bewijzen van DE waarheid, waar je in de praktijk vaak niets mee kunt. Omdat de praktijk altijd complex is en DE waarheid, de enige en beste oplossing, meestal niet bestaat. Fouten van de eerste en tweede orde gaan over een uitkomst die onterecht bevestigend dan wel ontkennend is. Dat zijn methodische fouten. Een fout van de derde orde is een perfect uitgevoerd onderzoek, maar het gaat nergens over. Omdat de verkeerde vragen zijn gesteld. Dan vind je een mooie oplossing maar voor het verkeerde probleem.
Dat komt nogal eens voor, en niet alleen in praktijkgericht onderzoek. In de Volkskrant van 7 september 2016 lees ik op pagina 3 een bericht met de kop ‘Alweer zo’n psychologisch lachertje. Steeds weer blijkt dat sociaalpsychologische experimenten niet zijn te herhalen.‘ Naar mijn idee komt dat onder andere doordat onderzoekers de context van het experiment buiten beschouwing laten, waardoor er een schijn van controleerbaarheid en objectiviteit ontstaat. Gaat iemand positiever oordelen omdat zijn gezicht in een glimlach wordt getrokken door een potlood tussen zijn tanden? Of omdat de onderzoekers onbewust daarbij een positievere houding hebben? Bovendien loop je in de sociaalpsychologie groot risico op een ‘error of the third kind’ als je in onderzoek de variabelen eerst uit hun sociale verband haalt in een experiment en daarna beweringen doet over de betekenis daarvan voor het dagelijks leven.
Eduard E. Lawler III legt uit waarom vertrekken vanuit theoretische modellen meestal niet goed past bij onderzoek voor organisaties. Theorie gedreven onderzoek laat zich vaak slecht vertalen naar de praktijk, omdat de praktijk veel complexer is dan de paar variabelen van het model. Hij pleit er daarom voor manieren van onderzoek te kiezen die geen vertaling nodig hebben, zoals actieonderzoek: “Action Research is a very powerful way of learning, evolving theory and method simultaniously over time“. Dat is me uit het hart gegrepen. De uitspraak maakt ook gelijk de keerzijde van de medaille duidelijk: actieonderzoek kost tijd.
Onderzoek in het hbo: onderdompelen in de praktijk
Praktisch relevant betekent niet dat het niet methodisch verantwoord moet zijn. Op het ogenblik is hierover een hele discussie gaande als zou er een tegenstelling zijn tussen methodisch grondig en praktisch relevant, een onderwerp dat Daan Andriessen onderzoekt. Die tegenstelling zie ik alleen als je de natuurwetenschappelijke benadering volgt dat er slechts één waarheid is en dat de uitkomsten van onderzoek algemeen geldig moeten zijn. Volg je die redenering dan zou een onderzoek methodisch minder grondig zijn naarmate de uitkomsten bruikbaarder zijn en omgekeerd. Actieonderzoek, een uiterst bruikbare en evengoed methodisch grondig uit te voeren benadering past niet in dit tweedimensionale plaatje. Ik sluit graag aan bij de drie dimensies van Joseph E. McGrath over dilemma’s in onderzoek doen: ongeacht welke vorm van onderzoek je doet, er zijn altijd drie aandachtspunten waarvan je er maar twee tegelijk kunt optimaliseren in je onderzoeksaanpak. Het gaat om generaliseerbaarheid van de uitkomsten, controleerbaarheid van de situatie en het realiteitsgehalte van de situatie. En dan moet je dus niet meer beweren dan op grond van je onderzoeksaanpak verantwoord is. Zie de figuur van McGrath die ik heb verwerkt tot een ‘krukje’. Wat voor soort onderzoek je ook doet, het staat altijd scheef omdat één of twee pootjes korter zijn dan de derde. Zie ook mijn lectorale rede op pagina 46.
Dilemma’s in onderzoek doen. Bijgenaamd ‘het krukje van Tonnie’, gebaseerd op het werk van Joseph E. McGrath
Pragmatisme is een andere manier om naar onderzoek te kijken. Theorie wordt dan gezien als gebaseerd op ervaring en praktijk. Daarvoor is het van belang om jezelf onder te dompelen in die praktijk en uit te zoeken wat er aan de hand is, zonder je veel zorgen te maken over wat anderen daarover te zeggen hebben. Feiten en waarden zijn daarbij met elkaar verstrengeld. Het is daarom ook beter om te spreken van Theoretiseren dan van Theorie.
Daring to care: Van liefde voor kennis naar liefde voor leren
Laten we met onderzoek bij het hbo ook niet in de valkuil trappen van belangrijk willen worden met het aantal publicaties in vooraanstaande tijdschriften en het aantal malen dat je daaruit geciteerd wordt. Het gaat bij praktijkgericht onderzoek om het maken van een verschil, met betrouwbaar en degelijk onderzoek waar je iets mee kunt in de praktijk. Ik zou iedereen die onderzoek doet aan het hbo, en eigenlijk ook aan universiteiten, gunnen om onderzoek te doen naar vragen die er toe doen. Of zoals Nancy Adler het verwoordt: “It is about daring to care. What profoundly important and meaningful question would you like to be researching?”. En maak je vooraf niet teveel zorgen over wat anderen hierover gezegd hebben. Kennis is belangrijk, natuurlijk, maar in het hbo leiden we professionals op, mensen met liefde voor leren voor de praktijk, met een onderzoekende houding in die praktijk en geen onderzoekers met liefde voor kennis. Tot zover sessie 575. Meer over actieonderzoek in het volgende deel van deze bloemlezing.
Nancy J. Adler laat een treffende uitspraak zien tijdens het symposium