Miten arviointi vaikuttaa arvioijaan?

Atso Juote 30.6.2015

arviointi prosessi

Ulkopuolella, sisäpuolella vai suhteessa?

Ulkopuolisten arvioiden etäisyys arvioinnin kohteen ja arvioijan välillä on ikuisesti jännitteinen kysymys. Neutraliteettiä korostavat arvioijat haluavat luoda asetelman, jossa kliinisesti tarkastellaan arvioinnin kohteena olevia. Läheisyyden ja kohteen tuntemisen arvellaan vaarantavan arvioinnin tasapuolisuuden. Arviointi pelkistetään mielellään tulosten arvioinniksi.

Itselleni on lähes sietämätöntä tyytyä tällaiseen asetelmaan. Etäisestä tarkastelupisteestä niin paljon arvokasta, ennakoimatonta, muotoutuvaa ja osin hahmotonta jää tavoittamatta. Mielessäni organisaatioanalyyttinen, relationaalinen ja neutraliteettia tavoitteleva arviointikehys törmäävät kolisten yhteen.

Kanssakäyminen mahdollistaa ymmärryksen

Metodisesti arviointikeskustelussa on käyty kamppailua tulos/vaikuttavuusarvioinnin ja prosessiarvioinnin välillä. Toisaalta kyse on määrällisen ja laadullisen arvioinnin suhteesta. Tulos- ja vaikuttavuusarvioinnissa pyritään keskittymään mielellään määrämuotoisiin ja selkeästi todennettaviin tuloksiin. Eräs asiakkaani totesi tulosarvioinnista: ”Eihän se ole muuta, kuin että tehdään alkumittaus ja loppumittaus ja katsellaan eroa…”

Entäpä sitten, kun alun perin ei ole osattu asettaa oikeita tavoitteita tai pikemminkin kaikkia tavoitteita? Entä jos mittaus tavoittaa vain kolmanneksen toiminnan seurauksista? Mittarit ilman kontekstia voivat viedä tuhoisalla tavalla harhaan. Eräs kokenut yhdysvaltalainen arviointitutkija kuvasi, kuinka häneen otettiin yhteyttä ja kysyttiin, tulisiko eräs koulu lakkauttaa. Sieltä kun valmistuu merkittävästi vähemmän opiskelijoita, kuin muista kaupungin kouluista. Arvioija pohti kysymystä tovin ja soitti takaisin kysyjälle. Hän totesi, että koulua ei pitäisi missään tapauksessa lopettaa. Koulun oppilaat olivat niitä, jotka olivat keskeyttäneet kaupungin muissa kouluissa. Itse asiassa oppilaitos oli siis merkittävästi parempi kuin muut; onnistuihan se sellaisten oppilaiden kanssa, joiden kanssa muut olivat epäonnistuneet. Samanlaisiin harhaisten mittareiden ja kontekstista irti olevien tavoitteiden haasteisiin törmäävät esimerkiksi syrjäytyneitten nuorten kanssa työtä tekevät hankkeet.

Laadullinen arviointi paljastaa ilmiöitä, suhteita, tulemia ja seurauksia, joista ulkoa päin ei ollut aavistustakaan. Usein niistä ei ole aavistusta hankkeen tai toiminnan sisälläkään. Kyse saattaa olla itsestään selvänä pidetystä, sattuman tuloksena syntyneestä, mallintamattomasta tai osin tiedostamattomasta. Erityisesti mallintamattomuus näyttää olevan yhteydessä asioiden katoamiseen havaintojen tavoittamattomiin.

Tunne paljastaa olennaisen?

Läheinen vuorovaikutus arvioitavan yhteisön kanssa tarjoaa mahdollisuuden tunnetason kokemukseen arvioinnin kohteena olevasta toiminnasta. David Armstrong (2004) on kirjoittanut kirjassaan ”Organization in the Mind” kirjoittanut, että psykodynaamisesta näkökulmasta organisaatio analyysin lähtökohtana ovat tunteet.

Koetut, havaitut ja kerrotut tunteet auttavat ymmärtämään yhteisön toimintaa, erilaisia riippuvuussuhteita, kehkeytymässä olevaa ja haastavaksi koettua. Tunne voi myös viedä samalla tavalla harhaan, kuin toimintakin on menossa. Tunteen kanssa työtä tekevän keskeinen haaste on edes ajoittain päästä reflektiiviseen asemaan.

Tunteen myötä kohteen ilmiöt siirtyvät osaksi arviointia ja arvioijaa?

Tunteen myötä siirtyvät arviointiin ilmiöt, jotka ovat vallalla yhteisössä. Itselläni ja kollegoillani on kokemuksia, kuinka yhteisön sisäiset ristiriidat siirtyvät kamppailuiksi arvioijien välille, kuinka hankkeen kiire ja pakonomainen touhottaminen alkaa näkyä pakonomaisena arviointina tai kuinka merkityksettömyyden tunne ja lamaannus valtaavat arvioijan. Kun usko loppuu hankkeelta, se loppuu arvioijaltakin. Tunteita tietona käyttävän ongelmana eivät ole tunteet ja niiden vaikutus. Pikemminkin kysymys kuuluu, miten tunnetta voi käyttää havaintona ja tietona?

Arviointi uhkana ja mahdollisuutena: ammutaanko sanansaattaja?

Aidosti ymmärrystä etsivä arvioija on arvioinnin kohteena olevalle sekä mahdollisuus että uhka. Parhaimmillaan yhteisön todellisuuden tavoittanut arvioija voi merkittävällä tavalla auttaa yhteisöä sanoittamaan sellaista, johon ei aiemmin ole saatu tolkkua. Kriittisen koulukunnan edustajista Carr ja Kemmis (1986) ovat määritelleet kriittisen toimintatutkimuksen tehtäviä. Itselleni keskeiseksi ohjenuoraksi on muodostunut kehotus: ”Tutkijan tehtävä on paljastaa ideologisesti epäselviä käytäntöjä.” Ideologisesti epäselvällä tarkoitetaan tässä sellaista toimintaa, joka ei tuota niitä tuloksia, joita uskotaan tavoiteltavan tai jotka synnyttävät jotain ihan muuta, kuin ääneen on sanottu. Esimerkiksi voisi käydä vaikkapa vanhustenkodin tarjoaman hoidon pyrkimys laitostaa asukit, joka itse asiassa vähentää heidän kykyään tulla toimeen omillaan.

Ideologisten asioiden ääneen lausuminen on monille yhteisöille uhka. Se voi kyseenalaistaa koko toiminnan perustan. Arvioijan näkökulmasta vaarana on olla se viestin tuoja, joka ammutaan. Kun juupas-eipäs-asetelmat ja puolustusten esiin nostaminen eivät ole toiminnan kehittämisen kannalta tarkoituksenmukaisia, kyse on myös arvioinnin tahdikkuudesta. Miten siis kertoa nähdystä, koetusta, tunnetusta siten, että se otettaisiin vastaan?


Tämän vuoden Metanoia-konferenssissa “Muutostyön jälkiä” 28.8.2015 etsitään näkökohtia työelämän kehittämistyön arviointiin. Tutustu ohjelmaan täällä.