Videokuvapohjainen sykeanalyysi mahdollistaa etäpalaverien toimivuuteen vaikuttamisen

Risto Puutio 29.6.2023

Tässä blogissa kerromme etävälitteisen työnohjauksen tutkimushankkeessa mukana olevan Oulun yliopiston tutkimusryhmän kehitystyöstä. Ryhmä luo teknologiaa, jonka avulla videokuvan pohjalta voidaan saada luotettavaa tietoa sykkeestä ja sykevälivaihtelusta.

Tietokonenäköön perustuvan menettelyn nimi on etäfotopletysmografia, jota tässä kutsutaan rPPG -teknologiaksi. Sen avulla saadaan reaaliaikaista tietoa keskusteluun osallistujien fysiologisen tilan ja sitä kautta stressi- ja vireystason muutoksista. rPPG-teknologia perustuu kasvoilla näkyvien hienovaraisten, verenkierron vaihteluiden tuottamien värimuutosten tunnistamiseen. Muutokset voidaan havaita edistyneillä videokuvaa analysoivilla algoritmeilla. Näin tarkkoihin havaintoihin ei päästä paljaalla silmällä havainnoiden. Taltioimalla ja prosessoimalla kasvojen ihon värivaihteluita rPPG-teknologia mittaa sykkeen tarkasti ilman mittalaitteita, pelkistä kasvovideoista. Oulun tiimin kehittämä teknologia käyttää mittauksessa ns. valvomatonta syväoppimisalgoritmia, jota kutsutaan kontrastiiviseksi oppimiseksi.

Työpaikoilla rPPG-teknologiaa voidaan hyödyntää terveyden edistämiseen. Yksi tärkeimmistä soveltamisen alueista on stressilähteiden tunnistaminen. Aiemmat tutkimukset ovat osoittaneet, että syketoimintamme liittyy stressitasoon, jota säätelee sympaattinen hermojärjestelmä. Kun stressitaso on korkea, sympaattinen järjestelmä nopeuttaa sykettä. Samalla palautumiseen liittyvä ja siitä kertova sykevälivaihtelu yleensä vähenee. Seuraamalla sykkeen ja sykevälin vaihtelua työssä, esimerkiksi etäkokouksissa, saadaan tietoa osallistujien stressitasosta. Tiedon avulla voidaan tunnistaa stressiä tuottavia tilanteita sekä etsiä keinoja kuormittavien työolosuhteiden korjaamiseksi.

Toinen sovellusalue liittyy erilaisten kokousten ja ryhmätyöskentelyjen toimivuuden arviointiin. Tutkimalla osallistujien sykkeen ja sykevälivaihtelun muutoksia kokousten aikana voidaan arvioida osallistujien vireystason vaihteluita, jotka  kertovat aktiivisesta mukana olosta tai huomion hiipumisesta yhteistyötilanteissa. Tämä voi antaa arvokasta palautetta kokousten järjestäjille siitä, kuinka he voivat mukauttaa omaa toimintaansa  varmistaakseen osallistujien aktiivisen mukana olon keskusteluissa.

Vaivattomasti ja ilman erillisiä sykemittareita toteutettavana teknologiana rPPG tarjoaa helpon ja ei-invasiivisen menetelmän sykkeen ja stressitason seurantaan. Parhaimmillaan tällainen tieto voi auttaa työntekijöitä ja työryhmiä tehostamaan etäkokousten toimivuutta ja parantamaan kaikkien osapuolten kokemusta kokouksista. Nähtäväksi jää, kuinka rPPG-teknologiaa voidaan edelleen kehittää esimerkiksi mobiilisovelluksen avulla kaikille saatavilla olevaksi työkaluksi, jonka avulla voidaan edistää työterveyden ja -hyvinvoinnin käytäntöjä työpaikoilla.  Ymmärrettävästi uuden teknologian käyttöönotto tulee synnyttämään myös tarpeen käydä keskustelua työpaikalla tehtävien fysiologisten mittausten eettisistä kysymyksistä.

Tähän alle lisätty myös Oulun tutkimusryhmän enlganninkielinen teksti aiheesta.

USING FACIAL VIDEO ANALYSIS TO PROMOTE HEALTHY WORKING CONDITIONS AND REDUCE STRESS

In today’s fast-paced world, finding ways to enhance our well-being and reduce stress in the workplace is essential. One innovative approach that has gained attention recently is the use of remote photoplethysmography (rPPG) technology. This fascinating technique measures heart rate through facial videos, making it a non-invasive and practical solution for promoting health at work. But how does it work, and what are the benefits of utilizing this technology in a professional setting? Let’s dive in and explore.

The Magic Behind rPPG Technology

At first glance, it might seem like magic – measuring heart rate just by analyzing facial videos. However, rPPG technology relies on a scientific principle: the subtle color changes that occur on our faces as blood flows through our skin. When our hearts beat, blood is pushed through our blood vessels, causing tiny variations in facial skin color. These changes are typically imperceptible to the naked eye but can be detected by advanced algorithms that analyze video data.

By capturing and processing these subtle color fluctuations, rPPG technology can accurately measure heart rate from facial videos alone. This eliminates the need for physical contact or specialized equipment, making it a convenient and non-invasive method for assessing heart rate and related health parameters.

Recently, our team at the University of Oulu developed a new method to make this process even more efficient. It utilizes an unsupervised deep learning algorithm called contrastive learning, which is a type of artificial intelligence. Unlike traditional methods, this approach does not require access to actual physiological signals for learning. Instead, it can directly generate rPPG signals from facial videos. This innovative approach makes the whole process more cost-effective and practical and has the potential to revolutionize the way we assess and promote well-being in the workplace.

Promoting Health at Work Using rPPG

With a deeper understanding of the technology, let’s explore how rPPG can be used to promote health and well-being in the workplace. One of the primary applications is stress analysis. Previous studies have shown that our heartbeat activities are related with the stress level, which is regulated via the sympathetic nervous system (SNS), i.e., when the stress level is high, the SNS speeds up the heart rate to deliver more blood and oxygen so that the body can act accordingly. By monitoring heart rate fluctuations during work-related activities, such as meetings or presentations, it is possible to gain insights into an individual’s stress levels. This information can help employees and employers identify sources of stress and implement strategies to alleviate it, ultimately leading to a healthier and more productive work environment.

Additionally, rPPG technology can be used to evaluate the effectiveness of group meetings. By examining the heart rate patterns of participants during meetings, it is possible to determine when they are actively engaged and when their attention may be waning. This can provide valuable feedback to meeting organizers, who can then adjust their approach to maintain engagement and ensure that everyone is actively involved in the discussion.

A Non-Invasive Approach for a Healthier Workplace

rPPG technology offers a unique and non-invasive method for monitoring heart rate and stress levels in the workplace. By providing valuable insights into employee well-being and meeting effectiveness, it can help create a more supportive and productive environment for everyone. As we continue to explore the potential of this technology, it’s exciting to envision a future where workplace health and well-being are prioritized and easily accessible to all.

Metanoia Instituutti on mukana etäyhteydellä toteutettavan ryhmätyönohjauksen vuorovaikututusta

tarkastelevassa tutkimushankkeessa, jossa analysoidaan yksityiskohtaisesti keskusteluiden vuorovaikutusta, koettua hyödyllisyyttä ja kuormittavuutta kyselyiden, videotallennettujen ryhmäohjausistuntojen ja niihin liittyvän fysiologisen mittausten avulla. Työsuojelurahaston rahoittamassa hankkeessa Jyväskylän yliopistosta on mukana tutkijaryhmä, johon kuuluvat tutkimuksen johtaja, apulaisprofessori Virpi-Liisa Kykyri, projektitutkija, PsT Mikko Pohjola, apulaisprofessori  Miriam Nokia, akatemiatutkija Miiamaaria Kujala sekä yliopisto-opettaja Joona Muotka. Oulun yliopistosta hankkeessa on mukana apulaisprofessori Xiaobai Li sekä tutkijatohtorit Zhaodong Sun ja Alexander Vedernikov.