A sebészeknek rutinszerűen kell vizsgálniuk az orvosi felvételeket és feljegyzéseket a műtét során, de ha otthagyják a műtőasztalt és a számítógép billentyűzetét vagy az egeret megérintik, az késleltetheti a műveleteket, növeli a fertőzés veszélyét. A műtőben elhelyezett számítógépeket és infokommunikációs eszközöket nehéz fertőtleníteni, illetve ha ezeket az eszközöket az asszisztensek és nővérek kezelik, a nem elég hatékony szóbeli kommunikáció időigényes lehet és növeli a tévedés kockázatát.
Az indianai Purdue Egyetemen ezért a kutatók egy olyan rendszer kialakításán dolgoznak, amely térérzékelésre alkalmas kamerákkal és speciális algoritmusokkal felismeri a kézmozdulatokkal kiadott parancsokat, s így jeleníti meg, illetve teszik böngészhetővé az MRI felvételeket egy nagyméretű kijelzőn. A kísérleteket állatorvosokkal együttműködve folytatták le, s összegyűjtöttek egy sor természetes gesztust, amelyet a kórházi szakemberek és a sebészek műtét közben használtak.
Az MRI felvételek használata közben a tipikus parancsok a következők: forgasd az óra járásával megegyező irányba, forgasd az óra járásával ellentétes irányba, keress jobbra, keress balra, keress felfelé és lefelé, növeld vagy csökkentsd a fényerőt, nagyíts és kicsinyíts.
A sebészek hamarosan kézjelekkel üzennek egymásnak műtét közben A rendszer működése szempontjából kritikus, hogy a környezetből származó információkat hogyan kezelik. Például a műtétet végző sebész törzs- és fejtartásának azonosítása rendkívül fontos, hogy pontosan az jelenjen meg a képernyőn, amit szeretne.
Komoly kihívást jelent, hogy a rendszer képes legyen elkülöníteni az utasításokat a nem neki szánt mozdulatoktól. A kézmozdulatok, a törzs- és fejtartás, valamint a sebész tekintetének követése adja a támpontokat, amelynek alapján ez megtörténhet, azaz a rendszer megmutatja a képet, és az orvos kívánságának megfelelően kezeli azt.
A kézmozdulatokat felismerő rendszer a Microsoft által kifejlesztett Kinect technológiát használja. A 3 dimenziós térben a mozdulatokat követni, a parancsokat felismerni képes kamerát pedig elektronikus játékokban találták meg. A környezeti információk integrálása lehetővé teszi, hogy az algoritmusok pontosan dolgozzanak. A rendszer jelenleg a kézzel kiadott specifikus (például böngészésre vagy forgatásra utasító) parancsokat 93 százalékban érti meg helyesen.
Az algoritmus folyamatosan fejlődik, s képes már figyelembe venni, hogy milyen fázisban van a műtét, ami segít a gesztusok azonosítására szolgáló értelmezési keret kiválasztásában, s a böngészési idő csökkentésében. Azaz valószínűsíteni tudják, hogy a sebész milyen képet kér, és hogyan szeretné, ha megjelenne.
A rendszer képes lesz arra is, hogy a műtét közben használt sebészeti eszközök pozícionálását is segítse. Például pontosabban tudják a kívánt helyre bevezetni egy agyi biopszia esetében a mintavételhez használt tűt. Ezáltal az egész művelet sokkal gyorsabb lehet.
Forrás: Medicalexpress.com
