19. vendégposzt: Dr. Elena Zaitseva: A kvalitatív adatok táján való navigálás a felmérések során automatizált szemantikai elemzéssel

A mai blogban Dr. Elena Zaitseva, a Liverpooli John Moores Egyetem Oktatási és Tanulási Akadémiájának akadémiai kutatási és fejlesztési tisztviselője leírja egy felhasználóbarát eszköz keresését, amely lehetővé teszi a kutatók számára, hogy áttekintést kapjanak egy teljes adattérről. A Leximancer szövegelemző eszközt használja a felmérések során a nyitott kérdésekre adott válaszok automatizált szemantikai elemzésére; olyan adatok, amelyek gyakran elemzés nélkül maradnak.

Elena kutatási érdekei a felsőoktatási hallgatók tapasztalatai, a tanulói identitás és a tanulói utak. 2011 óta használja a Leximancer szemantikai elemző szoftvert nagy kvalitatív adathalmazok elemzéséhez. A kutatás eredményeit a Quality in Higher Education Journal több könyvfejezete és a Felsőoktatási Akadémia (jelenleg Advance HE) megbízásából készített két jelentés publikálja. ).

A kvalitatív adatok táján való navigálás felmérésekben automatizált szemantikai elemzéssel

A nagyszabású felmérési adatok csaknem húsz évvel ezelőtti kvantitatív-kvalitatív megosztottságára reflektálva Bolden és Moscarola (2000) arra a következtetésre jutottak, hogy a szabad szöveges megjegyzéseket (pl. Válaszok a kérdőívek nyitott kérdéseire) „rosszul használják, vagy teljesen figyelmen kívül hagyják, és nem szisztematikusan, vagy félként kezelik ”(Bolden és Moscarola, 2000, 450. o.). Két évtizeddel később, és nem sok minden változott. Több ezer töredezett, nyitott kérdésre adott válasz vizsgálata, rövid mondattól vagy mondattól kezdve a mini-narratívákig vagy a hosszú reflektív beszámolókig, továbbra is összetett, idő- és erőforrásigényes feladat a kutatók számára. A szabad szöveges megjegyzések időben történő elemzése azonban nemcsak a kvantitatív eredmények jobb megértését segítheti elő, hanem új diskurzusokat is feltárhat, amelyekre a felmérés készítői nem feltétlenül számítanak.

Az angliai Felsőoktatási Finanszírozási Tanács (HEFCE) által finanszírozott „Sophomore Slump” projekt keretében, amely a másodéves egyetemisták elszakadását és alulteljesítményét vizsgálta, összehasonlító elemzést végeztünk a tanulmányok minden szintjén alkalmazott hallgatói felmérésben szereplő megjegyzések összehasonlító elemzésével. (az első, második és az utolsó éves hallgatók visszajelzésének témáinak összehasonlítása) (Zaitseva et al, 2013). Minden adatsor átlagosan 250 oldalnyi szöveget tartalmazott, egyetlen szétválasztott Times New Roman 12 pontos betűtípussal.

Olyan felhasználóbarát eszköz keresése, amely lehetővé tenné számunkra, hogy azonnal megismerhessük a hallgatói visszajelzések teljes intézményi táját az egyes tanulmányi szintekhez, és képesek legyek felismerni a különbségeket, és elmélyülhessek az adott területeken vagy témákban, elvezetett a Leximancerhez - a szöveg fogalmi és tematikus felépítésének megjelenítésére szolgáló eszköz, amelyet a Queenslandi Egyetemen fejlesztettek ki (Smith és Humphreys, 2006).

A szoftver automatikusan azonosítja a fogalmakat, a témákat (fogalomcsoportokat) és a közöttük lévő kapcsolatokat a szöveg adatbányászatával, és a megállapítások vizuális ábrázolásával egy fogalomtérkép formájában - ezt a folyamatot a természetes nyelv felügyelet nélküli szemantikai feltérképezésének nevezik. Annak a feltételezésnek az alapján, hogy egy fogalmat olyan szavak jellemeznek, amelyek általában együtt jelennek meg, a szoftver méri, hogy egy szó mennyire releváns egy másik szó halmaza szempontjából. Csak azok a szavak alkotnak fogalmat, amelyek átlépnek egy bizonyos, a szoftver által meghatározott relevancia-súlyküszöböt, bár ez a paraméter manuálisan módosítható (1. ábra).

1. ábra: Példa a Leximancer által generált koncepciótérképre

Az eszköz nemcsak meghatározza a legfontosabb fogalmakat, témákat és a hozzájuk kapcsolódó érzelmeket, hanem hasznos információkat nyújt a fogalmak közelségéről és elhelyezkedéséről is. Ez különösen előnyös a longitudinális és összehasonlító elemzéseknél, ahol a fogalmak térképen való elhelyezése alapján meg lehet állapítani az alapvető különbségeket.

Bár a „feltérképezési” folyamat automatikusan befejeződik, a térkép értelme és az egyes fogalmak mögötti jelentés megalapozása a kutató feladata. A kutatónak „fel kell boncolnia” a fogalmakat és a hozzájuk kapcsolódó témákat az összes olyan eset (közvetlen idézetek) feltárásával, amelyek hozzájárultak a koncepció létrejöttéhez, és hagyományosabb értelmező/tematikus elemzést kell végeznie.

A Leximancer alkalmazása a „Sophomore Slump” kutatásban segített feltárni a tanulók attitűdjének és prioritásainak változását a tanulmányaik előrehaladtával, bemutatva, hogy az első évben hogyan léptek át az affektívan orientált célokból a második év tanulási és célmegerősítési szakaszába, valamint az elért eredmények és eredmények -orientált tanulás az utolsó évben.

Egy másik kutatási projekt, amelyben tesztelték a Leximancer képességeit, a posztgraduális hallgatók szabad szöveges észrevételeinek elemzése volt az ágazati szintű tanulók, hogy azonosítsák a visszajelzésekben szereplő domináns témákat (Zaitseva és Milsom, 2015). A posztgraduális oktatott tapasztalatok felmérése (PTES) adatkészlete 100 5 felsőoktatási intézmény 67 580 hallgatójának válaszait tartalmazta. A felmérés lehetőséget adott az egyes szakaszok (összesen hét) után történő kommentálásra, és válaszokat hívott meg a legélvezetesebb szempontokról, valamint arról, hogy miként lehetne javítani a tanfolyam tapasztalatait. Az összesített adatsor körülbelül 2 670 000 szót tartalmazott, ami 5933 oldalnak felel meg (egyetlen szétválasztott Times New Roman, 12 pontos betűtípus). Kísérlet egy fogalomtérkép kombinált adatsorból történő létrehozására sűrűn lakott térképet és több ezer idézetet eredményezett az egyes fogalmakhoz, ezért elemzésre alkalmatlannak tartották. Az adatokat az egyes szakaszok válaszainak külön-külön történő elemzésével kellett lebontani, és a demográfiai adatok lebontásával kapott információkkal (pl. A fiatal és érett, részmunkaidős és nappali tagozatos hallgatók válaszainak tendenciáinak figyelembevételével) kellett kibővíteni, hogy a legkevesebb némi telítettség a tematikus feltárásban.

Az elemzés számos új témát azonosított, köztük a részmunkaidős hallgatók nagy munkaterhelését, amelyet gyakran alulreprezentáltak a kurzusokkal kapcsolatos marketing információkban, valamint annak hatását a hallgatók mentális egészségére és az elért képességekre (2. ábra); a mesterképzés „szintje” körüli kérdések, amelyek egyes esetekben doktori szintre, más esetekben pedig az utolsó év alapképzésére irányultak, és néhány más.

2. ábra Részmunkaidős hallgatói tapasztalatok fogalomtérképének töredéke

Az olyan eszközök, mint a Leximancer, lehetővé teszik a kutatók számára, hogy a nagy kvalitatív adathalmazokat időben hatékonyan és következetesen elemezzék, mivel az adatok előzetes feldolgozása számítógéppel történik. Az ebből az elemzésből kirajzolódó fogalomtérkép a tömegek bölcsességét ragadja meg (Dodgson et al. 2008), és szövegvezérelt, nem pedig kutató által vezérelt reprezentáció. De a kutató képes megkérdezni a fogalomtérképet és koncentráltabb/személyre szabottabb elemzést végezni azáltal, hogy a szöveget „mélyebb kontextuális asszociációkra” bányássza (Stewart és Chakraborty, 2010). Minél nagyobb az adatforrás, annál árnyaltabb lesz a koncepciótérkép.

A számítógéppel támogatott elemzés használata növeli a megbízhatóságot (mivel az elemzés legfelső szintje független a kutató hatásától), és megkönnyíti a megállapítások megismételhetőségét, mivel lehetséges újragondolni gondolkodásmódját, amely hozzájárulhatott új ötletek és kutatási eredmények megjelenéséhez.

Az ilyen típusú elemzéseknek vannak korlátai. Néhány fogalom erőteljesen merül fel ott, ahol szűk szókincs képviseli őket. A hallgatói felmérések keretében az olyan szavak, mint az előadás, a könyvtár, a visszajelzések vagy a vizsgák, erősen megjelennek a fogalomtérképeken. Ezzel szemben a hallgatói tapasztalatok egyéb elemeit, például a személyes fejlődést vagy a tanórán kívüli tevékenységeket, a fogalmak szélesebb köréből fogják azonosítani, és nagyobb a valószínűsége annak, hogy fogalomként hígulnak a térképen. Ezt mérsékelni lehet testreszabott elemzéssel, például koncepcióvetéssel, olyan fogalmak hozzáadásával, amelyek nem lépték át a publikációs küszöböt, de érdekesek a kutató számára.

Egyes fogalmak jelentésben viszonylag rögzítettek, míg mások nagyon tágak. Például a koncepció bemutatója valószínűleg egyetlen jelentést képvisel a hallgatói visszajelzésekben. Ugyanakkor a koncepció működik, mivel főnév és ige, többféle jelentése lehet. Az elemzés finomhangolása érdekében specifikusabb lekérdezéseket kell futtatni, hogy jobban megértsük a koncepcióhoz kapcsolódó összes konnotációt (pl. Csoport + munka, részmunkaidő + munka).

Az érzelmek elemzését időnként ellenőrizni kell a kontextus megértésének ellenőrzésével, de a Leximancer ezt is enyhíti azáltal, hogy mindkét mutatót megadja (kedvező és kedvezőtlen valószínűség).

Kétségtelen, hogy a szoftverelemzésnek korlátai vannak. A nyelv bonyolultsága azt jelenti, hogy az automatizált szemantikai elemzési módszerek soha nem fogják helyettesíteni a szöveg gondos és szoros olvasását, de „a számítógéppel támogatott módszereket úgy lehet elképzelni, hogy a gondos olvasást és átgondolt elemzést erősítik és fokozzák” (Grimmer és Stewart, 2013, 2. o.) . Ezek a módszerek létfontosságúak nagy mennyiségű kvalitatív adat kezeléséhez, amelyek egyébként elemzés nélkül maradhatnak.

Hivatkozások

Bolden, R. és Moscarola, J. (2000) A kvantitatív-kvalitatív megosztottság áthidalása: a szöveges adatelemzés lexikális megközelítése, Social Science Computer Review, 18 (4): 450-460.

Grimmer, J. és Stewart, B. (2013) Szöveg adatként: Az automatikus tartalomelemzési módszerek ígérete és buktatói a politikai szövegekhez, Political Analysis Advance Access, 1-31, elérhető online: https://web.stanford.edu /

Smith, A. és Humpreys, M. (2006) A természetes nyelv felügyelet nélküli szemantikai feltérképezésének értékelése Leximancer koncepció-feltérképezéssel, viselkedési kutatási módszerek, (38): 262–79.

Stewart, G. és Chakraborty, A. (2010) Stratégiai tartalomelemzés a szolgáltatás azonosításához: Esettanulmány a kormányzati ügynökségekről. 5. konferencia az informatika minőségi kutatásáról, Brisbane, elérhető online: https://researchonline.jcu.edu.au/25633/1/QUALIT10.pdf

Zaitseva, E., Milsom, C. és Stewart, M. (2013) A pontok összekapcsolása: Koncepciós térképek használata a diákok elégedettségének értelmezéséhez. Minőség a felsőoktatásban, 19 (2): 225–47.