Blog Aus- und Weiterbildung | Gewusst wie: Analyse von Online-Stellenanzeigen (5/11)

Gewusst wie: Analyse von Online-Stellenanzeigen (5/11) – Evaluation

7. März 2022 / Jana Fingerhut, Dr. Jürgen Hermes, Christine Schäfer

In dieser Blogreihe berichten Expert:innen über Lösungsansätze zu methodischen Herausforderungen, die bei der Analyse von Online-Stellenanzeigen (OJA – Online Job Advertisement) entstehen können. Die Vortragsvideos stammen vom OJV Forum, welches vom Bundesinstitut für Berufsbildung und der Bertelsmann Stiftung im November 2021 ausgerichtet wurde. Das Forum hat zum Ziel, Expert:innen für die Analyse von OJA miteinander zu vernetzen, über methodische Herausforderungen zu diskutieren und sich gegenseitig auf den aktuellen Forschungsstand zu bringen. Darüber hinaus soll es dazu beitragen, das Potential der OJA-Analyse weiter auszuschöpfen und den Weg für weitere Studienideen und Kooperationen zu bereiten.

Video: Evaluation von Extraktionsmustern – Musterbasierte Informationsextraktion

Auch Geisteswissenschaften können sich dem digitalen Wandel nicht versperren, weshalb an der Universität zu Köln 2017 ein Institut für Digital Humanities gegründet wurde. Dort wird unter anderem an Methoden für die Analyse von OJA geforscht. Dr. Jürgen Hermes stellt im Video das Projekt Qualifikationsentwicklungsforschung vor, welches gemeinsam mit dem Bundesinstitut für Berufsbildung durchgeführt wird. Ziel ist hierbei die Entwicklung einer Workbench für die Analyse von großen OJA-Datensätzen, in der verschiedene Konzepte, Software-Komponenten und Evaluationsmethoden zusammenspielen. Mit der Evaluation von Mustern, die zur Extraktion von Informationseinheiten aus Stellenanzeigen dienen, hat sich Christine Schäfer in ihrer Bachelorarbeit auseinandergesetzt und dabei zwei Ziele verfolgt. Das erste Ziel war, mehr relevante Begriffe durch eine geeignete Auswahl von Extraktionsmustern zu finden. Dazu sollte der vorher vom System erreichte Recall-Wert von 77 % erhöht werden, welcher den Anteil der relevanten Ergebnisse am Gesamtbestand misst. Damit nicht nur mehr, sondern zugleich auch relevante Konzepte gefunden werden, musste dabei die Precision konstant gehalten werden. Diese gibt an, wie viele relevante Begriffe im Suchergebnis enthalten sind. Zweites Ziel war, das sogenannte Semantic Drifting zu reduzieren. Dabei handelt es sich um die Generierung von falschen bzw. schlechten Mustern durch falsche Extraktionen. Eine erneute Falschextraktion wird vermieden, wenn die Zahl unergiebiger Muster reduziert wird.

Weitere spannende Arbeiten aus der Arbeitsgruppe um Herrn Dr. Hermes und Frau Schäfer aus den Digital Humanities der Universität zu Köln finden Sie unter den folgenden Links: