Diplom-, Master-, Bachelor- oder Studienarbeiten

Im Fachgebiet Knowledge Engineering (Prof. J. Fürnkranz) werden zur Zeit folgende Themen für studentische Arbeiten angeboten. Die meisten Themen eignen sich sowohl für Master-, als auch für Studien- oder Bachelor-Arbeiten, wobei bei letzteren natürlich eine etwas weniger tiefe Behandlung des Themas erwartet wird.

Als Vorkenntnisse werden absolvierte Vorlesungen bzw. praktische Erfahrung in maschinellem Lernen, Data Mining oder einem verwandten Gebiet erwartet.

Die Themen-Liste ist keineswegs vollständig und Sie sind auch herzlich eingeladen, selbst Themen vorzuschlagen. Am Fachgebiet findet auch regelmäßig ein Ober-Seminar statt, in dem laufende oder gerade fertig gestellte Arbeiten vorgestellt werden.

Antworten auf häufig gestellte Fragen zu Abschlußarbeiten finden Sie in unserer FAQ.

All theses can be written in English (in fact, this is strongly encouraged). English descriptions of individual topics are available upon request. Prior coursework or practical experience in machine learning, data mining or similar is expected.

 Regel-Lernen

Interpreting Deep Learning in NLP - Rule Extraction from Deep Neural Networks which use Embeddings

Ansprechpartner: ELM

Deep neural networks are black-boxes – they take some input and produce an output using mathematical functions which are not interpretable to humans. This poses a problem in many domains, including NLP, where users would benefit from explanations relating input and output in a human-understandable form. Rules of the form “if input-characteristic-x and input-characteristic-y then output-value” can provide an explanation. Recently, methods for extracting such rules from deep neural networks have been developed. How to apply these methods to natural language data, e.g. word embeddings, is an open problem.

Possible Tasks in this Master Thesis could be: Exploring rule extraction algorithms applicable to neural networks whose input are word embeddings, analyse the input-characteristics in extracted rules using linguistic methods to create a higher-level understanding, evaluating the interpretability of the final rules.

Machine Learning

Learning by dichotomization

Ansprechpartner: JF

It has been shown by Hoffman et al. (2001) that binary classification can be improved if the learner is not only trained on the classes in question, but also considers potentially available subclasses. In this thesis, we would like to investigate the potential of improving the performance of a learning by introducing artifial subclasses for each of the two classes (e.g., via clustering). This idea is also related to the use of nested dichotomies, where a multi-class problem is solved by generating an artificial hierarchy. Here, as we construct both the hierarchy and the classes, there is a natural candidate hierarchy (the one resulting from the clustering), which cannot be expected to improve performance. The work should therefore also answer the question, whether, counterintuitively, other hierarchies could yield better results.

Literatur:

  • Eibe Frank, Stefan Kramer: Ensembles of nested dichotomies for multi-class problems. Procedings of the International Conference on Machine Learning (ICML), 2004
  • Achim G. Hoffmann, Rex Bing Hung Kwok, Paul Compton: Using Subclasses to Improve Classification Learning. Proceedings of the European Conference on Machine Learning (ECML) 2001: 203-213
  • Vitalik Melnikov, Eyke Hüllermeier: On the effectiveness of heuristics for learning nested dichotomies: an empirical analysis. Machine Learning 107(8-10): 1537-1560 (2018)

Multilabel-Classification with Sum-Product Networks

Ansprechpartner: MK

Classifier chains is an effective approach in order to exploit label dependencies in multi-label data. However, it has the disadvantages that the chain is chosen at total random or relies on a pre-specified ordering of the labels which is expensive to compute. Moreover, the same ordering is used for every test instance, ignoring the fact that different orderings might be best suited for different test instances.

In order to overcome the major problem of the label ordering, Sum-Product Networks can be used to dynamically selecting the label ordering during the prediction process based on the given instance and the already predicted labels for it. However, the quality of the predictions highly depends on the constructed structure of the Sum-Product Network. Since Sum-Product Networks belong to the family of generative machine learning algorithms all random variables  are handeled equally during the construction process. The task of this thesis is to adapt the construction process of a Sum-Product-Network with focus on improving Multilabel-Classification.

Literatur:

  • J. V. Llerena and D. D. Mauá: On Using Sum-Product Networks for Multi-label Classification. Brazilian Conference on Intelligent Systems (BRACIS), 2017, pp. 25-30
  • Alejandro Molina, Antonio Vergari, Nicola Di Mauro, Sriraam Natarajan, Floriana Esposito, Kristian Kersting: Mixed Sum-Product Networks: A Deep Architecture for Hybrid Domains. Procedings of the AAAI Conference on Artifical Intelligence (AAAI), 2018

    Data Mining

    Competitions im Data Mining

    Im Bereich des Data Mining gibt es eine Vielzahl an Wettbewerben, Competitions und Challenges. Ein jährlicher Wettbewerb, an dem die Knowledge Engineering Group regelmäßig teilnimmt, ist der  Data Mining Cup. Dabei werden besonders Vorhersageprobleme aus dem Feld der Recommender Systeme gestellt. Ein weiterer Wettbewerb, diesmal aus dem Bereich der Künstlichen Intelligenz, ist die Computer Poker Competition. Die Teilnahmen fanden jeweils im Rahmen eines Praktikums statt.

    Wir möchten Studierenden die Möglichkeit geben, auch an weiteren interessanten Wettbewerben im Bereich des Data Mining und der Künstlichen Intelligenz teilnehmen zu können. Dies wird im Normalfall im Rahmen einer Studienarbeit stattfinden, aber je nach Aufwand und Vor- und Nacharbeit ist auch eine Bachelor- oder Masterarbeit oder ein Projektpraktikum denkbar.

    Im Folgenden stellen wir eine kleine Liste laufender bzw. abgeschlossener (soweit aktualisiert) Wettbewerbe statt:

    Weitere Möglichkeiten, um sich über aktuelle Wettbewerbe zu informieren, bieten:

     

    Game Playing

    General Video Game Playing

    Ansprechpartner: TJ

    Unter General Video Game Playing versteht man das Spielen mehrerer unterschiedlicher Videospiele durch den gleichen Agenten. Anders als bei Schach, Go oder Poker kann hier nicht auf spielspezifisches Wissen zurückgegriffen werden, sondern muss ein möglichst allgemeiner Agent entwickelt werden, der in der Lage ist unterschiedlichste Spiele zu spielen.

    Die General Video Game AI Competition (GVGAI) ist ein von Google Deepmind unterstützter internationaler Wettbewerb, in welchem Agenten auf unterschiedlichen Spielen, die sie vorher nicht kannten, gegeneinander antreten. Die Spiele sind in einem einheitlichen Framework, der Video Game Description Language (VGDL) implementiert.

    Aktuell sind keine GVGAI-Arbeiten offen. Themenvorschläge aber möglich!

    Deep Learning for Chess

    Ansprechpartner: JF

    The goal of this thesis is to test the potential of convolutional neural networks in the domain of chess. There are several tasks that need to be performed, such as the development of an auto-encoder that is able to compress and reconstruct chess position. A similar architecture that is trained to predict the board n moves in advance could, e.g., be used to make positional judgements. The main task is to find a suitable input representation (e.g. the raw board position, a bitmap board configuration consisting of 12 bit arrays, or other choices), a suitable deep network architecture, and the selection of suitable positions for training the network (a database with several million chess games is available). For this thesis you should have a good working knowledge of either chess playing or deep learning.

    Wissensgewinn aus Spiel-Datenbanken

    Ansprechpartner: JF

    Zu einer stetig wachsenden Anzahl von Spielen gibt es wertvolle Informationen in Datenbanken. Zum einen wurden viele Spiele bereits durch vollständige Enumeration gelöst, d.h. man weiss für jede mögliche Stellung (und damit auch für die Ausgangsstellung), ob die Stellung gewonnen oder verloren ist bzw. wie viele Züge man bis zum Gewinn benötigt. Zum anderen werden immer mehr Spiele zwischen menschlichen Gegnern aufgezeichnet und in Datenbanken gespeichert.

    Derartige Datenbanken sind ein Parade-Beispiel für die Aufgabe von Data Mining: In den Daten steckt alle Information, die notwendig ist, um das Spiel perfekt (im Falle von vollständigen Datenbanken) oder sehr gut zu spielen (im Falle von Partiensammlungen von guten Spielern). Dennoch ist es angesichts der Fülle der Daten menschlichen Experten zumeist unmöglich, aus dieser Information explizites, formalisierbares Wissen zu gewinnen.

    Eine Abschlussarbeit zu diesem Thema hätte die Aufgabe, aus einer relativ kleinen Datenbank (z.B. das König-Turm-König Endspiel im Schach) Wissen über das Spiel zu gewinnen, das in einer wohldefinierten Aufgabe zu einer Performanz-Steigerung führt. Solche Aufgaben können z.B. sein: einfache Konzepte zu lernen, mit deren Hilfe ein Programm seine Spielstärke verbessern kann, unter Verwendung häufig auftretender Muster eine bessere Komprimierung der Datenbank zu erreichen, etc. Das Hauptproblem, das dabei zu lösen sein wird, ist, geeignetes Hintergrundwissen zu definieren, mit deren Hilfe sinnvolle Konzepte repräsentiert werden können, sowie Data Mining Methoden so zu adaptieren, das sie dieses Wissen effizient nutzen können.

    Künstliche Intelligenz in kommerziellen Computer-Spielen

    Ansprechpartner: JF

    Die kommerzielle Spiele-Industrie beginnt gerade Methoden der Künstlichen Intelligenz zu entdecken, um den Unterhaltungswert ihrer Spiele zu steigern. Die Expertise für die KI-Methoden ist bei uns vorhanden, die Expertise für die Spielanwendung müßten Sie mitbringen. Wenn Sie eine Idee für ein diesbezügliches Projekt haben, können wir gerne darüber sprechen, ob sich dieses für eine Master- oder Bachelor-Arbeit eignet.

    Materialien:

     

       
      A A A | Drucken | Impressum | Sitemap | Suche | Mobile Version
      zum Seitenanfangzum Seitenanfang