Was ist Reinforcement Learning?

Read in English (Auf Englisch lessen)

Reinforcement Learning (auch Deep Reinforcement Learning oder Verstärktes Lernen genannt) ist eine Reihe von Machine Learning-Tools. So kann man beispielsweise eine Vielzahl von Reinforcement-Techniken einsetzen, um einem Roboter beizubringen, wie er eine Aufgabe ausführt. Die Schlüsselkomponente des Reinforcement Learnings ist, dass der Roboter sich selbst für die korrekte Ausführung der Aufgabe belohnt. 

Der Begriff „Reinforcement Learning“ wurde vor über einem Jahrhundert von dem Experimentalpsychologen Ivan Pavlov im Jahr 1927 geprägt. Damals beschrieb Pavlov eine Form des Lernens, bei der ein Stimulus erforderlich ist, um ein Verhalten positiv oder negativ zu verstärken. Pavlov konnte mit seiner Arbeit nachweisen, dass wir ein Verhalten eher wiederholen, wenn wir eine Handlung ausführen und dafür eine Belohnung erhalten, während bei einer Bestrafung das Gegenteil der Fall ist. 

Heute bezieht sich Reinforcement Learning auf den Entscheidungsfindungsprozess von Algorithmen des Machine Learnings und automatisierter Intelligenz, wie z. B. Fabrikroboter oder autonome Fahrer. 

Was ist Reinforcement Learning?

Reinforcement Learning ist eine Art des Machine Learnings, bei dem Informationen durch Versuch und Irrtum verarbeitet werden, ähnlich wie Menschen ein Problem angehen könnten. Im Gegensatz zu anderen Arten des Lernens, z. B. dem Supervised Learning, kann Reinforcement Learning stattfinden, ohne dass ein Mensch die Interaktion beobachtet und darauf reagiert. 

Beim Reinforcement Learning lernt ein maschineller Lernalgorithmus durch Erfahrung, indem er verschiedene Dinge ausprobiert und jeder Aktion je nach Ergebnis eine positive oder negative Assoziation zuordnet. 

Auf diese Weise können Roboter und Maschinen in neuen oder unerwarteten Situationen navigieren und lernen, welche Aktionen zu den besten Ergebnissen führen, ohne dass der Mensch sie direkt überwacht. 

Wie wird Reinforcement Learning eingesetzt?

Reinforcement Learning ist nützlich, wenn der maschinelle Lernagent, z. B. ein Roboter, versucht, eine Aufgabe in einer unerforschten oder schwer vorhersehbaren Umgebung zu erfüllen. Reinforcement Learning basiert auf dem mathematischen Rahmen des Markov-Entscheidungsprozesses, der ein Rahmen ist, um zu verstehen, wie Entscheidungen getroffen werden, wenn ein Zufallselement das Ergebnis beeinflusst. 

Ein Reinforcement Learning-System muss aus vier Teilen bestehen:

• Der Agent oder der maschinelle Lernalgorithmus

• Die Umgebung, in der der Agent arbeitet

• Die Strategie oder die grundlegenden Anweisungen, die der Agent befolgt

• Ein Belohnungssignal für den Agenten, das er auf der Grundlage seiner Handlungen beobachtet. 

Arten von Algorithmen des Reinforcement Learnings

Reinforcement Learning kann in zwei Hauptkategorien eingeteilt werden: modellfrei oder modellbasiert. 

Modellbasierter Algorithmus

Ein modellbasierter Algorithmus beginnt mit der Lösung des Problems, indem er ein Modell seiner Umgebung und aller möglichen Aktionen aufbaut, die er ausführen kann. Im Gegensatz dazu überspringt ein modellfreier Algorithmus diesen Schritt und beginnt, das Problem mit einem Versuch-und-Irrtum-Ansatz zu lösen, indem er beobachtet, welche Aktionen das beste Ergebnis haben. 

Modellfreier Alogrithmus

Modellfreie Algorithmen gibt es ebenfalls in zwei Haupttypen: wertbasierte und richtlinienbasierte. 

Ein wertbasierter Reinforcement Learning-Algorithmus weist jeder Aktion einen Wert zu, der auf dem Ergebnis basiert. Dieser Wert kann auch als „Güte“ bezeichnet werden oder als das Ausmaß, in dem die gegebene Aktion „gut“ war. Der Algorithmus versucht dann durch Versuch und Irrtum herauszufinden, welche Aktionen den höchsten Wert oder die größte „Güte“ ergeben. Ein richtlinienbasierter Algorithmus hingegen bestimmt die besten Aktionen auf der Grundlage von programmierten Richtlinien oder Regeln. 

Beispiele für Reinforcement Learning

Reinforcement Learning ermöglicht es der künstlichen Intelligenz, kompliziertere Probleme in Angriff zu nehmen. Hier sind einige Beispiele für die Art von Problemen, die mit Reinforcement Learning gelöst werden können: 

• KI-Spiele: In Videospielen ermöglicht es Reinforcement Learning den Gegnern der künstlichen Intelligenz, auf die einzigartigen Züge der menschlichen Spieler zu reagieren. 

• Autonome Fahrzeuge: Ein Auto auf der Straße ist mit so vielen Variablen konfrontiert, dass Reinforcement Learning dem Algorithmus helfen kann, die beste Vorgehensweise in unvorhersehbaren Situationen vorherzusagen. 

• Automatisierte Roboter: In einigen Geschäften werden Roboter eingesetzt, die den Bestand in den Regalen messen und bei Bedarf nachbestellen. Sie nutzen das verstärkte Lernen, um sich in einem Geschäft zurechtzufinden, in dem sich die Kunden unvorhersehbar bewegen. 

Vorteile von Reinforcement Learning

Ein wesentlicher Vorteil von Reinforcement Learning-Algorithmen ist ihre Fähigkeit, Probleme in komplexen und unvorhersehbaren Umgebungen zu lösen. Diese Fähigkeit könnte eines Tages dazu beitragen, sichere autonome Fahrzeuge zu entwickeln, die präzise auf Variablen wie Fußgänger reagieren.

Ein weiterer Pluspunkt von Reinforcement Learning ist, dass es keinen vorab programmierten Datensatz benötigt. Der Algorithmus lernt stattdessen selbständig durch Versuch und Irrtum, die besten Aktionen zur Maximierung eines Ergebnisses zu finden. Dadurch kann er eigenständig arbeiten, ohne dass menschliche Anleitung erforderlich ist.

Darüber hinaus führt Reinforcement Learning oft zu originelleren Ergebnissen im Vergleich zu Modellen, die auf großen Datensätzen basieren. Bei Algorithmen des Supervised Learning besteht die Gefahr von Verzerrungen durch die Erfahrungen und das Wissen der Personen, die sie programmiert haben. Reinforcement Learning hingegen ermöglicht es dem Algorithmus, unvoreingenommen neue Wege zur Problemlösung zu entdecken.

Wer nutzt Reinforcement Learning und wie fängt man damit an? 

Reinforcement Learning ist für eine Vielzahl von Anwendungen geeignet, darunter Branchen wie das Gesundheitswesen, die Automobilindustrie, Videospiele, der Einzelhandel, das Bauwesen, der Energiesektor und viele mehr. 

Zu den möglichen Berufen im Bereich des Reinforcement Learning gehören der Machine Learning Engineer, der Data Scientist und der KI-Entwickler. 

Machine Learning Engineer

Durchschnittliches Gehalt: 57.800 € [1]

Bildungsanforderungen: Um Machine Learning Engineer zu werden, ist in der Regel ein Bachelor-Abschluss in Informatik oder einem verwandten Bereich erforderlich. Einige Arbeitgeber können einen Master-Abschluss verlangen. 

Als Machine Learning Engineer erstellen Sie Algorithmen, die künstliche Intelligenz zur Lösung von Problemen einsetzen. Sie bewerten auch bestehende Modelle, um nach Verbesserungsmöglichkeiten zu suchen, und führen Tests durch, suchen nach Fehlern und erstellen eine angemessene Dokumentation. Machine Learning Engineers arbeiten in Branchen wie der Fertigung, dem Gesundheitswesen, dem Transportwesen und anderen. 

Data Scientist

Durchschnittsgehalt: 57.200 € [2]

Bildungsanforderungen: Die häufigste Bildungsanforderung für einen Data Scientist ist ein Bachelor-Abschluss, obwohl einige Arbeitgeber einen Master-Abschluss bevorzugen oder voraussetzen. Zu den üblichen Studienfächern gehören Mathematik, Statistik, Informatik und Ingenieurwesen. 

Als Data Scientist sammeln, verarbeiten und analysieren Sie Daten, um nach Trends zu suchen, Empfehlungen auszusprechen und Ihre Ergebnisse der Unternehmensleitung mitzuteilen. Sie müssen mit Datenvisualisierungstools und den für das Machine Learning erforderlichen Modellen und Algorithmen vertraut sein. In diesem Bereich haben Sie die Möglichkeit, an einer Vielzahl von Projekten zu arbeiten, von der Verbesserung von Geschäftsprozessen bis zur Durchführung von Forschungsarbeiten. 

KI-Entwickler

Durchschnittsgehalt: 56.300 € [3]

Bildungsanforderungen: Für den Beruf des KI-Entwicklers benötigen Sie in der Regel einen Master-Abschluss, meist in Informatik oder in einem verwandten Bereich. Auch mit einem Bachelor-Abschluss in Künstlicher Intelligenz, Informatik oder einem anderen natur- oder ingenieurwissenschaftlichen Studiengang können Sie sich für eine Stelle qualifizieren.

KI-Entwickler arbeiten an der Entwicklung künstlicher Intelligenz, die selbständig lernen und präzise Ergebnisse liefern kann. In dieser Rolle entwickeln Sie auch Algorithmen und Modelle, die große Datensätze analysieren können. Sie arbeiten eng mit Data Scientists, Engineers und anderen Fachleuten zusammen. Als KI-Entwickler haben Sie die Möglichkeit, an Projekten in verschiedenen Bereichen wie Gesundheitswesen, Marketing, Personalwesen und mehr mitzuwirken. 

Mehr erfahren mit Coursera

Wenn Sie bereit sind, den nächsten Schritt zu tun und eine Karriere im Bereich des Reinforcement Learning und der künstlichen Intelligenz zu beginnen, sollten Sie die von der University of Alberta auf Coursera angebotene Reinforcement Learningabsolvieren. Diese vierteilige Kursreihe dauert etwa zwei Monate bei 10 Stunden pro Woche und kann Ihnen helfen, Fähigkeiten in den Bereichen künstliche Intelligenz, Machine Learning, Reinforcement Learning und Smart-Systeme zu erwerben.