このコースについて
71,799

次における7の4コース

100%オンライン

自分のスケジュールですぐに学習を始めてください。

柔軟性のある期限

スケジュールに従って期限をリセットします。

上級レベル

約40時間で修了

推奨:6 weeks of study, 3-6 hours/week for base track, 6-9 with all the horrors of honors section...

英語

字幕:英語, 韓国語

次における7の4コース

100%オンライン

自分のスケジュールですぐに学習を始めてください。

柔軟性のある期限

スケジュールに従って期限をリセットします。

上級レベル

約40時間で修了

推奨:6 weeks of study, 3-6 hours/week for base track, 6-9 with all the horrors of honors section...

英語

字幕:英語, 韓国語

シラバス - 本コースの学習内容

1
5時間で修了

Intro: why should i care?

In this module we gonna define and "taste" what reinforcement learning is about. We'll also learn one simple algorithm that can solve reinforcement learning problems with embarrassing efficiency....
13件のビデオ (合計84分), 7 readings, 3 quizzes
13件のビデオ
Reinforcement learning vs all3 分
Multi-armed bandit4 分
Decision process & applications6 分
Markov Decision Process5 分
Crossentropy method9 分
Approximate crossentropy method5 分
More on approximate crossentropy method6 分
Evolution strategies: core idea6 分
Evolution strategies: math problems5 分
Evolution strategies: log-derivative trick8 分
Evolution strategies: duct tape6 分
Blackbox optimization: drawbacks4 分
7件の学習用教材
What you're getting into1 分
Setting up course environment10 分
Note: this course vs github course1 分
Course teaser placeholder10 分
Primers1 分
About honors track1 分
Extras10 分
2
3時間で修了

At the heart of RL: Dynamic Programming

This week we'll consider the reinforcement learning formalisms in a more rigorous, mathematical way. You'll learn how to effectively compute the return your agent gets for a particular action - and how to pick best actions based on that return....
5件のビデオ (合計54分), 2 readings, 4 quizzes
5件のビデオ
State and Action Value Functions13 分
Measuring Policy Optimality6 分
Policy: evaluation & improvement10 分
Policy and value iteration8 分
2件の学習用教材
Advanced Reward Design10 分
Discrete Stochastic Dynamic Programming10 分
3の練習問題
Reward design8 分
Optimality in RL10 分
Policy Iteration14 分
3
5時間で修了

Model-free methods

This week we'll find out how to apply last week's ideas to the real world problems: ones where you don't have a perfect model of your environment....
6件のビデオ (合計47分), 1 reading, 4 quizzes
6件のビデオ
Monte-Carlo & Temporal Difference; Q-learning8 分
Exploration vs Exploitation8 分
Footnote: Monte-Carlo vs Temporal Difference2 分
Accounting for exploration. Expected Value SARSA.11 分
On-policy vs off-policy; Experience replay7 分
1件の学習用教材
Extras10 分
1の練習問題
Model-free reinforcement learning10 分
4
5時間で修了

Approximate Value Based Methods

This week we'll learn to scale things even farther up by training agents based on neural networks....
9件のビデオ (合計104分), 3 readings, 5 quizzes
9件のビデオ
Loss functions in value based RL11 分
Difficulties with Approximate Methods15 分
DQN – bird's eye view9 分
DQN – the internals9 分
DQN: statistical issues6 分
Double Q-learning6 分
More DQN tricks10 分
Partial observability17 分
3件の学習用教材
TD vs MC10 分
Extras10 分
DQN follow-ups10 分
3の練習問題
MC & TD8 分
SARSA and QLeaning8 分
DQN12 分
5
5時間で修了

Policy-based methods

We spent 3 previous modules working on the value-based methods: learning state values, action values and whatnot. Now's the time to see an alternative approach that doesn't require you to predict all future rewards to learn something....
11件のビデオ (合計68分), 1 reading, 3 quizzes
11件のビデオ
All Kinds of Policies4 分
Policy gradient formalism8 分
The log-derivative trick3 分
REINFORCE8 分
Advantage actor-critic6 分
Duct tape zone4 分
Policy-based vs Value-based4 分
Case study: A3C6 分
A3C case study (2/2)3 分
Combining supervised & reinforcement learning6 分
1件の学習用教材
Extras10 分
1の練習問題
A policy-based quiz14 分
6
5時間で修了

Exploration

In this final week you'll learn how to build better exploration strategies with a focus on contextual bandit setup. In honor track, you'll also learn how to apply reinforcement learning to train structured deep learning models....
10件のビデオ (合計85分), 4 readings, 4 quizzes
10件のビデオ
Regret: measuring the quality of exploration6 分
The message just repeats. 'Regret, Regret, Regret.'5 分
Intuitive explanation7 分
Thompson Sampling5 分
Optimism in face of uncertainty5 分
UCB-16 分
Bayesian UCB11 分
Introduction to planning17 分
Monte Carlo Tree Search10 分
4件の学習用教材
Extras: exploration10 分
Extras: planning10 分
Materials10 分
Outro10 分
2の練習問題
Exploration6 分
MCTS8 分
4.1
52件のレビューChevron Right

20%

コース終了後に新しいキャリアをスタートした

50%

コースが具体的なキャリアアップにつながった

33%

昇給や昇進につながった

人気のレビュー

by FZFeb 14th 2019

A great course with very practical assignments to help you learn how to implement RL algorithms. But it also has some stupid quiz questions which makes you feel confusing.

by VOMar 17th 2019

Well Prepared and taught course.. Will highly recommend as the primer for reinforcement learning

講師

Avatar

Pavel Shvechikov

Researcher at HSE and Sberbank AI Lab
HSE Faculty of Computer Science
Avatar

Alexander Panin

Lecturer
HSE Faculty of Computer Science

ロシア国立研究大学経済高等学院(National Research University Higher School of Economics)について

National Research University - Higher School of Economics (HSE) is one of the top research universities in Russia. Established in 1992 to promote new research and teaching in economics and related disciplines, it now offers programs at all levels of university education across an extraordinary range of fields of study including business, sociology, cultural studies, philosophy, political science, international relations, law, Asian studies, media and communicamathematics, engineering, and more. Learn more on www.hse.ru...

Advanced Machine Learningの専門講座について

This specialization gives an introduction to deep learning, reinforcement learning, natural language understanding, computer vision and Bayesian methods. Top Kaggle machine learning practitioners and CERN scientists will share their experience of solving real-world problems and help you to fill the gaps between theory and practice. Upon completion of 7 courses you will be able to apply modern machine learning methods in enterprise and understand the caveats of real-world data and settings....
Advanced Machine Learning

よくある質問

  • 修了証に登録すると、すべてのビデオ、テスト、およびプログラミング課題(該当する場合)にアクセスできます。ピアレビュー課題は、セッションが開始してからのみ、提出およびレビューできます。購入せずにコースを検討することを選択する場合、特定の課題にアクセスすることはできません。

  • コースに登録する際、専門講座のすべてのコースにアクセスできます。コースの完了時には修了証を取得できます。電子修了証が成果のページに追加され、そこから修了証を印刷したり、LinkedInのプロフィールに追加したりできます。コースの内容の閲覧のみを希望する場合は、無料でコースを聴講できます。

さらに質問がある場合は、受講者向けヘルプセンターにアクセスしてください。