このコースについて
71,533 最近の表示

次における5の1コース

100%オンライン

自分のスケジュールですぐに学習を始めてください。

柔軟性のある期限

スケジュールに従って期限をリセットします。

中級レベル

約44時間で修了

推奨:6 weeks of study, 6-8 hours/week...

英語

字幕:英語

習得するスキル

Python ProgrammingApache HadoopMapreduceApache Spark

次における5の1コース

100%オンライン

自分のスケジュールですぐに学習を始めてください。

柔軟性のある期限

スケジュールに従って期限をリセットします。

中級レベル

約44時間で修了

推奨:6 weeks of study, 6-8 hours/week...

英語

字幕:英語

シラバス - 本コースの学習内容

1
24分で修了

Welcome

...
8件のビデオ (合計14分), 1 reading
8件のビデオ
Issues BigData can solve1 分
BigData Applications1 分
What is BigData Essentials?2 分
Course Structure2 分
Meet Emeli1 分
Meet Alexey2 分
Meet Ivan1 分
1件の学習用教材
Slack Channel is the quickest way to get answers to your questions10 分
8時間で修了

What are BigData and distributed file systems (e.g. HDFS)?

...
18件のビデオ (合計136分), 9 readings, 5 quizzes
18件のビデオ
File system managing6 分
File content exploration 15 分
File content exploration 213 分
Processes4 分
Scaling Distributed File System9 分
Block and Replica States, Recovery Process 16 分
Block and Replica States, Recovery Process 27 分
HDFS Client9 分
Web UI, REST API4 分
Namenode Architecture8 分
Introduction10 分
Text formats9 分
Binary formats 18 分
Binary formats 28 分
Compression7 分
How to submit your first assignment3 分
How to Install Docker on Windows 7, 8, 104 分
9件の学習用教材
Basic Bash Commands10 分
HDFS Lesson Introduction10 分
Gentle Introduction into "curl"10 分
File formats extra (optional)10 分
Grading System: Instructions and Common Problems10 分
Docker Installation Guide10 分
Programming Assignment: Instructions and Common Problems10 分
FAQ How to show your code to teaching staff10 分
Slack channel "Bigdata-coursera" - the quickest to solve technical problems.10 分
2の練習問題
Distributed File Systems16 分
Big Data and Distributed File Systems25 分
2
3時間で修了

Solving Problems with MapReduce

...
17件のビデオ (合計94分), 1 reading, 3 quizzes
17件のビデオ
Unreliable Components 28 分
MapReduce4 分
Distributed Shell8 分
Fault Tolerance7 分
Fault Tolerance. Live Demo3 分
Streaming7 分
Streaming in Python3 分
WordCount in Python5 分
Distributed Cache4 分
Environment, Counters4 分
Testing5 分
Combiner5 分
Partitioner7 分
Comparator1 分
Speculative Execution / Backup Tasks3 分
Compression4 分
1件の学習用教材
Hadoop Streaming Assignments: Intro and Code Samples10 分
3の練習問題
Hadoop MapReduce Intro26 分
MapReduce Streaming26 分
Hadoop Streaming Final30 分
3
4時間で修了

Solving Problems with MapReduce (practice week)

...
1件のビデオ (合計3分), 5 readings, 5 quizzes
5件の学習用教材
Hadoop Streaming Assignments: Intro and Code Samples10 分
Hints to Debug Hadoop Streaming Applications10 分
Grading System and Grading System Sandbox User Guide10 分
Hadoop Streaming Assignments: Instructions10 分
Hint to the "Stop words" programming assignment10 分
4
3時間で修了

Introduction to Apache Spark

...
16件のビデオ (合計95分), 2 readings, 2 quizzes
16件のビデオ
Welcome6 分
RDDs8 分
Transformations 16 分
Transformations 27 分
Actions5 分
Resiliency6 分
Execution & Scheduling6 分
Caching & Persistence5 分
Broadcast variables5 分
Accumulator variables5 分
Getting started with Spark & Python6 分
Working with text files6 分
Joins4 分
Broadcast & Accumulator variables5 分
Spark UI4 分
Cluster mode3 分
2件の学習用教材
Spark Assignments Intro10 分
Instructions for Spark programming assignment10 分
2の練習問題
Lesson 1 Quiz20 分
Lesson 2 Quiz24 分
4.0
88件のレビューChevron Right

67%

コース終了後に新しいキャリアをスタートした

29%

コースが具体的なキャリアアップにつながった

15%

昇給や昇進につながった

Big Data Essentials: HDFS, MapReduce and Spark RDD からの人気レビュー

by YHNov 22nd 2018

Everything in this course is new to me, but it provides me with many practice so I can gradually get familiar with all these new stuff. I find it a bit challenging, but overall it's quite good.

by SHMay 10th 2019

The course takes you from basic level , step level .But It is quite fast for beginners , you may need pause video in between and try to understand the concept.

講師

Avatar

Ivan Puzyrevskiy

Technical Team Lead
Avatar

Alexey A. Dral

Founder and Chief Executive Officer
BigData Team

Yandexについて

Yandex is a technology company that builds intelligent products and services powered by machine learning. Our goal is to help consumers and businesses better navigate the online and offline world....

Big Data for Data Engineersの専門講座について

This specialization is made for people working with data (either small or big). If you are a Data Analyst, Data Scientist, Data Engineer or Data Architect (or you want to become one) — don’t miss the opportunity to expand your knowledge and skills in the field of data engineering and data analysis on the large scale. In four concise courses you will learn the basics of Hadoop, MapReduce, Spark, methods of offline data processing for warehousing, real-time data processing and large-scale machine learning. And Capstone project for you to build and deploy your own Big Data Service (make your portfolio even more competitive). Over the course of the specialization, you will complete progressively harder programming assignments (mostly in Python). Make sure, you have some experience in it. This course will master your skills in designing solutions for common Big Data tasks: - creating batch and real-time data processing pipelines, - doing machine learning at scale, - deploying machine learning models into a production environment — and much more! Join some of best hands-on big data professionals, who know, their job inside-out, to learn the basics, as well as some tricks of the trade, from them. Special thanks to Prof. Mikhail Roytberg (APT dept., MIPT), Oleg Sukhoroslov (PhD, Senior Researcher, IITP RAS), Oleg Ivchenko (APT dept., MIPT), Pavel Akhtyamov (APT dept., MIPT), Vladimir Kuznetsov, Asya Roitberg, Eugene Baulin, Marina Sudarikova....
Big Data for Data Engineers

よくある質問

  • 修了証に登録すると、すべてのビデオ、テスト、およびプログラミング課題(該当する場合)にアクセスできます。ピアレビュー課題は、セッションが開始してからのみ、提出およびレビューできます。購入せずにコースを検討することを選択する場合、特定の課題にアクセスすることはできません。

  • コースに登録する際、専門講座のすべてのコースにアクセスできます。コースの完了時には修了証を取得できます。電子修了証が成果のページに追加され、そこから修了証を印刷したり、LinkedInのプロフィールに追加したりできます。コースの内容の閲覧のみを希望する場合は、無料でコースを聴講できます。

さらに質問がある場合は、受講者向けヘルプセンターにアクセスしてください。