取得Google的专业数据工程师认证的过程记录
关于考生(我)的经验值
-
- 仕事でGCPを3年ほど利用している
-
- 主に利用しているのはGKE / GAE / Datastore / Cloud Storage / Firebase Realtime Database / Pubsub / CloudSQL / BigQuery / IAMあたり。
-
- AWSも2,3年ほど経験しており、EMRでSparkジョブを利用したりk-meansを使った簡単な機械学習処理を経験
-
- Spark Streaming、Kafka、HBaseあたりは検証で経験したくらい
- Apache BeamはStrataに行った時に1日集中セッションみたいなやつを受けたのでなんとなくコンセプトは理解している
总的来说,我有与使用数据相关的应用程序的经验。不过,并不是非常精通,而且在机器学习方面的经验也不丰富。
努力的时期
-
- だいたい2週間くらい。
- 平均したら1日1,2時間程度?
考试概述
-
- コチラ。
https://cloud.google.com/certification/data-engineer?hl=ja
試験時間:2時間
問題:選択式で50問
今年进入后似乎考试内容有些变化,案例研究已经取消了。(在学习期间可以看到旧页面,但现在已经无法看到了)
学习方法和内容
情报收集
查看以下内容以了解概况。
-
- 公式サイト(上記)
-
- 過去に受験した方々が残してくれた記録
https://qiita.com/nii_yan/items/c301d91dbc168036441a
学习工具
我主要使用了以下几种。
-
- qwiklab
-
- 公式ドキュメント
-
- スケーラブルデータサイエンス データエンジニアのための実践Google Cloud Platform
- 模擬試験
有人告诉我「coursera很不错」,但我并没有使用它。
相反,我选择了使用qwiklab的一个月订阅计划。因为它看起来很方便,可以边动手边学习。
关于 Qwiklab
-
- 30分〜90分くらいで終わる学習テーマが数多く用意されています。
-
- サービスの基本や、サービスを組み合わせた発展的なものなど、様々なコースが用意されています。
(例)「Cloud ML Engine: Qwik Start」
利用を開始すると、そのコースの制限時間だけ有効になるGCPアカウントが発行されますので、実際に手を動かしながら学ぶことができます。
我使用了月付订阅计划(55美元)。起初我没有意识到订阅的存在,因此为每个课程付费感到很浪费。。
在qwiklab上使用的课程
Baseline: Data, ML, AIをほぼ全部
データエンジニアリングをほぼ全部
その他、あまり知識のない細かいやつを色々
Data Loss Prevention: Qwik Start – JSON
AutoML Vision でクラウド内の雲の画像を分類する
Bigtable: Qwik Start – Hbase Shell
Cloud KMS の使い方
在实际操作中学习真是太好了!我觉得Dataprep真是厉害。
公式文件
-
- 各サービスの「コンセプト」の欄をしっかり読み込む。(これ一番大事かも)
-
- サービス同士・機能同士の比較をきっちり理解しておく。
各データベース系サービスの比較表
データ暗号化方法の比較
Cloud Storageでの、ストレージクラスの比較
AI Platformにおける、オンライン予測とバッチ予測
Dedicated InterconnectとPartner Interconnectの比較
実際にどのように利用するかイメージを作るためにユースケースを見ておく。
データライフサイクル
小売業向けのリアルタイムインベントリシステムの構築
その他、このページから色々探せます
可扩展的数据科学:Google云端平台实践指南适用于数据工程师。
-
- GCPの細かい使い方を解説した本ではないのですが、データを収集し、分析し、システムに組み込む、という一連の流れをGCPのスタックを利用して行うという内容であるため、実際にどう使うのかのイメージが付けれると思います。
- 受験対策としてはマストではないと思いますが、データ活用を学ぶ上で非常に良い本です。
仿真考试
-
- 20問の模擬試験が受けられます。
-
- 本試験に比べると簡単です。
- 終了後、回答ともに参考リンクを示してくれます。
我开始学习的时候,我的正确率大约只有一半左右。
考试的那一天
-
- 30分前には会場についているようにしましょう
周囲から慎重さに定評のある(はず)の私ですが、電車を乗り間違えるという失態を犯しましたw
早めに到着するスケジュールで動いていたため、ことなきを得ました。慣れない場所に行くときは気をつけましょう。
身分証や受験者IDを忘れないようにしましょう
持ち込みは一切できません
問題は結構細かいことも聞かれて難しかったです。絶対の自信を持って回答できたのは半分ちょっとくらい。全然検討つかない、という問題はほぼなかったです。
秋葉原の試験センターには、雑音シャットアウト用のヘッドホンがありましたが、サイズがきつく頭が痛くなったので外しました
試験終了後、すぐに「合格」という結果が出ました。3日後くらいにメールでも来ました。
景品としてパーカーかリュックが頂けるようですが、パーカーは在庫切れでした。
以上就是!