第104回 雲勉【オンライン】Dataflow を使ってストリーミングデータパイプラインを作成してみよう

2023年5月25日(木)19時〜、cloudpack 主催の開発・インフラエンジニア向け勉強会「雲勉」をオンラインにて開催いたします。
※ 新型コロナウイルス感染症の拡大を考慮し、オンライン上での講義とさせていただきます。

概要

雲勉は、クラウドで構築するインフラ周りからクラウド上で稼働させるアプリケーションの開発まで、さまざまな内容を毎回1時間程度の時間を使って勉強していきます。

今回は、ニューヨーク市のタクシー車両を多数所有しているものと仮定して、リアルタイムでビジネスの状況をモニタリングします。Google Cloud でタクシーの売り上げ、乗客数、乗車状況などを把握し、その結果を管理ダッシュボードで視覚化するためのストリーミングデータパイプラインを構築します。

アジェンダ

・テンプレートから Dataflow ジョブを作成する
・Pub/Sub トピックをサブスクライブする
・Dataflow パイプラインを BigQuery にストリーミングする
・BigQuery で Dataflow パイプラインをモニタリングする
・SQL で結果を分析する
・Looker Studio で主要指標を視覚化する
※ 一部内容が変更となる可能性がございます。

参加対象者

・Google Cloud でデータ分析を行いたい
・パイプラインのストリーミングから分析、視覚化まで行ってみたい
・Google Cloud Professional Cloud Data Engineer 試験の対策も兼ねたい

対象となる技術

・Pub/Sub
・BigQuery
・Dataflow
・Looker Studio

タイムテーブル

　

講師情報

野崎 高弘
2022年 7月 アイレット株式会社入社
クラウドインテグレーション事業部 プロジェクト企画推進セクション インフラ技術グループに所属
これまではインフラ構築・保守や SOC セキュリティアナリストを担当
現在は主に技術検証やドキュメント作業に従事している
AWS は全冠、Google Cloud は8冠

　

イベント情報

イベント名	第104回 雲勉【オンライン】Dataflow を使ってストリーミングデータパイプラインを作成してみよう
概要	雲勉とは、社内勉強会を外部に公開したオンライン勉強会です。 勉強会の目的は、「エンジニアのクラウド利用におけるスキルアップ」「企業のクラウド活用促進」としており、少しでも役に立ちたいという想いから開催しております。 今回は、ニューヨーク市のタクシー車両を多数所有しているものと仮定して、リアルタイムでビジネスの状況をモニタリングします。Google Cloud でタクシーの売り上げ、乗客数、乗車状況などを把握し、その結果を管理ダッシュボードで視覚化するためのストリーミングデータパイプラインを構築します。（一部内容が変更となる可能性があります）
最新イベントはこちら	https://cloudpack.jp/event_list/study-tech/