• Gerald Venzlのセッションは、スクリーンとの接続トラブルによりスキップ

「成功するJavaユーザグループの作り方」もNikhil NanivadekarのKafka、Erno VenalainenのIoTのセッションに変更

使用Spark SQL和Java进行大数据探索，作者是费尔南多·巴巴多普洛斯。

• データサイエンティストとどのようにデータを交換するか。

• →Sparkフレームワーク

• Spark Notebook

マークダウンをサーバー側で処理
コードを実行して結果を返す

データは内部でjson形式のプレインテキスト
csvを取り込んで表示できる。データフレーム
基本データはStringだが、データ型を指定できる。
.filterによりデータの絞り込みができる。
.sort並べ替え
ユーザー定義関数をJava/Scalaで定義して名前を付けて登録し呼び出せる。
SQLのようにdistinct, groupbyなども使える。
棒グラフや円グラフへプロットできる。
データ定義を変えて再実行するとグラフもすぐに変わる。
直接SQLを記述することもできる。
テキストでの表形式だけでなく、リアルタイムで検索窓から絞り込みできる表示形式にもできる。
データの処理結果をpersistにより、他の処理でも使えるデータとして永続化できる。
unpersistによりキャッシュをクリアできる。

使用Microprofile为物联网平台开发微服务，作者是Victor Duran。

• 自動車には5枚のSIMカードを積んでいる。

• 砂漠に水の貯蔵庫を設置できる。

• 5Gの特徴

低周波へシフトしていく

膨大な数のデバイスをどのように制御するか。
2週間で書き換え可能な小さいマイクロサービス
Entity-Control-Boundaryパターンに基づくサービス

Boundary：ユーザー境界

マイクロサービス

ファンクションへ細分化していく。問題を小さくする。
同期呼び出しを避ける。
データの分離。サービスごとに1データベース。
価値

独立して動ける
ライフサイクルが別なのでいつでもデプロイできる
顧客の価値に集中できる

避けること

分散型モノリスのような結合度の高いサービス
DBトランザクションの不在

デプロイ

コンテナごとにサービスを立てる

テスト

結合テストが厚いダイヤモンドアプローチ

开始学习Kafka，作者为Nikhil Nanivadekar。

• 最初、日本語でスピーチを始めてくれた。そのまま日本語でしてくれるのかと思いきや、限界を迎えて英語に切り替わった。

• Kafka

トランザクションログ データベース
Producer(データを生み出すもの)とConcumer(利用するもの)を分離する
メッセージが生み出された順序を保持する
単一のProducer、複数のConcumer

コンポーネント

Zookeeper:

駅のようなもの？

Broker / Server:

メッセージの保存と保持

Topic:

メッセージの論理的な分離、レール・○○線の比喩（行き先が違う）

Producer:

メッセージを生み出しTopicへ発行する

Consumer:

メッセージを受け取る
グループ化できる

クラスター構成でき、Brokerが1つ死んでも影響がない。
Producerが複数のパーティションへメッセージを配布する。
Consumerのプロセスが終了した後に発行されたメッセージがあれば、その差分を受け取れる。
Zookeeperが各Concumerグループがどこまでメッセージを受け取ったか覚えている。

Erno Venalainen (恩诺·维纳莱宁)

• IoT: バイクとイベント会場の場所を地図上にマッピングするデモ

• いくつかの層に分かれる

デバイス
通信

2G / 3G / Bluetooth / WiFi
– デバイスクラウドサービス
– リアルタイムシステム
k8sのクラスター
– 分析システム

DBはリアルタイムシステムと分析システムの中間に位置する。