t.fuji / About Author
Tableau-ID PrepperPrepper Open Data Bank なら気象庁データもすぐ使える!
こんにちは。藤です。
まだベータ版という扱いですが、気象庁のオープンデータを公開開始しました。全国1200箇所以上の観測所の気象データがすぐに使えます。
もう上のサイトでポチポチする必要はありません。日単位のデータは2016年1月1日から直近(二日前)までのデータを、月単位のデータは2011年1月から前月(毎月3日に前月分がオープン)までのデータを公開しています。
Snowflake データマーケットプレイス 上の
Prepper Open Data Bank – Japanese Point & Polyline Data
にて共有しており、Snowflakeアカウントがあればデータ代は一切かかりません。
ちなみに、Snowflakeは1か月無料(または400ドル分まで)トライアル可能です。
Snowflakeで無料トライアルを開始したい場合はこちら
Tableau から Snowflakeにつないで・・・
ちゃちゃっと作る。このくらいなら10分あれば余裕ですね。
より詳しいデモが見たい方は先日 JTUG Radio NightのYoutubeライブの動画があるのでそちらでどうぞ。動画の20分くらいから気象データにつないでいます。
GEOGRAPHY型のポイントデータを保持していますが、Tableauでそのままマッピングしようとすると重たいです!
なので・・・
Tableauで活用するならば計算フィールド上で、緯度経度からポイントデータを作ることを強く推奨します。
公開している気象データは時系列データなので、同じポイントのデータが大量にあります。これはあくまで私の推察で詳細未確認ですが、GEOGRAPHY型のカラムはテキスト+数値で値を持っているので、いきなりマッピングしようとすると全期間のデータに対して計算が走ってしまい、そのデータにはテキストが混在しているので計算に時間がかかるのではと考えています。
それに対し、緯度(Latitude)と経度(Longitude)の中身は数値なので圧倒的に高速でストレスがありません。
なお、Snowflakeからデータ抽出を行い、Hyperに変換しても高速になります。ただ、Snowflakeから切り離してしまうと、抽出データの更新作業が発生するのでそこの手間とのトレードオフにはなりますね。
PODBとしては初めての日次更新データとなるため、現在はベータ版扱いになっていますが全く問題なく運用中となります。
今回は Prepper Open Data Bank で先日公開した気象庁データのご紹介をさせていただきました。
弊社サービス『Prepper』では、データ分析者のデータプレップ(分析の下準備)の時間を削減するサービスをご用意しています。
その中の一つ、Prepper POIでは、今回の気象庁のデータを活用し、エンドユーザーの対象店舗・対象施設に対して、最も近い観測地の気象データを紐づけたデータセットの定期運用サービスを行っています。
住所のクレンジングやジオコーディングも含め、データ分析ですぐに使えるデータセットでお届けします。
ご興味のある方は是非こちらのお問い合わせ欄からお声掛けください!
それではまた!