PODBをリニューアルしました！
こんにちは！Chinenです。今年の6月から本格的にPODBを担当させていただいております。
Prepper Open Data Bank 収集も加工も不要！すぐに使えるオープンデータ！ (truestar.co.jp)
早速宣伝させていただきます！
※特に、1.4については、既存のユーザーの皆様へのデータベースの切り替えのお願いも含みます。お手数ですが、ご協力よろしくお願いいたします。
1．既存のデータベースの分割
JAPANESE CENSUS & SPATIAL DATA(Snowflake上のデータベース名は"PREPPER OPEN DATA BANK")とJAPANESE POINT&POLYLINE DATAについて、様々なジャンルが一括りで提供されていたものを、直感的に分かりやすい粒度でデータベースを分割しました。
| 旧DB名 | 新DB名 |
|---|---|
| PREPPER_OPEN_DATA_BANK | PODB_PREF |
| PODB_CITY | |
| PODB_STREET_DATA | |
| PODB_MESH | |
| PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | PODB_STATION_AND_RAILWAY |
| PODB_WEATHER（準備中） | |
| PODB_LAND_PRICE | |
| PODB_MEDICAL |
これに伴い、以下の点ご留意いただければ幸いです。
・今後のデータ更新は新規データベースのみに行います。
・従来のJAPANESE CENSUS&SPATIAL DATAとJAPANESE POINT＆POLYLINE DATAは、2023年末にクローズします。
お早めに新規データベースへの切り替えをお願いします！
2．全データベースのFree Listing化
これまでは一部のデータベースにおいて、ユーザーさんからのリクエストをいただきプロバイダー側での承認作業が必要で、実際にデータをお使いいただくまでに最大数日程の時間を要していました。
そこで、「1.既存データベースの分割」に伴い、全データベースをプロバイダー側の承認不要のFree Listing化しました。Marketplace上でGetボタンを押せば、即時に全データベースの取得が可能です。
※CORPORATEのみ、一部リージョンのみ申請が必要な場合があります。
3．テーブル名・ビュー名の最適化
今までは、テーブル名・ビュー名は日本語のテーブル名・ビュー名を英訳しており、見れば直感的に何のデータがあるかは分かりやすかったものの、名前の長いものも多くあり、SQL実行等には少し不便なテーブル名・ビュー名でした。
今回のリニューアルにあたり、テーブル名及びビュー名の最適化を行いました。例えば、「MESH_1KM_G_PEOPLEFLOW_MONTHLY」と名付けられていたビューを、「E_MS_PF18_1KM」に変更しています。（CalendarとCorporateはリニューアル対象外のため未対応です。ご容赦ください。）
基本的には、①言語名の冒頭の文字（E or J）、②データベースの粒度を表す英字2文字程度、③調査概要を表す英字2～3文字程度、④調査年度下2桁を記載しています。（例外もあります。）
|
No. |
元DB名 | 元Table/View名 | 新DB名 | 新Table/View名 |
| 1 | PREPPER_OPEN_DATA_BANK | PREF_01_CENSUS2015 | PODB_PREF | PR_PA15 |
| 2 | PREPPER_OPEN_DATA_BANK | PREF_01_CENSUS2020 | PODB_PREF | PR_PA20 |
| 3 | PREPPER_OPEN_DATA_BANK | PREF_02_CENSUS2015 | PODB_PREF | PR_HT15 |
| 4 | PREPPER_OPEN_DATA_BANK | PREF_02_CENSUS2020 | PODB_PREF | PR_HT20 |
| 5 | PREPPER_OPEN_DATA_BANK | PREF_03_CENSUS2015 | PODB_PREF | PR_PI15 |
| 6 | PREPPER_OPEN_DATA_BANK | PREF_03_CENSUS2020 | PODB_PREF | PR_PI20 |
| 7 | PREPPER_OPEN_DATA_BANK | PREF_03_CENSUS2020_2 | PODB_PREF | PR_PI20_2 |
| 8 | PREPPER_OPEN_DATA_BANK | PREF_04_CENSUS2015 | PODB_PREF | PR_PO15 |
| 9 | PREPPER_OPEN_DATA_BANK | PREF_04_CENSUS2020 | PODB_PREF | PR_PO20 |
| 10 | PREPPER_OPEN_DATA_BANK | PREF_04_CENSUS2020_2 | PODB_PREF | PR_PO20_2 |
| 11 | PREPPER_OPEN_DATA_BANK | PREF_TRENDS_OF_BIRTHS | PODB_PREF | PR_TB |
| 12 | PREPPER_OPEN_DATA_BANK | POPULATION_TIME_SERIES | PODB_PREF | PR_PTS |
| 13 | PREPPER_OPEN_DATA_BANK | PREF_00_FUNDAMENTAL | PODB_PREF | PR_FD20 |
| 14 | PREPPER_OPEN_DATA_BANK | CITY_00_FUNDAMENTAL | PODB_CITY | CI_FD20 |
| 15 | PREPPER_OPEN_DATA_BANK | CITY_01_CENSUS2015 | PODB_CITY | CI_PA15 |
| 16 | PREPPER_OPEN_DATA_BANK | CITY_01_CENSUS2020 | PODB_CITY | CI_PA20 |
| 17 | PREPPER_OPEN_DATA_BANK | CITY_02_CENSUS2015 | PODB_CITY | CI_HT15 |
| 18 | PREPPER_OPEN_DATA_BANK | CITY_02_CENSUS2020 | PODB_CITY | CI_HT20 |
| 19 | PREPPER_OPEN_DATA_BANK | CITY_03_CENSUS2015 | PODB_CITY | CI_PI15 |
| 20 | PREPPER_OPEN_DATA_BANK | CITY_03_CENSUS2020 | PODB_CITY | CI_PI20 |
| 21 | PREPPER_OPEN_DATA_BANK | CITY_03_CENSUS2020_2 | PODB_CITY | CI_PI20_2 |
| 22 | PREPPER_OPEN_DATA_BANK | CITY_04_CENSUS2015 | PODB_CITY | CI_PO15 |
| 23 | PREPPER_OPEN_DATA_BANK | CITY_04_CENSUS2020 | PODB_CITY | CI_PO20 |
| 24 | PREPPER_OPEN_DATA_BANK | CITY_04_CENSUS2020_2 | PODB_CITY | CI_PO20_2 |
| 25 | PREPPER_OPEN_DATA_BANK | STREET_00_FUNDAMENTAL_2015 | PODB_STREET | ST_FD15 |
| 26 | PREPPER_OPEN_DATA_BANK | STREET_00_FUNDAMENTAL_2020 | PODB_STREET | ST_FD20 |
| 27 | PREPPER_OPEN_DATA_BANK | STREET_01_CENSUS2015 | PODB_STREET | ST_PA15 |
| 28 | PREPPER_OPEN_DATA_BANK | STREET_01_CENSUS2020 | PODB_STREET | ST_PA20 |
| 29 | PREPPER_OPEN_DATA_BANK | STREET_02_CENSUS2015 | PODB_STREET | ST_HT15 |
| 30 | PREPPER_OPEN_DATA_BANK | STREET_02_CENSUS2020 | PODB_STREET | ST_HT20 |
| 31 | PREPPER_OPEN_DATA_BANK | STREET_03_CENSUS2015 | PODB_STREET | ST_PI15 |
| 32 | PREPPER_OPEN_DATA_BANK | STREET_03_CENSUS2020 | PODB_STREET | ST_PI20 |
| 33 | PREPPER_OPEN_DATA_BANK | STREET_04_CENSUS2015 | PODB_STREET | ST_PO15 |
| 34 | PREPPER_OPEN_DATA_BANK | STREET_04_CENSUS2020 | PODB_STREET | ST_PO20 |
| 35 | PREPPER_OPEN_DATA_BANK | MESH_1KM_EST_POPULATION | PODB_MESH | MS_PP18_1KM |
| 36 | PREPPER_OPEN_DATA_BANK | MESH_1KM_G_PEOPLEFLOW_MONTHLY | PODB_MESH | MS_PF18_1KM |
| 37 | PREPPER_OPEN_DATA_BANK | MESH_500M_EST_POPULATION | PODB_MESH | MS_PP18_500M |
| 38 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | POINT_STATION_01 | PODB_STATION_AND_RAILWAY | SR_PS20_1 |
| 39 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | POINT_STATION_02 | PODB_STATION_AND_RAILWAY | SR_PS20_2 |
| 40 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | POLYLINE_RAILWAY_01 | PODB_STATION_AND_RAILWAY | SR_PR20_1 |
| 41 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | POLYLINE_RAILWAY_02 | PODB_STATION_AND_RAILWAY | SR_PR20_2 |
| 42 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | JMA_METEOROLOGICAL_DAILY | PODB_WEATHER | WT_DAY |
| 43 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | JMA_METEOROLOGICAL_MONTHLY | PODB_WEATHER | WT_MONTH |
| 44 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | JMA_WEAHTER_FORECAST_2DAYS_TEMPERATURE | PODB_WEATHER | WT_F3D |
| 45 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | JMA_WEATHER_CLIMATE_NORMAL_1WEEK_AVG | PODB_WEATHER | WT_2DT |
| 46 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | JMA_WEATHER_FORECAST_1WEEK | PODB_WEATHER | WT_F1W |
| 47 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | JMA_WEATHER_FORECAST_3DAYS | PODB_WEATHER | WT_N1W |
| 48 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | POSTED_LAND_PRICE_POINT_2022 | PODB_LAND_PRICE | LP_PP22 |
| 49 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | POSTED_LAND_PRICE_POINT_2023 | PODB_LAND_PRICE | LP_PP23 |
| 50 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | POSTED_LAND_PRICE_TIME_SERIES_2022 | PODB_LAND_PRICE | LP_TS22 |
| 51 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | POSTED_LAND_PRICE_TIME_SERIES_2023 | PODB_LAND_PRICE | LP_TS23 |
| 52 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | MEDICAL_AREA_1ST | PODB_MEDICAL | MD_A1ST20 |
| 53 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | MEDICAL_AREA_2ND | PODB_MEDICAL | MD_A2ND20 |
| 54 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | MEDICAL_AREA_3RD | PODB_MEDICAL | MD_A3RD20 |
| 55 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | MEDICAL_INSTITUTIONS_POINT_2020 | PODB_MEDICAL | MD_IP20 |
| 56 | PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE | MEDICAL_INSTITUTIONS_POINT_2020_VER2 | PODB_MEDICAL | MD_IP20_2 |
4．PODB_CITYのベータ版公開
皆さんお待ちかね、遂に本日CITYのBETA版を公開いたしました！
JAPANESE CITY DATA（近日公開予定） – PODB Open Data Bank 収集も加工も不要！すぐに使えるオープンデータ！ (truestar.co.jp)
HPには、テーブルのER図もご用意しています。
もちろんFreeでGetボタンさえ押せばOKです。ぜひご活用ください～。
とはいえ、Tableauでの活用の仕方等、まだまだ皆さんに有効活用していただくための情報提供の準備中です。そちらについては追ってまた情報提供させてください。
※経済センサス等の元データ更新が作業中にございました。今後優先的に内容を更新していく予定です。
5．その他
・PODB_STREET_DATAの本番化
BETA版から本番へ移行しました。内容の変更はありません。ただしBETA版は2023年末にクローズ予定です。皆さんお早めに本番への切り替えをお願いします。
・PREFECTUREのベータ版公開
CITYが公開できたので、PREFも近日公開に向けて鋭意準備中です。お楽しみに～。
ちなみに・・・
今回、初めてデータベースの分割を行いました。旧データベースから新データベースにデータをクローンしてMarketplaceに申請できれば良かったのですが、それはさすがに叶いませんでした…。(クローンまではできるけどMarketplaceの申請は許可されていない。)
まぁ、あるべき制約かな、というところで、せこせこAlteryxからデータをアップロードし直して、念のため旧データベースと新データベースの内容が一致していることを確認する作業が、地味～に大変でした。…ということを言いたかったです！(笑)
PODBで一緒に働きましょう！
ところで皆さん、PODBはインターンや主婦(主夫)パートメインで動いているのはご存知でしたか？裏で動いているAlteryxのワークフローを作成したり改修したり、なんと今回の新規のデータベース公開もメインで動いてくれたのは学生インターンや主婦パートさんです！優秀なインターンからの新卒登用実績もあるんですよ～。
かく言う私も、昨年2月に別業界・職種からパートとしてデータの世界に飛び込み、今年4月から時短正社員登用いただき、6月から本格的にPrepperチームの運営に携わらせていただいております。
インターンについてはまだまだメンバー募集中ですので、ご興味のある方がいればぜひご応募・ご紹介ください！
おわりに
データ分野の学び強化や新たな道での活躍を目指す学生や主婦(主夫)の成長の場ともなるよう、そしてもちろん日本の全てのデータ分析者のため、これからもPrepperは精進していきます。
今回は、
1．既存DBの分割
2．全DBのFree Listing化
3．テーブル名・ビュー名の最適化
4．PODB_CITYのベータ版公開
・・・他、でお届けしました！
皆さま、新規データベースの移行、どうぞよろしくお願いいたします。
引き続き応援のほどよろしくお願いいたします！
