PODBをリニューアルしました！~新規データベースへ移行のお願い~

JAPANESE CENSUS & SPATIAL DATA(Snowflake上のデータベース名は"PREPPER OPEN DATA BANK")とJAPANESE POINT&POLYLINE DATAについて、様々なジャンルが一括りで提供されていたものを、直感的に分かりやすい粒度でデータベースを分割しました。

旧DB名	新DB名
PREPPER_OPEN_DATA_BANK	PODB_PREF
	PODB_CITY
	PODB_STREET_DATA
	PODB_MESH
PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	PODB_STATION_AND_RAILWAY
	PODB_WEATHER（準備中）
	PODB_LAND_PRICE
	PODB_MEDICAL

これに伴い、以下の点ご留意いただければ幸いです。

・今後のデータ更新は新規データベースのみに行います。

・従来のJAPANESE CENSUS&SPATIAL DATAとJAPANESE POINT＆POLYLINE DATAは、2023年末にクローズします。

お早めに新規データベースへの切り替えをお願いします！

2．全データベースのFree Listing化

これまでは一部のデータベースにおいて、ユーザーさんからのリクエストをいただきプロバイダー側での承認作業が必要で、実際にデータをお使いいただくまでに最大数日程の時間を要していました。

そこで、「1.既存データベースの分割」に伴い、全データベースをプロバイダー側の承認不要のFree Listing化しました。Marketplace上でGetボタンを押せば、即時に全データベースの取得が可能です。

※CORPORATEのみ、一部リージョンのみ申請が必要な場合があります。

3．テーブル名・ビュー名の最適化

今までは、テーブル名・ビュー名は日本語のテーブル名・ビュー名を英訳しており、見れば直感的に何のデータがあるかは分かりやすかったものの、名前の長いものも多くあり、SQL実行等には少し不便なテーブル名・ビュー名でした。

今回のリニューアルにあたり、テーブル名及びビュー名の最適化を行いました。例えば、「MESH_1KM_G_PEOPLEFLOW_MONTHLY」と名付けられていたビューを、「E_MS_PF18_1KM」に変更しています。（CalendarとCorporateはリニューアル対象外のため未対応です。ご容赦ください。）

基本的には、①言語名の冒頭の文字（E or J）、②データベースの粒度を表す英字2文字程度、③調査概要を表す英字2～3文字程度、④調査年度下2桁を記載しています。（例外もあります。）

No.	元DB名	元Table/View名	新DB名	新Table/View名
1	PREPPER_OPEN_DATA_BANK	PREF_01_CENSUS2015	PODB_PREF	PR_PA15
2	PREPPER_OPEN_DATA_BANK	PREF_01_CENSUS2020	PODB_PREF	PR_PA20
3	PREPPER_OPEN_DATA_BANK	PREF_02_CENSUS2015	PODB_PREF	PR_HT15
4	PREPPER_OPEN_DATA_BANK	PREF_02_CENSUS2020	PODB_PREF	PR_HT20
5	PREPPER_OPEN_DATA_BANK	PREF_03_CENSUS2015	PODB_PREF	PR_PI15
6	PREPPER_OPEN_DATA_BANK	PREF_03_CENSUS2020	PODB_PREF	PR_PI20
7	PREPPER_OPEN_DATA_BANK	PREF_03_CENSUS2020_2	PODB_PREF	PR_PI20_2
8	PREPPER_OPEN_DATA_BANK	PREF_04_CENSUS2015	PODB_PREF	PR_PO15
9	PREPPER_OPEN_DATA_BANK	PREF_04_CENSUS2020	PODB_PREF	PR_PO20
10	PREPPER_OPEN_DATA_BANK	PREF_04_CENSUS2020_2	PODB_PREF	PR_PO20_2
11	PREPPER_OPEN_DATA_BANK	PREF_TRENDS_OF_BIRTHS	PODB_PREF	PR_TB
12	PREPPER_OPEN_DATA_BANK	POPULATION_TIME_SERIES	PODB_PREF	PR_PTS
13	PREPPER_OPEN_DATA_BANK	PREF_00_FUNDAMENTAL	PODB_PREF	PR_FD20
14	PREPPER_OPEN_DATA_BANK	CITY_00_FUNDAMENTAL	PODB_CITY	CI_FD20
15	PREPPER_OPEN_DATA_BANK	CITY_01_CENSUS2015	PODB_CITY	CI_PA15
16	PREPPER_OPEN_DATA_BANK	CITY_01_CENSUS2020	PODB_CITY	CI_PA20
17	PREPPER_OPEN_DATA_BANK	CITY_02_CENSUS2015	PODB_CITY	CI_HT15
18	PREPPER_OPEN_DATA_BANK	CITY_02_CENSUS2020	PODB_CITY	CI_HT20
19	PREPPER_OPEN_DATA_BANK	CITY_03_CENSUS2015	PODB_CITY	CI_PI15
20	PREPPER_OPEN_DATA_BANK	CITY_03_CENSUS2020	PODB_CITY	CI_PI20
21	PREPPER_OPEN_DATA_BANK	CITY_03_CENSUS2020_2	PODB_CITY	CI_PI20_2
22	PREPPER_OPEN_DATA_BANK	CITY_04_CENSUS2015	PODB_CITY	CI_PO15
23	PREPPER_OPEN_DATA_BANK	CITY_04_CENSUS2020	PODB_CITY	CI_PO20
24	PREPPER_OPEN_DATA_BANK	CITY_04_CENSUS2020_2	PODB_CITY	CI_PO20_2
25	PREPPER_OPEN_DATA_BANK	STREET_00_FUNDAMENTAL_2015	PODB_STREET	ST_FD15
26	PREPPER_OPEN_DATA_BANK	STREET_00_FUNDAMENTAL_2020	PODB_STREET	ST_FD20
27	PREPPER_OPEN_DATA_BANK	STREET_01_CENSUS2015	PODB_STREET	ST_PA15
28	PREPPER_OPEN_DATA_BANK	STREET_01_CENSUS2020	PODB_STREET	ST_PA20
29	PREPPER_OPEN_DATA_BANK	STREET_02_CENSUS2015	PODB_STREET	ST_HT15
30	PREPPER_OPEN_DATA_BANK	STREET_02_CENSUS2020	PODB_STREET	ST_HT20
31	PREPPER_OPEN_DATA_BANK	STREET_03_CENSUS2015	PODB_STREET	ST_PI15
32	PREPPER_OPEN_DATA_BANK	STREET_03_CENSUS2020	PODB_STREET	ST_PI20
33	PREPPER_OPEN_DATA_BANK	STREET_04_CENSUS2015	PODB_STREET	ST_PO15
34	PREPPER_OPEN_DATA_BANK	STREET_04_CENSUS2020	PODB_STREET	ST_PO20
35	PREPPER_OPEN_DATA_BANK	MESH_1KM_EST_POPULATION	PODB_MESH	MS_PP18_1KM
36	PREPPER_OPEN_DATA_BANK	MESH_1KM_G_PEOPLEFLOW_MONTHLY	PODB_MESH	MS_PF18_1KM
37	PREPPER_OPEN_DATA_BANK	MESH_500M_EST_POPULATION	PODB_MESH	MS_PP18_500M
38	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	POINT_STATION_01	PODB_STATION_AND_RAILWAY	SR_PS20_1
39	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	POINT_STATION_02	PODB_STATION_AND_RAILWAY	SR_PS20_2
40	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	POLYLINE_RAILWAY_01	PODB_STATION_AND_RAILWAY	SR_PR20_1
41	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	POLYLINE_RAILWAY_02	PODB_STATION_AND_RAILWAY	SR_PR20_2
42	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	JMA_METEOROLOGICAL_DAILY	PODB_WEATHER	WT_DAY
43	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	JMA_METEOROLOGICAL_MONTHLY	PODB_WEATHER	WT_MONTH
44	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	JMA_WEAHTER_FORECAST_2DAYS_TEMPERATURE	PODB_WEATHER	WT_F3D
45	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	JMA_WEATHER_CLIMATE_NORMAL_1WEEK_AVG	PODB_WEATHER	WT_2DT
46	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	JMA_WEATHER_FORECAST_1WEEK	PODB_WEATHER	WT_F1W
47	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	JMA_WEATHER_FORECAST_3DAYS	PODB_WEATHER	WT_N1W
48	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	POSTED_LAND_PRICE_POINT_2022	PODB_LAND_PRICE	LP_PP22
49	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	POSTED_LAND_PRICE_POINT_2023	PODB_LAND_PRICE	LP_PP23
50	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	POSTED_LAND_PRICE_TIME_SERIES_2022	PODB_LAND_PRICE	LP_TS22
51	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	POSTED_LAND_PRICE_TIME_SERIES_2023	PODB_LAND_PRICE	LP_TS23
52	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	MEDICAL_AREA_1ST	PODB_MEDICAL	MD_A1ST20
53	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	MEDICAL_AREA_2ND	PODB_MEDICAL	MD_A2ND20
54	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	MEDICAL_AREA_3RD	PODB_MEDICAL	MD_A3RD20
55	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	MEDICAL_INSTITUTIONS_POINT_2020	PODB_MEDICAL	MD_IP20
56	PREPPER_OPEN_DATA_BANK_POINT_AND_POLYLINE	MEDICAL_INSTITUTIONS_POINT_2020_VER2	PODB_MEDICAL	MD_IP20_2

4．PODB_CITYのベータ版公開

皆さんお待ちかね、遂に本日CITYのBETA版を公開いたしました！

JAPANESE CITY DATA（近日公開予定） – PODB Open Data Bank　収集も加工も不要！すぐに使えるオープンデータ！ (truestar.co.jp)

HPには、テーブルのER図もご用意しています。

もちろんFreeでGetボタンさえ押せばOKです。ぜひご活用ください～。

とはいえ、Tableauでの活用の仕方等、まだまだ皆さんに有効活用していただくための情報提供の準備中です。そちらについては追ってまた情報提供させてください。

※経済センサス等の元データ更新が作業中にございました。今後優先的に内容を更新していく予定です。

5．その他

・PODB_STREET_DATAの本番化

BETA版から本番へ移行しました。内容の変更はありません。ただしBETA版は2023年末にクローズ予定です。皆さんお早めに本番への切り替えをお願いします。

・PREFECTUREのベータ版公開

CITYが公開できたので、PREFも近日公開に向けて鋭意準備中です。お楽しみに～。

ちなみに・・・

今回、初めてデータベースの分割を行いました。旧データベースから新データベースにデータをクローンしてMarketplaceに申請できれば良かったのですが、それはさすがに叶いませんでした…。(クローンまではできるけどMarketplaceの申請は許可されていない。)

まぁ、あるべき制約かな、というところで、せこせこAlteryxからデータをアップロードし直して、念のため旧データベースと新データベースの内容が一致していることを確認する作業が、地味～に大変でした。…ということを言いたかったです！(笑)

PODBで一緒に働きましょう！

ところで皆さん、PODBはインターンや主婦(主夫)パートメインで動いているのはご存知でしたか？裏で動いているAlteryxのワークフローを作成したり改修したり、なんと今回の新規のデータベース公開もメインで動いてくれたのは学生インターンや主婦パートさんです！優秀なインターンからの新卒登用実績もあるんですよ～。

かく言う私も、昨年2月に別業界・職種からパートとしてデータの世界に飛び込み、今年4月から時短正社員登用いただき、6月から本格的にPrepperチームの運営に携わらせていただいております。

インターンについてはまだまだメンバー募集中ですので、ご興味のある方がいればぜひご応募・ご紹介ください！

https://en-gage.net/truestar

おわりに

データ分野の学び強化や新たな道での活躍を目指す学生や主婦(主夫)の成長の場ともなるよう、そしてもちろん日本の全てのデータ分析者のため、これからもPrepperは精進していきます。

今回は、

1．既存DBの分割

2．全DBのFree Listing化

3．テーブル名・ビュー名の最適化

4．PODB_CITYのベータ版公開

・・・他、でお届けしました！

皆さま、新規データベースの移行、どうぞよろしくお願いいたします。

引き続き応援のほどよろしくお願いいたします！