やしろです。
2023/09/08に開催されたSnowflakeのイベント”Data Cloud World Tour”に参加してきました。
今回は基調講演以外オフラインのみの開催だったこともあってか、参加者の数がとても多く会場の熱気に圧倒されました。
さっそくですが、参加してきたセッションの内容についてご紹介したいと思います！
セッション概要について
今回レポートするセッションはこちらです。
「パフォーマンスは７倍へ！大量GPS位置情報データを爆速でSnowflakeへリプレイス成功！」
登壇者：株式会社Agoop 取締役 兼 CTO 加藤 有祐
日本全国のGPS位置情報データを活用して人流データを分析提供しているAgoop。9年間にわたり活用してきた既存の分析基盤を、全社横断チームでの取り組みによりSnowflakeへのリプレイスに成功。検証期間は4ヶ月、リプレイスに5ヶ月。パフォーマンスはなんと７倍へ！Snowflakeの導入や社内説得に悩む方々は、この効果を訴求材料としてご活用ください！
内容について
Agoopについて
Agoopは、ソフトバンクのメンバーがスピンアウトして設立された企業で、日本全国のスマホアプリから収集した位置情報を用いて流動人口データなどを開発し、コロナ期間中の人々の動向分析などに利用されています。
データは各ユーザーからの合意を得た上で収集し、プライバシー保護のため、生活圏のデータは加工されます。
Redshift環境での課題
データの規模感は下図の通りで非常に細かいです。これは道路レベルまで細分化したデータを保有しているからとのことでした。
分析基盤として2015年からRedshiftを採用していたとのことで、次の４点を挙げられていました。
・パフォーマンスの問題（日次処理の遅延、心理的負担など）
スペックアップが即時対応できないことやスペックアップ中は処理が中断してしまうのが問題
・高コスト
ピーク時に合わせてリザーブドインスタンス（RI）を購入するので閑散期の無駄がある
・メンテナンスの負担（頻繁なリブートや再起動など）
・システムの孤立化（新しいデータの追加困難など）
実はこれが一番問題で、ビジネスへの影響を懸念して「自由に分析」できない
検証・移設・効果について
Snowflakeと出会ったのは昨年で、ちょうど経営層とエンジニア双方から興味がある、との声が上がりタイミングが良かったとのこと。
12月から検証プロジェクトをスタート、検証期間4ヶ月でGoサインが出て、5ヶ月で移設完了とのことです。
この過程では、様々な観点からの検証と説得材料の整備が行われたようですが、検証のポイントは
・4つの課題に対する効果が「学習コスト」と「移設コスト」を上回るかを判断基準とすること
・クイックな検証を実現するため、最低限の人数で検証チームを構成すること
・コストは移設前と同額でも他の要素のメリットを重視すること
・移設時のゴールの共通価値をセットすること
部門によってメリットと感じる箇所が異なるため丁寧に分解、説明してゴールを共通化するのが重要
4つすべての観点において基準をクリアしたので導入を決定、実際運用が始まったあとの効果についても次のように述べられていました。
・パフォーマンス
・スペック面での課題が全面的に解消し、超ストレスフリー
・クエリプロファイルでボトルネック簡単に見つけられるのもメリット
クエリプロファイルとは、データベースクエリのパフォーマンスを詳細に分析し、クエリの実行に関する情報を提供するもので、
パフォーマンスの最適化やデバッグ・トラブルシューティングなどに非常に有用です。
・コスト
・この移設に伴いメッシュ”基盤”を50ｍサイズを5ｍサイズにしたそうで、その基盤開発の移設効果として処理日数が200日から29日と
タイトルの通り”パフォーマンスが7倍”となったとのこと
・メンテナンス
・ニアゼロメンテで最高！
・定期メンテナンスによる処理断がない
・フルマネージドで運用工数削減
・ストレージ上限を気にする必要なし
・データを勝手に圧縮
ニアゼロメンテナンスはSnowflakeの大きな特徴です。
Snowflakeはクラスター運用の自動化をはじめとするフルマネージドな分析基盤によって、サーバや OS 管理、パッチ適用やバージョンアップといった運用作業は一切不要、メンテナンス業務が必要最低限だけでOKです。
詳しくはこちらのドキュメントをご確認ください。
・システムの孤立化
・１プラットフォーム化されたことでデータが一箇所に集約され、誰でも簡単にデータへアクセスできるようになり、データ利用の部門間調整や負荷調整も不要に
Snowflakeを中心とした組織とすることは会社全体をひとつにし、各部門を横断したコミュニケーションが活性化して新たなプロダクトが生まれるきっかけを創り出しています。
今後について
”エンジニアがワクワクしながらデータによる価値創造できる環境を！”が軸にあり、社内に対してはSnowflakeを導入することで実現開始できたとのことです。
次はSnowflakeマーケットプレイスでGPSデータを提供していくことで社会に対しても還元をしていく、と仰っていました。
所感と補足
今回、セッションにある”パフォーマンスが７倍”というワードに非常に惹かれて聴講してきました。
お話を聞いて感じたのは、コストやパフォーマンスの改善といった目に見える成果が重要なのはもちろんなのですが、Snowflakeを導入したことの一番の功績はそこではなく、”会社が一つにまとまっている”ということなのだなと。
メンバーの誰もが自由に必要なデータにアクセスできる、という理想的な環境をもたらしたことが、Agoop社にとって最大のベネフィットなのだなと感じました。
ちなみに、今回のレポートの内容はRedshiftからの移行について報告されたものですが、優劣をつけることが目的ではなく、今回のAgoop社の事例ではSnowflakeに移行したことでうまくいったという一例をご紹介することが目的です、と明言されていました。
実際、社内の他の多くのシステムでAWSやRedshiftは活用されているようです。
おわりに
truestarではSnowflakeの検討、導入支援や環境構築からアプリ開発まで幅広くサポート可能です。
Snowflakeに゙興味がある、導入済みだけどもっとうまく活用したい等々ありましたら、ぜひこちらから相談ください！
