先日ニューヨークで開催されたDataikuのイベント、Everyday AIに参加してきました！

最初のキーノートセッションで発表があった「LLMメッシュ」についてレポートです。
（公式発表はこちらからどうぞ。）

Everyday AI全体として、生成AI（Generative AI）の時代が来るんだぜ！！という雰囲気でした。
皆さん大好きChatGPTみたいな超大規模言語モデルをあちらこちらの企業が作るのは無理だろう、
そして小規模・中規模のもっと小回りきくLLMが乱立する世の中になる、
というのを見越しての追加機能がLLMメッシュ、とのことです。

LLMが盛り上がりを見せている初期段階の今、○○したい、みたいなタスクがあって、LLMを構築してみよう、
という感じでアプリケーションとLLMがくっついている状態から、
LLMとアプリケーションをはがして管理しよう、というのがLLMメッシュです。

部署A、B、C、Dがそれぞれ構築したLLM、はたまた外部のLLMのAPIをDataikuのDSSからすべて呼び出せるようにして、一元管理します。
部署Aのアプリケーション用に作ったLLM（A)よりも実は部署Bと部署Cのモデルを使った方が精度が良いかもしれない、というような使い方を目指すそうです。いろいろ試行錯誤するのもまとまってる方がやりやすいですね。

また、セキュリティ的にもコスト的にも一元管理をしよう、ということになっているそう。
（OpenAIのAPIはすでにDataikuで使えるようになってますが、いくらかかるのか不安で使えていなかったのでとてもありがたい…！）

たくさんのLLMを一括管理すると…
・LLM単位の稼働状況がわかる
・コスト管理が楽！
・権限管理がDSS上でできるので、あなたはAWSではこれ編集OK,…HuggingfaceのこれNG…という煩雑さ回避！
・似たようなLLMがすでにあるのであれば作り始める前にちょっと使ってみる、みたいなことも可
などなどメリットたくさん。
コンピューティング面でのパートナーとしてNVIDIAも入ってるそう。（今回ブースは見当たりませんでしたが）

今まではLLMを自作するなんて途方もないからChatGPTで何かしよう、と考えていたのが
自前で小・中規模な、小回りきくLLMを作るハードルが下がってきている気がしています。
０から作るのは依然として大変ですが、ファインチューニングができるような仕組みが発達してきていたり、
複数モデルを組み合わせたり、企業にとってボトルネックになりがちだったデータセキュリティの問題も
解決しつつソリューションにLLMを組み込めるような時代がすぐそこまで来てそうです。
去年の今頃からは想像もできない進歩で目まぐるしいです。

Dataikuって何？って社内でも聞かれたときに何と答えるか迷っていて、
よく「なんでもできちゃう機械学習プラットフォーム」、と説明していたのですが
LLMメッシュや他のセッションでのお話を聞いていると
「組織内オーケストレーションツール」な気がしました。
機械学習に使える機能がたくさん揃ってるし、強いのはその通りなんですが、
それ以上に組織内に散らばってる資料とかワークフローとかLLMとか、便利なものを全部まとめて
みんなで一緒に使えたら無駄が減るし、協力もしやすくなるよね、というメッセージを感じました。
（個人の感想です。違ったらごめんなさい。でもすごいことだと思います。）

個人的にもっと私も勉強をしないといけないな、と思ったのはSnowflakeです。
（Dataikuのイベントでしたが、懇親会などでも結構Snowflakeの話題に。）

DataikuとSnowflake（や他のDatabricksなどのパートナー）のできることに重なりがあって、
どの役割をどれに任せるのか、はこれからも考えなきゃな、と思いました。
いいとこ取りしたい！そのためには勉強します！
あと社内にはSnowflakeが得意なチームもあるので、Dataikuのオーケストレーション機能のように協力していきます！

---

truestarではDataiku・Snowflakeの検討、導入支援や環境構築からアプリ開発まで幅広くサポート可能です。
Dataiku・Snowflakeに゙興味がある、導入済みだけどもっとうまく活用したい等々ありましたら、
ぜひこちらからご相談ください！