New Yorkで行われたDataikuのカンファレンス「Everyday AI」に参加してきました！
カンファレンス全体でGenerative AI（生成AI）に力を入れているのを感じました。
まだPrivate Preview中のものも含め、生成AIの技術を使った新機能の紹介がたくさんありました。
今回の記事はその内のいくつかのご紹介です。
Prompt Studio
スポンサーブースと並んでDataikuのブースもあったんですが、
その内の1つが「Generative AI」ブースで、お姉さんにデモを見せてもらったのがこの機能です。
公式発表のブログはこちら。
ChatGPTで何か知りたいことを聞いてみると、ちょっと思ってた内容と違う返答になって
もうちょっと○○な感じにして、のようにプロンプトを修正していくことがあると思います。
良さげなプロンプトに出会えるまで試行錯誤を繰り返したり、
これで行こう！となったらフロー上にヴィジュアルレシピとして置けるようになる機能、とのことです。
ビデオではChatGPT3.5がプルダウンで候補として出てきていましたが、
他のモデルもDataikuに接続していれば試行錯誤できるようになるそうで
ChatGPTだと△△△って返ってくるけど、Huggingfaceだと▲▲▲なのか、というようにモデル間の比較もできちゃう。
また、OpenAIのAPIを私が試せていないのは課金がいくらくらいになるのかわからなくて怖いから…
という理由だったのですが、これくらいのプロンプトだと＄○○くらいかかりそう、という予測も出してくれるらしい…！
例えば、毎月アンケートデータが集められて、その集計や分類を生成AIを使ってバッチ処理できるし、
json形式で出力させる（ビデオにもあるみたいに）とその後フローの中で使い勝手も良さそう。
非常に楽しみな機能です！
AI Data Prepare
公式のデモビデオはこちら。
今までもDataikuはGUI操作でノーコードでデータプレパレーションができていたのですが
それがさらにパワーアップする、という発表です。
もう何がしたいのかを言語化できればコーディングしなくても大丈夫。
ありがたい時代になったものです・・・
指示した内容がPrepareレシピの各ステップに自動で分割されるので
丸ごと指示内容をレシピとして他のプロジェクトで使ったり、
AIが分割してくれた一部だけを他所で使いまわす、という使い道も考えられます。
様々なMLプラットフォームとの連携
これも近日公開予定の機能らしいのですが、他所で作った機械学習モデルをDSSにインポートしたり
逆にDataikuで作成した機械学習モデルをエクスポートできるそうです。
わざわざPickleファイルにして受け渡しをしなくても良くなるとか。
（こちらはまだ暫定の内容だからこれ目的で契約するのは待ってね、と講師のお兄さんがおっしゃってました笑）
すでにあるのはMLflowとの連携みたいです。
公式ドキュメントはこちら。
オープンソースのMLライフサイクルマネジメントプラットフォームであるMLflowと接続して
Dataikuの外でモデルのトレーニングするも良し、DSS上で行うも良し。
柔軟さとガバナンス確保を両立しつつ、
デプロイ（バッチとリアルタイム推論）はDataikuに任せることができるようになります。
お兄さんは暫定、としつつも、「デプロイもSnowflakeなどのお好みのプラットフォームでできるようになる」、
とのことでした。
DatabricksなどのパートナーもDataikuと機能がかぶっている部分がありつつ、補完する部分があるので
自社に最適な分担を考える必要がこれまで以上に増しそうです。
会場でも「DatabricksとDataiku、どちらかのライセンスじゃなくて、どっちも契約しないといけないんですよね？」
という質問が出ていたり、他の参加者もまだ見極め切れていない、という話も聞きました。
まだ未公開の新機能ですが、さらにできることが広がりそうでとても楽しみです！
その他Dataiku関連の弊社ブログはこちらからご確認ください！
