Vertex AI Prediction Batch を触ってみた¶

ここを参考に Vertex AI Prediction Batch を触ってみた。

特徴と感想

• BigQuery や GCS の jsonl を入力にする
• 入力に GCS パスを渡すと base64 エンコードしたデータがb64のフィールドに格納されて処理が始まる
• 出力先は BigQuery と GCS
• 入力と出力結果が紐づいて出力される
• API の Endpoints の入力形式とは少し違うので注意が必要
• 起動に時間がかかるので、リアルタイムな処理には向かない
• リアルタイム推論が必要ない場面ではシステム構成の選択肢になる
• 処理が失敗した時のエラーがわかりにくい（ほぼない）

複数 Node を設定した時の挙動を試せてないので試す。早く処理が終わるのか、過不足なく処理できてるかなど