Vertex AI Prediction Batch を触ってみた¶
大量のデータをまとめて推論する Vertex AI Prediction Batch を試し、入力・出力の形式や起動時の待ち時間について分かったことをまとめる。実行手順はDevelopersIO の Vertex AI カスタムコンテナによるバッチ予測の記事を参考にした。
特徴と感想
- BigQuery や GCS の jsonl を入力にする
- 入力に GCS パスを渡すと base64 エンコードしたデータが
b64のフィールドに格納されて処理が始まる - 出力先は BigQuery と GCS
- 入力と出力結果が対応付いて出力される
- API の Endpoints の入力形式とは少し違うので注意が必要
- 起動に時間がかかるので、リアルタイムな処理には向かない
- リアルタイム推論が必要ない場面ではシステム構成の選択肢になる
- 処理が失敗した時のエラーがわかりにくい（ほぼない）
複数ノードを指定した場合の処理時間や、データを過不足なく処理できるかは未検証なので、今後確認したい。