TorchServe の中で外部ライブラリを使う¶

1. config.propertiesファイルにinstall_py_dep_per_model=trueを記述
2. requirements.txtに使いたいパッケージを書く
3. 下記スクリプトで MAR ファイルを生成

1
2
3
4

torch-model-archiver --model-name <your_model_name> --version 1.0  --serialized-file <your_model_name>.pt --extra-files ./index_to_name.json --handler <**path/to/your_custom_handler_py_file**> --requirements-file <your_requirements_txt>

mkdir model-store
mv <your_model_name>.mar model-store/

1. torchserve --start ...で起動

この状態でリクエストを投げるとレスポンスが返ってきて、外部ライブラリの部分も動いていることが確認できた。

別の方法¶

pip install -r requirements.txtを実行、--requirements-file <your_requirements_txt>の部分をなくしてtorch-model-archiver ...を実行しても動くことを確認。

参考¶

https://pytorch.org/serve/use_cases.html#serve-custom-models-with-third-party-dependency