PyTorch で量子化してみた¶

PyTorch Lightning で作った CNN モデルを動的に量子化して推論してみたところ、推論時間は量子化する前より後のほうが若干遅くなっていた。 量子化すれば推論が速くなると予想していたため、意外な結果だった。手順を間違えた可能性もあるため、いつか追試したい。

PyTorch で CUDA を使った量子推論しようとしたができなかった。PyTorch で作ったモデルを ONNX や TensorRT に変換したら CUDA を使った量子推論できそう。