Timeline &para;

Published at: 2024/12/31 0:34

この記事では、Pydanticを使ったデータバリデーションの共通化手法を具体的なコード例で詳細に説明している。クラス継承の問題点を指摘し、それを解決するための型アノテーションを活用した方法を提案している。そしてバリデーションの再利用性とデータの整合性を高める設計を紹介している。

時間のかかるコマンドをバックグラウンドで並列実行する

#CLI

この記事では、pueueを使って時間のかかるコマンドをバックグラウンドで並列実行する方法を紹介します。タスクのグループ化や変数展開の注意点など、実際に使ってみて感じたことも合わせて紹介します。

Published at: 2024/12/27 23:18

lefthookを使ってgit hookを管理する

Published at: 2024/12/25 21:26

この記事では、lefthookを使ったgit hook管理の具体的な導入方法と設定を詳細に説明しています。複数の言語やファイル形式に対応した設定例を提供しており、あらゆるプロジェクトでの適用が可能です。また、独自のlhコマンドを作成して効率化を図っており、プロジェクトごとの設定ファイル作成の手間を大幅に削減しています。

PyTritonのセットアップに苦労した話

#NVIDIA #Triton Inference Server

この記事では、PyTritonのセットアップ手順を具体的なDockerfileとPythonコード例で詳細に説明している。成功例と失敗例を明確に分けて記述し、問題解決の過程を記録している。そしてエラーの原因と対策について情報を提供している。

Published at: 2024/12/20 17:22

Python 3.13だとPyCUDAがインストールできなかった話

#CUDA #Python

Python 3.13環境でPyCUDAのインストールを試みたが、エラーが発生した。PyCUDAはCUDA APIにアクセスするための便利で安全なPythonライブラリである。この記事では、インストール時の問題とその解決策について説明する。

Published at: 2024/12/19 12:56

VSCodeのプロファイリング

#VSCode #Debug #profiling

VSCode を利用している際に、メモリ使用量が高くなることがある。その際に、どの拡張機能がメモリを多く消費しているのかを調査するために、メモリプロファイリングを行ったので、その備忘録を残す。

Published at: 2024/12/18 15:43

【2024年版】取り入れて良かったツール・技術

#tool #tips

この記事では、2024年に取り入れて良かったツールや技術を紹介しています。具体的には、Pythonプロジェクト管理ツールの`uv`、開発環境構築ツールの`Devbox`、テスト環境を簡単に構築できる`Testcontainers`について、その特徴と利点を詳しく説明しています。これらのツールを活用することで、開発効率やテストの信頼性が期待できます。

Published at: 2024/12/16 10:12

【VSCode】SSHでzshが見つからずエラーが出る時の対処法

#VSCode #SSH

VSCodeのターミナルとRemote-SSH拡張を使ってリモートサーバに接続しようとした時に、zshが見つからずエラーが出る場合の対処法を備忘録として残しておく

Published at: 2024/12/15 12:52

[gcp] Artifact Registryのコンテナイメージのタグ一覧を取得する

#Google Cloud #gcloud #Docker/Container

gcloud コマンドを使用して、Artifact Registry のコンテナイメージのタグ一覧を取得する方法

Published at: 2024/12/13 19:09

State of ML 2024

#ML/Machine Learning #MLOps

この記事では、2024年の機械学習の現状についてのアンケート結果をまとめたレポートを紹介します。主要なフレームワークやプラットフォームの利用度、モデルの導入期間、実験管理ツールの使用状況などが詳しくまとめられています。

Published at: 2024/12/11 15:20

Work

Published at: 2024/12/09 15:19

pexのオーバーヘッドなしにPants 管理の Python ファイルを実行する

#Python #Pants #uv

Pantsで管理されているPythonファイルを、sandbox環境の構築を避けて高速に実行するために、事前に`venv`環境を構築する方法を紹介する。`pants export`コマンドと`uv`を使用して効率的に`venv`環境を作成し、実行時のオーバーヘッドを削減する。必要に応じてimport pathを設定してエラーを回避する。

Published at: 2024/12/09 11:39

2024-12

Published at: 2024/12/02 6:55

環境構築でHomebrewからDevboxに乗り換えた話

#Homebrew #Devbox #tool

これまでHomebrewを使って環境構築をしていた。環境構築が完了するまで20分以上かかっていたがDevboxに乗り換えることで、数分で環境構築できるようになった。

Published at: 2024/11/20 17:16

pyinstrumentを使ってPythonのプロファイリングをする

#Python #profiling #Debug

この記事では、Pythonのプロファイリングツールであるpyinstrumentの使い方を紹介します。インストール方法から基本的な使用方法、プロファイリング結果の可視化方法まで具体的に解説しています。実際のプロファイリング例を通じて、コードのパフォーマンス改善に役立てる方法を示しています。

Published at: 2024/11/19 18:56

2024-11

Published at: 2024/11/06 14:42

Shell の補完を良い感じにする

#Shell #zsh #nushell

この記事では、zshとnushellでShellの補完機能を向上させるために`argc-completions`を利用する方法を紹介します。`zsh-completions`や`carapace`など他の補完ツールとの比較を行い、`argc-completions`を選んだ理由を具体的に解説します。これにより、補完設定を効率的に整え、コマンド入力をより便利にする手法を示しています。

Published at: 2024/11/03 21:16

PantsでTerraformを使う際のsetupとtips

#Terraform #IaC #Pants

この記事では、PantsでTerraformを使用する際のセットアップ方法と便利なヒントを紹介します。リモートモジュール利用時のgit設定や、Pantsがgitバイナリを認識しない場合の対処法を具体的に解説します。さらに、外部データソースでgitを使用する際の注意点についても詳述。

Published at: 2024/10/29 13:50

CV-CUDAのpillow resizeを試す

#NVIDIA #GPU #CUDA #Computer Vision #画像処理

この記事は、NVIDIAが提供するCV-CUDAを使って画像のリサイズを行い、pillow、resizer、cvcudaの3つの方法で処理時間を比較した内容を紹介しています。CV-CUDAは機械学習向けの画像処理およびコンピュータビジョンアプリケーション向けのオープンソースプロジェクトで、GPUアクセラレーションを活用して効率的な前処理・後処理パイプラインを構築できます。これにより、スループットを向上させながらクラウドコンピューティングコストを削減できます。

Published at: 2024/10/28 19:20

torchの実行環境をレポートする

#PyTorch #Python

問題が起きた時やベンチマークの計測などをする際にPyTorchの実行環境を出力する方法を紹介します。

Published at: 2024/10/28 19:11

Pantsでwhlを作る

#Python #Pants #whl #Docker/Container

Pantsでwhlを作る

Published at: 2024/10/27 22:55

Triton Model Navigator で PyTorch, TensorFlow, ONNX モデルを最適化

#NVIDIA #GPU #ML/Machine Learning

Triton Model Navigator は、NVIDIA GPU を活用したディープラーニングモデルの最適化とデプロイメントのための強力なツールキットです。PyTorch、TensorFlow、ONNX モデルを TensorRT に変換するプロセスを自動化し、パフォーマンス向上、精度検証、プロファイリング、デプロイメントの簡素化を実現します。自動化された最適化、フレームワーク間の互換性、QAT サポートなど、豊富な機能を備えています。

Published at: 2024/10/25 17:22

gh cliを使った ghcr の認証

#GitHub #GitHub CLI #Docker/Container #auth

ghcr.ioにDockerイメージをpushするためのにgh cliを使った認証方法を紹介。

Published at: 2024/10/20 14:55

pixiを触ってみた

#Python #CUDA

この記事では、conda上に構築された高速なパッケージマネージャー「pixi」を試してみました。Pythonプロジェクトでの環境管理や依存関係の解決方法を具体的に解説し、CUDA環境でのサンプル実行時の設定や注意点についても述べています。複数の言語やOSに対応したpixiの利便性と実装上の課題を詳しく紹介します。

Published at: 2024/10/05 20:02

公開求人を効率良く探す

#Job #recruitment #idea

この記事では、Googleの`site:`検索を活用してHRMOS、Talentio、Herpなど特定の求人サイトに限定し、効率的に公開求人を探す方法を紹介します。具体的な検索例を示し、海外の求人サイトを対象とする際のURL指定方法についても解説しています。また、`site:`指定をしていない求人情報の検索方法や自社サイトの求人情報探索についての注意点も述べています。

Published at: 2024/09/14 16:53

[git lfs]filterを使ってオブジェクトを絞り込む

#Git #Git LFS

この記事では、Git LFSのfilter機能を使用して特定のオブジェクトのみを管理対象とする方法を紹介します。`--include`や`--exclude`オプションを利用して、特定のディレクトリやファイルを対象に絞り込む手順を具体的に説明します。さらに、filter設定をconfigに追加してデフォルトの挙動を変更する方法についても解説します。

Published at: 2024/08/30 17:58

複数のインスタンステンプレートをMIGとして利用する

#MIG #GCE/Compute Engine #VM #Google Cloud

この記事では、Google CloudのManaged Instance Group（MIG）で最大2つのインスタンステンプレートを利用する方法を紹介します。複数のテンプレートを使用することで、コスト削減やGPUクオータの制約回避など、異なる設定の仮想マシンを同時に起動できます。Terraformを用いたMIGの設定手順も具体的に紹介します。

Published at: 2024/08/11 16:28

[Python]compileallのメモ

#Python #pex

この記事では、Pythonの`compileall`モジュールの概要と使用方法を解説します。`compileall`を利用して指定ディレクトリ内のPythonソースファイルをコンパイルし、`__pycache__`ディレクトリにバイトコードファイルを生成する具体的な手順を紹介しています。さらに、`pex`や`maelstrom`といったツールでの実際の利用例を通じて、`compileall`の有用性と応用方法についても詳述しています。

Published at: 2024/08/03 21:02

[Pants] 特定のlintのみの実行とスキップ

#Pants #Python

この記事では、Pantsを使用して特定のlintのみを実行したり、スキップする方法を紹介します。`--xxx-skip`オプションを利用して不要なlintを除外する手順や、`--lint-only`オプションで特定のlintだけを実行する方法を具体的に解説します。これにより、効率的にコード品質を管理できるようになります。

Published at: 2024/08/03 20:55

[PyYAML] 参照による抽象化をやめる

#Python

この記事では、PyYAMLを使用してYAMLを出力する際に、同一データの参照による抽象化を防ぐ方法を紹介します。具体的には、Dumperクラスを継承して`ignore_aliases`メソッドをオーバーライドする手法や、lambda関数を用いる方法について解説しています。これにより、重複データをそのまま出力し、参照の抽象化を避けることができます。

Published at: 2024/07/05 23:28

Terraform Random Providerを使ってみた

#Terraform #IaC

この記事では、TerraformのRandom Providerを使用してランダムな値を生成する方法を紹介します。`keepers`を利用してリソースの再作成を行う具体的な手順を解説しています。実際のコード例を通じて、ランダムな値の生成とリソース管理の方法を示しています。

Published at: 2024/07/05 23:17

Pants/pants test で実行中かを判定する

#Pants #Python #Test

Pants/pants test で実行中かを判定する方法

Published at: 2024/06/22 22:29

gcloud aio storageのtoken発行がtimeoutになる

#Python #Google Cloud #auth

Google Cloudのサービスに対して非同期で処理を行うためのgcloud aioのライブラリを使用していたところ、tokenの発行がtimeoutになる問題が発生した。これを解決するための備忘録。

Published at: 2024/06/01 22:52

Pants Concurrency

#Pants

Pants の並列実行のtips

Published at: 2024/06/01 22:52

Pub/Sub Dead Letter Topic

#Pub/Sub #Google Cloud

この記事では、Pub/Subの再試行ポリシーによりリトライ回数を超過したメッセージがDead Letter Topicに移動される仕組みを解説します。Dead Letter Queueに移動されたメッセージが元のメッセージと同じbodyおよび属性を保持していることを検証する方法を具体的に紹介します。設定手順や検証手順を通じて、Dead Letter Queueの動作を詳細に説明しています。

Published at: 2024/06/01 22:52

[GitHub Actions] DraftのPull RequestでCIをスキップする

Published at: 2024/06/01 16:58

この記事では、GitHub ActionsでDraftのPull Requestに対してCIをスキップする方法を紹介。`pull_request`イベントのトリガー設定と、ジョブの実行条件として`github.event.pull_request.draft == false`を設定する手順を紹介。

PythonでULIDを使う

Published at: 2024/05/04 7:50

この記事では、Pythonで一意なIDを生成するためのULIDの使用方法を紹介します。ULIDの特徴を解説し、`python-ulid`パッケージのインストール方法と基本的な使用例を具体的に示しています。さらに、文字列や時間からULIDを生成する方法についても詳述しています。

Terraform localsでkey, value値を定義する

#Terraform

この記事では、Terraformで`locals`ブロックを使用してkey-valueペアを定義する方法を紹介します。Pythonの辞書型のようなデータ構造を利用し、リソース作成時に参照する具体的な手順を解説しています。実際のコード例を通じて、効率的なデータ管理方法を示しています。

Published at: 2024/05/04 7:50

FastAPIのパフォーマンス分析

#FastAPI #Python #profiling

fastapi_profilerはFastAPIのミドルウェアとして動作し、リクエストごとの処理時間、各Pythonコードの処理時間を計測できます。インストールはpipで行い、PyInstrumentProfilerMiddlewareをFastAPIに追加するだけで使用可能です。

Published at: 2024/05/04 7:12

GitHub Releases からバイナリをインストールする手軽な方法

#GitHub #CLI #tool

この記事では、GitHub Releasesからバイナリを手軽にインストールする方法を紹介します。手動でのダウンロードや展開の手間を省くために、`installer`、`gh-install`、`dra`、`bin`、`eget`、`install-release`といったツールを試しています。各ツールの特徴と使用方法について具体的に解説します。

Published at: 2024/05/03 22:11

依存ライブラリがメンテナンスされているか調べる

#tool

OSS に依存したシステムを開発していると、依存ライブラリがメンテナンスされているか気になることがある。メンテナンスが止まると脆弱性やバグの修正が行われなくなり、将来的な利用が難しくなる。こういったリスクに備えるために、依存ライブラリがメンテナンスされているか調べる方法を備忘録として残す。

Published at: 2024/05/03 21:36

PantsでOpenCVを使う

Published at: 2024/04/27 19:10

この記事では、Pantsを使用してOpenCV（cv2）を取得し、ターゲットとして管理する方法を解説します。`opencv-python`と`opencv-python-headless`の競合問題を解決する具体的な手順を紹介し、`.BUILD`ファイルでの依存関係の適切な設定方法を説明します。また、依存関係の競合を防ぐためのベストプラクティスについても詳述

Google Cloud API Gatewayのスキーマ定義をFastAPIで作成する

#FastAPI #OpenAPI #Python #Google Cloud #Swagger

Published at: 2024/04/20 7:21

Python strでMarkdownを記述する

#Python #Markdown

この記事では、Pythonの文字列内でMarkdownを記述する際のインデントずれ問題を解決する方法を紹介します。`cleandoc`などを使用してインデントを調整し、可読性を保ちながら正しく表示されるMarkdownを生成する具体的な手順を解説しています。実際のコード例を通じて、効率的なMarkdown記述方法を示しています。

Published at: 2024/04/20 7:01

Pants testでdebugする

#pytest #Pants #Debug

この記事では、Pantsでテストを実行する際にpdbを使用してデバッグする方法を紹介します。テストコード内に`pdb.set_trace()`を挿入することで、pytestと同様にデバッグセッションを開始できます。また、具体的な例と`pants test --debug`コマンドの使用方法についても詳しく解説します。

Published at: 2024/04/05 8:38

Pydanticを使ってシーケンスを名前でアクセスする

#Pydantic #Python

この記事では、Pydanticを用いてシーケンスの要素に名前でアクセスする方法を紹介します。インデックスによるアクセスの曖昧さを解消するために、`AliasPath`を利用してフィールドに名前を割り当てる具体的な手順を解説しています。実際のコード例を通じて、読みやすく明確なモデルの構築方法を示しています。

Published at: 2024/04/03 14:49

【GitHub Actions】git diff の差分を高速に取得する方法

#GitHub Actions #Git #CI/CD

この記事では、GitHub Actionsでgit diffの差分を高速に取得する方法を紹介します。actions/checkoutを2回実行することで、全履歴を取得せずに差分を効率的に取得できます。リポジトリが大きい場合のCI/CDのパフォーマンス向上に役立ちます。

Published at: 2024/04/03 14:08

コードリーディングの効率を上げるためのTips

#tips #VSCode

この記事は、VSCodeを使ってコードリーディングの効率を上げるためのTipsを紹介しています。

Published at: 2024/03/30 17:50

CSpellでスペルチェック

#typo #tool

この記事は、CSpellというスペルチェックツールの使い方について説明しています。CSpellはCLIとVSCodeで使用できます。

Published at: 2024/03/29 14:49

typosを使ってtypoを見つける

#typo #tool

この記事では、スペルミスを検出・修正するツールである`typos`の使用方法を紹介します。`typos`のインストール手順と、カレントディレクトリ内のファイルを検査する基本的な使い方を解説しています。さらに、`--write-changes`オプションを使用してスペルミスを自動修正する方法についても説明しています。

Published at: 2024/03/29 14:14

pytest 8系からsetup/teardownの書き方が変わった

#pytest #Python

この記事では、pytest 8系でnoseのサポートが終了し、それに伴い`setup`/`teardown`の書き方が変更された点を解説します。従来の`setup`と`teardown`メソッドを`setup_method`と`teardown_method`に書き換える具体的な方法を紹介しています。これにより、noseを利用していたプロジェクトがpytest 8に対応するための対策方法についても詳述しています。

Published at: 2024/03/17 17:24

MkDocsでOpenAPIドキュメントを表示する

#MkDocs #OpenAPI #Swagger #ReDoc #Python

この記事では、MkDocsでOpenAPIドキュメントを表示するための4つのプラグインを紹介します。それぞれのプラグインが提供する表示形式（Swagger UI、Table、ReDoc）と設定項目の違いについて解説しています。具体的なプラグインの使い分け方も紹介します。

Published at: 2024/03/17 17:22

kfp localの実行時にGPUを使う

#Kubeflow #Kubeflow Pipelines #Docker/Container #MLOps #GPU

この記事では、kfp（Kubeflow Pipeline）をローカル環境でGPUを使用して実行する方法を解説しています。Dockerのランタイムをnvidiaに変更し、`/etc/docker/daemon.json`を適切に設定する手順を紹介。最後に、Dockerを再起動することでkfp local実行時にGPUが利用可能になることを確認します。

Published at: 2024/03/17 17:21

Pull Request の番号を取得する

#GitHub #GitHub Actions #GitHub CLI

GitHub Actions から Pull Request にコメントをする際などに Pull Request の番号を取得する方法についてメモを残す。

Published at: 2024/03/17 17:18

ActivityWatchで活動を記録する

#ツール #productivity #生産性

ActivityWatchというツールを使ってPCでの活動を記録する方法を紹介します。ActivityWatchを使うと、作業時間の記録を行い、どこに時間を使っているかを把握するのに便利です。活動のサマリーやタイムラインとしてのふりかえりも可能です。公式サイトからダウンロードし、展開して実行ファイルを実行するだけで使用できます。

Published at: 2024/03/17 17:13

uvを使ったtorchの依存管理

#PyTorch #Python #uv #pip

この記事では、非常に高速なPythonパッケージインストーラー兼リゾルバーである`uv`を使用してtorchの依存管理を行う方法を紹介します。`uv`の特徴や利点を解説し、torchとtorchvisionのインストール時に必要な工夫について具体的な手順を示しています。特に、`uv`の現時点での制約とその対策について詳述しています。

Published at: 2024/02/24 17:55

Argo Workflowsのsuspend機能を活用した非同期実行

#Argo #Argo Workflows #Kubernetes

この記事では、Argo Workflowsのsuspend機能を活用して非同期実行を行う方法について紹介します。suspend機能を使うと、外部ジョブの実行をトリガーした後、ワークフローを一時停止し、外部ジョブの完了時にArgo APIを呼び出してワークフローを再開できます。

Published at: 2024/02/21 5:40

google-indexing-script を使って Google 検索のインデックス登録を自動化する

#Google #SEO

Published at: 2024/02/04 14:08

Pull Requestを分析してレビュー効率とチームパフォーマンスを可視化する

#GitHub #Pull Request #Code Review #チーム開発 #DevOps #生産性

この記事では、GitHub Actionsのpull-request-analytics-actionを使用して、Pull Requestのレビュー効率とチームパフォーマンスを可視化する方法を紹介します。このアクションはプルリクエスト、コードレビュー、コメントのデータに基づいてレポートを生成し、チームの強みや改善点を特定します。また、具体的な設定方法やレポートのカスタマイズについても詳しく解説しています。

Published at: 2024/01/07 3:43

MIGのVMを一時停止/停止する

#MIG #GCE/Compute Engine #VM #Google Cloud

本記事では、Google CloudのManaged Instance Group (MIG)でVMを一時停止および停止する機能について解説しています。この機能を活用することで、コスト削減やスケールアウト時のパフォーマンス向上が可能になります。また、具体的なユースケースや設定方法についても詳しく紹介しています。

Published at: 2024/01/06 21:40

Pants Bootstrapで環境変数を設定する

Published at: 2024/01/06 18:00

この記事では、Pants Bootstrapを利用してPantsコマンド実行前に環境変数を設定する方法を紹介します。`.pants.bootstrap`スクリプトに必要な環境変数やコマンドを記述することで、Pantsの実行を自動化・効率化できます。具体例として、`GIT_COMMIT`の設定とエクスポート手順を詳しく解説します。

tagを使ってPantsのターゲットをフィルタする

Published at: 2024/01/06 14:56

この記事では、Pantsでタグを使用してターゲットをフィルタリングする方法を紹介。`skip-ci`タグを利用して特定のターゲットをCIから除外する手順を具体的に解説。さらに、複数のタグを組み合わせたand条件でフィルタする方法についても解説。

【Kubernetes】Numaflowでストリーミング処理を行う

#Kubernetes #numaflow #GKE #Google Cloud

この記事では、Kubernetesネイティブなストリーミング処理フレームワークであるNumaflowについて紹介します。YAMLで定義されたパイプラインを使用して、ソース、データ処理、シンクのVertexを連結し、大規模な並列ストリーム処理を実現します。リアルタイムデータ分析やイベント駆動型アプリケーションなど、さまざまな利用シーンで活用できます。

Published at: 2024/01/06 14:35

PantsでHTTPリソースを取得する

#Pants #Python

この記事では、Pantsを用いてHTTPリソースを取得し、ターゲットとして管理する方法を解説します。`http_source`ターゲットの設定手順や、`len`および`sha256`の取得方法を具体的に説明します。

Published at: 2023/12/31 21:36

Pull Request Templateを作ってレビューのラリーを減らす

#GitHub #Pull Request #Template #Review #チーム開発 #idea

この記事では、Pull Request Templateを作成してコードレビューのラリーを減らす方法を紹介します。コンテキストの共有を促進し、レビュアーの負担を軽減する具体的なテンプレート作成手順を解説しています。また、新メンバーのガイドライン共有や検索性向上についても述べています。

Published at: 2023/12/31 17:13

Pants TestのCoverage対象のファイルをFilterする

#Pants #Python #Test #Test Coverage

この記事では、Pants Testのカバレッジ対象ファイルをフィルタリングする方法を紹介します。`--coverage-py-filter`オプションを使用して、推移的な依存ファイルを除外し、変更のあったソースファイルのみをカバレッジ対象とする手順を具体的に解説します。また、GitHub Actionsとの連携による環境変数の設定方法についても詳述。

Published at: 2023/12/24 16:51

yqを使ってyamlの配列の値でforループを回す

#tool

この記事では、`yq`を使用してYAMLファイル内の配列の値でforループを回す方法を紹介します。具体的なYAMLファイルの例と、`yq`コマンドを使ったforループの実行方法を解説しています。これにより、YAMLファイルの配列要素に対して効率的に処理を行う方法を示しています。

Published at: 2023/12/24 16:45

Terraform で Git コミットの SHA を取得する

#Terraform #Git

この記事では、TerraformでGitのコミットSHAを取得してリソースに設定する方法を紹介します。`external`データソースを使用して`git log`コマンドの結果をTerraformの変数に取り込み、S3バケット名にSHAを組み込む具体例を解説しています。

Published at: 2023/12/24 16:38

Pantsのテストでカバレッジを取得する

#Python #Pants #Test #Test Coverage

この記事では、Pantsを使用してテストのカバレッジを取得する方法を紹介します。`--use-coverage`オプションや設定ファイルでカバレッジを有効化する手順を具体的に解説します。また、フィルタ機能を活用して対象ファイルを限定し、GitHub ActionsなどのCI環境での実装方法についても詳述します。

Published at: 2023/12/17 16:11

slackで質問テンプレートを作って解決までの時間を短縮する

#slack #idea #マネジメント #チーム

この記事では、Slackで質問テンプレートを作成してチームの解決までの時間を短縮する方法を紹介します。GitHubのIssueテンプレートを参考に、SlackのWorkflow Builderを活用して効果的な質問フォームを構築する具体的な手順を解説しています。これにより、コンテキストの共有が容易になり、コミュニケーションのラリーを減らすことが可能になります。

Published at: 2023/12/17 15:47

changelogを自動で生成したい

#Git #GitHub #GitHub API

changelogを自動で生成するためのツールを調べてみた。ローカルのgit log/tagから生成するものと、GitHubのAPIを使って生成するものがある。

GitHub Actionsのキャッシュを削除する

gh cliを使ってGitHub Actions のキャッシュを削除する方法について紹介

#Vertex AI #Google Cloud #Observability #Monitoring

MQL で Vertex AI Endpoint の endpoint_id ごとにエラー率を取得する

MQL で Vertex AI Endpoint の endpoint_id ごとにエラー率を取得する

#packer #IaC #HashiCorp #Google Cloud

packerを使ってVMイメージを作成

この記事では、HashiCorp Packerを使用して効率的にVMイメージを作成する方法を解説します。PackerのインストールからGCEでのDeep Learning VM作成、Terraformとの連携手順を具体的に説明し、GPUドライバやコンテナのセットアップ方法も紹介しています。さらに、Packerで作成したイメージを利用することで、VM起動からコンテナ実行までの時間を大幅に短縮できることを示します。

Pantsでadhoc toolを使ってみた

Pantsの`adhoc_tool`ターゲットを使うことで、プラグインを開発せずにカスタムビルドプロセスを簡単に組み立てることができます。再利用性は低いものの、一時的なスクリプトやプロトタイプ作成に適しています。公式の例を使って実際に試してみた感想を紹介します。

#Python #pex #Pants #FastAPI

Pex内部のGunicornを使ってWebAPIを起動する

この記事では、Pantsを使用してPex環境内でGunicornを用いてWebAPIを起動する方法を解説します。PexファイルのエントリーポイントをGunicornに設定し、FastAPIアプリケーションを起動する具体的な手順を紹介します。依存関係管理やディレクトリ構成の確認方法など、実装時の注意点についても詳述します。

#Python #pex #Docker/Container #Pants

pexでマルチステージビルドを行う

この記事では、pexを使用してマルチステージビルドを行う方法を解説します。ソースコードとサードパーティパッケージを分離することで、キャッシュ効率を向上させ、ビルド時間の短縮を実現します。具体的なディレクトリ構成とPantsを用いたpexの構築手順も詳しく紹介します。

#Google Cloud #Pub/Sub #Emulator

Pub/Sub Emulator を使ってみた

この記事では、Pub/Sub Emulatorを使用してローカル環境でPub/Subサービスをエミュレートする方法を紹介します。Google Cloud CLIを活用したインストール手順から起動方法まで、具体的なステップを詳しく解説しています。また、ローカル開発環境での利便性や注意点についても述べています。

#Python #profiling #Debug

py-spyを使ってPythonのプロファイリングをする

この記事では、Pythonのプロファイリングツールであるpy-spyの使い方を紹介します。インストール方法から基本的な使用方法、プロファイリング結果の可視化方法まで具体的に解説しています。実際のプロファイリング例を通じて、コードのパフォーマンス改善に役立てる方法を示しています。

#Python #profiling #GPU #MLOps #ML/Machine Learning

ScaleneでPythonのプロファイリングを行う

この記事では、Pythonの高性能なCPU、GPU、およびメモリプロファイリングツールであるScaleneの使用方法を紹介します。Scaleneの特徴や利点を解説し、インストール手順から実際のプロファイリングの実行方法まで具体的に説明しています。また、CLIやWebベースのGUIを活用した詳細なプロファイリングオプションについても詳述しています。

Terraform Dynamic Blockで動的にリソースを設定する

#Terraform #IaC

この記事では、TerraformのDynamic Blockを使用してリソースの設定を動的に行う方法を紹介します。繰り返しや条件分岐を活用して、設定をDRYに記述する具体的な手法を解説しています。実際の設定例を通じて、Dynamic Blockの効果的な活用方法を示しています。

Published at: 2023/09/04 12:16

Python whl Metadataを取得する

#Python #whl

この記事では、PythonのWheelファイルからメタデータを取得する方法として、`importlib_metadata`パッケージの使用方法を紹介します。`importlib_metadata`のインストール手順と、特定のパッケージの`requires`依存関係を取得する具体的な方法を解説しています。さらに、実際のコード例を通じて、`ipython`などのパッケージの依存関係を取得する方法を示しています。

pytest mockで実行ごとに値を変更する

#Python #pytest #Test

この記事では、pytestのmock機能を使用してテスト実行ごとに異なる値を返す方法を紹介します。`side_effect`プロパティを利用することで、モックされた関数が連続して異なる戻り値を返すように設定する具体的な手順を解説しています。実際のコード例を通じて、テストの柔軟性と精度を向上させる方法を示しています。

Published at: 2023/09/01 19:52

Cargoプロジェクトのバージョンを取得する

#Rust #Cargo

cargo metadataコマンドとjqを使って、Cargoプロジェクトのバージョンを取得する

#Google Cloud #Cloud Build #CI/CD

Cloud Buildを非同期で実行する

この記事では、Google CloudのCI/CDサービスであるCloud Buildを非同期で実行する方法について紹介しています。`gcloud builds submit`コマンドに`--async`オプションを指定することで、Cloud Buildを非同期で実行できます。これにより、GitHub ActionsやCloud Functionsなどの従量課金性のサービスからCloud Buildを実行する際に、実行が終わるまで待機する必要がなくなり、二重課金を避けることができます。

#GitHub #GitHub CLI #GitHub Actions #GitHub API

gh cliでtokenを出力する

ローカル開発をする際にGitHubの機能を使った動作確認をすることがある。動作確認にGitHub のtokenが必要なことがあるが、都度tokenを生成するのは手間がかかる。gh cliを使って認証で使っているtokenを出力し、それを使うことで手間を省くことができる。

GitHub の Release から asset を取得する

#GitHub #GitHub CLI

GitHub Release から asset をダウンロードする方法

#GitHub Actions #CI/CD #self hosted runner

BuildJetでGitHub Actionsの費用を半分にする

BuildJetをでGitHub Actionsのruns-onで指定すると同等のマシンスペックの費用が半分になる

#GitHub Actions #Docker/Container #GitHub

GitHub Actions 内でコンテナを動かす

GitHub Actions 内でコンテナを動かす

[mypy]TypeError: 'type' object is not subscriptable を解決する

#mypy #Python

mypyでTypeError: 'type' object is not subscriptable を解決する

Pantsでディレクトリ配下の設定を統一する

Pantsでディレクトリ配下の設定を統一する。ディレクトリ配下の設定を統一することで、設定の変更が楽になる。

Pantsで個人用の設定を使う

Pantsで個人用の設定を使う。個人用の設定を使うことで、個人用の設定を変更しても他の人に影響を与えない。

#Pants #CI/CD #Bazel

Pantsでリモートキャッシュを使う

この記事では、Pantsのリモートキャッシュ機能を活用する方法を解説します。bazel-remoteコンテナイメージを使用してS3とGCSにキャッシュを保存する具体的な設定手順を紹介します。さらに、GitHub ActionsなどのCI環境での実装例を通じて、ビルドパフォーマンスの向上方法を詳述

#Pants #CI/CD #Test

Pantsのテストをshard分割して実行する

Pantsのテストをshard分割して実行できる。リポジトリ全体のテストを分割して実行することで、CIの実行時間を短縮できる。

ローカル環境の whl を pip install する

#pip #Python #whl

ローカル環境の whl を pip install する。ローカルの whl を使うことで、インターネットを経由せず pip install できる。

#Python #Pydantic #CLI

Pydanticでコマンドライン引数をパースする

Pydanticでコマンドライン引数をパースすることで、コマンドライン引数のバリデーションを行うことができる。

subprocessで標準出力の結果を文字列として取得する

#Python

subprocessで標準出力の結果を文字列として取得する方法について

#Ruff #Python #CI/CD #Rust

Ruffを使ってみた

Ruffを使ってみた

#Python #Pants #monorepo #CI/CD #Test

Pantsで差分テストをやってみた

Pantsはビルドシステムであり、モノレポを管理するために使用される。テスト実行時にオプションを付与することで差分テストを実行できる。差分テストをすることで、テスト時間を短縮できる。

Published at: 2023/05/26 19:39

GitHub Actionsでsecretsを使う

Published at: 2023/05/23 15:50

GitHub Actionsでsecretsを使う方法について調べてみた。env構文で使うことで、環境変数として使うことができる。

actを使ってみた

#act #GitHub #GitHub Actions #CI/CD #DevOps

actはGitHub Actionsの動作検証を手元で行うためのツールです。Dockerを使用して動作検証を行い、事前にDocker環境を用意する必要があります。actは3つの異なるサイズのベースDockerイメージ（Micro、Medium、Large）から選択することができます。一部の動作はactで検証できない場合があります。

#Python #PyTorch #Apache Beam/Dataflow #Google Cloud

Apache BeamでPyTorchを動かしてみた

Dataflow MLで紹介されてるPytorchのサンプルコードを動かしてみた。Torchのモデルで推論することができた。

#Buck2 #Bazel #Pants #Meta #Facebook

モノレポビルドシステムBuck2

Buck2というMetaが発表したモノレポビルドシステムについて調べてみた。C++, Rust, Pythonなど多言語のビルドをサポートしている。PythonはPantsと同じくpexを生成する

cargo generateを触ってみた

#Rust #Cargo

Rustのプロジェクトを作成するためのテンプレートを作成するcargo generateを使ってみた。プロジェクトテンプレートとしてcookiecutterやcopierがあるがそれのRust版という感じ。

#Google Cloud #Cloud Run #gcloud

Cloud Runデプロイコマンドでシークレットを扱う

Cloud Runデプロイコマンドでシークレットを設定。ワンライナーで複数のシークレットを設定する方法を紹介する。

#Google Cloud #Cloud Build #GitHub #SSH #CI/CD

Cloud BuildでGitHubのSSH鍵を使う

Cloud BuildでGitHubのSSH鍵を使う方法を調べてみた。Cargoやgit submoduleなどでプライベートのリポジトリにアクセスする際にSSH鍵が必要になる。

#Python #DevOps #tool

cookiecutterとcruftとcopierでプロジェクトテンプレートの更新を取り入れる

プロジェクトを始める時にお決まりのディレクトリ構成、ライブラリ、ツール、CI 設定、その他を使いまわすためにプロジェクトテンプレートを用意することがある。テンプレートが更新された際、既に作成済みのプロジェクトにコピペで更新を反映したり、更新が面倒で放置されるプロジェクトもある。そこで継続的にテンプレートの更新をプロジェクトに反映するツールcruftとcopierについて調べてみた。

#Docker/Container #CI/CD #GitHub Actions #cache

Dockerのビルド結果をキャッシュする

Dockerのビルドキャッシュの設定には、buildxを使用することで細かなオプションが利用できます。ビルドキャッシュは複数の方法で保存・利用することができます。outputs: type=dockerを指定すると遅くなるので不必要な使用は避けた方が良いです。

docker-slimを触ってみた

#Docker/Container

docker-slimはDockerコンテナイメージのサイズを小さくするツール。最大1/30のサイズになる。PythonのWebAPIで試してみたがうまくできなかった。

#book #組織 #キャリア #マネジメント

エンジニアリングマネージャーのしごとを読んだ

エンジニアリングマネージャーのしごとを読んだ。この本はエンジニアリングマネージャーの役割、必要なツールやプロセス、スタッフとの関係性構築、モチベーションの理解、評価や採用について書かれている。

#Google Cloud #GCS/Google Cloud Storage #Pub/Sub

eventarcを触ってみた

eventarcとはeventが起こったことを検知してPub/SubやAPIエンドポイントに通知するGoogle Cloudのサービス。eventarcを作るとPub/Subのtopicとsubscriptionも一緒に作ってくれる。

MkDocsで特定のファイルやディレクトリを除外する

#MkDocs #Markdown

MkDocsのビルドプロセスを高速化するために、 mkdocs-excludeを使って必要のないファイルを除外する。mkdocs.ymlファイルに設定を追加することで、除外するファイルを指定できる。

#Python #Pydantic #FastAPI #OpenAPI #Swagger #ReDoc

FastAPIでOpenAPI定義を生成する

FastAPIとPydanticを使ってOpenAPI定義を生成できる。ReDocのなかにOpenAPIのUIを埋め込むというのもやってみた。

#GitHub CLI #GitHub #Git

GitHub の認証が面倒だったので gh cli で楽をしたい

多要素認証をしていたらprivateリポジトリのcloneに手間がかかる。gh cliを使って認証をした後にcloneすると楽に開発を進められる。

#GitHub #Git #GitHub CLI

GitHub CLI拡張でPull Requestのメトリクスを収集する

GitHub CLI拡張でPull Requestのメトリクスを収集する。これを使うことでコードレビューにどれだけ時間がかかっているか知ることができる。

GitHub Actions で inputs の値を使うと concurrency の group 設定がうまくできなかった

GitHub Actions で inputs の値を使うと concurrency の group 設定がうまくできなかったがgithub.eventのinputsを使うとうまく設定できた。

#Python #GitHub #GitHub Actions

GitHub Actionsでoutputへの出力をPythonで行う

GitHub Actionsでoutputへの出力をPythonでやってみた

便利なGitコマンド

新規ファイルをトラック、差分を個別にトラック、変更があったファイルだけをトラック、問題箇所を特定するには、git コマンドの紹介。

ディレクトリのgit logを表示する

特定のディレクトリのgit logを表示する

git管理のrootディレクトリを取得する

git rev-parse --show-toplevel コマンドを使うとGit の最上位ディレクトリを表示できる。

#GitHub Actions #CI/CD #GitHub

GitHubでCIのステータスを取得・変更する

GitHubでCIのステータスを取得・変更する

#GitHub #GitHub Actions #CI/CD

GitHub Actionsのあれこれ

この記事ではGitHub Actionsのあれこれをまとめていく。実行ブランチの取得やrun-nameを使った概要表示、workflow完了後に発火させる設定、外部リソースの使用など。

#Google #Google Cloud

Google Professional Services というレポジトリで気になったものを列挙する

Google Professional Services というレポジトリで気になったものを列挙する。このレポジトリにはGoogleCloudプロジェクト内のリソースの可視化やDataflowのサンプルコード、IAM管理のツール等がある。

#GKE #Cloud Run #Google Cloud #Docker/Container

image streaming について調べてみた

image streaming について調べてみた。image streamingを使うことで、コンテナイメージ pullの時間を大幅に短縮できる。

MkDocsのblogging extensionのpagingがうまくいかなかった

#MkDocs

MkDocsのblogging extensionのpagingが動作せず、全てのコンテンツが2回表示されてしまった。pagingを無効ににして一ページで表示する件数を多くすることで、全てのコンテンツを一ページに一回表示することにした。

#MkDocs #HTML #Markdown

MkDocsでHTMLを表示する

MkDocsを使用して、HTMLページに遷移するためには、navの参照をHTMLファイルに設定する必要がある。ローカルのHTMLやリモートのwebページに遷移することができる。

MkDocsのインデントを調整する

#MkDocs #Markdown

MkDocsのリスト等をネストさせる時のインデントがデフォルトではスペース4個になっている。スペース2個のMarkdownで書きたいので、これを反映する方法について調べてみた

MkDocs Pluginのtimelineを使う

#MkDocs #Python

MkDocs Pluginのtimelineを使ってみた。導入する際にREADMEに書いてあることだけではうまくいかなかったのでメモ。

MKDocsでタイムライン機能を有効にする

#blog #MkDocs

MKDocsでタイムライン機能を有効にする。対象ディレクトリをカレントディレクトリに設定することで、全体を対象にできる。 markdownのヘッダーで exclude_from_blog: true を設定することで、非表示にできる

#Python #Pants #Poetry

Pantsを使ったモノレポで依存関係を調べる

Pantsを使ったモノレポで依存関係を調べる。ファイルとしての依存を特定したり、レポジトリ全体で使われてるPythonライブラリの情報を取得できる。

#CI/CD #GitHub Actions

[GitHub Actions] paths-filterを使ってファイル、ディレクトリの変更を検知する

GitHub Actionsのpaths-filterを使用して、変更されたパスやファイルを検知し、処理をトリガーする方法について紹介。matrixを活用してパスごとに並列処理ができたり、外部ファイルに設定を記述することでメンテナンスがしやすくなる。

pipxでflake8 プラグインを使う

#Python

pipxでflake8 プラグインを使う

poetryの依存関係を一括で更新する

#Python #Poetry

poetryで依存関係を更新する際は、更新するパッケージを明示的に指定する必要がある。poetryプラグインのpoetry upを使うことで依存関係を一括で更新できる

#Google Cloud #CloudSQL #BigQuery

PrivateなCloud SQLにBigQueryを接続する

この記事では、BigQueryをプライベートなCloud SQLに接続する具体的な手順を解説します。Cloud SQLのNETWORKING設定でプライベートパスを有効にし、BigQueryの外部接続設定で接続名やデータベース情報を入力する方法を紹介します。また、異なるプロジェクト間での接続が制限されている点についても説明しています。

#Google Cloud #Pub/Sub #GCE/Compute Engine

Pub/Subを触ってみた

Pub/Subを触ってみた。Pub/Subの概要、Subscriptionのタイプ、メッセージの再送、配信保証についてまとめた。別プロジェクトのPub/Subトピックを関連づける方法やPub/Subの指標を使ったCompute Engineのスケールについて紹介

Pydanticのエイリアスについて

Pydanticのエイリアスを使うことでデータソースのフィールド名とコードスタイルを紐づけることができる。allow_population_by_field_name=Trueを設定することで、エイリアス前の名前とエイリアス名の両方を使ってデータ化することができる。エイリアスの指定方法には優先順位があり、複数の方法で設定することができる。

PydanticでGenericを扱う

PydanticでGenericを扱う。Genericを使うことで型を指定しながら柔軟にモデルを定義できる。

#Python #Test #GitHub #GitHub Actions #CI/CD

GitHub Actionsでpytestのカバレッジを出力する

GitHub Actionsでpytestのカバレッジを出力する。計測したカバレッジをPull Requestに出力したり、jobのサマリーに出力できる。

#Python #PyTorch #ML/Machine Learning #Deep Learning #inference #optimization #performance

PyTorchの推論を高速化する

PyTorchの推論を高速化する方法について調べてみた。混合精度の使用や、Channels-Lastメモリ形式、cuDNN ベンチマーク、torch.inference_mode()、torch.compile()等を利用することで高速化が期待できる。torchのモデルをTensorRTやONNX、OpenVINO、Deepspeedに変換することで高速化する方法もある。

#VSCode #reveal.js #Markdown #presentation

vscode-revealでtwo columnにする

vscode-revealでtwo columnにする

#Google #DevOps #組織 #book

Googleのソフトウェアエンジニアリングを読んだ

Googleのソフトウェアエンジニアリングを読んだ。Googleのエンジニアリング組織の構造や開発プロセス、コードレビュー、スタイルガイド、コードレビュー、CI/CD、デプロイ、モニタリング、リリース、サービスの運用などについて書かれている。

Source Repositoryを触ってみた

#Git #Google Cloud

Cloud Source Repositoriesは、Google CloudでホストされているプライベートGitリポジトリです。Source Repository Readerの権限をServiceAccountに付与すると、クローンすることができます。

#Cloud Run #Google Cloud #Terraform

Cloud Runをterraform applyした時のハングを解消する

Cloud Runのリソースに対してterraform apply を実行する際にエラーが発生し、ハングしました。autogenerate_revision_name=true を設定することで、エラーを回避できました。また、template.metadata.name にユニークな名前を設定することでも問題を解決できます。

Terraformで特定のリソースごとにコマンドを実行する

#Terraform #IaC

この記事では、Terraformで特定のリソースごとにコマンドを実行する方法を紹介します。`terraform state show`、`terraform plan`、`terraform apply`、`terraform destroy`コマンドを使用して、特定のモジュールやリソースに対して操作を行う具体的な手順を解説しています。実際のコマンド例を通じて、効率的なリソース管理方法を示しています。

#Terraform #IaC #Google Cloud #gcloud

既存のインフラストラクチャをIaCで管理するツールTerraformerとその関連ツール

IaCで管理してないリソースを取り込んでIaCとして管理するツールTerraformerとその関連ツールの紹介

#Terraform #IaC #Google Cloud

terratagを触ってみた

terratagを触ってみた。terratagはリソースにtagを付与するツール。AWSにはdefault_tagsがあるが、Google Cloudにはないのでterratagを使うと便利。

textlintを使ってみた

#textlint #Markdown

textlintを使ってみた。textlintは日本語の文章の文法的におかしなところを指摘してくれるツール。プラグインのprhを使えば表記ゆれの統一もできる。

#Terraform #IaC #DevOps

tfupdateを使ってterraformのバージョンを一括で更新する

tfupdateを使ってterraformのバージョンを一括で更新する。tfupdateはcore, provider, moduleのバージョンを更新するツール。ディレクトリを再帰的に探索し、まとめて更新できる。

#Python #PyTorch #TorchServe

TorchServeの中で外部ライブラリを使う

TorchServeの中で外部ライブラリを使う。requirements.txtを使うことでTorchServeの中で外部ライブラリを使うことができる。

#Vertex AI #Python #ML/Machine Learning #Google Cloud

Vertex AI EndpointsのIDを任意のIDにする

Vertex AI EndpointsのIDを任意のIDにする。数字のみ使用でき、先頭の文字を0以外にする必要がある。

#Vertex AI #Python #ML/Machine Learning #Google Cloud

Vertex AI EndpointsのIDとDisplay Nameを取得する

Vertex AI EndpointsのIDとDisplay Nameを取得する

#Python #Google Cloud #Vertex AI #ML/Machine Learning #MLOps

Vertex AI Pipelinesを触ってみた

Vertex AI Pipelinesとは、Vertex AIの機能の一つで、MLモデルの学習やデプロイを自動化するためのツールです。Vertex AI Pipelinesは、Kubeflow Pipelinesの上に構築されており、Kubeflow Pipelinesの機能をそのまま利用することができます。Vertex AI Pipelinesを使って、MLモデルの学習とデプロイを試してみました

#Vertex AI #Google Cloud #Python

Vertex AI Prediction Batchを触ってみた

Vertex AI Prediction Batchを触ってみた。入力値にGCSオブジェクトのパスを指定するとbase64エンコードされて処理される。出力先はBigQueryとGCS。リアルタイム推論が必要ない場面ではシステム構成の選択肢になる。

Vision APIを使う時のロールについて

#Google Cloud

Vision APIを使う時のロールについて