GCP

データパイプライン

dbtのexternal tablesでGCSのファイルをBigQueryに読む

GCSに置いたNDJSONをBigQueryのexternal tablesとして読み、dbtで変換するまでの構成です。Hiveパーティションの切り方、起動時にスクリプトでテーブルを作る方法、merge前の一意化やunique_keyの決め方など、注意点もまとめました。
データパイプライン

GCP Secret Managerの料金は何で決まる?|versionの破棄で減らす

GCP Secret Managerの料金は、有効・無効のversion数とアクセス操作、ローテーション通知で決まります。実行のたびに247版まで増えた実例と実際の費用、無効化では止まらない課金、破棄の実装と確認方法を解説します。
データパイプライン

Withings APIの測定値をBigQueryへ取り込む|Cloud Runで取得する

Withings APIで体重計の測定値を取り、BigQueryに貯めるまでの手順です。連携のやり方3つの選び方、トークン更新で選べる署名、status=503の意味、Cloud Run Jobで呼ぶときの中身、入れ替わるトークンの保存順序、value×10のunit乗の扱いをまとめました。
データパイプライン

dltHubが引き受けるETL処理の5つ|自分で書くか任せるかを見分ける

dltHub の dlt を GitHub REST API で使い、自分で書いていた抽出・スキーマ定義・増分取得・重複排除・中間ファイルの保存の 5 つが宣言だけで済むかを確かめました。エラーにならないまま失敗する 2 つの箇所と、選ぶ前に見る条件もまとめます。
AIエージェント

Open Knowledge Formatに手元のmd群を適合させる|必須はtypeだけ

Open Knowledge Formatに独自のmarkdown規約を適合させた記録です。必須フィールドはtypeだけで適合条件は3つという寛容さ、スラッシュ始まりのパスがバンドルルート基準になる点、okf-lint v0.0.1が何も検査しなかった結果をまとめました。
データパイプライン

Cloud FTPをTerraformで構築する|SFTPでファイルを置いて取るまで

Cloud FTPをTerraformで構築する手順です。google_storage_ftp_serverが使えるproviderのバージョン、東京・大阪が非対応なリージョン、転送0でも続く稼働時間課金、SFTPでGCSへ置いて取るまでを確かめました。
認証・IAM

Workload Identity FederationでGitHub ActionsからGoogle Cloudへ認証する

Workload Identity FederationでGitHub ActionsからGoogle Cloudへ、キーなしで認証する構成です。PoolとProvider、属性条件、サービスアカウントの紐付け、ワークフローの書き方と運用中の落とし穴を紹介します。
認証・IAM

Entra IDでサインインは通るのにGoogle Cloudが開かない|原因はグループ

Entra ID認証は通るのに、Google Cloudのアプリが403で開けない。原因はグループの扱いです。同期はされずアクセスのたびにgroupsクレームで申告される仕組み、クレームが既定では出ないこと、グループ数の上限、症状別の切り分けをまとめました。
認証・IAM

Workforce Identity Federationの仕組み|認証と認可は別で動く

Workforce Identity Federationの仕組みを、Entra IDの認証とGoogle Cloudの認可の分担から解説します。プールに利用者を登録しない理由、アクセス1回で何が往復しているかの11ステップ、Workload Identityとの違いもまとめました。
認証・IAM

Workforce Identity Federationとは?Workloadとの違いを整理する

Workforce Identity Federationとは何かを、Workload Identityとの違いから解説します。組織にWorkforce Identity PoolをTerraformで作る手順と、つまずいた点もまとめました。