普段、業務でサーバーレスアーキテクチャを用いた開発が結構多く、Azure Blob Storageにファイルや画像がアップロードされたら、それをトリガーにAzure Functionsを起動させて処理するみたいな構成が度々あり、ファイル等を手元から手軽アップロードできるよ…

Pythonでコマンドラインインターフェースを作ろうとした時、わりと最近はコマンドラインパーサーにclickが使われていることが少しだけ多い印象？だったので、個人的に少し触ってみた。 コマンドラインパーサーとしては他にも標準ライブラリに組み込まれてい…

以前のブログで、Azure SDK for PythonのBlob Storage Clientを使ってpandasのDataFrameをcsv形式でBlobストレージへのアップロード方法について書いたのだが、Blob Storage Clientには他にもたくさんいろいろなメソッドが用意されていたりするので、今回は…

docker-compose上で、Digdagをサーバーモードで起動し、PostgreSQLに接続した際に以下のようなログが多発した。 digdag | 2021-01-26 23:23:30 +0000: Digdag v0.9.42 digdag | 2021-01-26 23:23:32 +0000 [INFO] (main): secret encryption engine: disable…

CODE BASE OKINAWA プログラミングスクール Advent Calendar 2020 - Adventar 1日目の記事です。 adventar.org 私は株式会社EBILABでエンジニアとして働いており、最近では主にインフラ・データ基盤の整備を行っています。 今回はPythonで使用できるORMの一…

今までpythonをちゃんと体系的に学んだことがなかったので、Python実践入門を読んで再入門した。 Pythonを使いながらも恥ずかしながら今まで知らなかったこと、今まで理解が曖昧だった部分、Python3.8から導入された新機能など新たな学びがたくさんあったの…

最近は仕事の中での運用が楽になるようなpython製の自作ツールを作ってPyPIとかで配布して手軽に使えるようにしたいという気持ちが高まり外部パッケージの配布方法など調べていると、今更ながらPyPI以外（ローカルやGitHub）から直接パッケージをインストー…

pandasのDataFrameをCSV形式でBlob Storageにアップロードする場面が結構あったので、こちらの記事を参考にさせてもらいました。 sinyblog.com こちらもAzure SDK for PythonのBlob Storage Clientを使っているようだったのですが、バージョンがv2.1を使用し…

待望にしていたAzure Functions（Python）の従量課金プランの東日本リージョン対応ですが qiita.com どうせまだ使えないよなーとか思いつつAzureのポータル上から確認してみると、いつの間にか選択できるようになっていました 個人的にもそろそろAzure Funct…

よくcsvファイル中身をSQL Serverに挿入したりすることがあるが、普段はpythonのcsvモジュールを使ってcsvファイルを読み込み、dictに変換してSQL ServerにINSERTしたりしていた。（もっといい方法があるかも知れないが...） 恥ずかしいことに、今更ながらpa…