人生100年!生涯エンジニア人生!

楽しいエンジニア人生!

Python

Pythonで「反復可能要素」と言われると・・・

謎の日本語訳 formdata (dict or iterable of tuples) -- これは、URLエンコードされてリクエストの本文に割り当てられるHTMLフォームデータを含む辞書(または (キー, 値)タプルの反復可能要素)です。 (キー, 値)タプルの反復可能要素とは? タプル(tuple)は…

CalorieMate to Programmer #うちこむ人にバランス栄養 msg19 をLinuxのコマンドでTranslateする

概要 『CalorieMate to Programmer #うちこむ人にバランス栄養』というプロモーションがありました。 www.otsuka.co.jp その中には色々なプログラム言語でのメッセージがあります。 www.otsuka.co.jp msg19のメッセージが、ちょっと変わっていてバイナリーコ…

長いURLに対して Scrapy するときの覚書

結論 Scrapy で長いURLを対象にするときは、設定ファイルのsettings.pyにURLLENGTH_LIMITを書いてURLの最大長を記載する。 自分がやったときはURLの長さが3,800文字だったので、4,000文字に設定した。 # URL LENGTH URLLENGTH_LIMIT = 4000 ログレベルについ…

アンカータグに入ったJavaScriptスキームのサイトにScrapyで挑む

Scrapyしにくいサイト ここです。 jinzai.hellowork.mhlw.go.jp ちょっとアクセスすると判るのですが、hrefにJavaScript:に入れまくっている(JavaScriptスキーム)平成初期の臭いが漂うサイトですね。 今回は、Scrapyを使ってスクレイピングしてみます。 Sc…

2018年の振り返り その2

2019年になりましたが、2018年のことを振り返りたいと思います。 前半は、こちらです。 kawahara-ci.hatenablog.com 2018年に経験したこと LTで登壇した。 ツイッターを始めた。 ブログを始めた。 IoTデバイスを購入した。 勉強会のスタッフになった。 副業…