経緯 首都「キエフ」の表記をウクライナ語の「キーウ」に変更へ 日本政府：朝日新聞デジタル www.asahi.com 現在、日本国内で広く使われている「キエフ（Kiev）」は、ロシア語の発音に由来する。一方、ウクライナ語は「Kyiv」とつづり、発音は「キーウ」に近…

技書博と技術書典の振り返り、2021年の技術同人活動を振り返る

説明 2020年の年末にPythonのスクレイピングの技術同人誌を頒布しました。 kawahara-ci.hatenablog.com 技術同人誌の内容を大幅にパワーアップして、技術同人誌では6章までだったのを9章まで増やし、技術同人誌では50ページだったのを100ページに増やして、…

docker-compose.ymlでも良いのですが・・・ Scrapyの技術同人誌を書いたとき、Dockerの起動はdocker-compose.ymlを書いて起動するようにしました。 kawahara-ci.hatenablog.com これをPythonのDockerモジュールを使って起動する方法もあるよねと思いました。…

技術書典10新刊 技術書典10に新刊を出しました、はい、2020年12月31日にです！ タイトルは「PythonとScrapyを使ったWebスクレイピング実践編〜あのサイトをスクレイピングするまで！〜」です。 techbookfest.org え？迷惑メールのネタじゃないの？ たまには…

謎の日本語訳 formdata (dict or iterable of tuples) -- これは、URLエンコードされてリクエストの本文に割り当てられるHTMLフォームデータを含む辞書(または (キー, 値)タプルの反復可能要素)です。 (キー, 値)タプルの反復可能要素とは？ タプル(tuple)は…

概要 『CalorieMate to Programmer #うちこむ人にバランス栄養』というプロモーションがありました。 www.otsuka.co.jp その中には色々なプログラム言語でのメッセージがあります。 www.otsuka.co.jp msg19のメッセージが、ちょっと変わっていてバイナリーコ…

結論 Scrapy で長いURLを対象にするときは、設定ファイルのsettings.pyにURLLENGTH_LIMITを書いてURLの最大長を記載する。 自分がやったときはURLの長さが3,800文字だったので、4,000文字に設定した。 # URL LENGTH URLLENGTH_LIMIT = 4000 ログレベルについ…

Scrapyしにくいサイト ここです。 jinzai.hellowork.mhlw.go.jp ちょっとアクセスすると判るのですが、hrefにJavaScript:に入れまくっている（JavaScriptスキーム）平成初期の臭いが漂うサイトですね。 今回は、Scrapyを使ってスクレイピングしてみます。 Sc…

2019年になりましたが、2018年のことを振り返りたいと思います。 前半は、こちらです。 kawahara-ci.hatenablog.com 2018年に経験したこと LTで登壇した。 ツイッターを始めた。 ブログを始めた。 IoTデバイスを購入した。 勉強会のスタッフになった。 副業…