python

DjangoのURLルーティングとtemplatesとかのざっくり全体像

DjangoアプリのURLルーティングと、viewやtemplatesなんかの関係性及びファイル構成がなかなか覚えられないのでメモ。 実行環境はローカルで、settings.pyのDEBUGはTrue。 Djangoのプロジェクト sampleというフォルダにpython仮想環境を作成し、Djangoのプロ…

Django3をインストールしてローカルのpostgreSQLと繋げる

[実行環境] Win10 python 3.7.7(64bit) pip 20.1.1 pipenv 2020.6.2 Django 3.0.7 postgreSQL 12.3 Djangoのインストール まずは、仮想環境を作成して最新のDjangoをインストール。 はじめての Django アプリ作成、その 1 | Django ドキュメント | Django > …

Windows10+pipenv環境にscrapyをインストールする

[実行環境] Win10 python 3.7.7(64bit) pip 20.1.1 pipenv 2020.6.2 scrapy 1.8.0せっかくAnacondaを使ってScrapyをインストールしたのに、もう一度pipenvでやり直そうと思ったのは、結局Windowsにscrapyがインストールしにくいのはバージョンの問題ではない…

Windows10+Anaconda環境にscrapyをインストールする

[実行環境] Win10 Anaconda 4.8.3 python 3.7.7 scrapy 1.6.0 Anaconda python3.8.4+pipenvの組み合わせでscrapy2.1.0のインストールにチャレンジしていたんですけど、なんかTwistedの依存関係みたいなのでこけます。 中国のサイトではうまくいった報告も多…

beautifulsoup4によるタグの取得方法を色々試す

例えば、以下のようなhtmlがあって、aタグの「サンプルリンク」文字列までたどり着きたい場合、 <div> <article> <p id="main"> <a href="https://example.com">サンプルリンク</a> </p> </article> <div> beautifulsoupでは色々な道順が用意されていて面白いです。 パーサーはlxmlを使用しています。 soup = BeautifulSoup(response.body, "lx</div></div>…