urlopenを使うときのエラー回避

urllibのurlopenを使うときのメモ。

urllibとは

このモジュールはワールドワイドウェブ (World Wide Web) を介してデータを取り寄せるための高レベルのインタフェースを提供します。特に、関数 urlopen() は組み込み関数 open() と同様に動作し、ファイル名の代わりにファイルユニバーサルリソースロケータ (URL) を指定することができます。いくつかの制限はあります — URL は読み出し専用でしか開けませんし、seek 操作を行うことはできません。

【参照】http://docs.python.jp/2/library/urllib.html

 

普通に実行

urllibをインポートして、何も考えずに以下を実行してみる。

すると、以下のようなエラーが出る。
urllib.error.HTTPError: HTTP Error 403: Forbidden

 

エラーを回避する

という風にまずRequestでユーザーエージェントをfirefoxに偽造することで回避できる。

 

もう一つの回避法

PyPIのRequestsを使う
`$ pip install requests
でrequestsをインストールし、

で簡単にWebページを取得することができる。

コメントを残す