seleniumで認証ありプロキシで接続&ダイアログを突破してブラウザ操作する方法-python

プログラミングpython, selenium

どうもバカルダーです。今回はpythonのseleniumで認証ありプロキシを経由して接続&認証ダイアログを突破してブラウザ操作する方法を度重なる苦労の上発見したので紹介します。

ちなみに環境はwin10/python3.6/anacondaのspyderを使っています。webdriverはchromeを使っています。

様々な理由でseleniumをプロキシ経由で接続したいのだと思いますが、私の場合はこちらの記事で紹介したBTC蛇口サイトを複数アカウントで自動化するために使いました。

seleniumで認証ありproxy接続はできない?

認証ありプロキシを突破する方法として以下のようなpythonコードを紹介しているブログ等がありますが、実はうまくいきません。

以下のコードではproxyにIPやポート、proxy_authにログインIDとパスワードを設定しています。

おそらくプロキシ経由の接続にはなるけど認証ダイアログが出てしまいそれを操作できずに止まってしまうと思います。

ここで操作が止まってしまう

結論から言うとseleniumの機能だけでは認証ありproxyで接続することはできないと思います。もちろん、パソコン自体の接続を変えてしまえばできますが、他の関係ないブラウザもproxy経由になってしまいます。

認証ありプロキシのダイアログを突破するpythonコードと設定の手順

ではまず手順を紹介します。

  • chromeオプションにユーザーデータ(ログイン情報やプラグイン情報)を加える
  • そのユーザーデータにproxyの認証情報を記憶させる

複数のプロキシを「ユーザーデータ」ごとに切り替えられる

この手順で行うと設定した「ユーザーデータ」ごとに別々のプロキシを設定することができるようになります。

例えば「アカウントA→プロキシA→URL1、アカウント2→プロキシB→URL2」

では早速具体的な手順を紹介していきます。

手順1:chromeオプションにユーザーデータ を記憶させる

まず以下のpythonコードを実行してブラウザを起動させます。そうすると、私の場合は.spyder-py3のフォルダーに「user」というフォルダが作成されます。

この「user」というフォルダに後で設定するプロキシの設定が保存されます。

手順2:そのユーザーデータにproxyの認証情報を記憶させる

ブラウザが起動したら、手動で認証プロキシを記憶させる事のできる「proxy switchy omega」というプラグインをseleniumで開いたchromeにインストールします。(これは最初のみで大丈夫)

プラグインをインストールしたら以下の手順で認証プロキシを記憶させます。

1 -「New profile」をクリック
2 – Proxy Profileをチェックして好きな名前を付けて「Create」をクリック
3 – protocolはHTTP。serverとportを記入して鍵マークをクリックしてIDとPASSを登録して「Apply changes」をクリックして保存
4 – 右上のプラグインのマークをクリックして先ほど作成したプロキシの名前をクリック

これで「user」というフォルダにインストールしたプラグインとプラグインに記憶させたプロキシ設定が保存されます。

以上で完了です。一度ブラウザを閉じて下さい。

seleniumのwebdriverにプロキシ設定を追加した状態で「確認くん」にアクセスしてみる

では実際に以下のpythonコードを実行してip確認サイト「確認くん」へアクセスしてみて下さい。IPが設定したプロキシの物に変わっているはずです。

注意点として、google→目的のURL→更新という手順を踏んでいるのは、単純にいきなり目的のURLに移動すると10回に1回ぐらいの割合で認証ダイアログが出たままになって操作が止まってしまうからです。

上記のような手順を踏むことによって認証ダイアログが出てもURLの移動や更新をすることによって高い確率でダイアログが引っ込みます。

ただ、極稀この手順でもダイアログが出て止まってしまう時もあります。何かいい方法があれば教えて下さい。。

拡張機能を自作してchromeに追加する方法もあるよ

こちらはALIS Hacker’s clubのdiscordで億ラビットさんに紹介してもらった「stackoverflowの記事」で拡張機能を自作して、そこにプロキシを設定してクロームに追加することで自動的にプロキシ経由の接続にする方法です。

その中の「manifest.json」はコピペでOK、「background.js」は自分用に編集する必要があります。以下に例を書いておきます。

bypassList: [“~.nordvpn.com”] という部分ですが、私はnordVPNというVPNのプロキシを使用したのでサーバーのアドレスを入れて使いました。

jsonファイルとjsファイルをフォルダに入れてクロームに追加

作成した2つのファイルを任意のフォルダに入れてクロームに追加します。

手順は、「拡張機能の管理」「デベロッパーモードをon」「パッケージ化されていない拡張機能を読み込む」からフォルダごと追加します。

これで拡張機能を有効化すれば自動的にプロキシ経由の接続になります。

以上となります。何か質問等があればコメントかtwitterでお問合せ下さい。→twitterで聞く