片鱗懐古のブログ: C# : FiddlerCoreを使ってブラウザで見た画像ファイルを保存する

2019年5月追記) DecryptSSLの機能を使うにはFiddler用のルート認証が必要になります。 (最初この記事を書いたときはFiddler本体も入っていたので気付きませんでした)

一番手っ取り早くルート認証をインストールする方法はFiddler本体をインストールしてメインメニューの「Tools」-「Options」から「HTTPS」タブを選択、「Capture HTTPS CONNECTs」と「Decrypt HTTPS traffic」をチェックします。ダイアログが表示されるので、中身をよく読んでルート認証をインストールしましょう。

追記終わり//

FiddlerはProxy型のhttp通信のデバッグツールです。 http通信を見張るだけではなく、リクエストやレスポンスを差し替えるなどかなり深い部分を触れるツールになっています。サーバー側の変更をせずにレスポンスを書き換えることでウェブページのjavascriptをデバッグしたりとか、色んな用途に使われています。

Fiddlerのオフィシャルサイト

強力なツールなだけに取っ付きにくい部分があります。「あれがやりたいだけなのに……」ってときに重すぎるんですよね。で、そのコア機能だけを提供するFiddlerCoreというライブラリが公開されています。これを使って簡単なコードを書いた方が目的を気軽に達成できるケースも多い事でしょう。そんなわけで今回はFiddlerCoreに触ってみました。試しに通信中の画像ファイルを保存するサンプルコードを書いたので、そのメモを残しておきます。

※ FiddlerCoreを使う注意点として、ライセンスの問題があります。詳しく調べていないのでよく分かりませんが、アプリに組み込んで配布するにはお金を払わないといけないのかな? (2015年あたりからそうなったっぽいです。) って事で多分フリーソフトに組み込むのは現実的ではありません。趣味で使う場合は自分用ツールで、公開するならソース配布という事になりそうですね。

ちなみにリファレンスとかチュートリアルとかのドキュメントは一切読んでません。適当です、適当。その辺踏まえてお読みください。

試した環境

Windows10 64bit home
Visual Studio 2017 Community
.NET Framework 4.7 (WPF)
C# 7.1

FiddlerCoreの準備

まずはオフィシャルサイトからFiddlerCoreを貰ってきましょう。聞かれた事を答えるだけでダウンロードできます。会員登録などは必要ないようです。

FiddlerCoreのダウンロードページ

解凍したら「FiddlerCoreAPIFreeSetup.exe」が出てくるので実行してインストールしましょう。インストール先に「FiddlerCore45.dll」などのファイルが展開されます。 Visual StudioでC#のプロジェクトを作り、参照の追加で「FiddlerCore45.dll」を指定したらFiddlerCoreの機能が使えるようになります。

簡単な説明

基本機能はFiddlerApplicationというクラスの静的メンバーに触れば扱えるようです。まずはアプリが起動したらすぐにコイツにイベントのリスナーを登録しましょう。サンプルコードではhttpサーバーから画像を受け取るセッションが終わった時だけ処理すればいいのでFiddlerApplication.AfterSessionCompleteにリスナーを登録します。

FiddlerApplication.AfterSessionComplete += FiddlerApplication_AfterSessionComplete;
CONFIG.IgnoreServerCertErrors = true;

CONFIG.IgnoreServerCertErrorsなるものも設定してますが、これについては調べてません。色んなサンプルコードに書いてあったので丸パクリしました。 CONFIGとかって書いてあるのだから何かの設定なのでしょう。その他にもFiddlerCoreを使うにはいくつかの設定が必要になります。それにはFiddlerCoreStartupSettingsなるクラスを使います。

FiddlerCoreStartupSettings FiddlerSettings;
var sb = new FiddlerCoreStartupSettingsBuilder();
sb.ListenOnPort(8888);
// x sb.AllowRemoteClients();
// x sb.CaptureFTP();
// x sb.CaptureLocalhostTraffic();
sb.ChainToUpstreamGateway();
sb.DecryptSSL();
// x sb.HookUsingPACFile();
sb.MonitorAllConnections();
sb.OptimizeThreadPool();
sb.RegisterAsSystemProxy();
FiddlerSettings = sb.Build();

見ての通り、直接FiddlerCoreStartupSettingsクラスのインスタンスをnewするのではありません。まずはFiddlerCoreStartupSettingsBuilderのインスタンスを作り、それにポート番号やオプションの情報を登録していきます。有効にしたい機能のメソッドだけ呼び出せばいいようです。最後にFiddlerCoreStartupSettingsBuilder.Buildで設定情報が詰まったFiddlerCoreStartupSettingsのインスタンスを作ります。

※ 間違っても不用意にAllowRemoteClientsは有効にしないように。ファイアウォールの設定次第では悪い人達の踏み台にされる可能性があります。これを有効にしたせいで悪いことをしていないのに怪しいツール認定されたモノもあるとか。

※ DecryptSSLはhttpsの通信を無理やり見張るために使います。本来暗号化されているはずのデータが丸見えになります。セキュリティ的な問題はあるのでそれなりに注意。配布する場合はその点明記しなければなりません。

FiddlerApplication.Startupを呼べばFiddlerCoreの動作開始です。引数は先ほど作ったFiddlerCoreStartupSettingsクラスのインスタンスです。 FiddlerCoreStartupSettingsではなく個別の設定項目を使ったStartupメソッドもありますが、そちらは古いやり方で非推奨だそうです。

FiddlerApplication.Startup(FiddlerSettings);

FiddlerCoreがProxyとして動作し、それを通してhttpの通信セッションが完了するとFiddlerApplication.AfterSessionCompleteのイベントが発生します。リスナーはこんな感じ。 (色々端折ってます。)

private void FiddlerApplication_AfterSessionComplete(Fiddler.Session oSession)
{
    if(oSession.responseCode != 200)
    {
        return;
    }

    //var url = oSession.fullUrl; ← urlで振り分けとかしたければ
    var ct = oSession.oResponse["Content-Type"];

    if(～Content-Typeは画像ファイル?～)
    {
        var path = 画像ファイルの出力先;
        oSession.utilDecodeResponse();
        File.WriteAllBytes(path, oSession.ResponseBody);
    }
}

引数のoSessionにリクエスト/レスポンスの色んなデータが納められています。中身はだいたい名前の通りなのでカンで扱えそうです。

注目すべきはFiddler.Session.utilDecodeResponseメソッドですね。レスポンスが複数チャンクで返ってきた場合やgzip圧縮されていた場合、生データのままで扱うのは大変です。それをメソッド1つでデコードしてくれるのがコレ。単純にレスポンスのコンテンツを引っこ抜きたいだけの場合は忘れずに実行しましょう。このサンプルは画像データを保存するだけのものなので、あとはデコードされたFiddler.Session.ResponseBody保存してメソッド終了です。

一通り通信を見張って情報収集が終わったらFiddlerCoreを閉めなければなりません。

private void ShutDownProxy(Action action = null)
{
    if(FiddlerApplication.IsStarted())
        FiddlerApplication.Shutdown();

    var t = new DispatcherTimer();
    t.Interval = new TimeSpan(0, 0, PROXY_SHUTDOWN_WAIT);
    t.Tick += (s, te) =>
    {
        if(FiddlerApplication.isClosing)
        {
            return;
        }
        t.Stop();
        action?.Invoke();
    };
    t.Start();
}

FiddlerApplication.IsStartedでFiddlerCoreがProxyとして動作中か確かめることができます。 FiddlerApplication.Shutdownで終了……ですが即終わるわけではありません。ある程度時間がかかります。その待ち時間は厳密に測る必要はないでしょうからDispatcherTimerで定期的に調べてみました。 DispatcherTimer、なんか懐かしいですね。

終了処理中かどうかを調べるにはFiddlerApplication.isClosingをチェックします。終了処理が終わったらDispatcherTimerを止めて、なんか特別にやる事があったら引数のActionを実行。

これでFiddlerCoreの開始から終了までの説明は終わりです。説明した範囲だけなら簡単ですね。 Fiddlerがアレなので深みは本当にすごそうですが、この投稿で説明するのはここまで。

サンプルコード

説明したサンプルコードの全体を載せておきます。 WPFアプリケーションです。ブラウザで見るのもアレでしょうから、テキストエディタなどにコピペしてお読みください。

ファイルは2つ。まずはMainWindow.xaml.csです。 (ちなみにMainWindow.xamlの方はボタンを1つ付けてそのクリックイベントとWindow.Closingイベントを登録しただけなので割愛します。)

// MainWindow.xaml.cs
using Fiddler;
using System;
using System.Diagnostics;
using System.IO;
using System.Windows;
using System.Windows.Threading;

namespace CaptureHttpImage
{
    public partial class MainWindow : Window
    {
        public const int PROXY_SHUTDOWN_WAIT = 1; // 秒

        public string TmpOutputDir { get; private set; } = @都合のいい保存先フォルダを書いてください;
        public FiddlerCoreStartupSettings FiddlerSettings { get; private set; }
        public ushort ProxyPort { get; private set; } = 8888;

        public MainWindow()
        {
            InitializeComponent();

            this.Title = "CaptureHttpImage : port " + ProxyPort;

            FiddlerApplication.AfterSessionComplete += FiddlerApplication_AfterSessionComplete;
            CONFIG.IgnoreServerCertErrors = true;

            var sb = new FiddlerCoreStartupSettingsBuilder();
            sb.ListenOnPort(ProxyPort);
            // x sb.AllowRemoteClients();
            // x sb.CaptureFTP();
            // x sb.CaptureLocalhostTraffic();
            sb.ChainToUpstreamGateway();
            sb.DecryptSSL();
            // x sb.HookUsingPACFile();
            sb.MonitorAllConnections();
            sb.OptimizeThreadPool();
            sb.RegisterAsSystemProxy();
            FiddlerSettings = sb.Build();
        }

        private void FiddlerApplication_AfterSessionComplete(Fiddler.Session oSession)
        {
            try
            {
                if(oSession.responseCode != 200)
                {
                    return;
                }

                //var url = oSession.fullUrl;
                var ct = oSession.oResponse["Content-Type"];

                if(U.IsImage(ct, out var extension))
                {
                    var path = TmpOutputDir + U.GetTempFileName() + extension;
                    oSession.utilDecodeResponse();
                    File.WriteAllBytes(path, oSession.ResponseBody);
                }
            }
            catch(Exception exc)
            {
                Debug.WriteLine(exc.Message);
            }
        }

        private void btnCapture_Click(object sender, RoutedEventArgs e)
        {
            if(FiddlerApplication.IsStarted() )
            {
                ShutDownProxy();
            }
            else
            {
                StartProxy();
            }
        }

        private void Window_Closing(object sender, System.ComponentModel.CancelEventArgs e)
        {
            btnCapture.Click -= btnCapture_Click;

            if((!FiddlerApplication.IsStarted()) && (!FiddlerApplication.isClosing))
                return;

            ShutDownProxy( () =>
            {
                this.Close();
            });
            e.Cancel = true;
        }

        private void StartProxy()
        {
            FiddlerApplication.Startup(FiddlerSettings);
            btnCapture.Content = "Stop";
        }

        private void ShutDownProxy(Action action = null)
        {
            if(FiddlerApplication.IsStarted())
                FiddlerApplication.Shutdown();

            btnCapture.IsEnabled = false;
            btnCapture.Content = "...";

            var t = new DispatcherTimer();
            t.Interval = new TimeSpan(0, 0, PROXY_SHUTDOWN_WAIT);
            t.Tick += (s, te) =>
            {
                if(FiddlerApplication.isClosing)
                {
                    return;
                }

                t.Stop();
                btnCapture.Content = "Capture";
                btnCapture.IsEnabled = true;

                action?.Invoke();
            };
            t.Start();
        }
    }
}

2つ目のソースはユーティリティメソッドを2つ書いただけのU.csです。

// U.cs
using System;

namespace CaptureHttpImage
{
    static class U
    {
        internal static bool IsImage(string contentType, out string extension)
        {
            extension = null;

            if(contentType == null)
                return false;

            contentType = contentType.Trim();

            if(contentType.StartsWith("image/jpeg"))
            {
                extension = ".jpg";
                return true;
            }
            if(contentType.StartsWith("image/png") || contentType.StartsWith("image/x-png") )
            {
                extension = ".png";
                return true;
            }
            if(contentType.StartsWith("image/gif"))
            {
                extension = ".gif";
                return true;
            }

            return false;
        }

        private static int _tempFileNameCount = 0; // ファイル名重複防止用
        internal static string GetTempFileName()
        {
            var res = DateTime.Now.ToString("MMddHHmmssfff") + _tempFileNameCount.ToString("D3");

            _tempFileNameCount++;
            if(1000 <= _tempFileNameCount)
                _tempFileNameCount = 0;

            return res;
        }
    }
}

以上、何かのお役に立てば幸いです。

片鱗懐古のブログ

2018年10月13日土曜日

C# : FiddlerCoreを使ってブラウザで見た画像ファイルを保存する

試した環境

FiddlerCoreの準備

簡単な説明

サンプルコード

閲覧数が多い投稿

ラベル

広告

投稿した動画

ブログアーカイブ

片鱗懐古のブログ

2018年10月13日土曜日

C# : FiddlerCoreを使ってブラウザで見た画像ファイルを保存する

試した環境

FiddlerCoreの準備

簡単な説明

サンプルコード

閲覧数が多い投稿

ラベル

広告

投稿した動画

ブログ アーカイブ

ブログアーカイブ