C#でOlliの手書き風描画のフィルタを再現する

動画と写真を手書き風に加工する「Olli」というアプリがあるのですが、結構きれいに手書き風のフィルタがかけられると話題になっていました。

ねとらぼさんのOlli紹介記事

そこで、C#を使って手書き風のフィルタを再現してみようと思います。

申し訳ないですが、iOS系の端末が無いのでアプリが確認できません。そこで申し訳ないですがサイトにあった画像を使って検証していきたいと思います。

実装結果

元の画像がコレです。

f:id:Takachan:20181108221729j:plain

Olliでフィルターした見本画像がコレ。

f:id:Takachan:20181108221750j:plain

今回実装した結果がコレ。

f:id:Takachan:20181108221803p:plain

★もう一枚の元画像

f:id:Takachan:20181108225259j:plain

Olliでフィルターをかけた結果

f:id:Takachan:20181108225451j:plain

今回実装した結果

f:id:Takachan:20181108225435p:plain

ノイズ除去と線を太くして平準化しないといけない感じでまだまだ調整が必要そうですが概ね考え方の方向性はあってそうですね。アプリはさすがで、風味の味付けがとっても素晴らしいです。

実装環境

実装環境は以下の通り

Windows10
VisualStudoo2017
C# 7.3
OpenCvShapr3（3.4.1.20180830）

考え方

処理の流れはこんな感じになります。

(1) グレースケール化
(2) エッジ検出画像を作成
(3) 2値化して塗る部分を取得
(4) (2) + (3) を合成して着色

全部OpenCVの関数呼ぶだけなので難しいことはありません。

実装コード

実装コードは以下の通り。

Mat.DataPointer からポインタをとってデータ操作しているので unsafe を使用しています。

public static void Main(string[] args)
{
    //string path = @"D:\Sample.jpg";
    string path = args[0];    // 変換対象のファイルパス
    string outDir = args[1]; // 結果を出力するフォルダパス

    Mat m1 = Cv2.ImRead(path);

    // (1) グレースケール化
    var m2 = new Mat();
    Cv2.CvtColor(m1, m2, ColorConversionCodes.BGR2GRAY);

    // (2) エッジ検出
    var m3 = new Mat();
    Cv2.Canny(m2, m3, 70, 130);

    // (3) 色の反転
    var m4 = new Mat();
    Cv2.BitwiseNot(m3, m4);

    // (4) グレースケール画像を2値化
    var m6 = new Mat();
    Cv2.Threshold(m2, m6, 30, 255, ThresholdTypes.Binary);

    // (3) と (4)を合成して着色
    var m5 = new Mat(new Size(m4.Cols, m4.Rows), MatType.CV_8UC3);
    Convert_And_Marge(m4, m6, m5);

    // 中間画像も含めて全部保存
    Cv2.ImWrite(outDir + @"\result_2.png", m2);
    Cv2.ImWrite(outDir + @"\result_3.png", m3);
    Cv2.ImWrite(outDir + @"\result_4.png", m4);
    Cv2.ImWrite(outDir + @"\result_5.png", m5);
    Cv2.ImWrite(outDir + @"\result_6.png", m6);
}

// エッジ検出結果と2値化した画像を合成して着色するメソッド
public unsafe static void Convert_And_Marge(Mat mat1, Mat mat2, Mat result)
{
    long len = mat1.DataEnd.ToInt64() - mat1.DataStart.ToInt64();

    byte* ba = mat1.DataPointer;
    byte* bb = mat2.DataPointer;
    byte* br = result.DataPointer;

    for (int i = 0; i < len; i++)
    {
        if (ba[i] == 0 || bb[i] == 0)
        {
            byte* _p = br + i * 3; // 線の色
            *_p = 0x39;
            *(_p + 1) = 0x33;
            *(_p + 2) = 0x2E;
        }
        else
        {
            byte* _p = br + i * 3; // 背景色
            *_p = 0xDE;
            *(_p + 1) = 0xEA;
            *(_p + 2) = 0xEC;
        }
    }
}