白黒写真や線画をカラー化する『自動色塗り』ツールがスゴい！

『自動色塗り』ツールとは、白黒写真や線画をカラー化してくれる夢のようなツールです。

パソコンなどに取り込んだ白黒写真や線画を人工知能(AI)が判断して、出力する色を判断し、自動的に色塗りを行います。

インターネット上やスマートフォンでのアプリケーションソフトで利用することができます。

自動色塗りツールは、一体どのように色を判断して塗っているのでしょうか。

その原理を説明する前に、まずは、その仕組みに大きく関わる人工知能について説明したいと思います。

人工知能(AI)は、人間が普段行っている学習や記憶、推論、判断といった情報処理活動をコンピューターに実施させる研究、またはそのシステムです。
1950年代にアメリカで研究が始まり、その研究によって多くのプログラムが開発されています。
現在では人工知能を実際に導入している企業もあります。
このようにテレビや新聞などで、人工知能という言葉を耳にする機会が増えています。
かつてはSFの世界と思われていた人工知能ですが、いずれは私達の身近な存在になるかもしれません。

白黒写真や線画をカラー化するのに、人工知能はどのように判断しているのでしょうか。

ここで大きな活躍するのが、ニューラルネットワーク(人間の脳の神経回路をモデルにしたコンピューターネットワーク)を用いた人工知能のディープラーニング(深層学習)です。

ディープラーニングでは人間と同じように、人工知能自身が情報を認識して、記憶して、判断するという学習を行います。

人工知能が大量の写真や画像のデータを記憶し、そこから線画のこの部分にはこの色を塗るのが最適だ、白黒写真のこの部分はこの色を塗るのが最適だ、と判断するわけです。

そして判断した結果、その部分に最適な着色をします。

このような原理で自動色塗りは行われています。

白黒写真を着色する際に、例えば写真のある箇所を塗るのに、A「赤」、B「青」の2つの選択肢があった場合、似たような白黒写真とカラー写真の組み合わせから、どちらを塗るのが最適かをAIは判断します。

線画を自動色塗りして、カラー化する作業を人工知能(AI)が行っています。

ディープラーニングを用いて、蓄積された大量の写真や画像から、どの色を塗るのが最適かを考えて、自動的に色を塗ってくれます。

このような原理で自動色塗りは行われます。

ここではアプリケーションソフトを使ったカラー化の方法について見ていきます。

「Paints Chainer」という、自動色塗りを行うウェブアプリケーションの使い方を説明します。

まず、作成した線画を用意します。

トップページの「画像をアップロード」をクリックして、その線画を選びます。

次の画面では編集のページになっていて、左側には選んだ線画があります。

このページでは初期設定ではAIによる自動着色が行われ、線画に色が塗られます。
 

また、線画をAIが自動着色をするだけではなく、着色のヒントを与えて、自動着色させることもできます。

線画の着色したい部分に、塗りたい色をページ左側のパレット機能を使って入れていきます。

そしてページ右上の「着色」をクリックすると、そのヒントが反映された自動着色をしてくれます。

色は何回も調整できます。

なお、着色スタイルには、

「たんぽぽ」・・・初期モデル、少しぼかしが入っているような色合い。

「さつき」・・・「たんぽぽ」に比べて、ぼかしが少なくはっきりとした色合い。

「かんな」・・・2017年10月に登場した最新モデル、影付けやハイライトが得意。

の3つがあります。

この「Paints Chainer」についてはまた後で説明します。

Android、iPhoneスマートフォン対応のお絵かきソフト「ibisPaint(アイビスペイント)」には、線画を自動着色する機能が付いています。

まず、線画を作成します。

その後、動画のようにアイビスペイントのツール選択ウィンドウを開いて、「フィルター」の項目を押します。

そこから「自動色塗り」の項目を押します。

そうすると、AIが判断して自動着色を行います。

また、「Paints Chainer」と同じように着色のヒントを与えて、自動着色させることもできます。

線画の着色したい部分に、塗りたい色をページ左側のパレット機能を使って入れていきます。

そして右下の「色塗り」を押すと、そのヒントが反映された自動着色をしてくれます。

色は何回も調整できます。

この「ibisPaint」についても、また後で説明します。

白黒写真もAIがカラー化してくれます。

AIはどのようにして白黒写真をカラー化させているのでしょうか。

その一連の作業もAIのディープラーニングによるものです。

この研究は、早稲田大学理工学術院の石川博教授らによるものです。

ニューラルネットワークを用いたディープラーニングで、白黒写真をカラー写真にする方法がモデリングされています。

AIに膨大な白黒写真とカラー写真のセットを学習させた上で、提示された白黒写真の大まかな部分と細かい部分に分けて認識し、どの色を塗るべきか分析します。

その分析が終わった後に、大まかな部分と細かい部分は統合されて、白黒写真に色が塗られます。

このような原理で、白黒写真がカラー化されるのです。

ちなみにこの方法では、100年前の白黒写真でもカラー化できます。

早稲田大学のホームページのトピックで、本研究についての紹介があります。

そこには、早稲田大学の創設者である大隈重信を撮影した白黒写真がカラー化したものが紹介されています。

写真は、大学の写真データベースにある大隈邸に来訪した客人と撮った写真や大隈自身の人物写真などがカラー化されていました。

カラー化したことにより、撮影した時期や時間、場所が分かるようになって、また当時の生活様相などが鮮明に分かるようになりました。

撮影当時の様子を「復元」した形になります。

カラー化した写真を見てみると、白黒写真の「昔」というイメージから、一気に現代的で身近になったように感じます。

本研究のテストも約9割のカラー化が「自然」という結果になりました。

白黒写真をカラー化させた例は他にも、本研究を詳しく紹介したページに掲載されています。

早稲田大学のトピックで本研究についての紹介ページから、そのページにリンクが出ています。

石川教授らの研究から、ウェブアプリケーションソフトで白黒写真をカラー化できるようになりました。

「ディープネットワークを用いた白黒写真の自動色付け」Webサービスページから利用できます。

本研究を詳しく紹介したページからリンクが出ています。

手順として、ページの中央にある「ファイルを選択」をクリックしてカラー化したい白黒写真を選びます。

そして「色付け」をクリックすると、AIが判断して白黒写真に色を付けて、その写真が表示されます。

これで白黒写真がカラー化されます。

白黒写真や線画をAIによってカラー化させることができます。

実際、先ほど説明した「ディープネットワークを用いた白黒写真の自動色付け」Webサービスを利用して、白黒写真をカラー化させたいと思います。

今回使用する白黒写真はこれです。
 

このニワトリの白黒写真を早速カラー化してみます。

カラー化したのがこちらです。

似たようなカラー写真と比べてみます。

白黒写真をカラー化したものは、もともとカラーのものと比べて、鶏冠や顔、くちばしの色が暗いです。

しかし、それらに色を塗るという判断がしっかりなされています。

今回、鮮やかさはカラー写真には及ばず、復元は難しかったですが、カラー化した写真もなかなか趣のあるものとなりました。
 

自動色塗りの原理を用いた、白黒写真や線画をカラー化できる主なアプリケーションソフトです。

「Paints Chainer」や「ibisPaint」、「ディープネットワークを用いた白黒写真の自動色付け」Webサービスについては簡単な説明と補足を行います。

これらのアプリケーションソフトの他にも自動色塗りができるツールがあります。
 

「Paints Chainer」


線画を自動的に色を塗ってくれますし、着色のヒントを与えることもできます。

線画だけではなく、白黒画像にも色を塗ることができます。

また自動色塗りするだけではなく、線画の編集もできます。　

利用するのに料金はかかりません。

イラストコミュニケーションサービス「pixiv(ピクシブ)」は、2017年5月にお絵かきコミュニケーションアプリ「pixiv Sketch」にAIによる自動色塗りの機能を追加しました。

これは「pixiv」運営元のピクシブ株式会社と「Paints Chainer」運営元のPreferred Networksの提携によるものです。

ちなみにPreferred Networksに勤めるエンジニアの米辻泰山さんが「Paints Chainer」の生みの親です。

「pixiv Sketch」の自動色塗り機能でも、AIが線画の顔や服、背景などを認識して、塗るべき色を判断し、自動的に着色します。

色塗りには2つのタイプがあります。

また、塗りたい色のヒントを与えることでの色塗りも可能です。

納得のいくまで、色を調整することもできます。

Web版のみ対応し、サービスは無料です。
「ディープネットワークを用いた白黒写真の自動色付け」Webサービス


白黒写真・画像を自動的にカラー化してくれます。

ちなみに線画に色を付けることはできないようです。

また、カラー化された白黒写真の色合いを調整することもできません。

Webサービスは無料です。


「colorization」


「ディープネットワークを用いた白黒写真の自動色付け」Webサービスと同じく、早稲田大学の石川教授らの研究が元になっています。

カラー化したい白黒写真を選択してから、カラー化をクリックします。

少し待つと、白黒写真がカラー化されたものが表示されます。

なお、カラー写真を選択することもできて、その場合は一度モノクロ化してから、カラー化を行えます。

そのため、もとのカラー写真と色合いを比較することができます。

Webサービスは無料です。

「ibisPaint(アイビスペイント)」


「ibisPaint」はお絵かきソフトですが、線画を自動色塗りしてくれる機能がついています。

また、着色のヒントを与えることもできます。

もちろん自分で好きな色を選択して塗ることもでき、納得のいくまで色の調整が可能です。

現在、Android版ではibisPaint X ver.5.1.2、iPad/iPhone/iPod touch版ではibisPaint X ver.5.1.3が最新のリリースです。　

AIが自動的に白黒写真や線画に色塗りを行う技術は、その可能性を拡大させる画期的な技術でした。

Twitter上では自動色塗りツールについて様々な反応があります。
 

・素晴らしい

・良い感じ

・感動する

・色あせたカラー写真より良いかもしれない

・なかなか良い

・近現代史がはっきり分かってくる

・撮影当時の様子が分かるはずだ

・セピア色になっただけなのでは

白黒写真をカラー化できることについての写真家の反応・意見です。

写真家のハービー・山口さんはこれまで数多くのミュージシャンなどの白黒写真を撮影してきました。

そんなハービーさんは白黒写真をカラー化できることについては否定的に考えておらず、むしろ好意的に捉えています。
 

自分の白黒写真作品がカラー化されて、見た人がその後、白黒写真を見たのかカラー写真を見たのかが分からなくなっても、その作品が見た人の心の中にあればいいと、ハービーさんは話しています。

・想像以上にすごい

・面白い

・自分の色塗りよりすごい

・芸術的に仕上げてくれる

・しっかり塗ってくれる

・神ツール

・色塗りは自動色塗りツールなのでは

このように様々な反応や意見があって、大きな反響のある自動色塗りツールですが、その開発は大変だったに違いありません。

「Paints Chainer」の生みの親である米辻泰山さんもAIを研究しているわけではなく、Preferred Networksに勤めるプログラミングなどを行うエンジニアです。

米辻さんは社内で同社が開発した「Chainer」の勉強を2016年の11月頃に始めました。

Chainerとは、AIがディープラーニング(深層学習)を行うためのプログラムです。

ちょうどその頃、社内に「DCGAN」で画像を作成している人がいて、その人に「DCGAN」の方法を教わっているうちに、線画の色塗りもできるのではないかと考えたそうです。

DCGANとは、ニューラルネットワークを用いてAIが画像を作り出すプログラムのことを言います。
 

DCGANをヒントに米辻さんは、Paints Chainerの製作を始めました。

線画に自動色塗りができるように、大まかな色塗り、正確な色の差の識別、詳細な色塗りの3つのニューラルネットワークを使いました。

そして、線画と線画に色塗りをした画像との約60万もの組み合わせを製作しているプログラムに覚えさせました。

その上でAIに自動色塗りの作業を行わせましたが、うまくいかないこともありました。

そこで新たなネットワークを入れたりして調整作業などを行いました。

こうした苦労を乗り越えて、Paints Chainerは完成しました。

完成したプログラムを2017年の1月27日に公開したところ、国内外から多くのアクセスがありました。

白黒写真や線画をカラー化する自動色塗りツール。

AIがその作業を行うことで、簡単に色を塗ることができるようになりました。

特に白黒写真をカラー化できることについて、「近現代史がはっきり分かってくる」、「撮影当時の様子が分かるはずだ」という反応や意見があります。

このように白黒写真をカラー化できるということは、国内外関係なく、限りなく撮影した当時に近い状況が再現できるということです。

そのため、昔の写真からその復元作業ができると考えられます。

「人工知能が白黒写真をカラー化させる研究」の項目で紹介した、データベースにある白黒写真をカラー化させることも、当時の様子を再現する復元作業と言えます。

復元されることで、撮影した時期や時間、場所が分かるようになります。

早稲田大学の石川教授らの研究で、白黒写真をカラー化する自動色塗りのテストも約9割が「自然」という結果になりました。

そのため、復元精度も高いのではないかと考えられます。

白黒写真に至っては、自動色塗りツールは学術的に新たな発見をもたらす一助になるのではないでしょうか。

AIが自動色塗りの原理を使って、白黒写真や線画をカラー化する自動色塗りツール。

そのツールは単に色を塗るという概念を超え、大きな反響がありました。

今まで自分で色塗りをしていたのが、AIが自動的にやってくれるのです。

また白黒写真については、カラー化することで撮影当時の様子が分かるようになりました。

昔の生活様相などが復元できるならば、新たな発見があるかもしれません。

このようにAIの働きによる自動色塗りツールは、私達の生活に非常に限定的ですが、影響を与えると思います。

実際に自動色塗りツールを使ってみて、これほど便利なものはないと感じました。

これからAIの時代を迎えるに当たって、自動色塗りツールはまさに生まれるべくして生まれたものだと思います。

自動色塗りツールは本当にタイトル通り、「スゴい」ものです。
今回、ニワトリの白黒写真の自動色塗り体験として、「ディープネットワークを用いた白黒写真の自動色付け」Webサービスを利用しました。