紅白歌合戦でPerfumeが使っていたDeep Learningって、なに？
こんにちは！
もう、あっという間に2019年の一月も終わりですね。
2週間ぐらい前に大学のキャンパスに戻ってきたのですが、寒くてしょうがないです…
あー、実家に戻りたい！
でも、研究を進めないといけないので、毎日が寒さと情熱の戦いです。笑
あと、大学院の結果もそろそろ来たらいいんだけどなー… このことでも、毎日が不安です。
さてさて、今回はPerfumeの紅白歌合戦のパフォーマンスについてです！
紹介の時に、のっちさんが取って付けたように"Deep Learning（ディープラーニング）を使います！"と言っていたのを、みなさんは覚えているでしょうか？
僕はその単語を聞いた途端から、ワクワクな気持ちを抑えながら、テレビを夢中で見はじめました。笑
5年ぐらい前から、紅白を見る時はいつもイライラを感じていたのですが…（もっと演歌を増やして！）
NHKの戦略にまんまとハマりましたね。笑
まー、でもNHKもPerfumeの技術開発に深く関わっているので、のっちさんを使ってDeep Learningのことを強調して、自分たちを宣伝するのも仕方がありません。
なるべくわかりやすいように書こうとして長くかかってしまいましたが、何とか一月内に書き終えることが出来ました！
最後まで読んでいただけると嬉しいです！
まず、Deep Learningって何？
紅白を見ていたほとんどの方々はDeep Learningは何なのか気になったでしょう。
また、巷で騒がれている（特に日本で）AIとはどういう関係なのか具体的に知らない方も多いと思います。
なので、まず始めに、少し専門用語の解説したいと思います！
AI、Machine Learning、Deep Learningの関係
皆さんご存知かと思いますが、AIは、Artificial Intelligenceの略で、日本語に訳すると"人工知能"です。
そして、ウィキペディアで"Artificial intelligence"と検索したらわかるように、Machine Learning（機械学習）は、RoboticsやComputer Visionなど、数多くあるAIが解決しようとしている課題の中の一つの分野です。
Machine Learning（機械学習）は、その単語の通り、機械自身が特定の仕事をできるように、その仕事の仕方を学ばさせるためのアルゴリズムを作る分野のことです。
Deep Learningは、さらにMachine Learningの一つの手段で、機械の学習の仕方を人間の学習方法に真似て、機械に仕事の仕方を学ばせようとしている分野です。
ここまでの内容をQualcommという携帯電話関連の会社がわかりやすいグラフィックでまとめていたので、ここに掲載させていただきます。
まんじゅうにとって皮の中にあんこがあるように、外側から、Artificial Science → Machine Learning → Deep Learningの順番で覚えていただけたら良いと思います！
Machine LearningとDeep Learningの違い
さてさて、一つ一つの単語の関係性が明確になったので、もう少し詳しくMachine LearningとDeep Learningの違いについて書きたいと思います。
Machine Learningの目的を簡単に説明すると、画像や音のFeature（特徴）を使って、いかに効率良く、正しく、指定したラベルに制御することです。
この文章を数学的に関数を使って表すと、入力がFeatureで出力がラベルの関数が出来ます。
Function (mathematics) - Wikipediaから
上のグラフィックを使うと、FeatureがINPUT xとしてFUNCTION f:の中に入って、FUNCTION f:の中で何かが起きて、指定したラベルがOUTPUT f(x)として制御されるのがMachine Learningです。
Machine Learningの分野では、この関数のことをCost Function（目的関数）と言います。
そして、関数の微分を取ると傾斜がわかるので、その情報を元に関数の効率化を図ります。
あと、関数の微分を取ると最高値や最低値も求めることができるので、Machine Learningではもっとも効率良く制御する限界が実在することもわかります。
それに比べて、Deep Learningは人間の脳の仕組みに見立てているので、学習をさせればさせるほど効率良く制御できるようになります。
もう一つ違う点は、Machine LearningではFeatureを人間が予めに入力をしないといけないのですが、Deep LearningではどのFeatureを入力として使うかも学ばせることができます。
MATLAB言語で有名なMathWorksという会社が見やすいグラフィックを作っていたので、こちらに掲載させていただきます！
What Is Deep Learning? | How It Works, Techniques & Applications - MATLAB & Simulinkから
上のグラフィックでわかるように、Manual Feature Extraction（手動で特徴の抽出）はMachine Learningの部分に入っていませんが、Deep LearningではLearned Features（学習した特徴）の部分がDeep Learningのアルゴリズムのなかに入っています。
で、Deep Learningって何？
大切な質問に答えていませんでした…笑
Deep Learningは人間の脳の仕組みを真似てできていると書きましたが、以下のグラフィックを見てもらうとわかりやすいと思います。
What Is Deep Learning? | How It Works, Techniques & Applications - MATLAB & Simulinkから
上のグラフィックでわかるように、Deep Learningのアルゴリズムは丸と交差している線で表せられます。
なぜ人間の脳みたいかというと、丸が神経細胞みたいで、交差している線がその細胞を繋いでいる神経みたいだからです。
丸の中で情報が処理されて、線を伝って、また次の処理される場所へと情報が伝わっていきます。
グラフィックの中に書いてあるように、Deep LearningのアルゴリズムはInput Layer、Hidden Layer、そしてOutput Layerで構成されています。
Input Layerで画像や音のFeatureを採取して、Hidden Layerで色々と特徴を認識する為に必要な情報を取り出して、Output Layerで最終的なラベルに当てはめます。
もう少し詳しくDeep Learningについて読みたいという方は、こちらの記事をお勧めします！
なぜ、Deep Learningは最近になって話題になり始めたか？
Deep Learningが最近注目を浴びている理由は三つあります。
一つ目の理由は、コンピューターの性能がよくなったことです。
Deep Learningでは、大量なデータを処理する必要があります。
なので、大量のデータを扱えるコンピューター、特にGPUやメモリーの性能が高いコンピューターが必要です。
二つ目の理由は、データを色々なところからたくさん取れるようになったことです。
グーグル検索やGPSの機能などから色々とデータを採取することができるようになったことによって、Deep Learningの開発がしやすくなりました。
三つ目の理由は、数学や統計学の発展です。
昔に比べて、より高度な関数や、数学の理解が進んだことによって、Deep Learningのアルゴリズムが正確になったり、従来のコンピューターが処理できるほど効率良くなっています。
以上、三つの理由が、最近、Deep Learningが人気になっている理由です。
紅白歌合戦でPerfumeはどういう風にDeep Learningを活用していた？
さてさて、やっとおもしろいセクションです！笑
グーグルで"perfume deep learning 紅白"と検索したら、色々な人が既に記事を書いているのですが、一番、自分が納得できるDeep Learningの活用方法を書いているブログがこちらです。
二つ目の記事は追記記事みたいです。
上、二つのブログのあらすじ：
Perfumeが踊っていて、テレビ画面が三次元的に動いたりする時に、Perfumeの三人とCG（Computer Graphic）の画像を合成しないといけません。
でも、画像をリアルタイムで合成するとき、個々の画像の処理をする時間が必要になってくる為、Deep Learningを使ってPerfumeの姿勢を予め切り取れるようにして、PerfumeとCG画像の合成時間を短縮できるようにしていると書いています。
そして追記の記事では、この姿勢の予測のためにDeep Learningを使っているか、背景の画像を作るためにDeep Learningを使っているかははっきりしていないと書いています。
要するに、自分が理解している限りだと、天気予報などで使われているグリーンスクリーンやクロマキーの代わりにDeep Learningを使って、映像を合成しているとのことだと思います。
確かに、Deep Learningを使って映像合成をすると、見苦しいグリーンスクリーンを使わずに、コンサートホールや草原など、どんな環境を背景にしても映像合成ができるので、需要のある開発です。
親にこのテクノロジーの話をしたら、ダンスの振りを間違った時も対応してくれないとあまり意味が無いねっと面白い返事が帰ってきました。笑
これからも、Rhizomatiks Researchさんの開発には目が離せません！
あと、自分は音関係のMachine Learningの研究をしているので、もし、Rhizomatiks Researchさんが音の研究をしているのでしたら、是非そのことも知りたいです！笑
長々と読んでくださり、ありがとうございました！
