（創薬等PF・構造生命科学ニュースウオッチ 2016/10/09）
  • 2012年、Googleが「ディープラーニング（深層学習/deep learning）によって、コンピュータが膨大なYouTubeの画像を学習して猫を自動的に識別するようになった」と発表した。ディープラーニングは、1980年代に広がったヒト脳の神経回路を模したニューラルネットワーク（neural network（以下、NN））の階層を桁違いに深くしたNNと見ることができるが、Googleの成果を契機として、人工知能（Artifical Intellience, AI）が一気に第３次ブームを迎えたかに見える。 
    [情報拠点注] 日本では、並列推論マシンの開発を目標として企画され1982年に始まり1992年に幕を閉じた第５世代コンピュータプロジェクトが、人工知能開発プロジェクトと認識されていた。
  • ヒト神経回路に倣ったNNでは、ヒトが学習結果が単一シナプスに蓄積されていないのと同様に、NN/ディープラーニングの学習の結果もNNを物理的に構成している単一コンピュータ素子に蓄積されず、多層なネットワークに段階的に抽象化・拡散されている。
  • それゆえに、NNとディープラーニングがそれまでの機械学習を超える成果を上げてきた一方で、常に、論理のブラックボックス（black box）性の問題が指摘されている。
  • Nature News Featureの記事は、車の自動運転AIを研究開発していたDean Pomerleauが1991年に遭遇したブラックスボックス問題のエピソードから始まっている。
    • カメラで捉えた道路状況と運転操作を入力として学習させたNNが順調に期待通りの性能を示し始めたところ、橋に近づいた時に車が突然道から外れ、Pomerleauが急遽操作するインシデントが起きた。
    • この拠って来るところを探るためにPomerleauは結局、多様かつ膨大な入力に対するNNの応答を一つ一つ解析していかざるを得なかった。その上で、両側が芝生の道路で学習させてきたNNが、橋（"初めて"の画像パターン）に遭遇したことが"混乱"を引き起こしたと結論した。 
      [情報拠点注] このエピソードはNNがブラックボックスであることを示したと同時に、NNの性能が学習範囲に決定的に依存することを示唆している。
  • 1991年から25年後の今、ディープラーニングの応用は車の自動運転から医療診断・治療に、そして、科学研究におけるビッグデータからの情報・知識抽出へと応用が広がりつつあり、ブラックボックス解読の必要性が一層高まっているが、その難易度もまた高まっている。CERNの物理学者で素粒子物理学にAIを応用した先駆者であるVincenzo Innocenteは、“（科学者として）猫と犬を識別できても満足できない。猫と犬はこことここが異なっていると言えるようにならねば”とコメントしている。
  • 実社会において、ヒトがディープラーニングを盲信して下した判断が重大な結果をもたらしたとき、「ディープラーニングが そう言った」では説明責任を果たせない。GoogleのDeep Dream（英文資料；和文資料）など、ブラックボックスで起きている推論をヒトが理解できる形にする手がかりを得ようとする試みが始まっているが、ランダムなパターンから "意味のある"シグナルを抽出していまう’fooling’ problemが見出されるなど、ブラックボックスの解明は想像以上の困難に遭遇している。