従来の機械学習のアプローチは確率統計モデルによるものが主流でした。
機械学習とは、分析・解析対象とする現象や行為の振る舞いを数理的に表現する”モデル”を学習によって獲得することです。学習した結果は、新たな入力データの出力値予測（regression)や分類(classification)などの推論（inference)に利用されます。
ところが、実際の現象は、様々な要因が相関しており、その要因自体も常に確定的ではなく様々なノイズを含んでいるため、その振る舞い自体は、様々な確率的要因によって構成されます。
よって、それらをそのままモデル化しようとすると非常に複雑なモデルとなってしまい、数学的表現が不可能になる、または表現できても解析的に取り扱うのが困難になります。
そこで、従来の機械学習は学習の際、その目的、対象の傾向や特徴に応じて何らかの仮説を置き、その仮説に適合する確率分布モデルのパラメータを条件付き確率論をベースに解析的、数値解析的に求めています。この方法でも80%〜90%程度の精度で推論が可能となります。
しかし、現実の状況のばらつきが大きい場合、リーズナブルな仮説は、現実とのギャップを完全には埋めることができず精度を90%以上に向上させるのは困難でありました。そこでブレイクスルーを実現したのがディープラーニングであります。
ディープラーニングは、従来の機械学習の確率分布を非線形モデルとして数値解析的にパラメータを求める手法の拡張とも考えられますが、大きく異なるのはその階層を深くすることでネットワーク内に複数のモデルを実現することが可能となることであります。その場合、パラメータを数値解析的に求めるのは難しいですが、バックプロパゲーションなどの探索アルゴリズムを繰り返し実行し最適化を図ることで精度が高いモデルを構築することが可能となっています。
ただし、柔軟性が高いのでモデルを確定させるのは、その分、大量のデータと学習演算処理が必要となります。また、現実でもデータのばらつきが小さいと想定される問題にディープラーニングを適用した場合は、確率モデルによるアプローチと精度の差は大きくなく、逆に導出コストが高くなると想定されます。
つまり、課題の傾向と目標精度を理解し、適切な学習手法を選択するのが、コストが重要となるビジネスで機械学習を活用するコツと考えられます。