「PythonとKerasによるDeep Learning」を理解する


Pythonベースのディープラーニングフレームワーク Kerasの開発者である筆者が実践解説

オリジナルサイト


Part1 ディープラーニングの紹介

第1章:人工知能(AI)、機械学習、ディープラーニングの基本的なコンテキストと予備知識を提供
第2章:ディープラーニングに取り組むために必要な基本概念(テンソル、テンソル演算、勾配降下法、バックプロパゲーション)を紹介
第3章:ディープラーニングフレームワークであるKerasの紹介。分類タスクと回帰タスクを処理する単純なニューラルネットワーク
第4章:機械学習の一般的なワークフローとよくある落とし穴・解決法を詳解

Part2 ディープラーニングの応用例としてコンピュータビジョンと自然言語処理を解説


第5章:画像分類に焦点を合わせ、コンピュータビジョンの実践的な例を幅広く取り上げる
第6章:テキストや時系列といったシーケンスデータを処理するための手法
第7章:最先端のディープラーニングモデルを構築するための高度な手法を紹介
第8章:画像やテキストを作成する能力を持つディープラーニングモデルであり、芸術的な結果をもたらすことがあるジェネレーティブモデルの紹介
第9章:本書の総括。ディープラーニングの限界とその未来を予測



開発環境 

Ubuntsu 16.04
NVIDIA


cv@cv:~$ nvidia-smi
Sat Aug 18 08:00:26 2018       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 390.77                 Driver Version: 390.77                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 106...  Off  | 00000000:01:00.0  On |                  N/A |
| 40%   30C    P8     8W / 120W |    272MiB /  6070MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0       934      G   /usr/lib/xorg/Xorg                           172MiB |
|    0      1858      G   compiz                                        43MiB |
|    0      2102      G   ...-token=B7E095F17A405E37F9FCB3EC4CF1C7A9    54MiB |
+-----------------------------------------------------------------------------+
cv@cv:~$ wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_9.0.176-1_amd64.deb
cv@cv:~$ sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub

cv@cv:~$ sudo apt-get update
cv@cv:~$ sudo apt-get install cuda-9-0
                 sudo apt autoremove
cv@cv:~$ sudo reboot

cv@cv:~$ nvidia-smi     
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 396.51                 Driver Version: 396.51                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 106...  Off  | 00000000:01:00.0  On |                  N/A |
| 40%   30C    P8     8W / 120W |    260MiB /  6070MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
                                                                             
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0       941      G   /usr/lib/xorg/Xorg                           172MiB |
|    0      1830      G   compiz                                        43MiB |
|    0      2094      G   ...-token=70D6AEBF1F42882256133F025747D078    42MiB |
+-----------------------------------------------------------------------------+
cv@cv:~$ 

cuDNN 7.2のインストール

具体的には以下の３個のdebパッケージをダウンロードする。
  • cuDNN v7.2.* Runtime Library for Ubuntu16.04 (Deb)
  • cuDNN v7.2.* Developer Library for Ubuntu16.04 (Deb)
  • cuDNN v7.2.* Code Samples and User Guide for Ubuntu16.04 (Deb)
  • 以下のコマンドを実行して、cuDNNをインストール。
# Install Runtime librarysudo dpkg -i libcudnn7_7.0*+cuda9.0_amd64.deb# Install developer librarysudo dpkg -i libcudnn7-dev_7.0*+cuda9.0_amd64.deb# Install code samples and user guidesudo dpkg -i libcudnn7-doc_7.0*+cuda9.0_amd64.deb
サンプルコードをホームディレクトリにコピーするシェルスクリプト（cuda-install-samples-9.0.sh）は　/usr/local/cuda-9.0/bin/cuda-install-samples-9.0.sh ~ # ホームディレクトリにサンプルコードをコピー。cd ~/NVIDIA_CUDA-9.0_Samples/ make cd 2_Graphics/volumeRender # サンプルの実行ファイルがあるディレクトリに移動。 ./volumeRender 
参考
https://qiita.com/JeJeNeNo/items/b30597918db3781e20c
https://qiita.com/JeJeNeNo/items/b30597918db3781e20c
Install TensorFlow with GPU support
cv@cv:~$ sudo pip install tensorflow-gpu
cv@cv:~$ sudo pip install keras
cv@cv:~$ git clone https://github.com/fchollet/keras
cv@cv:~$ cd keras
cv@cv:~/keras$ python examples/mnist_cnn.py
Anaconda (Python 3.6 version)
cv@cv:~$ bash ~/ダウンロード/Anaconda3-5.2.0-Linux-x86_64.sh
Welcome to Anaconda3 5.2.0
PREFIX=/home/cv/anaco
installing: intel-openmp-2018.0.0-8 ...
installing: mkl-2018.0.2-1 ...
cv@cv:~$ conda -V
conda 4.5.4
cv@cv:~$ jupyter notebook
Conda
cv@cv:~$ conda info --envs
# conda environments:
base *  /home/cv/anaconda3
cv@cv:~$ conda update conda
conda: 4.5.4-py36_0 --> 4.5.10-py36_0
# To activate this environment, use:
# > source activate python-notebooks
#
# To deactivate an active environment, use:
# > source deactivate
cv@cv:~$ conda env list
# conda environments:
base *  /home/cv/anaconda3
python-notebooks         /home/cv/anaconda3/envs/python-notebooks
#Tensorflow install
https://www.tensorflow.org/install/install_linux
sudo pip3 install -U tensorflow  # Python 3.n
#virtual environment
cv@cv:~$ source activate python-notebooks
(python-notebooks) cv@cv:~$
(python-notebooks) cv@cv:~/keras$ sudo pip uninstall tensorflow
(python-notebooks) cv@cv:~$ sudo pip uninstall keras
(python-notebooks) cv@cv:~$ sudo pip3 install -U tensorflow
(python-notebooks) cv@cv:~$ sudo pip3 install keras
(python-notebooks) cv@cv:~$ conda list
python3 -c 'import tensorflow as tf; print(tf.__version__)'
(python-notebooks) cv@cv:~$ python3 -c 'import tensorflow as tf; print(tf.__version__)' 1.10.0
(python-notebooks) cv@cv:~$ python3 -c 'import keras; print(keras.__version__)'  
Using TensorFlow backend.
2.2.2

このブログの人気の投稿

「Deep Learning」を理解する

イメージ
オリジナルサポートサイト 「Pythonで学ぶディープラーニングの理論と実装」 この本は「深層学習」の要点をわかりやすく解説してあります。 プログラミングをして理解する方にはお勧めの本です。 理論の理解、開発環境構築、プログラミングを実装しディープラーニングを理解してみます。 「深層学習」の理論 ニューラルネットワークの「学習」とは 学習 訓練データから最適な重みパラメータの値を 自動 で獲得すること 学習が行えるように 「 損失関数 」を基準としその値が 最も小さくなる重みパラメータ を探し出すことが学習の目的 「活性化関数」 入力信号の総和を出力信号に変換する関数を活性化関数(activation function)と呼ぶ シグモイド関数 ReLU (Rectified Linear Unit) 「損失関数」 2乗和誤差 、 交差エントロピー誤差    p, qが 離散確率変数 なら、これは次のようになる。 {\displaystyle \mathrm {H} (p,q)=-\sum _{x}p(x)\,\log q(x)\!} 損失関数の値を探し出す手法 として「 勾配法 」と呼ばれる関数の傾きを使用する。勾配とはすべての変数の 偏微分をベクトルとしてまとめたものを勾配（gradient) と言う。 勾配・勾配法 勾配： すべての偏微分をベクトルとしてまとめたものを勾配(gradient)という。 勾配は各地点において低くなる方向を指します。言い換えると 勾配は各場所において関数の値を最も減らす 方向 です。 勾配法： 機械学習の問題の多くは学習の際に最適なパラメータを探索する。 ニューラルネットワークも同様に最適なパラメータ（重みとバイアス）を学習時に見つける必要がある。最適なパラメータとは 損失関数が最小値 をとるときであり 最小の場所を探すのに勾配法を使用 する。 勾配法は現在の場所から一定の距離だけ進み繰り返し勾配方向に移動し関数の値を徐々に減らすのが勾配法（gradient method)という。 学習アルゴリズムの実装 ステップ１　
続きを読む

Distributed Deep learning on Apache Spark

What is BigDL? BigDL is a distributed deep learning library for Apache Spark; with BigDL, users can write their deep learning applications as standard Spark programs, which can directly run on top of existing Spark or Hadoop clusters. BigDL https://github.com/intel-analytics/BigDL BigDL記事
続きを読む