基于OpencvCV的情緒檢測
點擊上方“小白學視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
情緒檢測或表情分類在深度學習領域中有著廣泛的研究。使用相機和一些簡單的代碼我們就可以對情緒進行實時分類，這也是邁向高級人機交互的一步。
前言
本期我們將首先介紹如何使用Keras 創(chuàng)建卷積神經(jīng)網(wǎng)絡模型，再使用攝像頭獲取圖片進行情緒檢測。
為了更好的閱讀體驗，我們最好具備一下知識：
? Python
? OpenCV的
? 卷積神經(jīng)網(wǎng)絡（CNN）
? numpy
（注意：我們使用的Tensorflow是1.13.1版本、keras是 版本2.3.1）
模型制作
首先，我們將創(chuàng)建模型代碼并解釋其中的含義。代碼的創(chuàng)建總共分為以下5個部分。
任務1：
import kerasfrom keras.preprocessing.image import ImageDataGeneratorfrom keras.models import Sequentialfrom keras.layers import Dense,Dropout,Activation,Flatten,BatchNormalizationfrom keras.layers import Conv2D,MaxPooling2Dimport os
現(xiàn)在讓我們定義一些變量，這些變量將節(jié)省手動輸入的時間。
num_classes=5img_rows,img_cols=48,48batch_size=32
以上變量的說明如下：
數(shù)據(jù)集的存儲庫中
我們將數(shù)據(jù)儲存在特定文件夾中。例如，“憤怒”文件夾包含帶有憤怒面孔等的圖片。在這里，我們使用5類，包括“憤怒”，“快樂”，“悲傷”，“驚奇”和“無表情”。使用24256張圖像作為訓練數(shù)據(jù)，3006張圖像作為檢測數(shù)據(jù)。
現(xiàn)在讓我們將數(shù)據(jù)加載到一些變量中。
train_data_dir='fer2013/train'validation_data_dir='fer2013/validation'
以上兩行導入了檢測和訓練數(shù)據(jù)。該模型是在訓練數(shù)據(jù)集上進行訓練的；在檢測數(shù)據(jù)集上檢測該模型性能，檢測數(shù)據(jù)集是原始數(shù)據(jù)集的一部分，從原始數(shù)據(jù)集上分離開來的。
任務3：
train_datagen = ImageDataGenerator(rescale=1./255,rotation_range=30,shear_range=0.3,zoom_range=0.3,width_shift_range=0.4,height_shift_range=0.4,horizontal_flip=True,fill_mode='nearest')validation_datagen = ImageDataGenerator(rescale=1./255)
train_generator = train_datagen.flow_from_directory(train_data_dir,color_mode='grayscale',target_size=(img_rows,img_cols),batch_size=batch_size,class_mode='categorical',shuffle=True)validation_generator = validation_datagen.flow_from_directory(validation_data_dir,color_mode='grayscale',target_size=(img_rows,img_cols),batch_size=batch_size,class_mode='categorical',shuffle=True)
上面代碼的輸出將是：
Found 24256 images belonging to 5 classes.Found 3006 images belonging to 5 classes.
在上面的代碼中，我正在使用flow_from_directory（）方法從目錄中加載我們的數(shù)據(jù)集，該目錄已擴充并存儲在train_generator和validation_generator變量中。flow_from_directory（）采用目錄的路徑并生成一批擴充數(shù)據(jù)。因此，在這里，我們?yōu)樵摲椒ㄌ峁┝艘恍┻x項，以自動更改尺寸并將其劃分為類，以便更輕松地輸入模型。
給出的選項是：
? directory：數(shù)據(jù)集的目錄。
? color_mode：在這里，我將圖像轉換為灰度，因為我對圖像的顏色不感興趣，而僅對表達式感興趣。
? target_size：將圖像轉換為統(tǒng)一大小。
? batch_size：制作大量數(shù)據(jù)以進行訓練。
? class_mode：在這里，我將“類別”用作類模式，因為我將圖像分為5類。
? shuffle：隨機播放數(shù)據(jù)集以進行更好的訓練。
任務4：
數(shù)據(jù)集的修改已完成，現(xiàn)在是該模型的大腦即CNN網(wǎng)絡。
因此，首先，我將定義將要使用的模型的類型。在這里，我使用的是Sequential模型，該模型定義網(wǎng)絡中的所有層將依次相繼并將其存儲在變量模型中。
model = Sequential()該網(wǎng)絡由7個塊組成：（后面我們將逐層解釋）
model.add(Conv2D(32,(3,3),padding='same',kernel_initializer='he_normal',input_shape=(img_rows,img_cols,1)))model.add(Activation('elu'))model.add(BatchNormalization())model.add(Conv2D(32,(3,3),padding='same',kernel_initializer='he_normal',input_shape=(img_rows,img_cols,1)))model.add(Activation('elu'))model.add(BatchNormalization())model.add(MaxPooling2D(pool_size=(2,2)))model.add(Dropout(0.2))model.add(Conv2D(64,(3,3),padding='same',kernel_initializer='he_normal'))model.add(Activation('elu'))model.add(BatchNormalization())model.add(Conv2D(64,(3,3),padding='same',kernel_initializer='he_normal'))model.add(Activation('elu'))model.add(BatchNormalization())model.add(MaxPooling2D(pool_size=(2,2)))model.add(Dropout(0.2))model.add(Conv2D(128,(3,3),padding='same',kernel_initializer='he_normal'))model.add(Activation('elu'))model.add(BatchNormalization())model.add(Conv2D(128,(3,3),padding='same',kernel_initializer='he_normal'))model.add(Activation('elu'))model.add(BatchNormalization())model.add(MaxPooling2D(pool_size=(2,2)))model.add(Dropout(0.2))model.add(Conv2D(256,(3,3),padding='same',kernel_initializer='he_normal'))model.add(Activation('elu'))model.add(BatchNormalization())model.add(Conv2D(256,(3,3),padding='same',kernel_initializer='he_normal'))model.add(Activation('elu'))model.add(BatchNormalization())model.add(MaxPooling2D(pool_size=(2,2)))model.add(Dropout(0.2))model.add(Flatten())model.add(Dense(64,kernel_initializer='he_normal'))model.add(Activation('elu'))model.add(BatchNormalization())model.add(Dropout(0.5))model.add(Dense(64,kernel_initializer='he_normal'))model.add(Activation('elu'))model.add(BatchNormalization())model.add(Dropout(0.5))model.add(Dense(num_classes,kernel_initializer='he_normal'))model.add(Activation('softmax'))
運行以上代碼，如果使用的是舊版本的tensorflow，則會收到一些警告。
在這里，我使用了存在于keras.layers中的7種類型的層。
這些層是：
filters, kernel_size, strides=(1, 1), padding=’valid’, data_format=None,
dilation_rate=(1, 1), activation=None, use_bias=True,
kernel_initializer=’glorot_uniform’, bias_initializer=’zeros’,
kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None,
kernel_constraint=None, bias_constraint=None, **kwargs)
units,
activation=None,
use_bias=True,
kernel_initializer=”glorot_uniform”,
bias_initializer=”zeros”,
kernel_regularizer=None,
bias_regularizer=None,
activity_regularizer=None,
kernel_constraint=None,
bias_constraint=None,
**kwargs)
Block-1層的出現(xiàn)順序如下：
? Conv2D層-此層為網(wǎng)絡創(chuàng)建卷積層。我們創(chuàng)建的該層包含32個大小為（3,3）濾波器，其中使用padding ='same'填充圖像并使用內核初始化程序he_normal。添加了2個卷積層，每個層都有一個激活層和批處理歸一化層。
? 激活層-使用elu激活。
? BatchNormalization（批處理歸一化）-歸一化每一層的激活，即將平均激活值保持在接近0并將激活標準偏差保持在接近1。
? MaxPooling2D層-通過沿pool_size定義的沿特征軸的每個尺寸的窗口上的最大值，對輸入表示進行下采樣。在此， pool_size大小為（2,2）。
? Dropout：是一種在訓練過程中忽略隨機選擇的神經(jīng)元的技術。在這里，我將dropout設為0.5，這意味著它將忽略一半的神經(jīng)元。
Block-2層的出現(xiàn)順序如下：
? 與block-1相同的層，但是卷積層具有64個濾波器。
Block-3層的出現(xiàn)順序如下：
? 與block-1相同的層，但是卷積層具有128個濾波器。
Block-4層的出現(xiàn)順序如下：
? 與block-1相同的層，但是卷積層具有256個濾波器。
Block-5層的出現(xiàn)順序如下：
? 展平層-將前一層的輸出展平，即轉換為矢量形式。
? 密集層-該層中每個神經(jīng)元都與其他每個神經(jīng)元相連。在這里，我使用帶有內核的程序初始化64個單元或64個神經(jīng)元-he_normal。
? 這些層之后使用elu激活，批處理歸一化，最后以dropout為50％選擇忽略。
塊6層的出現(xiàn)順序如下：
? 與模塊5相同的層，但沒有展平層，因為該模塊的輸入已展平。
塊7層的出現(xiàn)順序如下：
? 密集層-網(wǎng)絡的最后一個塊中，我使用num_classes創(chuàng)建一個密集層，該層具有he_normal初始值設定項，其unit =類數(shù)。
? 激活層-在這里，我使用softmax，該層多用于分類。
現(xiàn)在檢查模型的整體結構：
print(model.summary())輸出將是：
Model: "sequential_1"_________________________________________________________________Layer (type) Output Shape Param #=================================================================conv2d_1 (Conv2D) (None, 48, 48, 32) 320_________________________________________________________________activation_1 (Activation) (None, 48, 48, 32) 0_________________________________________________________________batch_normalization_1 (Batch (None, 48, 48, 32) 128_________________________________________________________________conv2d_2 (Conv2D) (None, 48, 48, 32) 9248_________________________________________________________________activation_2 (Activation) (None, 48, 48, 32) 0_________________________________________________________________batch_normalization_2 (Batch (None, 48, 48, 32) 128_________________________________________________________________max_pooling2d_1 (MaxPooling2 (None, 24, 24, 32) 0_________________________________________________________________dropout_1 (Dropout) (None, 24, 24, 32) 0_________________________________________________________________conv2d_3 (Conv2D) (None, 24, 24, 64) 18496_________________________________________________________________activation_3 (Activation) (None, 24, 24, 64) 0_________________________________________________________________batch_normalization_3 (Batch (None, 24, 24, 64) 256_________________________________________________________________conv2d_4 (Conv2D) (None, 24, 24, 64) 36928_________________________________________________________________activation_4 (Activation) (None, 24, 24, 64) 0_________________________________________________________________batch_normalization_4 (Batch (None, 24, 24, 64) 256_________________________________________________________________max_pooling2d_2 (MaxPooling2 (None, 12, 12, 64) 0_________________________________________________________________dropout_2 (Dropout) (None, 12, 12, 64) 0_________________________________________________________________conv2d_5 (Conv2D) (None, 12, 12, 128) 73856_________________________________________________________________activation_5 (Activation) (None, 12, 12, 128) 0_________________________________________________________________batch_normalization_5 (Batch (None, 12, 12, 128) 512_________________________________________________________________conv2d_6 (Conv2D) (None, 12, 12, 128) 147584_________________________________________________________________activation_6 (Activation) (None, 12, 12, 128) 0_________________________________________________________________batch_normalization_6 (Batch (None, 12, 12, 128) 512_________________________________________________________________max_pooling2d_3 (MaxPooling2 (None, 6, 6, 128) 0_________________________________________________________________dropout_3 (Dropout) (None, 6, 6, 128) 0_________________________________________________________________conv2d_7 (Conv2D) (None, 6, 6, 256) 295168_________________________________________________________________activation_7 (Activation) (None, 6, 6, 256) 0_________________________________________________________________batch_normalization_7 (Batch (None, 6, 6, 256) 1024_________________________________________________________________conv2d_8 (Conv2D) (None, 6, 6, 256) 590080_________________________________________________________________activation_8 (Activation) (None, 6, 6, 256) 0_________________________________________________________________batch_normalization_8 (Batch (None, 6, 6, 256) 1024_________________________________________________________________max_pooling2d_4 (MaxPooling2 (None, 3, 3, 256) 0_________________________________________________________________dropout_4 (Dropout) (None, 3, 3, 256) 0_________________________________________________________________flatten_1 (Flatten) (None, 2304) 0_________________________________________________________________dense_1 (Dense) (None, 64) 147520_________________________________________________________________activation_9 (Activation) (None, 64) 0_________________________________________________________________batch_normalization_9 (Batch (None, 64) 256_________________________________________________________________dropout_5 (Dropout) (None, 64) 0_________________________________________________________________dense_2 (Dense) (None, 64) 4160_________________________________________________________________activation_10 (Activation) (None, 64) 0_________________________________________________________________batch_normalization_10 (Batc (None, 64) 256_________________________________________________________________dropout_6 (Dropout) (None, 64) 0_________________________________________________________________dense_3 (Dense) (None, 5) 325_________________________________________________________________activation_11 (Activation) (None, 5) 0=================================================================Total params: 1,328,037Trainable params: 1,325,861Non-trainable params: 2,176_________________________________________________________________None
上面的輸出顯示了該網(wǎng)絡中使用的所有層。這是一個大型網(wǎng)絡，包含1,328,037個?參數(shù)。
任務5：
最后一步：編譯和訓練
現(xiàn)在剩下的事情就是編譯和訓練模型。但是首先讓我們導入更多的依賴。
from keras.optimizers import RMSprop,SGD,Adamfrom keras.callbacks import ModelCheckpoint, EarlyStopping, ReduceLROnPlateau
在編譯之前，我將使用keras.callbacks類創(chuàng)建以下3個東西：
Checkpoint（函數(shù)— ModelCheckpoint（））
它將監(jiān)視驗證損失，并使用mode ='min'屬性嘗試將損失降至最低。到達檢查點時，它將保存訓練有素的最佳大小。Verbose = 1僅用于代碼創(chuàng)建檢查點時的可視化。這里我使用以下參數(shù)：
? file-path：保存模型文件的路徑，這里我保存的模型文件名為EmotionDetectionModel.h5
? monitor：要監(jiān)視的數(shù)量。在這里，我正在監(jiān)視驗證損失。
? mode：{自動，最小，最大}之一。如果save_best_only = True，則基于監(jiān)視數(shù)量的最大化或最小化來決定覆蓋當前保存文件。
? save_best_only：如果save_best_only = True，則根據(jù)監(jiān)視數(shù)量的最新最佳模型將不會被覆蓋。
? verbose：1：更新數(shù)據(jù)，0：不變。
提前停止（功能— EarlyStopping（））
通過檢查以下屬性，以提前結束運行。
? monitor：要監(jiān)視的數(shù)量。在這里，我正在監(jiān)視驗證損失。
? min_delta：被監(jiān)視的數(shù)量的最小變化有資格作為改進，即絕對變化小于min_delta將被視為沒有任何改進。在這里我給了0。
? patience：沒有改善的時期數(shù)，此后將停止訓練。我在這里給了它3。
? restore_best_weights：是否從時期以受監(jiān)視數(shù)量的最佳值恢復模型權重。如果為False，則使用在訓練的最后一步獲得的模型權重。
? verbose：1：更新數(shù)據(jù)，0：不變。
降低學習率（函數(shù)— ReduceLROnPlateau（））
一旦學習停滯，模型通常會受益于將學習率降低2-10倍?；卣{監(jiān)視數(shù)量，并且如果沒有發(fā)現(xiàn)patience的改善，則學習率會降低，為此使用了以下屬性。
? monitor：監(jiān)視特定損失。在這里，我正在監(jiān)視驗證損失。
? factor：降低學習率的因素。new_lr = lr *因子。在這里我使用0.2作為系數(shù)。
? patience：沒有改善的時期數(shù)，之后學習率將降低。我在這里使用3。
? min_delta：測量新的最佳閾值，僅關注重大變化。
? verbose：1：更新數(shù)據(jù)，0：不變。
現(xiàn)在是時候到最后使用編譯模型model.compile（）和適合訓練數(shù)據(jù)集的模型model.fit_generator（）
model.compile（）
具有以下參數(shù)：
? loss：此值將確定要在代碼中使用的損失函數(shù)的類型。在這里，我們有5個類別或類別的分類數(shù)據(jù)，因此使用了“ categorical_crossentropy”損失。
? optimizer：此值將確定要在代碼中使用的優(yōu)化器功能的類型。這里我使用的學習率是0.001的Adam優(yōu)化器，因為它是分類數(shù)據(jù)的最佳優(yōu)化器。
? metrics：metrics參數(shù)應該是一個列表，模型可以有任意數(shù)量的metrics。它是模型在訓練和測試過程中要評估的metrics列表。這里我們使用了精度作為度量標準。
model.fit_generator（）
使模型適合Python逐批生成的數(shù)據(jù)。
它具有以下參數(shù)：
? generator：我們之前創(chuàng)建的train_generator對象。
? steps_per_epochs：在一個紀元內接受訓練數(shù)據(jù)的步驟。
? epoch：一次通過整個數(shù)據(jù)集。
? callbacks：包含我們之前創(chuàng)建的所有回調的列表。
? validation_data：我們之前創(chuàng)建的validation_generator對象。
? validation_steps：在一個時期內采取驗證數(shù)據(jù)的步驟。
='categorical_crossentropy',optimizer = Adam(lr=0.001),metrics=['accuracy'])nb_train_samples = 24176nb_validation_samples = 3006epochs=25history=model.fit_generator(train_generator,steps_per_epoch=nb_train_samples//batch_size,epochs=epochs,callbacks=callbacks,validation_data=validation_generator,validation_steps=nb_validation_samples//batch_size)
完成！
現(xiàn)在，可以使用此模型創(chuàng)建情緒檢測器，從而完成模型生成。
驅動程式碼
現(xiàn)在，我們將使用在上一節(jié)中創(chuàng)建的模型來說明用于情感檢測的代碼。
首先，讓我們再次導入一些運行代碼所需的模塊。
from keras.models import load_modelfrom keras.preprocessing.image import img_to_arrayfrom keras.preprocessing import imageimport cv2import numpy as np
現(xiàn)在，讓我們加載模型，并加載我用來檢測攝像頭前方人臉的分類器。使用haarcascade_frontalface_default分類器。Haar Cascade是一種機器學習對象檢測算法，用于識別圖像或視頻中的對象，并基于Paul Viola和Michael Jones在其論文《使用簡單特征的增強級聯(lián)進行快速對象檢測》中提出的特征概念。2001。haarcascade_frontalface_default分類器可檢測圖像或連續(xù)視頻源中人的正面。
face_classifier=cv2.CascadeClassifier('/haarcascade_frontalface_default.xml')classifier = load_model('/EmotionDetectionModel.h5')
現(xiàn)在，我將定義一個變量class_labels來存儲類的名稱或我們要預測的情緒類型，還定義一個變量cap來存儲cv2.VideoCapture方法返回的值。在此，VideoCapture中的值0用于指示該方法使用便攜式計算機的主要網(wǎng)絡攝像頭。
class_labels=['Angry','Happy','Neutral','Sad','Surprise']cap=cv2.VideoCapture(0)
結論
因此，在這里我已經(jīng)解釋了使用OpenCV和Keras創(chuàng)建情緒檢測的過程。通過以下鏈接可以查看完整的代碼以及數(shù)據(jù)集。
https://github.com/karansjc1/emotion-detection
實驗結果如下：