녘ꑳ곬ꑪ뻇 - ir.lib.ksu.edu.twir.lib.ksu.edu.tw/bitstream/987654321/2972/7/專題製作.pdf ·...
73
崑山科技大學 資訊管理系 四年制大學部 專題製作報告 表情辨識語音系統 組 員： 4910Q081 楊旭文 4910Q111 莊宗霖 4910Q067 翁廉筑 4910Q059 胡桂嵐 指導老師：林文暉 博士 中華民國九十五年一月
Transcript of 녘ꑳ곬ꑪ뻇 - ir.lib.ksu.edu.twir.lib.ksu.edu.tw/bitstream/987654321/2972/7/專題製作.pdf ·...
崑山科技大學 資訊管理系 四年制大學部
專題製作報告
表情辨識語音系統
組 員4910Q081楊旭文 4910Q111莊宗霖 4910Q067翁廉筑 4910Q059胡桂嵐
指導老師林文暉 博士
中華民國九十五年一月
摘要
人們長久以來一直渴望電腦也能像人類一樣擁有聰明的智慧近
年來表情分析與辨識已是影像處理中熱門的話題之一人類臉部的
表現能夠反應出內心的情緒也是人們除了言語之外最足以用來表達
情意感情交流相互溝通的重要媒介人們複雜的情緒變化亦可藉
由臉部的反應即能加以解析了解因此本專題希望建立表情辨識語音
系統讓電腦也能瞭解並陳述人類的情緒反應系統的建立是藉由色
彩平衡法調整並增加影像品質然後利用膚色偵測與貝氏相似機率法
快速及準確的擷取人類臉部位置再利用 Gabor 小波函數分析臉部紋
理特徵並以 Cosine 相似度比對方法使電腦得以辨別人類的情緒
最後系統利用語音設備 ( Speaker ) 輸出拍攝影像中的臉部表情敘
述
i
誌謝
本專題製作可以順利完成首先必須感謝長期以來全心全力指導
我們林文暉老師除了教我們在學業上的知識外更時常惠予為人處
世的原則使學生們在這段期間獲益匪淺再者感謝陳予郎學長能
在忙碌的課業中從旁指導和協助讓我們獲得許多學術上的知識與技
術也使我們能夠順利地完成本研究在此謹獻上學生最誠摯的謝意
此外在專題中影像資料的蒐集過程大量的人臉圖片需要來自於
同班同學們及學弟妹們在此也非常感謝他們的幫忙使我們可以擁
有足夠的資料來源讓系統可以順利完成
經過這一年的專題製作我們要面對學校的課業以及專題製作專
業上知識學習的雙重壓力過程雖說辛苦但也學得到了許多千金難買
的知識與技術不僅使我們在影像的專業領域中有更深的瞭解更讓
我們體會到團體互助的合作精神與程式開發的工作分派這對我們來
說也是一次非常難得的機會
ii
目 錄
摘要 i
誌謝 ii
目錄 iii
圖目錄 v
第一章 緒論
11 前言1
12 系統製作動機與目的 3
第二章 系統架構
21 系統規格6
211 硬體環境6
212 軟體環境6
22 系統架構流程7
第三章 影像增強處理
31 灰階轉換(Gray Transform) 10
32 灰階的直方圖(Gray Histogram)11
33 直方圖均化(Histogram Equalization) 13
34 色彩平衡法(Color Balance) 16
35 實驗結果 17
iii
第四章 人臉偵測
41 膚色偵測(Skin-Color Detection) 20
42 最佳化臉部膚色置位偵測 29
43 臉部偵測與擷取 31
4 實驗結果 33
第五章 表情辨識
51 參考文獻 36
511 全部分析(Holistic) 36
512 局部分析36
5121 類神經網路情緒辨識 37
5122 表情特徵的向量 41
5123 基於 Gabor 小波轉換之臉部表情特徵擷取 46
52 特徵擷取 51
53 特徵辨識 53
54 實驗結果 54
第六章 系統操作 56
第七章 結論 62
參考文獻 64
iv
圖目錄
圖 2-1 系統架構流程圖 8
圖 3-1 影像增強直方圖均化處理流程圖 9
圖 32-1 轉換後的灰階影像圖 11
圖 32-2 灰階影像的統計直方圖 11
圖 32-3 四種影像形式直方圖 12
圖 33-1 單值且單調都的灰階轉換 14
圖 35-1 影像增強實驗結果 18
圖 35-2 色彩平衡實驗結果 19
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖 25
圖 4-2 人工切割膚色範例圖 26
圖 4-3 膚色 CbCr 機率分佈圖(一) 27
圖 4-4 膚色 CbCr 機率分佈圖(二) 27
圖 4-5 測試 Binary YCbCr 膚色模型偵測結果 28
圖 4-6 IIS 人臉資料庫 33
圖 4-7 臉部偵測與擷取步驟之測試圖 34
圖 4-8 測試人臉偵測圖 34
圖 512-1 類神經網路表情辨識架構圖 37
圖 512-2 臉部 13 個特徵距離圖解 38
v
圖 512-3 類神經網路架構圖 40
圖 512-4 表情特徵向量計算流程圖 41
圖 512-5 人臉上 16 個特徵點圖 41
圖 512-6 人臉轉動的角度圖 43
圖 512-7 分割含有表情資訊的部份圖 46
圖 512-8 Gabor wavelet 分析圖 47
圖 512-9 face bunch 示意圖 48
圖 512-10 分割表情資訊影像之格子狀圖 48
圖 512-11 特徵向量之表情影像 Elastic 圖示 49
圖 512-12 表情特徵分析統計圖(一) 50
圖 512-13 表情特徵分析統計圖(二) 50
圖 52-1 Gabor wavelet 特徵圖 52
圖 5-1 表情辨識實驗結果 55
圖 6-1 影像拍攝介面 56
圖 6-2 拍攝與儲存之操作圖 57
圖 6-3 Matlab 分析介面 58
圖 6-4 Matlab 分析之使用者介面 59
圖 6-5 網頁方式之表情輸出結果 59
圖 6-6 顯示原始影像 60
vi
圖 6-7 色彩平衡影像 60
圖 6-8 最佳化人臉膚色位置偵測 61
圖 6-9 臉部位置偵測與擷取 61
vii
第一章 緒論
11 前言
資訊科技的發展日新月異使電腦處理的能力越來越強且電
腦應用也一直朝著提供人們更方便操作的方向發展因此如果有
一套友善簡單的人機介面讓每個使用者都能夠輕易地操作電腦
將促使更多的人利用電腦以提升人們生活上的便利性
在人工智慧的研究領域裡研究人員們皆努力研發更進階的技
術及演算法使電腦可以擁有更多近似人類的智慧進而更為聰
明也更為友善在影像處理的相關研究裡「表情辨識」已是一
發展許久的議題臉部表情是人與人之間溝通的重要訊息來源也
是人類用來表達情緒的細緻動作因此基本的臉部動作亦可成為表
情判斷的主要依據如兩邊嘴角上揚表示「喜」的情緒皺眉頭表
示「生氣」的情緒等對於人臉影像處理與應用在近年來已擁有
相當多的創新技術及研究文獻如對人臉如何追蹤偵測如何辨識
身份及如何分析表情等方面皆有許多相關的研究及探討若能使
電腦具有強大的能力來判別人類表情的情緒變化進而做出適當的
人性化回應將使現今人們對電腦的一般印象全然改觀讓人們感
受到電腦的人性化與親和力另外人臉情緒辨識技術亦可在心理
學社會學等社會科學的相關研究上提供一個更為方便的工具
- 1 -
以輔助學者有效的觀察及研究
本專題將建立一個表情辨識語音系統利用目前使用普及化的
視訊器(Webcam)來擷取人臉影像接著透過人臉自動分析系統判
斷人臉表達的情緒再利用語音設備(Speaker)輸出拍攝影像中的臉
部表情敘述
- 2 -
12 系統製作動機與目的
影像處理是近年來熱門的話題之一由於電腦技術的快速進
步以往只能以紙筆推算出來的理論如今可藉由電腦的強大效能
逐一實現加上人們對電腦視覺化的強列需求影像處理的應用也
就愈來愈廣泛而在現今網路多媒體發達的時代單純只有聲音或
影像的呈現已無法符合現代人們對於使用者介面的要求必須具備
兩者具備並透過高速的網路與遠端使用者達到多媒體互動的真實
感
人類臉部的表現可反應出內心的情緒也是人們除了言語之外
最足以用來表達情意感情交流相互溝通的重要媒介因此當
心理的感覺有任何改變時在臉部特徵上即會表露出來本系統在
心理的應用方面可為心理學上檢驗精神分裂症患者的情緒辨識功
能之評估[1]與對患者的社會復健程度之預測力以增益精神醫療
領域探究精神分裂症患者之情緒辨識與社會復健的關連性的臨床
應用工具再者從臨床觀察與文獻探討[1]得知精神分裂症患
者的日常生活功能及社會功能都明顯下降現實環境間的互動因而
受到明顯的影響這也使得患者對於整個現實環境的適應力受損
難以再度融入正常的生活世界而且這個慢性化的疾病病程不只
殘害患者的健康同時也造成病患家屬身心及經濟上的強大負擔
- 3 -
並成為整體社會成本與生活安全上的嚴重問題因此利用本系可
有效評估患者的情緒與社會功能並可進一步作為復健成效的指
標將有助於解決患者個人與家庭上負擔亦使整個社會資源得以
更有效運用同樣的在心理上還可應用在自閉症兒童臉孔情緒處
理之研究[2]根據研究患有自閉症者與精神分裂患者的共同問
題都是對於情緒辨識功能上有障礙因此也能透過本系統做為復健
成效的工具之一另外在商業應用方面亦可為企業行銷上的重大
議題與未來趨勢由於傳統的市場研究方式包括焦點團體或是問
卷其皆有無法完全免除使用者偏見的問題很多時候使用者可
能出於禮貌而隱瞞真正的想法或是沒有辦法清楚地將想法表達出
來而目前企業的行銷方式大都轉向電子化的銷售市場因此若
能透由本系統於顧客在選購商品時擷取其對此商品的情緒表現
便能使市場研究人員在最自然的情境下搜集到顧客使用產品或服
務的最真實情況以獲取商品銷售最真實的資訊提供企業更有效
的行銷規劃另外應用在遠距教學上透過本系統可讓看不到學
生情況下的教師也能夠得知每位學生對於不同課程內容的了解程
度或是對於老師的授課方式是否有感興趣並可將此課程加以調
適使達到最佳的遠距教學方式
人們複雜的情緒變化藉由臉部的反應即能加以解析了解因此
- 4 -
專題希望藉由膚色偵測與貝氏相似機率法快速及準確的擷取人類
臉部位置再利用Gabor小波函數分析臉部紋理特徵最後以cosine
相似度比對方法使電腦得以辨別人類的情緒然而本專題系統實
作上尚未加入網際網路應用的部分原因在於我們所探討的重心為
人類臉部表情的辨識方法並且將之套用在人機介面上使電腦更能
了解人的情緒讓電腦也擁有判別情緒智慧的成份進而讓電腦與
人的互動效果更佳
- 5 -
第二章 系統架構
21 系統規格
211 硬體環境
1 主機規格CPU 28 Mhz
2 輔助儲存體設備Ram 512MHD 20G
3 音效配備音效卡
4 周邊配備鍵盤滑鼠螢幕啦叭
5 視訊設備Logitech QuickCam Pro 4000
212 軟體環境
1 作業系統Microsoft XP
2 Web ServerApache
3 資料庫系統SQL Server
4 程式語言JAVAJSP MATLAB
5 瀏覽器IE 60
- 6 -
22 系統架構流程
就表情辨識而言目前的研究大部份都將臉部表情變化歸類為 7
種（高興傷心生氣驚訝厭惡害怕）但臉部的表情並不是
只有少數幾種變化而是非常大量且多變的現今幾乎沒有一套很完
整的系統能判斷臉部多變的表情辨識方法
我們現在所探討實作的表情辨識語音系統(圖 2-1)是著重於表
情辨識方面系統的前處理是利用 Webcam 擷取影像並存入影像資料
庫再從影像資料庫取出影像利用色彩平衡法以增強及調整 R G B
三色色彩空間值接著系統利用 YCbCr 膚色擷取結合貝氏臉部特
徵偵測方法以尋找出影像臉部的正確位置在辨識表情特徵階段
使用小波轉換(wavelet transform)來獲得特徵資訊的變異量並分析此
變異量的表情的判斷再把表情的辨識結果從語音資料庫中抓取語
音並利用音效輸出設備輸出語音
- 7 -
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
摘要
人們長久以來一直渴望電腦也能像人類一樣擁有聰明的智慧近
年來表情分析與辨識已是影像處理中熱門的話題之一人類臉部的
表現能夠反應出內心的情緒也是人們除了言語之外最足以用來表達
情意感情交流相互溝通的重要媒介人們複雜的情緒變化亦可藉
由臉部的反應即能加以解析了解因此本專題希望建立表情辨識語音
系統讓電腦也能瞭解並陳述人類的情緒反應系統的建立是藉由色
彩平衡法調整並增加影像品質然後利用膚色偵測與貝氏相似機率法
快速及準確的擷取人類臉部位置再利用 Gabor 小波函數分析臉部紋
理特徵並以 Cosine 相似度比對方法使電腦得以辨別人類的情緒
最後系統利用語音設備 ( Speaker ) 輸出拍攝影像中的臉部表情敘
述
i
誌謝
本專題製作可以順利完成首先必須感謝長期以來全心全力指導
我們林文暉老師除了教我們在學業上的知識外更時常惠予為人處
世的原則使學生們在這段期間獲益匪淺再者感謝陳予郎學長能
在忙碌的課業中從旁指導和協助讓我們獲得許多學術上的知識與技
術也使我們能夠順利地完成本研究在此謹獻上學生最誠摯的謝意
此外在專題中影像資料的蒐集過程大量的人臉圖片需要來自於
同班同學們及學弟妹們在此也非常感謝他們的幫忙使我們可以擁
有足夠的資料來源讓系統可以順利完成
經過這一年的專題製作我們要面對學校的課業以及專題製作專
業上知識學習的雙重壓力過程雖說辛苦但也學得到了許多千金難買
的知識與技術不僅使我們在影像的專業領域中有更深的瞭解更讓
我們體會到團體互助的合作精神與程式開發的工作分派這對我們來
說也是一次非常難得的機會
ii
目 錄
摘要 i
誌謝 ii
目錄 iii
圖目錄 v
第一章 緒論
11 前言1
12 系統製作動機與目的 3
第二章 系統架構
21 系統規格6
211 硬體環境6
212 軟體環境6
22 系統架構流程7
第三章 影像增強處理
31 灰階轉換(Gray Transform) 10
32 灰階的直方圖(Gray Histogram)11
33 直方圖均化(Histogram Equalization) 13
34 色彩平衡法(Color Balance) 16
35 實驗結果 17
iii
第四章 人臉偵測
41 膚色偵測(Skin-Color Detection) 20
42 最佳化臉部膚色置位偵測 29
43 臉部偵測與擷取 31
4 實驗結果 33
第五章 表情辨識
51 參考文獻 36
511 全部分析(Holistic) 36
512 局部分析36
5121 類神經網路情緒辨識 37
5122 表情特徵的向量 41
5123 基於 Gabor 小波轉換之臉部表情特徵擷取 46
52 特徵擷取 51
53 特徵辨識 53
54 實驗結果 54
第六章 系統操作 56
第七章 結論 62
參考文獻 64
iv
圖目錄
圖 2-1 系統架構流程圖 8
圖 3-1 影像增強直方圖均化處理流程圖 9
圖 32-1 轉換後的灰階影像圖 11
圖 32-2 灰階影像的統計直方圖 11
圖 32-3 四種影像形式直方圖 12
圖 33-1 單值且單調都的灰階轉換 14
圖 35-1 影像增強實驗結果 18
圖 35-2 色彩平衡實驗結果 19
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖 25
圖 4-2 人工切割膚色範例圖 26
圖 4-3 膚色 CbCr 機率分佈圖(一) 27
圖 4-4 膚色 CbCr 機率分佈圖(二) 27
圖 4-5 測試 Binary YCbCr 膚色模型偵測結果 28
圖 4-6 IIS 人臉資料庫 33
圖 4-7 臉部偵測與擷取步驟之測試圖 34
圖 4-8 測試人臉偵測圖 34
圖 512-1 類神經網路表情辨識架構圖 37
圖 512-2 臉部 13 個特徵距離圖解 38
v
圖 512-3 類神經網路架構圖 40
圖 512-4 表情特徵向量計算流程圖 41
圖 512-5 人臉上 16 個特徵點圖 41
圖 512-6 人臉轉動的角度圖 43
圖 512-7 分割含有表情資訊的部份圖 46
圖 512-8 Gabor wavelet 分析圖 47
圖 512-9 face bunch 示意圖 48
圖 512-10 分割表情資訊影像之格子狀圖 48
圖 512-11 特徵向量之表情影像 Elastic 圖示 49
圖 512-12 表情特徵分析統計圖(一) 50
圖 512-13 表情特徵分析統計圖(二) 50
圖 52-1 Gabor wavelet 特徵圖 52
圖 5-1 表情辨識實驗結果 55
圖 6-1 影像拍攝介面 56
圖 6-2 拍攝與儲存之操作圖 57
圖 6-3 Matlab 分析介面 58
圖 6-4 Matlab 分析之使用者介面 59
圖 6-5 網頁方式之表情輸出結果 59
圖 6-6 顯示原始影像 60
vi
圖 6-7 色彩平衡影像 60
圖 6-8 最佳化人臉膚色位置偵測 61
圖 6-9 臉部位置偵測與擷取 61
vii
第一章 緒論
11 前言
資訊科技的發展日新月異使電腦處理的能力越來越強且電
腦應用也一直朝著提供人們更方便操作的方向發展因此如果有
一套友善簡單的人機介面讓每個使用者都能夠輕易地操作電腦
將促使更多的人利用電腦以提升人們生活上的便利性
在人工智慧的研究領域裡研究人員們皆努力研發更進階的技
術及演算法使電腦可以擁有更多近似人類的智慧進而更為聰
明也更為友善在影像處理的相關研究裡「表情辨識」已是一
發展許久的議題臉部表情是人與人之間溝通的重要訊息來源也
是人類用來表達情緒的細緻動作因此基本的臉部動作亦可成為表
情判斷的主要依據如兩邊嘴角上揚表示「喜」的情緒皺眉頭表
示「生氣」的情緒等對於人臉影像處理與應用在近年來已擁有
相當多的創新技術及研究文獻如對人臉如何追蹤偵測如何辨識
身份及如何分析表情等方面皆有許多相關的研究及探討若能使
電腦具有強大的能力來判別人類表情的情緒變化進而做出適當的
人性化回應將使現今人們對電腦的一般印象全然改觀讓人們感
受到電腦的人性化與親和力另外人臉情緒辨識技術亦可在心理
學社會學等社會科學的相關研究上提供一個更為方便的工具
- 1 -
以輔助學者有效的觀察及研究
本專題將建立一個表情辨識語音系統利用目前使用普及化的
視訊器(Webcam)來擷取人臉影像接著透過人臉自動分析系統判
斷人臉表達的情緒再利用語音設備(Speaker)輸出拍攝影像中的臉
部表情敘述
- 2 -
12 系統製作動機與目的
影像處理是近年來熱門的話題之一由於電腦技術的快速進
步以往只能以紙筆推算出來的理論如今可藉由電腦的強大效能
逐一實現加上人們對電腦視覺化的強列需求影像處理的應用也
就愈來愈廣泛而在現今網路多媒體發達的時代單純只有聲音或
影像的呈現已無法符合現代人們對於使用者介面的要求必須具備
兩者具備並透過高速的網路與遠端使用者達到多媒體互動的真實
感
人類臉部的表現可反應出內心的情緒也是人們除了言語之外
最足以用來表達情意感情交流相互溝通的重要媒介因此當
心理的感覺有任何改變時在臉部特徵上即會表露出來本系統在
心理的應用方面可為心理學上檢驗精神分裂症患者的情緒辨識功
能之評估[1]與對患者的社會復健程度之預測力以增益精神醫療
領域探究精神分裂症患者之情緒辨識與社會復健的關連性的臨床
應用工具再者從臨床觀察與文獻探討[1]得知精神分裂症患
者的日常生活功能及社會功能都明顯下降現實環境間的互動因而
受到明顯的影響這也使得患者對於整個現實環境的適應力受損
難以再度融入正常的生活世界而且這個慢性化的疾病病程不只
殘害患者的健康同時也造成病患家屬身心及經濟上的強大負擔
- 3 -
並成為整體社會成本與生活安全上的嚴重問題因此利用本系可
有效評估患者的情緒與社會功能並可進一步作為復健成效的指
標將有助於解決患者個人與家庭上負擔亦使整個社會資源得以
更有效運用同樣的在心理上還可應用在自閉症兒童臉孔情緒處
理之研究[2]根據研究患有自閉症者與精神分裂患者的共同問
題都是對於情緒辨識功能上有障礙因此也能透過本系統做為復健
成效的工具之一另外在商業應用方面亦可為企業行銷上的重大
議題與未來趨勢由於傳統的市場研究方式包括焦點團體或是問
卷其皆有無法完全免除使用者偏見的問題很多時候使用者可
能出於禮貌而隱瞞真正的想法或是沒有辦法清楚地將想法表達出
來而目前企業的行銷方式大都轉向電子化的銷售市場因此若
能透由本系統於顧客在選購商品時擷取其對此商品的情緒表現
便能使市場研究人員在最自然的情境下搜集到顧客使用產品或服
務的最真實情況以獲取商品銷售最真實的資訊提供企業更有效
的行銷規劃另外應用在遠距教學上透過本系統可讓看不到學
生情況下的教師也能夠得知每位學生對於不同課程內容的了解程
度或是對於老師的授課方式是否有感興趣並可將此課程加以調
適使達到最佳的遠距教學方式
人們複雜的情緒變化藉由臉部的反應即能加以解析了解因此
- 4 -
專題希望藉由膚色偵測與貝氏相似機率法快速及準確的擷取人類
臉部位置再利用Gabor小波函數分析臉部紋理特徵最後以cosine
相似度比對方法使電腦得以辨別人類的情緒然而本專題系統實
作上尚未加入網際網路應用的部分原因在於我們所探討的重心為
人類臉部表情的辨識方法並且將之套用在人機介面上使電腦更能
了解人的情緒讓電腦也擁有判別情緒智慧的成份進而讓電腦與
人的互動效果更佳
- 5 -
第二章 系統架構
21 系統規格
211 硬體環境
1 主機規格CPU 28 Mhz
2 輔助儲存體設備Ram 512MHD 20G
3 音效配備音效卡
4 周邊配備鍵盤滑鼠螢幕啦叭
5 視訊設備Logitech QuickCam Pro 4000
212 軟體環境
1 作業系統Microsoft XP
2 Web ServerApache
3 資料庫系統SQL Server
4 程式語言JAVAJSP MATLAB
5 瀏覽器IE 60
- 6 -
22 系統架構流程
就表情辨識而言目前的研究大部份都將臉部表情變化歸類為 7
種（高興傷心生氣驚訝厭惡害怕）但臉部的表情並不是
只有少數幾種變化而是非常大量且多變的現今幾乎沒有一套很完
整的系統能判斷臉部多變的表情辨識方法
我們現在所探討實作的表情辨識語音系統(圖 2-1)是著重於表
情辨識方面系統的前處理是利用 Webcam 擷取影像並存入影像資料
庫再從影像資料庫取出影像利用色彩平衡法以增強及調整 R G B
三色色彩空間值接著系統利用 YCbCr 膚色擷取結合貝氏臉部特
徵偵測方法以尋找出影像臉部的正確位置在辨識表情特徵階段
使用小波轉換(wavelet transform)來獲得特徵資訊的變異量並分析此
變異量的表情的判斷再把表情的辨識結果從語音資料庫中抓取語
音並利用音效輸出設備輸出語音
- 7 -
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
誌謝
本專題製作可以順利完成首先必須感謝長期以來全心全力指導
我們林文暉老師除了教我們在學業上的知識外更時常惠予為人處
世的原則使學生們在這段期間獲益匪淺再者感謝陳予郎學長能
在忙碌的課業中從旁指導和協助讓我們獲得許多學術上的知識與技
術也使我們能夠順利地完成本研究在此謹獻上學生最誠摯的謝意
此外在專題中影像資料的蒐集過程大量的人臉圖片需要來自於
同班同學們及學弟妹們在此也非常感謝他們的幫忙使我們可以擁
有足夠的資料來源讓系統可以順利完成
經過這一年的專題製作我們要面對學校的課業以及專題製作專
業上知識學習的雙重壓力過程雖說辛苦但也學得到了許多千金難買
的知識與技術不僅使我們在影像的專業領域中有更深的瞭解更讓
我們體會到團體互助的合作精神與程式開發的工作分派這對我們來
說也是一次非常難得的機會
ii
目 錄
摘要 i
誌謝 ii
目錄 iii
圖目錄 v
第一章 緒論
11 前言1
12 系統製作動機與目的 3
第二章 系統架構
21 系統規格6
211 硬體環境6
212 軟體環境6
22 系統架構流程7
第三章 影像增強處理
31 灰階轉換(Gray Transform) 10
32 灰階的直方圖(Gray Histogram)11
33 直方圖均化(Histogram Equalization) 13
34 色彩平衡法(Color Balance) 16
35 實驗結果 17
iii
第四章 人臉偵測
41 膚色偵測(Skin-Color Detection) 20
42 最佳化臉部膚色置位偵測 29
43 臉部偵測與擷取 31
4 實驗結果 33
第五章 表情辨識
51 參考文獻 36
511 全部分析(Holistic) 36
512 局部分析36
5121 類神經網路情緒辨識 37
5122 表情特徵的向量 41
5123 基於 Gabor 小波轉換之臉部表情特徵擷取 46
52 特徵擷取 51
53 特徵辨識 53
54 實驗結果 54
第六章 系統操作 56
第七章 結論 62
參考文獻 64
iv
圖目錄
圖 2-1 系統架構流程圖 8
圖 3-1 影像增強直方圖均化處理流程圖 9
圖 32-1 轉換後的灰階影像圖 11
圖 32-2 灰階影像的統計直方圖 11
圖 32-3 四種影像形式直方圖 12
圖 33-1 單值且單調都的灰階轉換 14
圖 35-1 影像增強實驗結果 18
圖 35-2 色彩平衡實驗結果 19
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖 25
圖 4-2 人工切割膚色範例圖 26
圖 4-3 膚色 CbCr 機率分佈圖(一) 27
圖 4-4 膚色 CbCr 機率分佈圖(二) 27
圖 4-5 測試 Binary YCbCr 膚色模型偵測結果 28
圖 4-6 IIS 人臉資料庫 33
圖 4-7 臉部偵測與擷取步驟之測試圖 34
圖 4-8 測試人臉偵測圖 34
圖 512-1 類神經網路表情辨識架構圖 37
圖 512-2 臉部 13 個特徵距離圖解 38
v
圖 512-3 類神經網路架構圖 40
圖 512-4 表情特徵向量計算流程圖 41
圖 512-5 人臉上 16 個特徵點圖 41
圖 512-6 人臉轉動的角度圖 43
圖 512-7 分割含有表情資訊的部份圖 46
圖 512-8 Gabor wavelet 分析圖 47
圖 512-9 face bunch 示意圖 48
圖 512-10 分割表情資訊影像之格子狀圖 48
圖 512-11 特徵向量之表情影像 Elastic 圖示 49
圖 512-12 表情特徵分析統計圖(一) 50
圖 512-13 表情特徵分析統計圖(二) 50
圖 52-1 Gabor wavelet 特徵圖 52
圖 5-1 表情辨識實驗結果 55
圖 6-1 影像拍攝介面 56
圖 6-2 拍攝與儲存之操作圖 57
圖 6-3 Matlab 分析介面 58
圖 6-4 Matlab 分析之使用者介面 59
圖 6-5 網頁方式之表情輸出結果 59
圖 6-6 顯示原始影像 60
vi
圖 6-7 色彩平衡影像 60
圖 6-8 最佳化人臉膚色位置偵測 61
圖 6-9 臉部位置偵測與擷取 61
vii
第一章 緒論
11 前言
資訊科技的發展日新月異使電腦處理的能力越來越強且電
腦應用也一直朝著提供人們更方便操作的方向發展因此如果有
一套友善簡單的人機介面讓每個使用者都能夠輕易地操作電腦
將促使更多的人利用電腦以提升人們生活上的便利性
在人工智慧的研究領域裡研究人員們皆努力研發更進階的技
術及演算法使電腦可以擁有更多近似人類的智慧進而更為聰
明也更為友善在影像處理的相關研究裡「表情辨識」已是一
發展許久的議題臉部表情是人與人之間溝通的重要訊息來源也
是人類用來表達情緒的細緻動作因此基本的臉部動作亦可成為表
情判斷的主要依據如兩邊嘴角上揚表示「喜」的情緒皺眉頭表
示「生氣」的情緒等對於人臉影像處理與應用在近年來已擁有
相當多的創新技術及研究文獻如對人臉如何追蹤偵測如何辨識
身份及如何分析表情等方面皆有許多相關的研究及探討若能使
電腦具有強大的能力來判別人類表情的情緒變化進而做出適當的
人性化回應將使現今人們對電腦的一般印象全然改觀讓人們感
受到電腦的人性化與親和力另外人臉情緒辨識技術亦可在心理
學社會學等社會科學的相關研究上提供一個更為方便的工具
- 1 -
以輔助學者有效的觀察及研究
本專題將建立一個表情辨識語音系統利用目前使用普及化的
視訊器(Webcam)來擷取人臉影像接著透過人臉自動分析系統判
斷人臉表達的情緒再利用語音設備(Speaker)輸出拍攝影像中的臉
部表情敘述
- 2 -
12 系統製作動機與目的
影像處理是近年來熱門的話題之一由於電腦技術的快速進
步以往只能以紙筆推算出來的理論如今可藉由電腦的強大效能
逐一實現加上人們對電腦視覺化的強列需求影像處理的應用也
就愈來愈廣泛而在現今網路多媒體發達的時代單純只有聲音或
影像的呈現已無法符合現代人們對於使用者介面的要求必須具備
兩者具備並透過高速的網路與遠端使用者達到多媒體互動的真實
感
人類臉部的表現可反應出內心的情緒也是人們除了言語之外
最足以用來表達情意感情交流相互溝通的重要媒介因此當
心理的感覺有任何改變時在臉部特徵上即會表露出來本系統在
心理的應用方面可為心理學上檢驗精神分裂症患者的情緒辨識功
能之評估[1]與對患者的社會復健程度之預測力以增益精神醫療
領域探究精神分裂症患者之情緒辨識與社會復健的關連性的臨床
應用工具再者從臨床觀察與文獻探討[1]得知精神分裂症患
者的日常生活功能及社會功能都明顯下降現實環境間的互動因而
受到明顯的影響這也使得患者對於整個現實環境的適應力受損
難以再度融入正常的生活世界而且這個慢性化的疾病病程不只
殘害患者的健康同時也造成病患家屬身心及經濟上的強大負擔
- 3 -
並成為整體社會成本與生活安全上的嚴重問題因此利用本系可
有效評估患者的情緒與社會功能並可進一步作為復健成效的指
標將有助於解決患者個人與家庭上負擔亦使整個社會資源得以
更有效運用同樣的在心理上還可應用在自閉症兒童臉孔情緒處
理之研究[2]根據研究患有自閉症者與精神分裂患者的共同問
題都是對於情緒辨識功能上有障礙因此也能透過本系統做為復健
成效的工具之一另外在商業應用方面亦可為企業行銷上的重大
議題與未來趨勢由於傳統的市場研究方式包括焦點團體或是問
卷其皆有無法完全免除使用者偏見的問題很多時候使用者可
能出於禮貌而隱瞞真正的想法或是沒有辦法清楚地將想法表達出
來而目前企業的行銷方式大都轉向電子化的銷售市場因此若
能透由本系統於顧客在選購商品時擷取其對此商品的情緒表現
便能使市場研究人員在最自然的情境下搜集到顧客使用產品或服
務的最真實情況以獲取商品銷售最真實的資訊提供企業更有效
的行銷規劃另外應用在遠距教學上透過本系統可讓看不到學
生情況下的教師也能夠得知每位學生對於不同課程內容的了解程
度或是對於老師的授課方式是否有感興趣並可將此課程加以調
適使達到最佳的遠距教學方式
人們複雜的情緒變化藉由臉部的反應即能加以解析了解因此
- 4 -
專題希望藉由膚色偵測與貝氏相似機率法快速及準確的擷取人類
臉部位置再利用Gabor小波函數分析臉部紋理特徵最後以cosine
相似度比對方法使電腦得以辨別人類的情緒然而本專題系統實
作上尚未加入網際網路應用的部分原因在於我們所探討的重心為
人類臉部表情的辨識方法並且將之套用在人機介面上使電腦更能
了解人的情緒讓電腦也擁有判別情緒智慧的成份進而讓電腦與
人的互動效果更佳
- 5 -
第二章 系統架構
21 系統規格
211 硬體環境
1 主機規格CPU 28 Mhz
2 輔助儲存體設備Ram 512MHD 20G
3 音效配備音效卡
4 周邊配備鍵盤滑鼠螢幕啦叭
5 視訊設備Logitech QuickCam Pro 4000
212 軟體環境
1 作業系統Microsoft XP
2 Web ServerApache
3 資料庫系統SQL Server
4 程式語言JAVAJSP MATLAB
5 瀏覽器IE 60
- 6 -
22 系統架構流程
就表情辨識而言目前的研究大部份都將臉部表情變化歸類為 7
種（高興傷心生氣驚訝厭惡害怕）但臉部的表情並不是
只有少數幾種變化而是非常大量且多變的現今幾乎沒有一套很完
整的系統能判斷臉部多變的表情辨識方法
我們現在所探討實作的表情辨識語音系統(圖 2-1)是著重於表
情辨識方面系統的前處理是利用 Webcam 擷取影像並存入影像資料
庫再從影像資料庫取出影像利用色彩平衡法以增強及調整 R G B
三色色彩空間值接著系統利用 YCbCr 膚色擷取結合貝氏臉部特
徵偵測方法以尋找出影像臉部的正確位置在辨識表情特徵階段
使用小波轉換(wavelet transform)來獲得特徵資訊的變異量並分析此
變異量的表情的判斷再把表情的辨識結果從語音資料庫中抓取語
音並利用音效輸出設備輸出語音
- 7 -
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
目 錄
摘要 i
誌謝 ii
目錄 iii
圖目錄 v
第一章 緒論
11 前言1
12 系統製作動機與目的 3
第二章 系統架構
21 系統規格6
211 硬體環境6
212 軟體環境6
22 系統架構流程7
第三章 影像增強處理
31 灰階轉換(Gray Transform) 10
32 灰階的直方圖(Gray Histogram)11
33 直方圖均化(Histogram Equalization) 13
34 色彩平衡法(Color Balance) 16
35 實驗結果 17
iii
第四章 人臉偵測
41 膚色偵測(Skin-Color Detection) 20
42 最佳化臉部膚色置位偵測 29
43 臉部偵測與擷取 31
4 實驗結果 33
第五章 表情辨識
51 參考文獻 36
511 全部分析(Holistic) 36
512 局部分析36
5121 類神經網路情緒辨識 37
5122 表情特徵的向量 41
5123 基於 Gabor 小波轉換之臉部表情特徵擷取 46
52 特徵擷取 51
53 特徵辨識 53
54 實驗結果 54
第六章 系統操作 56
第七章 結論 62
參考文獻 64
iv
圖目錄
圖 2-1 系統架構流程圖 8
圖 3-1 影像增強直方圖均化處理流程圖 9
圖 32-1 轉換後的灰階影像圖 11
圖 32-2 灰階影像的統計直方圖 11
圖 32-3 四種影像形式直方圖 12
圖 33-1 單值且單調都的灰階轉換 14
圖 35-1 影像增強實驗結果 18
圖 35-2 色彩平衡實驗結果 19
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖 25
圖 4-2 人工切割膚色範例圖 26
圖 4-3 膚色 CbCr 機率分佈圖(一) 27
圖 4-4 膚色 CbCr 機率分佈圖(二) 27
圖 4-5 測試 Binary YCbCr 膚色模型偵測結果 28
圖 4-6 IIS 人臉資料庫 33
圖 4-7 臉部偵測與擷取步驟之測試圖 34
圖 4-8 測試人臉偵測圖 34
圖 512-1 類神經網路表情辨識架構圖 37
圖 512-2 臉部 13 個特徵距離圖解 38
v
圖 512-3 類神經網路架構圖 40
圖 512-4 表情特徵向量計算流程圖 41
圖 512-5 人臉上 16 個特徵點圖 41
圖 512-6 人臉轉動的角度圖 43
圖 512-7 分割含有表情資訊的部份圖 46
圖 512-8 Gabor wavelet 分析圖 47
圖 512-9 face bunch 示意圖 48
圖 512-10 分割表情資訊影像之格子狀圖 48
圖 512-11 特徵向量之表情影像 Elastic 圖示 49
圖 512-12 表情特徵分析統計圖(一) 50
圖 512-13 表情特徵分析統計圖(二) 50
圖 52-1 Gabor wavelet 特徵圖 52
圖 5-1 表情辨識實驗結果 55
圖 6-1 影像拍攝介面 56
圖 6-2 拍攝與儲存之操作圖 57
圖 6-3 Matlab 分析介面 58
圖 6-4 Matlab 分析之使用者介面 59
圖 6-5 網頁方式之表情輸出結果 59
圖 6-6 顯示原始影像 60
vi
圖 6-7 色彩平衡影像 60
圖 6-8 最佳化人臉膚色位置偵測 61
圖 6-9 臉部位置偵測與擷取 61
vii
第一章 緒論
11 前言
資訊科技的發展日新月異使電腦處理的能力越來越強且電
腦應用也一直朝著提供人們更方便操作的方向發展因此如果有
一套友善簡單的人機介面讓每個使用者都能夠輕易地操作電腦
將促使更多的人利用電腦以提升人們生活上的便利性
在人工智慧的研究領域裡研究人員們皆努力研發更進階的技
術及演算法使電腦可以擁有更多近似人類的智慧進而更為聰
明也更為友善在影像處理的相關研究裡「表情辨識」已是一
發展許久的議題臉部表情是人與人之間溝通的重要訊息來源也
是人類用來表達情緒的細緻動作因此基本的臉部動作亦可成為表
情判斷的主要依據如兩邊嘴角上揚表示「喜」的情緒皺眉頭表
示「生氣」的情緒等對於人臉影像處理與應用在近年來已擁有
相當多的創新技術及研究文獻如對人臉如何追蹤偵測如何辨識
身份及如何分析表情等方面皆有許多相關的研究及探討若能使
電腦具有強大的能力來判別人類表情的情緒變化進而做出適當的
人性化回應將使現今人們對電腦的一般印象全然改觀讓人們感
受到電腦的人性化與親和力另外人臉情緒辨識技術亦可在心理
學社會學等社會科學的相關研究上提供一個更為方便的工具
- 1 -
以輔助學者有效的觀察及研究
本專題將建立一個表情辨識語音系統利用目前使用普及化的
視訊器(Webcam)來擷取人臉影像接著透過人臉自動分析系統判
斷人臉表達的情緒再利用語音設備(Speaker)輸出拍攝影像中的臉
部表情敘述
- 2 -
12 系統製作動機與目的
影像處理是近年來熱門的話題之一由於電腦技術的快速進
步以往只能以紙筆推算出來的理論如今可藉由電腦的強大效能
逐一實現加上人們對電腦視覺化的強列需求影像處理的應用也
就愈來愈廣泛而在現今網路多媒體發達的時代單純只有聲音或
影像的呈現已無法符合現代人們對於使用者介面的要求必須具備
兩者具備並透過高速的網路與遠端使用者達到多媒體互動的真實
感
人類臉部的表現可反應出內心的情緒也是人們除了言語之外
最足以用來表達情意感情交流相互溝通的重要媒介因此當
心理的感覺有任何改變時在臉部特徵上即會表露出來本系統在
心理的應用方面可為心理學上檢驗精神分裂症患者的情緒辨識功
能之評估[1]與對患者的社會復健程度之預測力以增益精神醫療
領域探究精神分裂症患者之情緒辨識與社會復健的關連性的臨床
應用工具再者從臨床觀察與文獻探討[1]得知精神分裂症患
者的日常生活功能及社會功能都明顯下降現實環境間的互動因而
受到明顯的影響這也使得患者對於整個現實環境的適應力受損
難以再度融入正常的生活世界而且這個慢性化的疾病病程不只
殘害患者的健康同時也造成病患家屬身心及經濟上的強大負擔
- 3 -
並成為整體社會成本與生活安全上的嚴重問題因此利用本系可
有效評估患者的情緒與社會功能並可進一步作為復健成效的指
標將有助於解決患者個人與家庭上負擔亦使整個社會資源得以
更有效運用同樣的在心理上還可應用在自閉症兒童臉孔情緒處
理之研究[2]根據研究患有自閉症者與精神分裂患者的共同問
題都是對於情緒辨識功能上有障礙因此也能透過本系統做為復健
成效的工具之一另外在商業應用方面亦可為企業行銷上的重大
議題與未來趨勢由於傳統的市場研究方式包括焦點團體或是問
卷其皆有無法完全免除使用者偏見的問題很多時候使用者可
能出於禮貌而隱瞞真正的想法或是沒有辦法清楚地將想法表達出
來而目前企業的行銷方式大都轉向電子化的銷售市場因此若
能透由本系統於顧客在選購商品時擷取其對此商品的情緒表現
便能使市場研究人員在最自然的情境下搜集到顧客使用產品或服
務的最真實情況以獲取商品銷售最真實的資訊提供企業更有效
的行銷規劃另外應用在遠距教學上透過本系統可讓看不到學
生情況下的教師也能夠得知每位學生對於不同課程內容的了解程
度或是對於老師的授課方式是否有感興趣並可將此課程加以調
適使達到最佳的遠距教學方式
人們複雜的情緒變化藉由臉部的反應即能加以解析了解因此
- 4 -
專題希望藉由膚色偵測與貝氏相似機率法快速及準確的擷取人類
臉部位置再利用Gabor小波函數分析臉部紋理特徵最後以cosine
相似度比對方法使電腦得以辨別人類的情緒然而本專題系統實
作上尚未加入網際網路應用的部分原因在於我們所探討的重心為
人類臉部表情的辨識方法並且將之套用在人機介面上使電腦更能
了解人的情緒讓電腦也擁有判別情緒智慧的成份進而讓電腦與
人的互動效果更佳
- 5 -
第二章 系統架構
21 系統規格
211 硬體環境
1 主機規格CPU 28 Mhz
2 輔助儲存體設備Ram 512MHD 20G
3 音效配備音效卡
4 周邊配備鍵盤滑鼠螢幕啦叭
5 視訊設備Logitech QuickCam Pro 4000
212 軟體環境
1 作業系統Microsoft XP
2 Web ServerApache
3 資料庫系統SQL Server
4 程式語言JAVAJSP MATLAB
5 瀏覽器IE 60
- 6 -
22 系統架構流程
就表情辨識而言目前的研究大部份都將臉部表情變化歸類為 7
種（高興傷心生氣驚訝厭惡害怕）但臉部的表情並不是
只有少數幾種變化而是非常大量且多變的現今幾乎沒有一套很完
整的系統能判斷臉部多變的表情辨識方法
我們現在所探討實作的表情辨識語音系統(圖 2-1)是著重於表
情辨識方面系統的前處理是利用 Webcam 擷取影像並存入影像資料
庫再從影像資料庫取出影像利用色彩平衡法以增強及調整 R G B
三色色彩空間值接著系統利用 YCbCr 膚色擷取結合貝氏臉部特
徵偵測方法以尋找出影像臉部的正確位置在辨識表情特徵階段
使用小波轉換(wavelet transform)來獲得特徵資訊的變異量並分析此
變異量的表情的判斷再把表情的辨識結果從語音資料庫中抓取語
音並利用音效輸出設備輸出語音
- 7 -
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
第四章 人臉偵測
41 膚色偵測(Skin-Color Detection) 20
42 最佳化臉部膚色置位偵測 29
43 臉部偵測與擷取 31
4 實驗結果 33
第五章 表情辨識
51 參考文獻 36
511 全部分析(Holistic) 36
512 局部分析36
5121 類神經網路情緒辨識 37
5122 表情特徵的向量 41
5123 基於 Gabor 小波轉換之臉部表情特徵擷取 46
52 特徵擷取 51
53 特徵辨識 53
54 實驗結果 54
第六章 系統操作 56
第七章 結論 62
參考文獻 64
iv
圖目錄
圖 2-1 系統架構流程圖 8
圖 3-1 影像增強直方圖均化處理流程圖 9
圖 32-1 轉換後的灰階影像圖 11
圖 32-2 灰階影像的統計直方圖 11
圖 32-3 四種影像形式直方圖 12
圖 33-1 單值且單調都的灰階轉換 14
圖 35-1 影像增強實驗結果 18
圖 35-2 色彩平衡實驗結果 19
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖 25
圖 4-2 人工切割膚色範例圖 26
圖 4-3 膚色 CbCr 機率分佈圖(一) 27
圖 4-4 膚色 CbCr 機率分佈圖(二) 27
圖 4-5 測試 Binary YCbCr 膚色模型偵測結果 28
圖 4-6 IIS 人臉資料庫 33
圖 4-7 臉部偵測與擷取步驟之測試圖 34
圖 4-8 測試人臉偵測圖 34
圖 512-1 類神經網路表情辨識架構圖 37
圖 512-2 臉部 13 個特徵距離圖解 38
v
圖 512-3 類神經網路架構圖 40
圖 512-4 表情特徵向量計算流程圖 41
圖 512-5 人臉上 16 個特徵點圖 41
圖 512-6 人臉轉動的角度圖 43
圖 512-7 分割含有表情資訊的部份圖 46
圖 512-8 Gabor wavelet 分析圖 47
圖 512-9 face bunch 示意圖 48
圖 512-10 分割表情資訊影像之格子狀圖 48
圖 512-11 特徵向量之表情影像 Elastic 圖示 49
圖 512-12 表情特徵分析統計圖(一) 50
圖 512-13 表情特徵分析統計圖(二) 50
圖 52-1 Gabor wavelet 特徵圖 52
圖 5-1 表情辨識實驗結果 55
圖 6-1 影像拍攝介面 56
圖 6-2 拍攝與儲存之操作圖 57
圖 6-3 Matlab 分析介面 58
圖 6-4 Matlab 分析之使用者介面 59
圖 6-5 網頁方式之表情輸出結果 59
圖 6-6 顯示原始影像 60
vi
圖 6-7 色彩平衡影像 60
圖 6-8 最佳化人臉膚色位置偵測 61
圖 6-9 臉部位置偵測與擷取 61
vii
第一章 緒論
11 前言
資訊科技的發展日新月異使電腦處理的能力越來越強且電
腦應用也一直朝著提供人們更方便操作的方向發展因此如果有
一套友善簡單的人機介面讓每個使用者都能夠輕易地操作電腦
將促使更多的人利用電腦以提升人們生活上的便利性
在人工智慧的研究領域裡研究人員們皆努力研發更進階的技
術及演算法使電腦可以擁有更多近似人類的智慧進而更為聰
明也更為友善在影像處理的相關研究裡「表情辨識」已是一
發展許久的議題臉部表情是人與人之間溝通的重要訊息來源也
是人類用來表達情緒的細緻動作因此基本的臉部動作亦可成為表
情判斷的主要依據如兩邊嘴角上揚表示「喜」的情緒皺眉頭表
示「生氣」的情緒等對於人臉影像處理與應用在近年來已擁有
相當多的創新技術及研究文獻如對人臉如何追蹤偵測如何辨識
身份及如何分析表情等方面皆有許多相關的研究及探討若能使
電腦具有強大的能力來判別人類表情的情緒變化進而做出適當的
人性化回應將使現今人們對電腦的一般印象全然改觀讓人們感
受到電腦的人性化與親和力另外人臉情緒辨識技術亦可在心理
學社會學等社會科學的相關研究上提供一個更為方便的工具
- 1 -
以輔助學者有效的觀察及研究
本專題將建立一個表情辨識語音系統利用目前使用普及化的
視訊器(Webcam)來擷取人臉影像接著透過人臉自動分析系統判
斷人臉表達的情緒再利用語音設備(Speaker)輸出拍攝影像中的臉
部表情敘述
- 2 -
12 系統製作動機與目的
影像處理是近年來熱門的話題之一由於電腦技術的快速進
步以往只能以紙筆推算出來的理論如今可藉由電腦的強大效能
逐一實現加上人們對電腦視覺化的強列需求影像處理的應用也
就愈來愈廣泛而在現今網路多媒體發達的時代單純只有聲音或
影像的呈現已無法符合現代人們對於使用者介面的要求必須具備
兩者具備並透過高速的網路與遠端使用者達到多媒體互動的真實
感
人類臉部的表現可反應出內心的情緒也是人們除了言語之外
最足以用來表達情意感情交流相互溝通的重要媒介因此當
心理的感覺有任何改變時在臉部特徵上即會表露出來本系統在
心理的應用方面可為心理學上檢驗精神分裂症患者的情緒辨識功
能之評估[1]與對患者的社會復健程度之預測力以增益精神醫療
領域探究精神分裂症患者之情緒辨識與社會復健的關連性的臨床
應用工具再者從臨床觀察與文獻探討[1]得知精神分裂症患
者的日常生活功能及社會功能都明顯下降現實環境間的互動因而
受到明顯的影響這也使得患者對於整個現實環境的適應力受損
難以再度融入正常的生活世界而且這個慢性化的疾病病程不只
殘害患者的健康同時也造成病患家屬身心及經濟上的強大負擔
- 3 -
並成為整體社會成本與生活安全上的嚴重問題因此利用本系可
有效評估患者的情緒與社會功能並可進一步作為復健成效的指
標將有助於解決患者個人與家庭上負擔亦使整個社會資源得以
更有效運用同樣的在心理上還可應用在自閉症兒童臉孔情緒處
理之研究[2]根據研究患有自閉症者與精神分裂患者的共同問
題都是對於情緒辨識功能上有障礙因此也能透過本系統做為復健
成效的工具之一另外在商業應用方面亦可為企業行銷上的重大
議題與未來趨勢由於傳統的市場研究方式包括焦點團體或是問
卷其皆有無法完全免除使用者偏見的問題很多時候使用者可
能出於禮貌而隱瞞真正的想法或是沒有辦法清楚地將想法表達出
來而目前企業的行銷方式大都轉向電子化的銷售市場因此若
能透由本系統於顧客在選購商品時擷取其對此商品的情緒表現
便能使市場研究人員在最自然的情境下搜集到顧客使用產品或服
務的最真實情況以獲取商品銷售最真實的資訊提供企業更有效
的行銷規劃另外應用在遠距教學上透過本系統可讓看不到學
生情況下的教師也能夠得知每位學生對於不同課程內容的了解程
度或是對於老師的授課方式是否有感興趣並可將此課程加以調
適使達到最佳的遠距教學方式
人們複雜的情緒變化藉由臉部的反應即能加以解析了解因此
- 4 -
專題希望藉由膚色偵測與貝氏相似機率法快速及準確的擷取人類
臉部位置再利用Gabor小波函數分析臉部紋理特徵最後以cosine
相似度比對方法使電腦得以辨別人類的情緒然而本專題系統實
作上尚未加入網際網路應用的部分原因在於我們所探討的重心為
人類臉部表情的辨識方法並且將之套用在人機介面上使電腦更能
了解人的情緒讓電腦也擁有判別情緒智慧的成份進而讓電腦與
人的互動效果更佳
- 5 -
第二章 系統架構
21 系統規格
211 硬體環境
1 主機規格CPU 28 Mhz
2 輔助儲存體設備Ram 512MHD 20G
3 音效配備音效卡
4 周邊配備鍵盤滑鼠螢幕啦叭
5 視訊設備Logitech QuickCam Pro 4000
212 軟體環境
1 作業系統Microsoft XP
2 Web ServerApache
3 資料庫系統SQL Server
4 程式語言JAVAJSP MATLAB
5 瀏覽器IE 60
- 6 -
22 系統架構流程
就表情辨識而言目前的研究大部份都將臉部表情變化歸類為 7
種（高興傷心生氣驚訝厭惡害怕）但臉部的表情並不是
只有少數幾種變化而是非常大量且多變的現今幾乎沒有一套很完
整的系統能判斷臉部多變的表情辨識方法
我們現在所探討實作的表情辨識語音系統(圖 2-1)是著重於表
情辨識方面系統的前處理是利用 Webcam 擷取影像並存入影像資料
庫再從影像資料庫取出影像利用色彩平衡法以增強及調整 R G B
三色色彩空間值接著系統利用 YCbCr 膚色擷取結合貝氏臉部特
徵偵測方法以尋找出影像臉部的正確位置在辨識表情特徵階段
使用小波轉換(wavelet transform)來獲得特徵資訊的變異量並分析此
變異量的表情的判斷再把表情的辨識結果從語音資料庫中抓取語
音並利用音效輸出設備輸出語音
- 7 -
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
圖目錄
圖 2-1 系統架構流程圖 8
圖 3-1 影像增強直方圖均化處理流程圖 9
圖 32-1 轉換後的灰階影像圖 11
圖 32-2 灰階影像的統計直方圖 11
圖 32-3 四種影像形式直方圖 12
圖 33-1 單值且單調都的灰階轉換 14
圖 35-1 影像增強實驗結果 18
圖 35-2 色彩平衡實驗結果 19
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖 25
圖 4-2 人工切割膚色範例圖 26
圖 4-3 膚色 CbCr 機率分佈圖(一) 27
圖 4-4 膚色 CbCr 機率分佈圖(二) 27
圖 4-5 測試 Binary YCbCr 膚色模型偵測結果 28
圖 4-6 IIS 人臉資料庫 33
圖 4-7 臉部偵測與擷取步驟之測試圖 34
圖 4-8 測試人臉偵測圖 34
圖 512-1 類神經網路表情辨識架構圖 37
圖 512-2 臉部 13 個特徵距離圖解 38
v
圖 512-3 類神經網路架構圖 40
圖 512-4 表情特徵向量計算流程圖 41
圖 512-5 人臉上 16 個特徵點圖 41
圖 512-6 人臉轉動的角度圖 43
圖 512-7 分割含有表情資訊的部份圖 46
圖 512-8 Gabor wavelet 分析圖 47
圖 512-9 face bunch 示意圖 48
圖 512-10 分割表情資訊影像之格子狀圖 48
圖 512-11 特徵向量之表情影像 Elastic 圖示 49
圖 512-12 表情特徵分析統計圖(一) 50
圖 512-13 表情特徵分析統計圖(二) 50
圖 52-1 Gabor wavelet 特徵圖 52
圖 5-1 表情辨識實驗結果 55
圖 6-1 影像拍攝介面 56
圖 6-2 拍攝與儲存之操作圖 57
圖 6-3 Matlab 分析介面 58
圖 6-4 Matlab 分析之使用者介面 59
圖 6-5 網頁方式之表情輸出結果 59
圖 6-6 顯示原始影像 60
vi
圖 6-7 色彩平衡影像 60
圖 6-8 最佳化人臉膚色位置偵測 61
圖 6-9 臉部位置偵測與擷取 61
vii
第一章 緒論
11 前言
資訊科技的發展日新月異使電腦處理的能力越來越強且電
腦應用也一直朝著提供人們更方便操作的方向發展因此如果有
一套友善簡單的人機介面讓每個使用者都能夠輕易地操作電腦
將促使更多的人利用電腦以提升人們生活上的便利性
在人工智慧的研究領域裡研究人員們皆努力研發更進階的技
術及演算法使電腦可以擁有更多近似人類的智慧進而更為聰
明也更為友善在影像處理的相關研究裡「表情辨識」已是一
發展許久的議題臉部表情是人與人之間溝通的重要訊息來源也
是人類用來表達情緒的細緻動作因此基本的臉部動作亦可成為表
情判斷的主要依據如兩邊嘴角上揚表示「喜」的情緒皺眉頭表
示「生氣」的情緒等對於人臉影像處理與應用在近年來已擁有
相當多的創新技術及研究文獻如對人臉如何追蹤偵測如何辨識
身份及如何分析表情等方面皆有許多相關的研究及探討若能使
電腦具有強大的能力來判別人類表情的情緒變化進而做出適當的
人性化回應將使現今人們對電腦的一般印象全然改觀讓人們感
受到電腦的人性化與親和力另外人臉情緒辨識技術亦可在心理
學社會學等社會科學的相關研究上提供一個更為方便的工具
- 1 -
以輔助學者有效的觀察及研究
本專題將建立一個表情辨識語音系統利用目前使用普及化的
視訊器(Webcam)來擷取人臉影像接著透過人臉自動分析系統判
斷人臉表達的情緒再利用語音設備(Speaker)輸出拍攝影像中的臉
部表情敘述
- 2 -
12 系統製作動機與目的
影像處理是近年來熱門的話題之一由於電腦技術的快速進
步以往只能以紙筆推算出來的理論如今可藉由電腦的強大效能
逐一實現加上人們對電腦視覺化的強列需求影像處理的應用也
就愈來愈廣泛而在現今網路多媒體發達的時代單純只有聲音或
影像的呈現已無法符合現代人們對於使用者介面的要求必須具備
兩者具備並透過高速的網路與遠端使用者達到多媒體互動的真實
感
人類臉部的表現可反應出內心的情緒也是人們除了言語之外
最足以用來表達情意感情交流相互溝通的重要媒介因此當
心理的感覺有任何改變時在臉部特徵上即會表露出來本系統在
心理的應用方面可為心理學上檢驗精神分裂症患者的情緒辨識功
能之評估[1]與對患者的社會復健程度之預測力以增益精神醫療
領域探究精神分裂症患者之情緒辨識與社會復健的關連性的臨床
應用工具再者從臨床觀察與文獻探討[1]得知精神分裂症患
者的日常生活功能及社會功能都明顯下降現實環境間的互動因而
受到明顯的影響這也使得患者對於整個現實環境的適應力受損
難以再度融入正常的生活世界而且這個慢性化的疾病病程不只
殘害患者的健康同時也造成病患家屬身心及經濟上的強大負擔
- 3 -
並成為整體社會成本與生活安全上的嚴重問題因此利用本系可
有效評估患者的情緒與社會功能並可進一步作為復健成效的指
標將有助於解決患者個人與家庭上負擔亦使整個社會資源得以
更有效運用同樣的在心理上還可應用在自閉症兒童臉孔情緒處
理之研究[2]根據研究患有自閉症者與精神分裂患者的共同問
題都是對於情緒辨識功能上有障礙因此也能透過本系統做為復健
成效的工具之一另外在商業應用方面亦可為企業行銷上的重大
議題與未來趨勢由於傳統的市場研究方式包括焦點團體或是問
卷其皆有無法完全免除使用者偏見的問題很多時候使用者可
能出於禮貌而隱瞞真正的想法或是沒有辦法清楚地將想法表達出
來而目前企業的行銷方式大都轉向電子化的銷售市場因此若
能透由本系統於顧客在選購商品時擷取其對此商品的情緒表現
便能使市場研究人員在最自然的情境下搜集到顧客使用產品或服
務的最真實情況以獲取商品銷售最真實的資訊提供企業更有效
的行銷規劃另外應用在遠距教學上透過本系統可讓看不到學
生情況下的教師也能夠得知每位學生對於不同課程內容的了解程
度或是對於老師的授課方式是否有感興趣並可將此課程加以調
適使達到最佳的遠距教學方式
人們複雜的情緒變化藉由臉部的反應即能加以解析了解因此
- 4 -
專題希望藉由膚色偵測與貝氏相似機率法快速及準確的擷取人類
臉部位置再利用Gabor小波函數分析臉部紋理特徵最後以cosine
相似度比對方法使電腦得以辨別人類的情緒然而本專題系統實
作上尚未加入網際網路應用的部分原因在於我們所探討的重心為
人類臉部表情的辨識方法並且將之套用在人機介面上使電腦更能
了解人的情緒讓電腦也擁有判別情緒智慧的成份進而讓電腦與
人的互動效果更佳
- 5 -
第二章 系統架構
21 系統規格
211 硬體環境
1 主機規格CPU 28 Mhz
2 輔助儲存體設備Ram 512MHD 20G
3 音效配備音效卡
4 周邊配備鍵盤滑鼠螢幕啦叭
5 視訊設備Logitech QuickCam Pro 4000
212 軟體環境
1 作業系統Microsoft XP
2 Web ServerApache
3 資料庫系統SQL Server
4 程式語言JAVAJSP MATLAB
5 瀏覽器IE 60
- 6 -
22 系統架構流程
就表情辨識而言目前的研究大部份都將臉部表情變化歸類為 7
種（高興傷心生氣驚訝厭惡害怕）但臉部的表情並不是
只有少數幾種變化而是非常大量且多變的現今幾乎沒有一套很完
整的系統能判斷臉部多變的表情辨識方法
我們現在所探討實作的表情辨識語音系統(圖 2-1)是著重於表
情辨識方面系統的前處理是利用 Webcam 擷取影像並存入影像資料
庫再從影像資料庫取出影像利用色彩平衡法以增強及調整 R G B
三色色彩空間值接著系統利用 YCbCr 膚色擷取結合貝氏臉部特
徵偵測方法以尋找出影像臉部的正確位置在辨識表情特徵階段
使用小波轉換(wavelet transform)來獲得特徵資訊的變異量並分析此
變異量的表情的判斷再把表情的辨識結果從語音資料庫中抓取語
音並利用音效輸出設備輸出語音
- 7 -
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
圖 512-3 類神經網路架構圖 40
圖 512-4 表情特徵向量計算流程圖 41
圖 512-5 人臉上 16 個特徵點圖 41
圖 512-6 人臉轉動的角度圖 43
圖 512-7 分割含有表情資訊的部份圖 46
圖 512-8 Gabor wavelet 分析圖 47
圖 512-9 face bunch 示意圖 48
圖 512-10 分割表情資訊影像之格子狀圖 48
圖 512-11 特徵向量之表情影像 Elastic 圖示 49
圖 512-12 表情特徵分析統計圖(一) 50
圖 512-13 表情特徵分析統計圖(二) 50
圖 52-1 Gabor wavelet 特徵圖 52
圖 5-1 表情辨識實驗結果 55
圖 6-1 影像拍攝介面 56
圖 6-2 拍攝與儲存之操作圖 57
圖 6-3 Matlab 分析介面 58
圖 6-4 Matlab 分析之使用者介面 59
圖 6-5 網頁方式之表情輸出結果 59
圖 6-6 顯示原始影像 60
vi
圖 6-7 色彩平衡影像 60
圖 6-8 最佳化人臉膚色位置偵測 61
圖 6-9 臉部位置偵測與擷取 61
vii
第一章 緒論
11 前言
資訊科技的發展日新月異使電腦處理的能力越來越強且電
腦應用也一直朝著提供人們更方便操作的方向發展因此如果有
一套友善簡單的人機介面讓每個使用者都能夠輕易地操作電腦
將促使更多的人利用電腦以提升人們生活上的便利性
在人工智慧的研究領域裡研究人員們皆努力研發更進階的技
術及演算法使電腦可以擁有更多近似人類的智慧進而更為聰
明也更為友善在影像處理的相關研究裡「表情辨識」已是一
發展許久的議題臉部表情是人與人之間溝通的重要訊息來源也
是人類用來表達情緒的細緻動作因此基本的臉部動作亦可成為表
情判斷的主要依據如兩邊嘴角上揚表示「喜」的情緒皺眉頭表
示「生氣」的情緒等對於人臉影像處理與應用在近年來已擁有
相當多的創新技術及研究文獻如對人臉如何追蹤偵測如何辨識
身份及如何分析表情等方面皆有許多相關的研究及探討若能使
電腦具有強大的能力來判別人類表情的情緒變化進而做出適當的
人性化回應將使現今人們對電腦的一般印象全然改觀讓人們感
受到電腦的人性化與親和力另外人臉情緒辨識技術亦可在心理
學社會學等社會科學的相關研究上提供一個更為方便的工具
- 1 -
以輔助學者有效的觀察及研究
本專題將建立一個表情辨識語音系統利用目前使用普及化的
視訊器(Webcam)來擷取人臉影像接著透過人臉自動分析系統判
斷人臉表達的情緒再利用語音設備(Speaker)輸出拍攝影像中的臉
部表情敘述
- 2 -
12 系統製作動機與目的
影像處理是近年來熱門的話題之一由於電腦技術的快速進
步以往只能以紙筆推算出來的理論如今可藉由電腦的強大效能
逐一實現加上人們對電腦視覺化的強列需求影像處理的應用也
就愈來愈廣泛而在現今網路多媒體發達的時代單純只有聲音或
影像的呈現已無法符合現代人們對於使用者介面的要求必須具備
兩者具備並透過高速的網路與遠端使用者達到多媒體互動的真實
感
人類臉部的表現可反應出內心的情緒也是人們除了言語之外
最足以用來表達情意感情交流相互溝通的重要媒介因此當
心理的感覺有任何改變時在臉部特徵上即會表露出來本系統在
心理的應用方面可為心理學上檢驗精神分裂症患者的情緒辨識功
能之評估[1]與對患者的社會復健程度之預測力以增益精神醫療
領域探究精神分裂症患者之情緒辨識與社會復健的關連性的臨床
應用工具再者從臨床觀察與文獻探討[1]得知精神分裂症患
者的日常生活功能及社會功能都明顯下降現實環境間的互動因而
受到明顯的影響這也使得患者對於整個現實環境的適應力受損
難以再度融入正常的生活世界而且這個慢性化的疾病病程不只
殘害患者的健康同時也造成病患家屬身心及經濟上的強大負擔
- 3 -
並成為整體社會成本與生活安全上的嚴重問題因此利用本系可
有效評估患者的情緒與社會功能並可進一步作為復健成效的指
標將有助於解決患者個人與家庭上負擔亦使整個社會資源得以
更有效運用同樣的在心理上還可應用在自閉症兒童臉孔情緒處
理之研究[2]根據研究患有自閉症者與精神分裂患者的共同問
題都是對於情緒辨識功能上有障礙因此也能透過本系統做為復健
成效的工具之一另外在商業應用方面亦可為企業行銷上的重大
議題與未來趨勢由於傳統的市場研究方式包括焦點團體或是問
卷其皆有無法完全免除使用者偏見的問題很多時候使用者可
能出於禮貌而隱瞞真正的想法或是沒有辦法清楚地將想法表達出
來而目前企業的行銷方式大都轉向電子化的銷售市場因此若
能透由本系統於顧客在選購商品時擷取其對此商品的情緒表現
便能使市場研究人員在最自然的情境下搜集到顧客使用產品或服
務的最真實情況以獲取商品銷售最真實的資訊提供企業更有效
的行銷規劃另外應用在遠距教學上透過本系統可讓看不到學
生情況下的教師也能夠得知每位學生對於不同課程內容的了解程
度或是對於老師的授課方式是否有感興趣並可將此課程加以調
適使達到最佳的遠距教學方式
人們複雜的情緒變化藉由臉部的反應即能加以解析了解因此
- 4 -
專題希望藉由膚色偵測與貝氏相似機率法快速及準確的擷取人類
臉部位置再利用Gabor小波函數分析臉部紋理特徵最後以cosine
相似度比對方法使電腦得以辨別人類的情緒然而本專題系統實
作上尚未加入網際網路應用的部分原因在於我們所探討的重心為
人類臉部表情的辨識方法並且將之套用在人機介面上使電腦更能
了解人的情緒讓電腦也擁有判別情緒智慧的成份進而讓電腦與
人的互動效果更佳
- 5 -
第二章 系統架構
21 系統規格
211 硬體環境
1 主機規格CPU 28 Mhz
2 輔助儲存體設備Ram 512MHD 20G
3 音效配備音效卡
4 周邊配備鍵盤滑鼠螢幕啦叭
5 視訊設備Logitech QuickCam Pro 4000
212 軟體環境
1 作業系統Microsoft XP
2 Web ServerApache
3 資料庫系統SQL Server
4 程式語言JAVAJSP MATLAB
5 瀏覽器IE 60
- 6 -
22 系統架構流程
就表情辨識而言目前的研究大部份都將臉部表情變化歸類為 7
種（高興傷心生氣驚訝厭惡害怕）但臉部的表情並不是
只有少數幾種變化而是非常大量且多變的現今幾乎沒有一套很完
整的系統能判斷臉部多變的表情辨識方法
我們現在所探討實作的表情辨識語音系統(圖 2-1)是著重於表
情辨識方面系統的前處理是利用 Webcam 擷取影像並存入影像資料
庫再從影像資料庫取出影像利用色彩平衡法以增強及調整 R G B
三色色彩空間值接著系統利用 YCbCr 膚色擷取結合貝氏臉部特
徵偵測方法以尋找出影像臉部的正確位置在辨識表情特徵階段
使用小波轉換(wavelet transform)來獲得特徵資訊的變異量並分析此
變異量的表情的判斷再把表情的辨識結果從語音資料庫中抓取語
音並利用音效輸出設備輸出語音
- 7 -
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
圖 6-7 色彩平衡影像 60
圖 6-8 最佳化人臉膚色位置偵測 61
圖 6-9 臉部位置偵測與擷取 61
vii
第一章 緒論
11 前言
資訊科技的發展日新月異使電腦處理的能力越來越強且電
腦應用也一直朝著提供人們更方便操作的方向發展因此如果有
一套友善簡單的人機介面讓每個使用者都能夠輕易地操作電腦
將促使更多的人利用電腦以提升人們生活上的便利性
在人工智慧的研究領域裡研究人員們皆努力研發更進階的技
術及演算法使電腦可以擁有更多近似人類的智慧進而更為聰
明也更為友善在影像處理的相關研究裡「表情辨識」已是一
發展許久的議題臉部表情是人與人之間溝通的重要訊息來源也
是人類用來表達情緒的細緻動作因此基本的臉部動作亦可成為表
情判斷的主要依據如兩邊嘴角上揚表示「喜」的情緒皺眉頭表
示「生氣」的情緒等對於人臉影像處理與應用在近年來已擁有
相當多的創新技術及研究文獻如對人臉如何追蹤偵測如何辨識
身份及如何分析表情等方面皆有許多相關的研究及探討若能使
電腦具有強大的能力來判別人類表情的情緒變化進而做出適當的
人性化回應將使現今人們對電腦的一般印象全然改觀讓人們感
受到電腦的人性化與親和力另外人臉情緒辨識技術亦可在心理
學社會學等社會科學的相關研究上提供一個更為方便的工具
- 1 -
以輔助學者有效的觀察及研究
本專題將建立一個表情辨識語音系統利用目前使用普及化的
視訊器(Webcam)來擷取人臉影像接著透過人臉自動分析系統判
斷人臉表達的情緒再利用語音設備(Speaker)輸出拍攝影像中的臉
部表情敘述
- 2 -
12 系統製作動機與目的
影像處理是近年來熱門的話題之一由於電腦技術的快速進
步以往只能以紙筆推算出來的理論如今可藉由電腦的強大效能
逐一實現加上人們對電腦視覺化的強列需求影像處理的應用也
就愈來愈廣泛而在現今網路多媒體發達的時代單純只有聲音或
影像的呈現已無法符合現代人們對於使用者介面的要求必須具備
兩者具備並透過高速的網路與遠端使用者達到多媒體互動的真實
感
人類臉部的表現可反應出內心的情緒也是人們除了言語之外
最足以用來表達情意感情交流相互溝通的重要媒介因此當
心理的感覺有任何改變時在臉部特徵上即會表露出來本系統在
心理的應用方面可為心理學上檢驗精神分裂症患者的情緒辨識功
能之評估[1]與對患者的社會復健程度之預測力以增益精神醫療
領域探究精神分裂症患者之情緒辨識與社會復健的關連性的臨床
應用工具再者從臨床觀察與文獻探討[1]得知精神分裂症患
者的日常生活功能及社會功能都明顯下降現實環境間的互動因而
受到明顯的影響這也使得患者對於整個現實環境的適應力受損
難以再度融入正常的生活世界而且這個慢性化的疾病病程不只
殘害患者的健康同時也造成病患家屬身心及經濟上的強大負擔
- 3 -
並成為整體社會成本與生活安全上的嚴重問題因此利用本系可
有效評估患者的情緒與社會功能並可進一步作為復健成效的指
標將有助於解決患者個人與家庭上負擔亦使整個社會資源得以
更有效運用同樣的在心理上還可應用在自閉症兒童臉孔情緒處
理之研究[2]根據研究患有自閉症者與精神分裂患者的共同問
題都是對於情緒辨識功能上有障礙因此也能透過本系統做為復健
成效的工具之一另外在商業應用方面亦可為企業行銷上的重大
議題與未來趨勢由於傳統的市場研究方式包括焦點團體或是問
卷其皆有無法完全免除使用者偏見的問題很多時候使用者可
能出於禮貌而隱瞞真正的想法或是沒有辦法清楚地將想法表達出
來而目前企業的行銷方式大都轉向電子化的銷售市場因此若
能透由本系統於顧客在選購商品時擷取其對此商品的情緒表現
便能使市場研究人員在最自然的情境下搜集到顧客使用產品或服
務的最真實情況以獲取商品銷售最真實的資訊提供企業更有效
的行銷規劃另外應用在遠距教學上透過本系統可讓看不到學
生情況下的教師也能夠得知每位學生對於不同課程內容的了解程
度或是對於老師的授課方式是否有感興趣並可將此課程加以調
適使達到最佳的遠距教學方式
人們複雜的情緒變化藉由臉部的反應即能加以解析了解因此
- 4 -
專題希望藉由膚色偵測與貝氏相似機率法快速及準確的擷取人類
臉部位置再利用Gabor小波函數分析臉部紋理特徵最後以cosine
相似度比對方法使電腦得以辨別人類的情緒然而本專題系統實
作上尚未加入網際網路應用的部分原因在於我們所探討的重心為
人類臉部表情的辨識方法並且將之套用在人機介面上使電腦更能
了解人的情緒讓電腦也擁有判別情緒智慧的成份進而讓電腦與
人的互動效果更佳
- 5 -
第二章 系統架構
21 系統規格
211 硬體環境
1 主機規格CPU 28 Mhz
2 輔助儲存體設備Ram 512MHD 20G
3 音效配備音效卡
4 周邊配備鍵盤滑鼠螢幕啦叭
5 視訊設備Logitech QuickCam Pro 4000
212 軟體環境
1 作業系統Microsoft XP
2 Web ServerApache
3 資料庫系統SQL Server
4 程式語言JAVAJSP MATLAB
5 瀏覽器IE 60
- 6 -
22 系統架構流程
就表情辨識而言目前的研究大部份都將臉部表情變化歸類為 7
種（高興傷心生氣驚訝厭惡害怕）但臉部的表情並不是
只有少數幾種變化而是非常大量且多變的現今幾乎沒有一套很完
整的系統能判斷臉部多變的表情辨識方法
我們現在所探討實作的表情辨識語音系統(圖 2-1)是著重於表
情辨識方面系統的前處理是利用 Webcam 擷取影像並存入影像資料
庫再從影像資料庫取出影像利用色彩平衡法以增強及調整 R G B
三色色彩空間值接著系統利用 YCbCr 膚色擷取結合貝氏臉部特
徵偵測方法以尋找出影像臉部的正確位置在辨識表情特徵階段
使用小波轉換(wavelet transform)來獲得特徵資訊的變異量並分析此
變異量的表情的判斷再把表情的辨識結果從語音資料庫中抓取語
音並利用音效輸出設備輸出語音
- 7 -
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
第一章 緒論
11 前言
資訊科技的發展日新月異使電腦處理的能力越來越強且電
腦應用也一直朝著提供人們更方便操作的方向發展因此如果有
一套友善簡單的人機介面讓每個使用者都能夠輕易地操作電腦
將促使更多的人利用電腦以提升人們生活上的便利性
在人工智慧的研究領域裡研究人員們皆努力研發更進階的技
術及演算法使電腦可以擁有更多近似人類的智慧進而更為聰
明也更為友善在影像處理的相關研究裡「表情辨識」已是一
發展許久的議題臉部表情是人與人之間溝通的重要訊息來源也
是人類用來表達情緒的細緻動作因此基本的臉部動作亦可成為表
情判斷的主要依據如兩邊嘴角上揚表示「喜」的情緒皺眉頭表
示「生氣」的情緒等對於人臉影像處理與應用在近年來已擁有
相當多的創新技術及研究文獻如對人臉如何追蹤偵測如何辨識
身份及如何分析表情等方面皆有許多相關的研究及探討若能使
電腦具有強大的能力來判別人類表情的情緒變化進而做出適當的
人性化回應將使現今人們對電腦的一般印象全然改觀讓人們感
受到電腦的人性化與親和力另外人臉情緒辨識技術亦可在心理
學社會學等社會科學的相關研究上提供一個更為方便的工具
- 1 -
以輔助學者有效的觀察及研究
本專題將建立一個表情辨識語音系統利用目前使用普及化的
視訊器(Webcam)來擷取人臉影像接著透過人臉自動分析系統判
斷人臉表達的情緒再利用語音設備(Speaker)輸出拍攝影像中的臉
部表情敘述
- 2 -
12 系統製作動機與目的
影像處理是近年來熱門的話題之一由於電腦技術的快速進
步以往只能以紙筆推算出來的理論如今可藉由電腦的強大效能
逐一實現加上人們對電腦視覺化的強列需求影像處理的應用也
就愈來愈廣泛而在現今網路多媒體發達的時代單純只有聲音或
影像的呈現已無法符合現代人們對於使用者介面的要求必須具備
兩者具備並透過高速的網路與遠端使用者達到多媒體互動的真實
感
人類臉部的表現可反應出內心的情緒也是人們除了言語之外
最足以用來表達情意感情交流相互溝通的重要媒介因此當
心理的感覺有任何改變時在臉部特徵上即會表露出來本系統在
心理的應用方面可為心理學上檢驗精神分裂症患者的情緒辨識功
能之評估[1]與對患者的社會復健程度之預測力以增益精神醫療
領域探究精神分裂症患者之情緒辨識與社會復健的關連性的臨床
應用工具再者從臨床觀察與文獻探討[1]得知精神分裂症患
者的日常生活功能及社會功能都明顯下降現實環境間的互動因而
受到明顯的影響這也使得患者對於整個現實環境的適應力受損
難以再度融入正常的生活世界而且這個慢性化的疾病病程不只
殘害患者的健康同時也造成病患家屬身心及經濟上的強大負擔
- 3 -
並成為整體社會成本與生活安全上的嚴重問題因此利用本系可
有效評估患者的情緒與社會功能並可進一步作為復健成效的指
標將有助於解決患者個人與家庭上負擔亦使整個社會資源得以
更有效運用同樣的在心理上還可應用在自閉症兒童臉孔情緒處
理之研究[2]根據研究患有自閉症者與精神分裂患者的共同問
題都是對於情緒辨識功能上有障礙因此也能透過本系統做為復健
成效的工具之一另外在商業應用方面亦可為企業行銷上的重大
議題與未來趨勢由於傳統的市場研究方式包括焦點團體或是問
卷其皆有無法完全免除使用者偏見的問題很多時候使用者可
能出於禮貌而隱瞞真正的想法或是沒有辦法清楚地將想法表達出
來而目前企業的行銷方式大都轉向電子化的銷售市場因此若
能透由本系統於顧客在選購商品時擷取其對此商品的情緒表現
便能使市場研究人員在最自然的情境下搜集到顧客使用產品或服
務的最真實情況以獲取商品銷售最真實的資訊提供企業更有效
的行銷規劃另外應用在遠距教學上透過本系統可讓看不到學
生情況下的教師也能夠得知每位學生對於不同課程內容的了解程
度或是對於老師的授課方式是否有感興趣並可將此課程加以調
適使達到最佳的遠距教學方式
人們複雜的情緒變化藉由臉部的反應即能加以解析了解因此
- 4 -
專題希望藉由膚色偵測與貝氏相似機率法快速及準確的擷取人類
臉部位置再利用Gabor小波函數分析臉部紋理特徵最後以cosine
相似度比對方法使電腦得以辨別人類的情緒然而本專題系統實
作上尚未加入網際網路應用的部分原因在於我們所探討的重心為
人類臉部表情的辨識方法並且將之套用在人機介面上使電腦更能
了解人的情緒讓電腦也擁有判別情緒智慧的成份進而讓電腦與
人的互動效果更佳
- 5 -
第二章 系統架構
21 系統規格
211 硬體環境
1 主機規格CPU 28 Mhz
2 輔助儲存體設備Ram 512MHD 20G
3 音效配備音效卡
4 周邊配備鍵盤滑鼠螢幕啦叭
5 視訊設備Logitech QuickCam Pro 4000
212 軟體環境
1 作業系統Microsoft XP
2 Web ServerApache
3 資料庫系統SQL Server
4 程式語言JAVAJSP MATLAB
5 瀏覽器IE 60
- 6 -
22 系統架構流程
就表情辨識而言目前的研究大部份都將臉部表情變化歸類為 7
種（高興傷心生氣驚訝厭惡害怕）但臉部的表情並不是
只有少數幾種變化而是非常大量且多變的現今幾乎沒有一套很完
整的系統能判斷臉部多變的表情辨識方法
我們現在所探討實作的表情辨識語音系統(圖 2-1)是著重於表
情辨識方面系統的前處理是利用 Webcam 擷取影像並存入影像資料
庫再從影像資料庫取出影像利用色彩平衡法以增強及調整 R G B
三色色彩空間值接著系統利用 YCbCr 膚色擷取結合貝氏臉部特
徵偵測方法以尋找出影像臉部的正確位置在辨識表情特徵階段
使用小波轉換(wavelet transform)來獲得特徵資訊的變異量並分析此
變異量的表情的判斷再把表情的辨識結果從語音資料庫中抓取語
音並利用音效輸出設備輸出語音
- 7 -
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
以輔助學者有效的觀察及研究
本專題將建立一個表情辨識語音系統利用目前使用普及化的
視訊器(Webcam)來擷取人臉影像接著透過人臉自動分析系統判
斷人臉表達的情緒再利用語音設備(Speaker)輸出拍攝影像中的臉
部表情敘述
- 2 -
12 系統製作動機與目的
影像處理是近年來熱門的話題之一由於電腦技術的快速進
步以往只能以紙筆推算出來的理論如今可藉由電腦的強大效能
逐一實現加上人們對電腦視覺化的強列需求影像處理的應用也
就愈來愈廣泛而在現今網路多媒體發達的時代單純只有聲音或
影像的呈現已無法符合現代人們對於使用者介面的要求必須具備
兩者具備並透過高速的網路與遠端使用者達到多媒體互動的真實
感
人類臉部的表現可反應出內心的情緒也是人們除了言語之外
最足以用來表達情意感情交流相互溝通的重要媒介因此當
心理的感覺有任何改變時在臉部特徵上即會表露出來本系統在
心理的應用方面可為心理學上檢驗精神分裂症患者的情緒辨識功
能之評估[1]與對患者的社會復健程度之預測力以增益精神醫療
領域探究精神分裂症患者之情緒辨識與社會復健的關連性的臨床
應用工具再者從臨床觀察與文獻探討[1]得知精神分裂症患
者的日常生活功能及社會功能都明顯下降現實環境間的互動因而
受到明顯的影響這也使得患者對於整個現實環境的適應力受損
難以再度融入正常的生活世界而且這個慢性化的疾病病程不只
殘害患者的健康同時也造成病患家屬身心及經濟上的強大負擔
- 3 -
並成為整體社會成本與生活安全上的嚴重問題因此利用本系可
有效評估患者的情緒與社會功能並可進一步作為復健成效的指
標將有助於解決患者個人與家庭上負擔亦使整個社會資源得以
更有效運用同樣的在心理上還可應用在自閉症兒童臉孔情緒處
理之研究[2]根據研究患有自閉症者與精神分裂患者的共同問
題都是對於情緒辨識功能上有障礙因此也能透過本系統做為復健
成效的工具之一另外在商業應用方面亦可為企業行銷上的重大
議題與未來趨勢由於傳統的市場研究方式包括焦點團體或是問
卷其皆有無法完全免除使用者偏見的問題很多時候使用者可
能出於禮貌而隱瞞真正的想法或是沒有辦法清楚地將想法表達出
來而目前企業的行銷方式大都轉向電子化的銷售市場因此若
能透由本系統於顧客在選購商品時擷取其對此商品的情緒表現
便能使市場研究人員在最自然的情境下搜集到顧客使用產品或服
務的最真實情況以獲取商品銷售最真實的資訊提供企業更有效
的行銷規劃另外應用在遠距教學上透過本系統可讓看不到學
生情況下的教師也能夠得知每位學生對於不同課程內容的了解程
度或是對於老師的授課方式是否有感興趣並可將此課程加以調
適使達到最佳的遠距教學方式
人們複雜的情緒變化藉由臉部的反應即能加以解析了解因此
- 4 -
專題希望藉由膚色偵測與貝氏相似機率法快速及準確的擷取人類
臉部位置再利用Gabor小波函數分析臉部紋理特徵最後以cosine
相似度比對方法使電腦得以辨別人類的情緒然而本專題系統實
作上尚未加入網際網路應用的部分原因在於我們所探討的重心為
人類臉部表情的辨識方法並且將之套用在人機介面上使電腦更能
了解人的情緒讓電腦也擁有判別情緒智慧的成份進而讓電腦與
人的互動效果更佳
- 5 -
第二章 系統架構
21 系統規格
211 硬體環境
1 主機規格CPU 28 Mhz
2 輔助儲存體設備Ram 512MHD 20G
3 音效配備音效卡
4 周邊配備鍵盤滑鼠螢幕啦叭
5 視訊設備Logitech QuickCam Pro 4000
212 軟體環境
1 作業系統Microsoft XP
2 Web ServerApache
3 資料庫系統SQL Server
4 程式語言JAVAJSP MATLAB
5 瀏覽器IE 60
- 6 -
22 系統架構流程
就表情辨識而言目前的研究大部份都將臉部表情變化歸類為 7
種（高興傷心生氣驚訝厭惡害怕）但臉部的表情並不是
只有少數幾種變化而是非常大量且多變的現今幾乎沒有一套很完
整的系統能判斷臉部多變的表情辨識方法
我們現在所探討實作的表情辨識語音系統(圖 2-1)是著重於表
情辨識方面系統的前處理是利用 Webcam 擷取影像並存入影像資料
庫再從影像資料庫取出影像利用色彩平衡法以增強及調整 R G B
三色色彩空間值接著系統利用 YCbCr 膚色擷取結合貝氏臉部特
徵偵測方法以尋找出影像臉部的正確位置在辨識表情特徵階段
使用小波轉換(wavelet transform)來獲得特徵資訊的變異量並分析此
變異量的表情的判斷再把表情的辨識結果從語音資料庫中抓取語
音並利用音效輸出設備輸出語音
- 7 -
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
12 系統製作動機與目的
影像處理是近年來熱門的話題之一由於電腦技術的快速進
步以往只能以紙筆推算出來的理論如今可藉由電腦的強大效能
逐一實現加上人們對電腦視覺化的強列需求影像處理的應用也
就愈來愈廣泛而在現今網路多媒體發達的時代單純只有聲音或
影像的呈現已無法符合現代人們對於使用者介面的要求必須具備
兩者具備並透過高速的網路與遠端使用者達到多媒體互動的真實
感
人類臉部的表現可反應出內心的情緒也是人們除了言語之外
最足以用來表達情意感情交流相互溝通的重要媒介因此當
心理的感覺有任何改變時在臉部特徵上即會表露出來本系統在
心理的應用方面可為心理學上檢驗精神分裂症患者的情緒辨識功
能之評估[1]與對患者的社會復健程度之預測力以增益精神醫療
領域探究精神分裂症患者之情緒辨識與社會復健的關連性的臨床
應用工具再者從臨床觀察與文獻探討[1]得知精神分裂症患
者的日常生活功能及社會功能都明顯下降現實環境間的互動因而
受到明顯的影響這也使得患者對於整個現實環境的適應力受損
難以再度融入正常的生活世界而且這個慢性化的疾病病程不只
殘害患者的健康同時也造成病患家屬身心及經濟上的強大負擔
- 3 -
並成為整體社會成本與生活安全上的嚴重問題因此利用本系可
有效評估患者的情緒與社會功能並可進一步作為復健成效的指
標將有助於解決患者個人與家庭上負擔亦使整個社會資源得以
更有效運用同樣的在心理上還可應用在自閉症兒童臉孔情緒處
理之研究[2]根據研究患有自閉症者與精神分裂患者的共同問
題都是對於情緒辨識功能上有障礙因此也能透過本系統做為復健
成效的工具之一另外在商業應用方面亦可為企業行銷上的重大
議題與未來趨勢由於傳統的市場研究方式包括焦點團體或是問
卷其皆有無法完全免除使用者偏見的問題很多時候使用者可
能出於禮貌而隱瞞真正的想法或是沒有辦法清楚地將想法表達出
來而目前企業的行銷方式大都轉向電子化的銷售市場因此若
能透由本系統於顧客在選購商品時擷取其對此商品的情緒表現
便能使市場研究人員在最自然的情境下搜集到顧客使用產品或服
務的最真實情況以獲取商品銷售最真實的資訊提供企業更有效
的行銷規劃另外應用在遠距教學上透過本系統可讓看不到學
生情況下的教師也能夠得知每位學生對於不同課程內容的了解程
度或是對於老師的授課方式是否有感興趣並可將此課程加以調
適使達到最佳的遠距教學方式
人們複雜的情緒變化藉由臉部的反應即能加以解析了解因此
- 4 -
專題希望藉由膚色偵測與貝氏相似機率法快速及準確的擷取人類
臉部位置再利用Gabor小波函數分析臉部紋理特徵最後以cosine
相似度比對方法使電腦得以辨別人類的情緒然而本專題系統實
作上尚未加入網際網路應用的部分原因在於我們所探討的重心為
人類臉部表情的辨識方法並且將之套用在人機介面上使電腦更能
了解人的情緒讓電腦也擁有判別情緒智慧的成份進而讓電腦與
人的互動效果更佳
- 5 -
第二章 系統架構
21 系統規格
211 硬體環境
1 主機規格CPU 28 Mhz
2 輔助儲存體設備Ram 512MHD 20G
3 音效配備音效卡
4 周邊配備鍵盤滑鼠螢幕啦叭
5 視訊設備Logitech QuickCam Pro 4000
212 軟體環境
1 作業系統Microsoft XP
2 Web ServerApache
3 資料庫系統SQL Server
4 程式語言JAVAJSP MATLAB
5 瀏覽器IE 60
- 6 -
22 系統架構流程
就表情辨識而言目前的研究大部份都將臉部表情變化歸類為 7
種（高興傷心生氣驚訝厭惡害怕）但臉部的表情並不是
只有少數幾種變化而是非常大量且多變的現今幾乎沒有一套很完
整的系統能判斷臉部多變的表情辨識方法
我們現在所探討實作的表情辨識語音系統(圖 2-1)是著重於表
情辨識方面系統的前處理是利用 Webcam 擷取影像並存入影像資料
庫再從影像資料庫取出影像利用色彩平衡法以增強及調整 R G B
三色色彩空間值接著系統利用 YCbCr 膚色擷取結合貝氏臉部特
徵偵測方法以尋找出影像臉部的正確位置在辨識表情特徵階段
使用小波轉換(wavelet transform)來獲得特徵資訊的變異量並分析此
變異量的表情的判斷再把表情的辨識結果從語音資料庫中抓取語
音並利用音效輸出設備輸出語音
- 7 -
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
並成為整體社會成本與生活安全上的嚴重問題因此利用本系可
有效評估患者的情緒與社會功能並可進一步作為復健成效的指
標將有助於解決患者個人與家庭上負擔亦使整個社會資源得以
更有效運用同樣的在心理上還可應用在自閉症兒童臉孔情緒處
理之研究[2]根據研究患有自閉症者與精神分裂患者的共同問
題都是對於情緒辨識功能上有障礙因此也能透過本系統做為復健
成效的工具之一另外在商業應用方面亦可為企業行銷上的重大
議題與未來趨勢由於傳統的市場研究方式包括焦點團體或是問
卷其皆有無法完全免除使用者偏見的問題很多時候使用者可
能出於禮貌而隱瞞真正的想法或是沒有辦法清楚地將想法表達出
來而目前企業的行銷方式大都轉向電子化的銷售市場因此若
能透由本系統於顧客在選購商品時擷取其對此商品的情緒表現
便能使市場研究人員在最自然的情境下搜集到顧客使用產品或服
務的最真實情況以獲取商品銷售最真實的資訊提供企業更有效
的行銷規劃另外應用在遠距教學上透過本系統可讓看不到學
生情況下的教師也能夠得知每位學生對於不同課程內容的了解程
度或是對於老師的授課方式是否有感興趣並可將此課程加以調
適使達到最佳的遠距教學方式
人們複雜的情緒變化藉由臉部的反應即能加以解析了解因此
- 4 -
專題希望藉由膚色偵測與貝氏相似機率法快速及準確的擷取人類
臉部位置再利用Gabor小波函數分析臉部紋理特徵最後以cosine
相似度比對方法使電腦得以辨別人類的情緒然而本專題系統實
作上尚未加入網際網路應用的部分原因在於我們所探討的重心為
人類臉部表情的辨識方法並且將之套用在人機介面上使電腦更能
了解人的情緒讓電腦也擁有判別情緒智慧的成份進而讓電腦與
人的互動效果更佳
- 5 -
第二章 系統架構
21 系統規格
211 硬體環境
1 主機規格CPU 28 Mhz
2 輔助儲存體設備Ram 512MHD 20G
3 音效配備音效卡
4 周邊配備鍵盤滑鼠螢幕啦叭
5 視訊設備Logitech QuickCam Pro 4000
212 軟體環境
1 作業系統Microsoft XP
2 Web ServerApache
3 資料庫系統SQL Server
4 程式語言JAVAJSP MATLAB
5 瀏覽器IE 60
- 6 -
22 系統架構流程
就表情辨識而言目前的研究大部份都將臉部表情變化歸類為 7
種（高興傷心生氣驚訝厭惡害怕）但臉部的表情並不是
只有少數幾種變化而是非常大量且多變的現今幾乎沒有一套很完
整的系統能判斷臉部多變的表情辨識方法
我們現在所探討實作的表情辨識語音系統(圖 2-1)是著重於表
情辨識方面系統的前處理是利用 Webcam 擷取影像並存入影像資料
庫再從影像資料庫取出影像利用色彩平衡法以增強及調整 R G B
三色色彩空間值接著系統利用 YCbCr 膚色擷取結合貝氏臉部特
徵偵測方法以尋找出影像臉部的正確位置在辨識表情特徵階段
使用小波轉換(wavelet transform)來獲得特徵資訊的變異量並分析此
變異量的表情的判斷再把表情的辨識結果從語音資料庫中抓取語
音並利用音效輸出設備輸出語音
- 7 -
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
專題希望藉由膚色偵測與貝氏相似機率法快速及準確的擷取人類
臉部位置再利用Gabor小波函數分析臉部紋理特徵最後以cosine
相似度比對方法使電腦得以辨別人類的情緒然而本專題系統實
作上尚未加入網際網路應用的部分原因在於我們所探討的重心為
人類臉部表情的辨識方法並且將之套用在人機介面上使電腦更能
了解人的情緒讓電腦也擁有判別情緒智慧的成份進而讓電腦與
人的互動效果更佳
- 5 -
第二章 系統架構
21 系統規格
211 硬體環境
1 主機規格CPU 28 Mhz
2 輔助儲存體設備Ram 512MHD 20G
3 音效配備音效卡
4 周邊配備鍵盤滑鼠螢幕啦叭
5 視訊設備Logitech QuickCam Pro 4000
212 軟體環境
1 作業系統Microsoft XP
2 Web ServerApache
3 資料庫系統SQL Server
4 程式語言JAVAJSP MATLAB
5 瀏覽器IE 60
- 6 -
22 系統架構流程
就表情辨識而言目前的研究大部份都將臉部表情變化歸類為 7
種（高興傷心生氣驚訝厭惡害怕）但臉部的表情並不是
只有少數幾種變化而是非常大量且多變的現今幾乎沒有一套很完
整的系統能判斷臉部多變的表情辨識方法
我們現在所探討實作的表情辨識語音系統(圖 2-1)是著重於表
情辨識方面系統的前處理是利用 Webcam 擷取影像並存入影像資料
庫再從影像資料庫取出影像利用色彩平衡法以增強及調整 R G B
三色色彩空間值接著系統利用 YCbCr 膚色擷取結合貝氏臉部特
徵偵測方法以尋找出影像臉部的正確位置在辨識表情特徵階段
使用小波轉換(wavelet transform)來獲得特徵資訊的變異量並分析此
變異量的表情的判斷再把表情的辨識結果從語音資料庫中抓取語
音並利用音效輸出設備輸出語音
- 7 -
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
第二章 系統架構
21 系統規格
211 硬體環境
1 主機規格CPU 28 Mhz
2 輔助儲存體設備Ram 512MHD 20G
3 音效配備音效卡
4 周邊配備鍵盤滑鼠螢幕啦叭
5 視訊設備Logitech QuickCam Pro 4000
212 軟體環境
1 作業系統Microsoft XP
2 Web ServerApache
3 資料庫系統SQL Server
4 程式語言JAVAJSP MATLAB
5 瀏覽器IE 60
- 6 -
22 系統架構流程
就表情辨識而言目前的研究大部份都將臉部表情變化歸類為 7
種（高興傷心生氣驚訝厭惡害怕）但臉部的表情並不是
只有少數幾種變化而是非常大量且多變的現今幾乎沒有一套很完
整的系統能判斷臉部多變的表情辨識方法
我們現在所探討實作的表情辨識語音系統(圖 2-1)是著重於表
情辨識方面系統的前處理是利用 Webcam 擷取影像並存入影像資料
庫再從影像資料庫取出影像利用色彩平衡法以增強及調整 R G B
三色色彩空間值接著系統利用 YCbCr 膚色擷取結合貝氏臉部特
徵偵測方法以尋找出影像臉部的正確位置在辨識表情特徵階段
使用小波轉換(wavelet transform)來獲得特徵資訊的變異量並分析此
變異量的表情的判斷再把表情的辨識結果從語音資料庫中抓取語
音並利用音效輸出設備輸出語音
- 7 -
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
22 系統架構流程
就表情辨識而言目前的研究大部份都將臉部表情變化歸類為 7
種（高興傷心生氣驚訝厭惡害怕）但臉部的表情並不是
只有少數幾種變化而是非常大量且多變的現今幾乎沒有一套很完
整的系統能判斷臉部多變的表情辨識方法
我們現在所探討實作的表情辨識語音系統(圖 2-1)是著重於表
情辨識方面系統的前處理是利用 Webcam 擷取影像並存入影像資料
庫再從影像資料庫取出影像利用色彩平衡法以增強及調整 R G B
三色色彩空間值接著系統利用 YCbCr 膚色擷取結合貝氏臉部特
徵偵測方法以尋找出影像臉部的正確位置在辨識表情特徵階段
使用小波轉換(wavelet transform)來獲得特徵資訊的變異量並分析此
變異量的表情的判斷再把表情的辨識結果從語音資料庫中抓取語
音並利用音效輸出設備輸出語音
- 7 -
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
Speaker
Multiscale Head Acquisition Image Enhancement
Images
Pronunc
Webcam
Image processing
Pronunciation
Recognition iation
Expression Recognition
圖 2-1 系統架構流程圖
- 8 -
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
第三章 影像增強處理
影像增強(image enhancement )主要目的是藉由影像處理的演算
法來調整影像的品質使其影像資訊更適合進行視覺觀察與影像處
理影像增強的方法主要分為兩大類空間域中的影像增強和頻率域
中的影像增強[3]空間域(spatial domain)這個方法是直接在影像平面
上處理影像中的像素頻率域(frequency domain)處理技術是以修改影
像的傅立葉轉換(Fourier transform)為基礎而在這所我們所要探討是
空間域中的影像增強做為影像處理所使用的增強技術目前在空間
域中最廣應用在影像增強上的方法為直方圖等化處理 (histogram
equalization) [3]如圖3-1所示先將原始影像利用灰階轉換(gray
transform)轉變成灰階影像再把灰階影像經過直方圖處理[3]接著
由直方圖等化[3]的方法來增強影像最後輸出我們所要的最佳化影
像
原始影像 灰階轉換 直方圖處理
增強影像 直方圖等化
圖3-1 影像增強直方圖均化處理流程圖
- 9 -
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
31 灰階轉換(Gray Transform)
灰階轉換 (gray transform)是將彩色影像 (image)轉換成灰階影
像使用灰階轉換可以構成相當簡單但卻很有效影像的處理方法因
為影像中任何一個點上的增強只取決於該點的灰階
影像中的每一點的灰階值即為彩色影像 RGB 中的亮度值(RGB
是指紅綠藍三原色)彩色 RGB 轉換會產生色彩亮度與色度資訊
最常見的 RGB 轉換以 YCbCr 的格式其中 Y 代表影像亮度(即為灰
階)Cb 代表藍色色度Cr 代表紅色色度RGB 三種亮度值一樣的
時候就呈現一種灰階(色)所以灰色會有 256 種亮度(三原色為三
個位元組 )其中 0 階的灰階代表黑色 255 階的灰階代表白色
而灰階轉換的過程要的資訊只是影像的灰階值(Y)色度資訊則暫
時不考慮其灰階轉換方法描述如(公式 1)
Gray Transform Function
Y = 0299R+0587G+0114B (公式 1)
其中 Y value 就是彩色點像素透過(公式 1)對其該點 RGB 三原色
依不同係數值權重產生該點灰階值而(公式 1)主要應用於電視
NTSC 視訊標準上訊號 YIQ 模式以配合黑白電視訊號應用此模式
- 10 -
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
可將明亮度與彩色成份分離它依據人類的眼睛對於紅綠藍三原
色的不同敏感度而來其中係數值越大則表人的眼睛對於該顏色較為
敏感所以三種顏色之敏感度依序為綠色(0587)紅色(0299)藍色
(0114)藍色對肉眼最不敏感看起較暗綠色對肉眼較敏感 則讓綠色
較亮人眼對灰度變化的感覺比對色調變化的感覺來得敏銳對低亮
度變化的感覺比對高亮度變化的感覺來得敏銳所以三原色的係數需
各不同才得以清楚顯示各個顏色的層次而(公式 1)正好符何此條
件也因此我們透過(公式 1)將彩色影像(image)作灰階的轉換的原因
32 灰階的直方圖(Gray Histogram)
經由 31 方式轉換成灰階影像圖(如圖 32-1)而得到新的 Pixel 值
再統計出灰階影像中所帶有灰階 的像素個數 做為影像灰階統計
直方圖如圖 32-2 所示水平軸對應到灰階值 kr垂直軸對應
的值
kr kn
kk nrh =)(
255210 hellip=k
圖32-1 轉換後的灰階影像圖 圖32-2 灰階影像的統計直方圖
- 11 -
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
直方圖在暗的影像中直方圖的成份集中於灰階度低(暗)的
一邊同理明亮影像的直方圖成份傾向於灰階度高的一邊(亮)
一個低對比度影像的直方圖將是狹窄集中於灰階度中間而高對
比度影像的直方圖成份涵蓋較寬廣範圍的灰階刻度如圖32-3所
示四種基本影像形式及所對應的直方圖
32-3
對應的直方圖
圖 四種影像形式暗亮低對比度高對比度以及它們所
- 12 -
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
33 直方圖等化(Histogram Equalization)
一個影像的直方圖均等化代表灰階度為 之像素的個數除以總
像素所形成的函數可視為機率密度函數的一個估測直方圖均等化
過的一幅影像的灰階是擴展的了而且 其目的是將原影
像的直方圖修整成某個所要的形式例如可將具有狹窄直方圖的低對
比度影像延展其直方圖變成對比度較高的影像而達到影像增強的目
的假設我們先令變數
kr
總是變白的
r 代表將被增強的灰階像素灰階值位於區間
之內如(公式2) 對原始影像中的每一個像素灰階[ ]2550 r 產生一個灰
階
s
)(rTs = 2550 lele r (公式2)
其轉換函數 滿足下列情況
(a) 在 區間上是單值且單調遞增的
(b) 對於
)(rT
)(rT 2550 lele r
2550 lele r 255)(0 lele rT
在(a)中 需要單一的值是保證反轉換會存在而單調的條件使
其輸出影像維持從黑到白逐漸增加的順序情況(b)確保輸出影像灰階
範圍會和輸入影像的灰階範圍一樣如圖33-1顯示滿足這兩種條件的
一個轉換函數從 回到
)(rT
s r的反轉換表示成
- 13 -
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
)(1 sTr minus= 2550 lele s (公式3)
圖 33-1 單值且單調遞增的灰階轉換
r dwwprTs0
)()( (公式 4)
其中 是虛設的積分 換函數的
而滿足條件(a)同理變數在範圍
在影像處理上有個特別重要的轉換函數有這樣的型式
r
int==
w 變數此轉 結果是單值且單調遞增因
[ ]2550 也滿足條件(b)而在一幅影
像中的灰階 發生的機率可近似為 kr
nnrp k
k =)( 255210=k (公式5)
在(公式5)中n是影像中的像素總數 kn 是有灰階 kr 之像素的數目
(公式4)式所給之轉換函數為
sum sum= =
===k k
jn
j jjrkk n
rPrTs0 0
)()( 255210=k (公式6)
( 6)經由 公式 式將輸入影像中灰階 kr 的每一像素映射到輸出影像
- 14 -
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
中灰階 的對應像素中獲得一個處理過的(輸出
對 式中所給的轉換(映
)稱為直方圖等化(histogram equalization)此轉換滿足先前所描述的
件(a)和(b)灰階直方圖經過(公式6)的轉換確實有將輸入影像的
方圖擴展如圖34-1所示使直方圖等化過的影像延展比較完整範圍
灰階度的傾向
)影像如先前所指出ks
)( kr rP kr 的圖稱為直方圖(histogram)(公式6)的
射
條
直
- 15 -
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
34 色彩平衡法(Color Balance)
所謂的色彩平衡法主要是用來平衡RGB色彩空間中最亮和最暗
的部份通常在拍攝環境中可能因為光線影響而導致整張影像偏向於
某一顏色使得在人臉影像擷取部份往往因所偵測顏色不準確而造成
偏誤的情形發生因此利用色彩平衡的方法可調整並增加輸入影像
的色差與明亮使拍攝場景之光線不影響所望偵測顏色的正確性其
作法很簡單主要包含下以幾個步驟
步驟1計算拍攝影像中各RGB的平均值並分別設定為AverR
AverGAverB再利用此三數取其平均值為Gray World
Value其公式如下
3
)( AverBAverGAverRlaueGrayWorldV ++= (公式7)
步驟2調整影像中每個元素的RGB值其調整公式分別如下
AverBlueGrayWoldVaBPBP
AverGalueGrayWorldVGPGP
AverRalueGrayWorldVRPRP
)()(
)()(
)()(
=
=
=
(公式8)
步驟3將所有元素的pixel值範圍調整為[0255]其公式如下
- 16 -
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
factorBP
BP
GPGP
)(255)(
)(255)(
=
= (公式9)
利用Webcam擷取出來兩張明暗不同的彩色影像(圖35-1(a)(d))
來做影像增強測試實驗第一張影像(a)
factor
factorRP
BPGPR
)(
)()()(
=
35 實驗結果
是屬於較暗的影像將圖(a)
做灰階轉換轉換成灰階影像圖(b)再將圖(b)做灰階直方圖其結
果為圖(g)接下來將圖(g)做直方圖均化其結果為圖(h)最後輸出
的灰階影像會比原始影像來的清楚明亮第二張影像(d)則是屬於低對
比度的影像將圖(d)做灰階轉換轉換成灰階影像圖(e)再將圖(e)
灰階直方圖其結果為圖(i)接下來將圖(i)做直方圖
為圖 最後輸出的灰階影像會比原始影像的輪廓來的清晰
RPPfactor
)(255maxmax=
做 均化其結果
(j)
- 17 -
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
圖 為彩色原始圖 的灰階影像 為 經直方圖等化
後的結果 為彩色原始圖 為 的灰階影像 為 經直方圖
化後的結果(g)為(b)的直方圖(h)為(c)的直方圖(i)為(e)的直方
(j)為(f)的直方圖
本系統以色彩平衡處理為拍攝影像之色差調整及增強的前處
其圖如圖35-2所示圖中(a) (b) (c) (d)及(e)為原始拍攝影像(f)
g) (h) (i)及(j)則為色彩平衡處理後之影像
35-1 (a) (b)為(a) (c) (b)
(d) (e) (a) (f) (e)
等
圖
理
(
(i) (j)
(a) (b) (c)
(g) (h)
(d) (e) (f)
- 18 -
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
(a) (b) (c) (d) (e)
(f) (g) (j)
圖35-2 (a) (b) (c) (d)及(e)為原始拍攝影像(f) (g) (h) (
及(j) 則為色彩平衡處理後之影像
i)
(h) (i)
- 19 -
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
第四章 人臉偵測
人臉偵測最主要是從複雜背景環境中找出人臉所使用的方法
是膚色偵測和高維度的高斯密度膚色偵測的方法有YCbCr 色彩
空間RGB 色彩空間HIS 色彩空間本系統選擇 YCbCr 作為膚色
偵測方的色彩空間主要因為下列兩點理由支持第一YCbCr 被廣
泛的應用眾多電腦視覺技術上例如 JPEG 影像壓縮MPEGH236
視訊壓縮Webcam 等等因此只要我們發展同一個色彩空間的膚色
偵測模型之後就可以直接應用在本系統所採用的 Webcam 所拍攝出
的影像格式中了而不必再另外轉換成其他色彩空間這是 YCbCr
特有的價值之一第二膚色分佈在 CbCr 上有不錯的集中效果主
要是在各色人種的膚色分佈在 CbCr 上的差異不大因此只要透過三
維 RGB 轉換成二維 CbCr就可大大降低膚色分類上的複雜度首先
是利用膚色偵測將可能是人臉擷取出來再依擷取出來的結果做高維
度的高斯密度將人臉部份標示出來
41 膚色偵測(Skin-Color Detection)
本研究主要是利用膚色偵測的方法來擷取人臉相關的部分一般
膚色偵測技術主要都用在人臉偵測對於一張人臉影像而言膚色佔
人臉大部分的面積因此我們以膚色偵測的技術來作為人臉偵測技
- 20 -
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
術的基礎所以我們採用膚色所佔非膚色部分的比例[4]方式來作為
我們判別的根據與標準也就是說假設膚色佔非膚色部分的比例超
過一個臨界值我們就可以判定為人臉並擷取出來其方法是使用
Binary YCbCr 膚色模型[4]及訓練膚色分類器[4]的流程
RGB 轉成 YCbCr 之轉換矩陣可方程式(公式 10)所示其中 Y
為明亮程度其值為 16 到 240代表明亮程度由暗到亮共 225
個區間而 Cb 和 Cr 分別代表色差與色度其 Cb 值為 excursions
of +112Cr 值為 offset of +128
二 機率模型(Probability Model)
膚色機率模型[5]是針對每一種顏色計算其是膚色的機率膚色機
率模型之建構必須先建立膚色樣本及非膚色樣膚色樣本是從人臉的
皮膚
7 Cb = -016874 -033126 050000 G + 128
一 YCbCr 色彩空間
Y 020990 058 00 011400 R 0
Cr 050000 -041869 -008131 B 128 (公式10)
部份分割出來但該如何取得非膚色的部份呢一個合理可行的
方法就是用隨機的方式選取影像再以人工方式將人臉影像中膚色的
部份去除當作非膚色的樣本不管是膚色或非膚色樣本的數量一
- 21 -
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
定要達到一個合理的數量否則將無法得到一個實用的膚色機率模
型在此以 RGB 色彩模型為例來說明膚色機率模型之建構
令 Ts 為膚色樣本像素數量的總合
令 Tn 為非膚色樣本像素數量的總合
r]為某一個 CbCr 值在膚色樣中像素的數量
令 Cn[CbCr]為某一個 CbCr 值在非膚色樣本中像素的數
量
則在
令 Cs[CbC
膚色中某一 CbCr 之機率可以用下列式子表示
TsCs[CbCr] Skin)|P(CbCr = (公式 11)
之 用而在 膚色中某一 CbCr 機率可以 下列式子表示 非
TnCbCr]Cn[ NonSkin)|P(CbCr = (公式 12)
當某一顏色之膚色機率大於門檻值 2 時則該顏色被判定為膚色反之
則為
非膚色可下列式子表示
SkinCbCr isingt 2NonSkin)|P(CbCr
Skin)|P(CbCr
SkinNonCbCr minusisinlt 2NonSkin)|P(CbCr
(公式 13)
Skin)|P(CbCrif
- 22 -
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
三 訓練膚色分類
本研究駐要是利用 Binary 理論來做人工訓練膚色分類模型的所
有流程 圖 4-1 所示此流
程主要步
步驟一利用人工方式分別擷取膚色部分和非膚色部分
我們對資料庫中的每一張影像都分別以人工方式切割出
影像中的膚色部分和非膚色部分如圖 4-2 所示(a)為原始
人工切割色膚
部分之一些範例
步驟二將膚色部分和非膚色部分都分別累計到膚色類和
把每張影像
上之膚色部分(或非膚色部
到其相對應的 YCbCr 色彩空間然後累計到膚色類(或非膚
色類)CbCr 膚色機率統計圖上如圖 4-3 左圖為被分類出非
膚色類之 CbCr 膚色機率統計圖圖 4-4 左圖為被分類出膚
色類 CbCr 膚色機率統計圖
驟三對 255x255 個 CbCr 作 Binary
訓練影像的膚色類和非膚色類的 CbCr 分佈機率和 YCbCr
訓練影像一共 112 張而主要訓練流程如
驟可分成三個步驟方法
人臉影像(b)為人工切割非膚色部分和(c)為
非膚色類的 CbCr 色彩空間的膚色機率統計上
分)的每一像素之 RGB 值轉換
步 理論分類利用統計
- 23 -
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
膚色模型的方法來分類各個 CbCr 為膚色類或非膚色類
本研究取最接近膚色的值為 2所得到的 Binary YCbCr 膚
色模型結果如圖 4-4 右圖所示
膚色模型之後只要簡單將欲分
類的 RGB 像素轉換成 CbCr就可以簡單找出膚色範圍如圖 4-5 所
示為利用此訓練好的膚色偵測系統來偵測膚色的一些例子最後我
們採用簡單的搜尋演算法將相鄰的膚色組成同一群集再加上設定
一個膚色面積佔全部面積至少約為 30作為過濾包含大量膚色影像
之門檻值來過濾出包含大量膚色之影像
透過訓練出來的 Binary YCbCr
- 24 -
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
圖 4-1 Binary YCbCr 膚色分類模型訓練流程圖
從人臉圖庫依序讀入影
像
利用人工方式分別擷取
膚色部分和非膚色部分
分別對膚色類和非膚色
統計
類的 CbCr 色彩空間的
是否為資料庫中最
後一張影像
開始
對 255x255 個 CbCr 作
Binary 理論分類
CbCr 為
P(CbCr|Skin)
P(CbCr|NonndashSkin) gt 2
CbCr 為
非膚色
類
膚色類
所有 CbCr 分
類皆完畢
得到 Binary YCbCa膚色
分類系統
結束
True
Ture False False
Fase Ture
- 25 -
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
圖 4-2為膚色
2-20bmp
人工切割膚色
圖
2-20-2bmp
2-25bmp
範例圖(a)為原
(c
(b
(a
- 26 -
2-32bmp
始影像圖(b)為
)
2-45bmp
3bmp 2-5
2-80bmp
2-88bmp
2-67bmp
2-80-2bmp
2-80-2bmp
2-25-2bmp
2-32-2bmp
)
2-45-2bmp
2-53-2bmp
2-67-2bmp
2-80-1bmp
2-20-1bmp
2-25-1bmp
2-32-1bmp
)
2-45-1bmp
2-53-1bmp
2-67-1bmp
2-80-1bmp
非膚色圖(c)
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
圖 4-3膚色 CbCr 機率分佈圖(一)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的非膚色圖(Non-Skin)該圖右邊垂直黑條表示機率從 0 到
1 表現在影像上的灰階值為從 250 到 0右圖為完整的人臉影像
圖 n)
圖 4-4膚色 CbCr 機率分佈圖(二)橫軸為 Cb縱軸為 Cr左圖為
人臉影像的膚色圖(Skin)該圖右邊垂直黑條表示機率從 0
表現在影像上的灰階值為從 250 到 0 Binary
結果
時
(Skin + Non-Ski
到 1 時
右圖為人臉影像圖經
result 轉換後
- 27 -
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
圖
(b)
3-1-1bmp
(a)
4-1-1bmp
4-5測試 Bin
(b)為使用 B
3-2-1bmp
4-2-1bmp
ary YCbCr 膚色模
inary YCbCa 膚色
- 28 -
3-3-1bmp
4-3-1bmp
型偵測結果(a
偵測後之結果影
3-4-1bmp
4-4-1bmp
3-5-1bmp
4-5-1bmp
3-6-1bmp
4-6-1bmp
3-7-1bmp
4-7-1bmp
3-8-1bmp
4-8-1bmp
)為原始影像
像
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
42 最佳化臉部膚色置位偵測
最佳化臉部膚色置位偵測是一個能適當的擴充與侵蝕膚色區域
並去除所有雜訊的演算法提供高準確性的人臉置位以利縮小臉部
擷取方法中所需的偵測範圍促使系統整體的效率及準確率大幅的提
升最佳化人臉置位是以上節所述之二元圖 ( )zb 經由以下三個濾波器
予以偵測而得之
( ) ( ) ( ) ( ) ( )intint== dzzzbzzbzb kkk ττ (公式 14)
其中濾波器 ( )zkτ 的運算法則如下為
( )⎪⎩
⎪⎨
⎧
===ge=lt
gt= 0150)2()3(321
)(
)(21
2
1ωω
ω
ωτ LSLSk
kLSMnMs
kLSMnMs
zk(公式 15)
與 圖 範圍的 本與非膚
而
( yxz =Ms Mn ) 之遮罩為二元 膚色成 色成本
)k 為一用以區別所求人臉膚色位置的Log-Sigmoid門檻值函數(LS
2ω 表示膚色及非膚色 1ω 與
系統中 為第一個執行的濾波器它可以有效的偵測出人臉
整體位置並去除所有小區域的雜訊公式如下
)1(LS
( )
21
510exp1190)1( ⎥
⎦
⎤⎢⎣
⎡minustimesminus+
times=MnMs
LS 90)1(0 lelt LS (公式 16)
- 29 -
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
接著第二個濾波器 50)2( =LS 用以侵蝕臉部區域使其成為一相似
於人臉形狀的橢圓形最後第三個濾波器可將人臉膚色位置範圍縮
到最小並完全去除所有相似於膚色的背景及雜訊其公式如下
( ) 5055110exp1
140)3( +⎥⎢ minustimestimesminus+times=
MnMsLS 90)3(50
⎦
⎤
⎣
⎡lelt LS (公式 17)
在最佳化臉部膚色置位偵測後系統將藉由臉部位置的二元圖並
利用Moghaddam的貝氏分析高速的偵測並準確的擷取出影像中系統
Optimal Face Detection Algorithm
Step 1 Set r=1 Set s=1
分析所需的人臉區塊其演算法簡約步驟之敘述如下
( ) ( ) ( )intint= dzzzbzb sr τ
Step 2 if ( ) do
maskSizeMs ge s=2
r=r+1
( ) ( ) ( )intint minus= dzzzbzb srr τ1
Step 3 s=3 ile
end if
Step 4
wh maskSizeMs ge ) (
( ) ( ) ( ) ⎥⎦
⎤⎡ ⎞⎛ ++ cjri⎢⎣
isin⎟⎠
⎜⎝
++= 12
2| ωbcrcjriIfjiS r
- 30 -
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
43 臉部偵測與擷取
在臉部特徵擷取方面我們以IIS人臉影像資料庫(50張)為訓練樣
本應用PCA (Principle Component Analysis)計算出人臉影像特徵之投
射空間向量 特徵值 及主成份空間長度Φ Λ M 其公式如下
ΦΛ=ΣΦ (公式 18)
在此 Txx sdot=Σ mxx minus= x為訓練樣本影像而 為訓練樣本影像之
平均值
方面我們使用了一個理想的方法來估計高維度的高
斯密度假設我們已經從訓練的樣本中估計出
m
在臉部搜尋
x與共變數 的分佈
入的影像相 率為
sum
則一張輸 似
(( ) ( )
))
( 21
2
1
||
21exp
|sum
⎥⎦⎤
⎢⎣⎡ minusminusminus
=Ωsum minus
N
Txxxx
π (公式 19)
中 度之長度值 然而根據 PCA 公式(如公式 18)我
們可以將此貝氏機率導出成兩個獨立的高斯密度
2xP
其 N 為影像維
( )( )
( )
( )( )
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛ isinminus
sdot
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡⎟⎟⎠
⎞⎜⎜⎝
⎛minus
=Ω minus
=
=
prod
sum2
2
1
21
2
1
2
22
exp
2
21exp
|ˆMNM
ii
M
M
i i
i xy
xPπρ
ρ
λπ
λ (公式 20)
- 31 -
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
( ) ( )ΩΩ= |ˆ| xPxP FF
[ ]Nλλλ ||| 21 [ ]nφφφ ||| 21=Φ =Λ iii xy φ= 而理想的 ρ值可藉由合
適成本函數 )(ρJ 最小化求得其成本函數如下
sum+=
⎥⎦
⎤⎢⎣
⎡+minus=
N
Mi i
iJ1
log121)(
λρ
ρλ
ρ (公式 21)
最小化成本函數可以 0=partpartρJ
計算出
sum+=minus
=N
MiiMN 1
1 λρ (公式 22)
- 32 -
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
44 實驗結果
我們使用的影像資料庫有兩個I 臉資
有表情的影像（自
然表情高興悲傷生氣猜疑）使用數位相機 Sony T33影像
大小皆為 128x128 像素然而由於本系統並沒有自動調整人臉影像
率
達
IS 人 料庫(圖 4-6) 有 50 張自
然表情的影像 自行拍的資料庫（FDB）有 173 張
大小的正規化前置處理功能以致輸入影像的人臉若佔整個影像比
21 或 2
1 以上即會照成臉部偵測的錯誤與擷取位置的不正確實驗
出來的結果成功率為 9249圖 4-7 中(a)為原始影像(b)為臉部基
礎膚色偵測(c) (d)與(e)分別為第一個第二個與第三個最佳化臉
部膚色置位濾波器濾波後的臉部膚色置位圖(f)(g)(h)與(i)分別
為(b)(c)(d)與(e)的二元圖(j)為藉由貝氏演算法所取得的人臉臉
部偵測圖圖 4-8 為測試人臉偵測其中(a)(b)(c)與(d)是利用皮
膚偵測出影像人臉位置(e)(f)(g)與(h)為遮罩中擷取出的人臉影
像
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20
21 22 23 24 25
26 27 28 29 30
31 32 33 34 35
36 37 38 4-6 IIS 圖 人臉資料庫
- 33 -
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
(i) (j)(h)(g)(f)
(d) (e)(c)(b)(a)
一個第二個與第三個最佳化臉部膚色置位濾波器濾波後的臉部膚色
貝氏演算法所取得的人臉臉部偵測圖
圖 4-7(a)原始影像(b)臉部基礎膚色偵測(c) (d)與(e)分別為第
置位圖 (f)(g)(h)與(i)分別為(b)(c)(d)與(e)的二元圖(j)藉由
(h)(g)(f)(e)
(d)(c)(b)(a)
圖 4-8測試人臉偵測(a)(b)(c)(d)是利用皮膚偵測出影像人臉
位置(e)(f)(g)(h)為遮罩中擷取出的人臉影像
- 34 -
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
第五章 臉部表情辨識
人臉表情辨識人臉表情辨識的方法主要分為兩大類利用整張
臉的全部分析（Holistic）和將臉部割成許多區塊的局部分析（Local）
[6]全部分析（Holistic）最主要是利用整張人臉的模型來分析情緒
方法有 FACS這方法是對於人臉表情的一套標準化的描述方式依
部份分析(Local)是將人臉局部區域的邊緣用一個參數去表示主要集
中在非短暫臉部特徵（眼睛眉毛和嘴巴）和短暫的臉部特徵企分析
拫據特擷取的結果經由一些方法來直接判斷表情其所採用的方法有
神經網路（neural network）[8]表情特徵的向量計算[7]Gabor Wavelet
Transformation[13] hellip等方法
據人臉上肌肉的分佈找出肉眼可以區別的變化定義和臉部肌肉相
關的基本動作單元再經由這些動作單元的組合來判斷表情[11]而
- 35 -
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
51 參考文獻
一般人臉情緒辨識的方法可區分為利用整張臉的全部分析
(Holistic)或將臉部切割成許多區塊的局部分析(Local)兩大類[6]
全部分析(Holistic)最要是利用整張人臉的模型來分析情緒
其中每一個動作單元都代表著臉部的一個動作如內側眉毛上揚是一
個動作單元右邊嘴角上揚是一個動作單元hellip等等然後再經由這
些動作單元來判斷表情
區域的邊緣用一參數去表示主要
集中在非短暫臉部特徵(眼睛眉毛和嘴巴)和短暫的臉部特徵去做分
析根據特徵擷取的結果經由一些方法來直接判斷表情其大部分所
採用的幾種方法有類神經網路(圖 512-1)[7]表情特徵的向量計算(圖
512-4)[8]及 Gabor Wavelet Transformation[5]等方法
511 全部分析(Holistic)
512 局部分析(Local)
局部分析(Local)是將人臉局部
- 36 -
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
5121 類神經網路情緒辨識
一 特徵值計算
圖 512-1 類神經網路表情辨識架構圖
類神經網路
特徵點
計算特微值
表情
減去沒表情
- 37 -
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
1 利用擷取特
12 特徵點的
如下
bacegi kl
做影像的表
個特徵距離圖解
徵點來產生 12 個特微值是用來當
們由每張人臉影像的
座標計算出 13 (圖 512-2)計算方式
ase1 = (Jy + Gy)2
= |Cx ndash Bx| b = |By ndash base1| = |Dy ndash base1| d = |Cy ndash base1| = |Hy ndash Iy| f = |Ey ndash Fy| = |My ndash base1| h = |Ky ndash base1| = |Ny ndash My| j = |Ly ndash base1| = |Lx ndash Kx|
13圖 512-2 臉部
12 個特徵值此
情特徵在特徵的擷取部份我
個特徵距離
= |Ay ndash base1| n =|Jx ndash Gx|
- 38 -
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
2 常態化使用一個在臉上不會變動的距離來常態化因為人臉特
中內眼角是不會變動的因此以兩個內眼內的距離當作一
不變量做常態化的動就可以得到 12 個經過常態化後的特
距離
arsquo= an crsquo= cn drsquo= dn ersquo= en frsquo= fn grsquo= gn hrsquo= hn Irsquo= in jrsquo= jn
3 利用這 12 經過常態化的距離來計算所需要的特微值先對每個人
選萬一張沒表情的影像當作基準影像然後再用現在要用辨識表
情的 12 個經過常態化的距離分別減去此基準影像的 12 個經過
aa minus=
F = =
F = hF = minus=
F = kF =
徵
個
徵
常態化的距離即為所需要用的特徵值
anF basen basen
bn bbF minus= basen
cn ccF minus=
basen dd minus Fdn basen
en ee basen
fn ffF minus=
basen gg minus basen h minus Fgn
hn basen
in ii
basen basenjj minus k minus kn basen
ln llF minus= j
n
- 39 -
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
二 類神經網路架構
在類神經網路的部份是使用倒傳遞類神經網路共有 4 層(圖
512-3) 第一層為輸入層共有 12 節點（即為計算出來的 12 個特徵
值）第二三層為隱藏層每一層各有 10 個節點最後一層為輸出
個輸出）
類神經網路有訓練 個階 訓練的階段用一些人
影像所得的特徵值來當輸入資料並且定八輸出的結果然後讓類神
經網路企學習並調整權動值等其誤差值小於一個程度之後即完成訓
練接下來的測試部份則是利用調整好的 weight 值來計算所輸
入的影像特徵值接近高興生氣沒表情以偶驚訝這四個種表情的程
度為何最後再根據輸出的 4 個值取值最高的代長這張輸入影像
表情
層有四個節點（即為高 沒 及驚訝四興生氣 表情以
及測試兩 段在
的
圖 512-3 類神經網路架構圖
- 40 -
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
5122 表情特徵的向量
圖 512-5 人臉上 16 個特徵點圖
圖 512-4 表情特徵向量計算流程圖
資料庫中表情圖片 資料庫中已知表情圖
取出特徵點 取出特徵點
計算特徵移動向量
投影特徵向量
決定最後表情
- 41 -
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
一 重新定位特徵點座點
- 42 -
利用特徵點(圖 512-5)去辨識人臉時需要對特徵點作三種處理
正規化 重新定座標 處理人臉的轉動
人臉在圖片裡的大小不一致 致取出特微點也會跟著改變所
以我們需要從新定義特微點的座點和正規化做法是先把每一個特徵
座標先減去兩眼內側的特徵點 然後在除以兩眼內側特徵
點的距離得到的即為新的特徵點座標
一個常數當作是調整座標值的大小
數學式如下
設(CxCy) 為兩眼內側特徵
的(PxPy)為新的特徵點座標(NPxNPy)為新的特徵點座標
導
點 中心座標
在這裡我們可以把座標再乘
上
為兩眼內側特徵點的中心點座標Dc
點
))()(()( DcCyPyDcCxPxNpyNPx minusminus= (公式 23)
處理人臉的轉動
由於在圖片裡
的偏移作修正對於頭向上仰向下仰或是向右向左轉是需要三維
二
人臉會有轉動的問題而我們只對正面人臉轉動
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
度座標在這裡我們省略只對於一張平面的座標的二維座標資訊
對於人臉轉動的問題是先處理完正規化重新定座標然後以水平軸
51 我們要修正的人臉轉動的偏移量
數學式如下
設以水平軸開始順時針轉動方向到兩眼內側的特微點連線的
角度為 T
(PxPy)為新的特徵點座標
(SxSy)為修正人臉轉動的特徵點座標
⎣
⎡PyPxSx
θθθθ
cossinsincos
(公式 24)
為起點逆時鐘轉動方向到兩眼內側的特徵點連線的角度 (圖
2-6)當作
⎥⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡minus
=⎥⎦
⎤⎢Sy
圖 512-6 人臉轉動的角度
- 43 -
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
三 計算特徵移動向量
1 統計表情特徵移動向量數學模式流程
設 ( ) ( ) ( ) Ny16Nx16KKNy2Nx2Ny1Nx1 為中性表情 16 個特徵點
( ) ( ) ( ) Ey16Ex16KKEy2Ex2Ey1Ex1 為有表情 16 個特徵點
2 定義特徵點移動向量
設)
( ) ( ) ( ) Vy16Vx16KKVy2Vx2Vy1Vx1( ) ( ) ( Ny16-Ey16Nx16-Ex16KKNy2-Ey2Nx2-Ex2Ny1-Ey1Nx1-Ex1
=
3
設
特徵點移動向量作平均為
( ) ( ) ( )( ) ( ) ( Vy1615Vx1615KKVy215Vx215Vy115Vx115
)
6My1Mx16KKMy2Mx2My1Mx1 =
(其中 15 是代表有一種表情裡 15 個人)
4 特徵點移動量為
( )MyiMyiMxiMxiDi times+times= i=1 2 3 17 (公式 25)
5 Normal 後的特徵點移動向量
( ) ( ) ( ) ( ) ( ) ( My16D16Mx16D16KKMy2D2Mx2D2My1D1Mx1D1
NMy16NMx16KKNMy2NMx2NMy1NMx1)
=
四 投影特徵向量辨識表情
每一種表情的移動量不一樣我們把不同表情的特徵點移動向量
- 44 -
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
乘上四種表情的權重而設定表情權重的想法在於加強作不同表情投
影後的值使不同的表情在同樣的特徵點上有更明顯的差異
1 重分配設計上採用 multi-catego
目的在於找出一組對於各種表情的經過投影後的最佳權重值把
提升
權 ry Gradient Descent 的方法
每一個表情的表情判斷正確率
- 45 -
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
5123 基於 Gabor 小波轉換之臉部表情特徵擷取
一 影像的預先處理
1 分割影像中含有表情資訊的部位
在臉部表情特徵型態分為無表情和有表情無表情呈現出來的是
人的基本表情狀態如看到一個人你知道這人是誰但是他沒有呈
現出來任何喜怒哀樂而有表情呈現出來的是一個人各種表情
狀態如看到一個人你知道這人是誰並且知道他現在是喜怒
哀樂由於嘴巴和眼睛是最容易包含有表情特徵所以選取出那些
主要部位而忽視其他沒有包含情緒的部位如圖 512-7
圖 512-7 分割含有表情資訊的部份
2 表情資訊的影像正規化
在這部分做比率正規化是為了不讓原本來影像大小讓分
割出來的含有表情的影像大小不一致
- 46 -
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
二Gabor wavelet 轉換
人臉的影像利用 Gabor wavelet[9]做轉換再從不同的定位和頻率
來定義一套的廻旋係數而產生出來的那一堆系數為 Jets如圖 512-8
先把得到的人臉影像做 Gabor wavelets 再經過迴旋系數的計算產生
一個
性別年
齡的變化hellip等等）每個的基準點的 jets 集合就呈現出人臉系數的
大小是比對和識別上使用的
jet 再由 Jets 做為一般化的人臉的代表而一套的 Jets 指的是
一個基準點如圖 512-9 把 face bunch graph[10]作為臉的一般的表
現每堆像盤狀一樣的東西指是的一個 jet六個 jet 成一個 Bunch
每一個 Bunch 代表的是各個基準點（例如眼睛鼻子嘴巴hellip等等）
至於要幾個 jet 成為一個 bunch 是要看定義臉內要出現的大範圍可能
變化（例如不同類型的眼睛嘴鼻子鬍子或著由於
圖 512-8
- 47 -
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
二 用 Gabor wavelet transformation 來選取表情特徵
把含有表情資訊的影像分割成格子狀是因為一張影像所計算出
來的數值太大了所以把他分割成小格
圖 512-9
1 分割表情資訊的影像成格子狀
子而格子的大小主要取決於
表情特徵的詳細度和在計算結果時系統的時間需求裡當格子是較小
清晰的大小時可以獲得較多的細節（圖 512-10）
圖 512-10 分割含有表情資訊的影像成格子狀
- 48 -
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
2 建立表情影像的 Elastic Graphs
使用 Gaboer wavelet 廻旋系數的不同方位和頻率獲得向量數值
在分割成格子狀的表情影像的每一格子的中心計算 Gabor 系數的特
徵向量後之所有的特徵向量構成一個表情影像的 Elastic Graph
（圖 512-11）
圖 512-11 所有的特徵向量構成一個表情影像的 Elastic Graph
在同一個人表現出不同的表情時從圖 可以看到同一個
人表現出不同表情的時候表情的特徵向量是大大的不同並且在
他們之間的 Euclidean distance 是較大的
三 實驗結果和分析
1 512-12
- 49 -
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
圖 512-12
2 不同人表現出個一個表情時從圖 512-13 可以看到不同的人有
相同表情的時候表情的特徵向量是類似的並且在他偫整間的
Euclidean distance 是較小的
圖 512-13
- 50 -
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
52 特徵擷取
二維Gabor小波已逐漸廣泛地被使用在電腦視覺應用與生物學
上在最近的研究中Gabor基底函數也充份展現出其可適於樣本細
胞模型之塑化(立體化)一個二維Gabor小波轉換可定義為影像 之
迴旋積
)(zI
( ) ( ) ( ) zdzziIzJ kk primeprimeminusprimeintint= ψ (公式 26)
公式裡的 Gabor 函數濾波器為
( ) ( ) ⎟⎟⎞
⎜⎜⎛minusminus⎟⎟
⎞⎜⎜⎛minus=
2expexp
2exp 22
σσσ ⎠⎝⎠⎝
2
ψ zikzzkkkkz TTk (公式 2
tT
7)
其中 與 k 為特徵波幅向量
(公式 28)
( )yxz =
( )Tvvv kkk micromicro ϕϕ sincos=
π2
2
2+
minus=
v
vk 8πmicroϕmicro = 43210=v
43
2
40 πππmicro = (公式 29)
參數 與v micro為濾波器中的 頻率與方向在此我們使用4
32
4
0 πππ等
四個方向及兩個頻率範圍高頻 210=v 和低頻 432=v
實作中我們會將一張 40 輸入影像執行 12 個不同的
率與方向的 Gabor 函數濾波器並將其降維三次(10x10 像素)接
x40 像素的
頻
- 51 -
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
著將其一列一列的掃描而轉換成一個新的 1x100 向量然後將 12
個 Gabor 輸出向量疊加成一代表性的特徵向量 (1x1200)圖 52-1 為
小波函數轉換範例圖
t
(3)(2)(1)
(12)(11)(10)(9)(8)(7)
(6)(5)(4)(3)(2)(1)
(b)
(12)(11)(10)(9)(8)
(4) (6)(5)
(c)
(7)
(a)
圖 52-1 (a) 原始影像(b) 2D-Gabor 小波函數轉換圖(1)至(12)為
432=v4
32
4
0 πππmicro = 2D-Gabor 小波函數轉換圖(c) 3D-Gabor 小
波函數轉換圖圖(c)中(1)至(12)分別為圖(b)中(1)至(12)的 3D-Gabor
小波函數轉換圖
- 52 -
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
53 特徵辨識
在此我們使用一鄰近法則與相似角度的 Cosine similarity
measure (CSM)基礎辨識方法以求得最高相似影像特徵值其公式
如下
jtest
jtestj tt
ttd
sdot= (公式 30)
其中 為輸入測試之影像特徵向量 為資料庫中已存在的影像特
徵向量 為 與 的相似度且
testt jt
jd testt jt 10 lele jd
- 53 -
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
54 實驗結果
本系統以自拍表情影像資料庫（FEDB）來做表情訓練以及測試
在 FEDB 裡有 11 個人共有 135 張影像分別為無表情高興生氣
悲傷在訓練方面訓練樣本從 FEDB 裡取出 10 個人總共有 130
影像分別有無表情高興生氣悲傷
面我以即時 Webcam 的影像擷取分析與辨識其結果如圖 5-1 所示
(d)(e 訓練樣本裡 10 個人中的
其中 4 個其輸出介面會顯示出人的名字與他（她）的拍照時的心情
並會利用語音輸出
張 驚訝 5 種表情在測試方
(a)為陌生人表現出沒有表情的結果在此系統陌生人定義為沒有經
由訓練的人皆為陌生人(b)(c) )為
- 54 -
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
(e)
(d)(C)
(b)(a)
圖 5-1表情辨識實驗結果
- 55 -
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
第六章 系統操作
本系統介面以網頁方式嵌入 Java Applet 元件以簡單易懂的模式
呈現其操作步驟如下
步驟一啟動表情辨識語音系統的拍攝介面
圖 6-1 影像拍攝介面
- 56 -
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
步驟二由 WebCam 拍 圖 6-2 所示紅方框為
影像儲檔後的範圍大小
攝測試人員並儲存圖片
圖 6-2 拍攝與儲存之操作圖
- 57 -
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
步驟三啟動 Matlab 進行表情辨識分析圖 6-3 為使用者分析介面
圖 6-3 Matlab 分析介面
- 58 -
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
步驟四按下分析介面中的 Analyze 按鈕(如圖 6-4 紅色圈處)稍微
等待幾秒分析處理後測試人員的表情分析結果將回到網頁方式呈
現如圖 6-5 所示
圖 6-4 Matlab 分析之使用者介面
圖 6-5 網頁方式之表情輸出結果
- 59 -
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
步驟五在表情分析完成後可由依按鈕所示取得各分析階段之測試
圖片圖 6-6 為原始影像圖 6-7 為色彩平衡影像圖 6-8 為最佳化
人臉膚色位置偵測圖 6-9 為臉部位置偵測與擷取
圖 6-6 顯示原始影像
圖 6-7 色彩平衡影像
- 60 -
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
圖 6-8 最佳化人臉膚色位置偵測
圖 6-9 臉部位置偵測與擷取
- 61 -
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
第七章 結論
人臉表情辨識的方法主要是擷取人臉影像上的表情紋理特徵變
化以進行分析及辨識在系統實作的過程中由於視訊球(Webcam)
拍攝取得的影像常因背景環境與光線變化等影響造成人臉測試影像
與訓練樣本的膚色色調不一致導致臉部位置的擷取造成誤差和偏
移因此在視訊球擷取影像之後系統利用色彩平衡演算法以均衡
並增強影像 R G B 三色之色彩空間值使臉部膚色位置之偵測準確
率提升臉部位置的擷取也因而更為精確在人臉位置之偵測與擷取
部分由於本系統並沒有自動調整人臉影像大小的正規化前置處理功
能以致輸入影像的人臉若佔整個影像比率達 21 或 2
1 以上即會照成
臉部偵測的錯誤與擷取位置的不正確然而目前尚必須要用人工的方
式調整視訊球(Webcam)與人之間的距離直到最佳的輸入影像為止因
此在未來本系統的發展我們將會在經色彩平衡處理之影像後增加
Optimum Normalization Algorithm (ONA)的臉部正規化演算法以克
服拍攝影像中人臉角度的扭曲與大小的不一而在表情辨識的部分
系統目前是將擷取出的人臉影像與資料庫中的測試人臉影像一一比
對以相似度為最高的測試人臉影像當作我們所判定情緒的依據然
而當資料庫中的影像資料愈多時將會照成整個系統執行效能大幅降
低因此所以本系統未來發展的方向將包含以下幾點
- 62 -
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
1 提供自動調整影像 化前置處理功能
2
3 將本系統與網際網路結合以提供未來 e 化研究發展中不可或
缺的系統設備
中 ONA 的人臉正規
發展更佳的表情辨識演算法以提升系統執行效能
有了以上幾點的改善本系統將更能符合使用者需求並且在現
今網際網路極為發達的時代若能將本系統結合網際網路應用於企業
的行銷遠距教學hellip等則此系統擁有無限之商機
- 63 -
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
參考文獻
[1] T ldquo ldquo
文集2000 年
[2]
識rdquo國立台灣大學論文集1996 年
[3] 繆紹綱ldquo數位影像處理rdquo普林斯頓國際有限公司2004 年
[4]
集2003 年
官有星 以內容為基礎之色情影像偵測 義守大學論文集
[6] Juergen Luttin ldquoAutomatic facial expression analysisrdquo IEEE Pattern
Recognition Society pp259-275 2003
[7] 蘇芳生 ldquo人臉表情辨識系統rdquo國立中正大學論文集2004 年
[8] 吳明衛ldquo自動化臉部表情分析系統rdquo國立成功大學論文集2003
年
[9] Zhenjiang ldquoFacial Expression Features Extraction Based On Gabor
Wavelet Transformationrdquo IEEE International Conference On
Systems 2004
[10] Laurenz wiskott Jean-Mare Fellous Norbert Kruger and Christoph
von der Malsburg rdquoFace Recognition by Elastic Bunch Graph
Matchingrdquo In Intelligent Biometric Techniques in Fingerprint and
Face RecognitionCRC presspp355-396 1999
[11] 陳皇明ldquo臉部表情辨識系統－以 FACS 為導向rdquo國立台灣大學
論文集2003 年
[12] Michael Lyons and Shigeru Akamatsuldquo以模糊推論進行臉部動作
元之分析與辨識rdquo國立東華大學論文集2004 年
蔡佳津 自閉症兒童臉孔情緒處理之研究 國立政治大學論
許惠淳ldquo缺損型與非缺損型精神分裂症患者對臉部情緒的辨
胡冠宇ldquo基於膚色之裸體影像偵測之研究rdquo國立成功大學論文
[5] ldquo rdquo 2003
年
- 64 -
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
[13] M J Lyons S Akamats d J Gyoba ldquoCoding facial
expressions with Gabor waveletsrdquo in Proc Third IEEE int Conf
[14] Michael Lyons Michael Schuster and Shiegeru
Gabor-Wavelets-Based Facial Expression Recognition Using
Multi-Layer Perecptronrdquo 2004
cessing pp 1340-1343 2004
t Representationrdquo IEEE Trans Pattern Analysis and Machine
[17] Aristotle University of
Informatics rdquoICA and Gabor Representation For Facial Expression
Recognitionrdquo 2003
u M Kanachi an
Automatic Face and Gesture Recognition pp 200-205 April 1998
Zhengyou Zhang
Akamatsu ldquoGomparison Between Geometry-Based and
[15] Y Z Lu and Y W Zhang ldquoFacial expression recognition based on
wavelet transform and MLP neural networkrdquo in Proc Third IEEE int
Conf Signal Pro
[16] B Moghaddam and A Pentland ldquoProbabilistic Visual Learning for
Objec
Intelligence vol 19 no 7 pp 696-710 July 1997
IBuciuCKotropoulos and IPitas
Thessaloniki GR-54124Thessaloniki Box451GreeceDepartment of
- 65 -
- 封面
- 摘要誌謝目錄
- 內容
-
