【Android论文栏目提醒】:网学会员为需要Android论文的朋友们搜集整理了基于android平台的手势跟踪技术研究 - 毕业设计相关资料,希望对各位网友有所帮助!
Southwest Uni verSity of Sci ence and Techno I ogy Master Degree Thes S Study on Hand Gestu re Track i ngTechni que Based on And roi d PI atform Grade 2009 Candi date Lv di ngang Academ}c Degree AppI ed for Maste r Speci aIity Pattern Recognition and nte{Ii gent Systems Supervj sot Prof Wu BI n 独创一盹声明 奉人声叫所*空的
论文垃戏个人庄导帅指导F进行的岍究』作殷取得的研究成果。
尽找所知.除了丈中特圳加以标i_}=和戤澍的地方外.
论文中不包古其他人已经技表歧撰写过的研究成小t也不乜告为拄得IW南科技人学或就芒教育机构的学位戏hi-I e而使川过的村抖。
与哉14 f1:的肘忠对木日}宄所做的tllf.I竞献均已庄
论文中佧丁IW确的说明升表示丁l射恩。
*“:污谚l础…叭砂K,/、哆 关于
论文使用和授权的说【刿 木人宄仝r解村南科技人学柏X保常 健川学伸论立『『J舰定,即:r’校有权雠田学俺
论文的堑印仆.允许泼沦丈被舟阅_l僻阋 }&可咀公布浚
论文的伞郇』《l{|:分山择.可以采JI J彤印,缩印城托他虹制}段f*仃论史 保密的中仃
论文“解带后麻遵i}此规定 #扎导幻秘制“爹乡钱…w沙y、,“乒 西南科技大学硕士研究生学位
论文 第1页 摘要 随卉数字媒体技术的E速发展与7泛J赶J}J,人机突土.已经成为计算机领域tl- 个重要组成部分。
在人机变址领域r1I,下势交互是种新型帕,破为¨然的交Ⅱ方式,f!t:i’rl越束越多研发荇n勺哭注和藿税,已逐渐应用r智能家埘褂作感游戏领域。
人们对于{冉交扛ffj技术和F殴要求的越来越高,寻找一利·快递鲁捧的手势舱删与跟踪算法,20研制新型于势交Ⅱ没蔷的需求也越柬越迪叫。
小文蝌述了于辨舱测。
o跟踪的牡木胖论和算沾.分析了它们的独特性质‘,适川场特.‘虹}见丁迂川于Android嵌入』℃臆川、F台下的手势跟踪方法。
竹先,E成堆j:叭叶斯准!l!l|的自适臆闽缸肤也模型的建市与参数训练,接蓿以SIFT特祉抖换传统的矩形特iil,l、t川AdaBoost韩法训练F势检测级联分类器:然后完成链j一肚色与PGH匹配,墟j肤色与椭嘲形拟合阿种快述于辨跟踪方法:最后完成了Android环境rf一嵌入式旧像算法丌发、F白的搭建,竹rt‘jj观了Android心川J r发环境、OpenCV阁像库移植,NDK编群技术吱J见过fl_!, 正中竹助J:¨罐机秕觉、数‘≯H像处胖、谈一℃以别等理|^’j技术的芷持,(ii嵌入』C玎发、r台F’窭现f辫跟踪弹浊,通j』实测试小褂较灯f|cJ被粜,这会肘r毋史oj技术的盹川起到定健进作川。
关键词:r绪定7『_ r毋检测 r许跟踪霞-F系统 西南科技大学硕士研究生学位
论文 第n页 Abst ract With Ihe extensive application of digital media technologies and the rapiddevelopment of computer,interaction has becolne all important part in thecomputer field In the field ofhuman—computer interaction,gesture interaction isu novel and natural one whicb has gotten more and more attentions and be usedin the Smart home and somatosensory game gradually Gesture interactiontechniques and tools have becollle increasingly demanding,so it is urgent todevelop a fast and robust algorithm for detecting and tracking hand.and newtypes ofgesture interaction device This paper describes the basic theories and algorithms for detecting andtracking hand analyzes their characteri sties and situations of application.andproposes hand tracking methods for Android embedded application platformFirstly.it completes hand segmentation wllh adaptive threshold skin color modelbased on Bayesian criteria replaces harmike feature with Slf r to train cascadedclassifiers by using AdaBoost method And then it achieves hand tracking byPGH matcbing and ellipse fitting it introduces tbe scheme of building Finallythe platform lbr embedded image algorithm based o rl Android,presents Androidapplication development environment OpcnCV【ransDIanfatlon and NDKprogralnming skills especially This paper uses a reasonable method by ineal)s of computer vi sion digitalimage processing pattern recognition tbeory and tecbnology and achievesalgoritbm of band tracking in embedded image algorithm development platformbased on Android thi s wiII plomote the technoIogy ofgesture Interaction key,n/ords:hand gesture interaction hand detecting:hand tracking Androld 西南科技大学硕士研究生学位
论文 第…页 目 录1绪论 1 1 I课题7’景及意义 l 】2罔内外发展现状 l I 3
论文主攫研究内择 2 l 3 1沦文研究方法 2 l 3 2
论文内容驶创新点4 1 4沧文内容组织 52手势跟踪技术简介 6 21于势I割像预处日1 6 2 l l N像坫啦变换 7 2I 2颤色空问变换 8 2 1 3嘲像去哄 O 2 l 4阁像分削 2 2 F许特征提取 2 3下辨趴踪州关技术 : 2 31 F-辨检测 2 3 2于势嫌踪 2.4木#小绌 …3基于改进AdaBoost算法的手势检j则 20 3 1 AdaBoost尊法概述 3 2矩形特征和特征值 3 21矩J砖特征 3 2 2髟!分图 3 3矬、I红I|j}分类器 3.31弱分类器 3 3 2强分类器 3 3 3缄胜分类措 3 4 jl£j:SIFT’,AdaBoost的r势愉测 如¨¨H拍””邛∞Ⅻ 西南科技大学硕士研究生学位
论文 第1V页 3.4 2构建尺度空M 31 3.4 3特征点检测 33 3.4 4生成特征舶述r 34 3 4 5构建SIFT特征分类器 35 3 5 y-势分类器的0iI练 36 3 51选取”Ii练样本 36 3 5 2训练,』法 38 3 5 3训练结果 39 3 6木节小纠h 404快速手势跟踪 41 4I基j’肤色与PGH匹『1已的手势跟踪 4l 4】l选择颜色窄川 4I 4】2肌色概率fL厅圈 42 4l 3肤色自适虚闽值 44 4l 4下势轮廓提10( 45 4I 5成对儿f”Ih打阁匹配 46 4 2址j一椭脚形拟☆的于钭跟踪 47 4 2 l椭Ⅲ憎拟合 48 4 2 2多T-跟踪49 4 3本章小结 515 Android平台设计 52 51 Android’F台分析 52 5 l I Android系统架构 52 5 l 2Android JNI技术 54 5 2 OpenCV介纠 55 5 2 l慨述 55 5.2 20penCV牲木I【;l块 56 5 3搭健Android图像弗法、r秆 57 5 31蜘址Android府川』1发环境 58 5.3 2移“。
【OpenCV 59 5 3 3NDK编稚 60 西南科技大学硕士研究生学位
论文 第V页 5.4木々小}‘一 636实验结果与分析 64 61实验J=1=境 64 6 2实验结粜分析 65总结 68致谢 70参考文献 71读学位期间发表的学术
论文及研究成果 75 西南科技大学硕士研究生学位
论文 第1页1绪论1 1课题背景及意义 伴随着计算机与数字媒体技术的E速发艘,人机交H技术也得到了快速的发展。
手势以别足其中的一项关键技术,越束越多的国内外专家学者刀:始深入{卅究,往小刚领域已经取得一定成粜,也艟褂f辨以别成为当时一个比较热f J曲6J}宄课题。
在几’,人J_f:『m交流中,除了自然的Il语与史中袭然方式之外,还可以通过¨主体晰。
i进行表达,比盘¨表情、体态、眼神、千抖等.其r}J r许交流足鼓肇本的交互方式,Jl:n也是最为自然的’种交互疗式。
-,人类之间交H丰¨比,人机交瓦方式比较单一,也比较复杂,似足随着计算机性能的逐步提一曲,}}个领域对汁算机使J_|;|的逐步普及,人机交互技术已经得到越来越多研发行们n勺关注与潍入研究。
特别是最近儿‘I二艰.f机产业与平}厦l乜惦,“啦的^;,迎毁腱.社会生诵水、F的¨渐提商,脱宴tp人们对错能化,t活的嵩求越来越慢烈.m人机殳!L则足智能化水、r的集中体现,于势讲j;lJ技术义硅人帆变‘i力式中蛙为门然,也最为重要的交1L r段,已经成为人帆变 ’f:。
jjl域Ili必然n1研究趋辨。
fl 2007年地.Google公川斜l继’o多家下¥ILN造商、软什Jr发商、fB情运t¥崩枷一出片制造商.其H创建川放下持吐矫联眦, 2009印』I式发巾Androidl 5之历,Android操作系统外始得剑广泛的应川与-怔述的技胜。
现如今Android操作系统已经大量应ft¨。
手机、1F扳fU脑、F乜税、以及并种智能终端领域,个球n J场份额L经超过Symbian系统.跃胼个_f4}笫 。
nt铸歌公-d最新发伽的Android4 0中t2缝推¨i人脸以刖功能.柑埘j一人脆Uf刖. r坍以圳f越川范…会坐J¨,变’L,J』℃虹321〕f|然’o流畅。
所以,结合r井以别技术枉人机交H技术Il,的发腱趟计.对l一£I-Android’P台F的手势以别技术{】Jf究已然成为 种必前坚做的J.作。
1 2国内外发展现状 静态手辨Ul别‘J础态_下势【!{喇址下廿识别技术I竹叫种}二蟠打,℃,矮·It动态于坍b{圳足{.理fi!j州宄,『….动态r竹}j{圳分为t个阶段.即丁.*榆删、下*跟蹿’J卜讣Ul圳 。
’ol抒态下坍U{刖川比,!山态r坍U!);lJ实吼较为复杂,”“人机蹙’l领域f】轩更建祸,虹j泛的啦川。
西南科技大学硕士研究生学位
论文 第2页 ¨f扎酬外L绎f】许多学秆打一做手势以别^面的l:作,取得了1:错的成绩。
继早肝始j—Grimes利川数据于套的方法实现手势U{别.计儿扶褂AT&T“数土【l:手套”々利”。
1991年,富上通实验室对手势_【l{别系统十丌关方嘶进行研究.殴甜出能够叭别46个手辨符号的识别系统。
在台湾大学.Liang等人将-尊个VPL数抛手套作为手势输入啦蔷,可以成助i}{别台湾}语课本‘pffJ 250个堪本硎条,并11泌别率为90 5%。
Assam和Grobel通过在视频录像t{-提墩特}【l=.来川HMM技术川以”{别262个孤讧f由ni酬,il确率为9l 3%。
Starner等人改计个使川彩色摄像机进仃手辫跟踪的系统.能够对盖幽T-抖组成晌H订l耐性随机组成f|{J 40个短晤句r进行以别.以别#为99 2%。
2003年索尼公tq发巾了一款名J,j EyeToy手势泌别设备,哦设备可以感应游戏并的影像和干秘动作,记玩家进入游戏画面柬控制游戏的进行。
微软公同d 2005年推…Xbox360游戏十JI之后.2009 1Ejl:式推出Kinect,玩家llfLl通过浯舟、r许、动作、体感锋‘7游戏机进行证件=窆1J.。
,Ili,l外于辨证九J研究j』f棚比,我H于辨泌刖研究月:始叫问牛H时较晚.似址敞然取得r州薄的成绩。
喻尔滨川k大学的昊江琴、高文等通过HMM ‘J ANN的f皑合打法埘fi占进¨圳练U{刖,孤●:iIIIlj{刖,}:为90%。
简犯浯fq淤别率为92%。
之后.『:b史*汞lIt DGMM怍为景统的以);_J技术.町以淤__;_J巾…p-语-川由274个lq祭.阻别棼为98 2%。
北清华人学.祝远新0徐光锋八录川机器桃觉算浊,对孤一的动态f-辨进行说剐,、卜均雠种独讧下许的 U{别牢尚达97%。
虽然Ⅲ内外擘求学行埘于辨泌别技术迸}r丁深入的研究。
,”发,同叫 血玳褂了一』_=n1成就,七址型逃到实斯、J艇川的班求迁址n搬火的趴离。
{:要麒W扯J:P拇越 种采悱体,艇船多变儿。
^现多种形状1I特itI,忙进行下辨髓删’j跟踪时,秉川of, 的特征151ll,}{堆达到良好ff)赦粜。
蛳粜鼬合多种特征、采川”I器视赶厅法戏打3D厅泄:,则竹lJ:变群愈加复杂,¨弹lI}卜人.讯雌哒刮安时心踪。
所以将1三曲it{}}|J心¨j到蛮环心川巾.篮综合考虑算法的复杂程i艘、掩测fi}棒悱、跟踪班时悱,以圳精确r{:。
1.3
论文主要研究内容1 3 1
论文研究方法 r势阻刖fⅡ以“m多领域褂到』泛的心川。
通过 芷普通USB搬像头作为辅入雌符 就州以利川r讣挖圳¨””【,代锌雕h、捌键肚的椰分』JJ徙:j!jl—— 堕堕型垫查兰堡主里窒皇兰垡堡皇 塑!里过1辨‘U以翻阐fU r 15符、PPT、1{¨册:控制视频播放:j{},实现视频岫前进1,后越,实现音量的增大与碱小:控制冰箱与宅渊,实现州温与降温。
实现,:荚手势以{{;lJf|勺Im提灶鲁棒的手势检测与实时的下势跟踪算法,本文就是要对于势榆j则与手势跟踪关键算法避行研究与提高,并且应川0:Android嵌入式平台F,』{体流碰框图如图1一I所示: 哥 堆J Ha卅}{lf:与 苹于sIFT特征b 琏】.运动信 曼 测 AdaBoost算法 AdaBoost粥}i o帧t注 人 手 成对儿何直矗J 坫十肤色与椭 跟 图匹配斤法 呵7B拟台方法 踪 一。
靠, Andm甜系统终端啦蔷 图1一I手势跟踪系统框图 Fi g l—I The struct…of hand t racki ng 针对汁弹#【M世铆1域r”已“的手讣榆洲算法和下辨趴踪锋法,进n_分析 西南科技大学硕士研究生学位
论文 第4页 。
,总结·提出 种既伙速V.-鲁棒的手势跟踪算法,丌发牡_r OpenCV l剐像库『|cJ腑川B2序.1i{:将教掉法移植到肇于Android操作系统的限入武,r台F,墟过 多次州试’。
改进提高实验教粜。
峨于势跟踪方法通过肤色概:簪直方圈与堆于机;{};观世的AdaBoost算法对手势进行准确检湖1.采用基于肤色分击lj与椭圆形拟台,与成对几何&方图雎配两种方法对手势进行实时嫌踪。
在代码移植到 臌入,℃’F白之前t嵩将算法代码进行优化与测试.达到扯嵌入式‘l’台F运行的符项要求。
1 3 2
论文内容及创新点 本文完成的工作_;5乏正受贞献包括以F儿疗而: (1)虹观了在复朵情况F快速鲁柞的}讣检测算法。
对传统的AdaBoot馆7j、进行深入fiJf究’J分析.采用旋转平移不变特征SIFT蟹换HaH—like特征.训练_r坍枪测缎娃分类器。
(2)实现r视频巾运动手辫r|h:蛮¨寸跟踪的算法i5}汁。
粟川牡J:肚包分割弓椭驯Jf;拟☆,与成对JLf,4“方}引匹雕两种方法对手势进行实It,JN踪.M11fm Vc2008+0pencv2 1’r台F计泼疗法进行{『J真与测试。
(3)-E成Android嗽八』℃环境Fl划像算法Jf:发、F台的搭建。
【袭、},台乜捕Linux慌拟机、Android SDK、OpenCV 1,Android NDK,制川睦’|z台编泽文‘I’所川p-势跟踪算沤代四.-¨r L接近行n·Android嵌入J℃诖}箭;h ,K史的刨新血l篮fJ以F几个力cf|『: (1)采川旋转’r移4:变特缸SIFT许授Harr.1ike特自l:训练r势榆删绒联分类器。
陵怆删疗法以-F贽存n一键转’r移儿1;H Jt艘空M F都能够肘f-t}h进行准确扮驯。
(2)Android{if:八』℃’},台F”笈}辨跟踪技术。
陵’F台j|丑过Andorid.NDK酬川小地算法c/c十十代码.执“编洋操作蚰聒,Nft/,l,n“仃史f’lⅦJ以“接运{J。
仡Android嵌入J℃世*·l,.M时支f y以·线州试功能。
小史…绕符如何将r辨U九0技术J训{J刮旌j:Android系统的嗽入J℃、r台 F逃fr了仃觞的探i、,。
捉…的于抖检测‘,跟踪算法,融台丁机器视觉、献也’rM‘J形状匹配r 休,小仪能够准确的埘r辨进{1:检测,Hll,l能够对运动r协进fJ_‘戈IbJ的趴P;:,m¨W法运算砒I_『|计较小,移植到Android系统嵌入r℃、F舟F取褂丁较灯的诎粜,为限入式、P白F下丹跟踪。
,于辨U{圳技术提供了研ncJ畔扶逢径。
西南科技大学硕士研究生学位
论文 第5页1 4
论文内容组织 笫一章介绍了谍题研究背景t。
旧内外天干于势识别的研究现状,然后阐述了本文的研究方法与内容.明确了术文的主要贡献和创新点。
后续部分安排如F: 第二章对手势删踪技术进行了lr细的介绍。
对手势建模、手势分割、运动于辨跟踪以及手势识};|j的主要硎论与荚键技术进行了深入的探时,同时进行归纳与总结.绘…部分实验测试结果。
第三章主要研究了SIFT代臂Harr-like矩形特征,改进传统AdaBoost算浊训练手势检测分类器的方法。
一,矩形特征柑比较,SIFT是种多尺度下旋转’F移不变的特征,通用于埘变形复杂的手势进行检测。
实验证明政方法作手势发0二遮捎、变形、以及存铂嵘声的隋I兄F,是一种鞍为有效的于罅睑洲F段。
旃四章卜蟆研究了坫t:肤色分削ffJ PGH匹秕与椭嘶彤拟合丁冉跟踪算法。
在复杂背景条什F分剖肽也【爻域是丁势分割技术中一个有挑战的问题,文z{一通过心川 种仃敏的r}适应例值肽也分割算法对肤色区域进行准椭分荆.然后分}}l】利川成时儿¨九方『划l堕配方浊‘,基_|:椭图形拟合们F势趴踪算法进行’耍时跟踪,虫验刚猾两种方法均能够适J_}】j。
l扼八』℃改备。
第h尊j葵l训迷了措矬蛙】‘Android操作系统的嵌入』C丌技、r台,史巾弹法均坫J:H形库OpenCV”发,编枉语;’,为c++. Android L层成用程序为Java手【i!胖L吾。
’;.蛆过采川JNI技术,往}联Java应川程序t|t调川F层c++r坍U!,;Ij算法侔.使得成f『J“JF能够扫·慨入,℃、F台F良好的逆行。
辩,i尊l:耍X,I T-坍检删、手势州踪_f|I于势以5jI』弗浊的实验数槲rI实验结果j』f行分折与总结。
同时对水文的l:作进行了总结.』{:对术求于丹跟踪技术的肼究方向和办法进行了削析。
西南科技大学硕士研究生学位
论文 第6页2手势跟踪技术简介 手势通常被义为:通过于与于臂结合所产生的择币11姿势与动作,柬表达或帮助发达情绪、想法或者所要L兑的i一。
y-势ur分为动态手势币I静态F势,动态手势,强凋的是手势运五JJ过程,其表现为 定时川段j瑚F势姿态序列,静态手势,强调的是特定时刻点L于钟所警现的空|1JJ姿态,包括于势倾斜的方|flJ、手势所处的他霄等。
动态F贽以别系统分为一部分:r势检测、F势嫌踪呼F势以别,榆测与跟踪可旧纳为手势分折阶段。
在乎势检测过手【I!th芫键是要埘场景一l一的下坍进行定位,E要的榆测技术有鉴于运动信息、肤包信息、综台信息、模板匹配、机器视菇等多种方式…:西·手井跟踪过州-P,芙键灶埘手势模型巾的参数进行Ⅲ新实现跟踪效果.p要的跟踪技术订}尔曼滤波器、粒_『滤波、CamShifl等多剥一方法:下势瞅别就足把手势旧运动轨迹分类到f势窀川Ip某个子集的过种。
静志手势泌别人多都是丛j。
口f!离比较的方法,采丌J模板匹配的方式完成:动态下势U{别们疗法很多,技术心川血比较成熟,使用雎多的方法是HMM.HMM打法在语卉识别中L绛获得成功们应川1。
。
f势以别系统如图2一I所示: 人于分析 …书画圃师商l b近塑却气 。
—__§数f日驯L _I.