【Android论文栏目提醒】:网学会员Android论文为您提供基于Android和H.264的实时监控客户端 - 硕士论文参考,解决您在基于Android和H.264的实时监控客户端 - 硕士论文学习中工作中的难题,参考学习。
硕士学位
论文 基于
Android 和 H.264 的 实时监控客户端 AND IMPLEMENTATION OF REAL-↑DESIGN TIME MONITORING CLIENT BASED ON
ANDROID AND H.264 王红霞 哈尔滨工业大学 2011 年 12 月国内图书分类号: TP37 学校代码:10213国际图书分类号: 004.52 密级:公开 ↑ ↑(宋体小 4 号字) (宋体小 4 号字) 工学硕士学位
论文 ↑ 基于
Android 和 H.264 的 实时监控客户端 硕 士 研 究 生: 王红霞 导 师: 王鸿鹏教授 申 请 学 位: 工学硕士 学 科: 计算机科学与技术 所 在 单 位: 深圳研究生院 答 辩 日 期: 2011 年 12 月 授予学位单位: 哈尔滨工业大学Classified Index: TP37 U.D.C: 004.52 Thesis for the Master Degree in Engineering ↑DESIGN AND IMPLEMENTATION OF REAL- TIME MONITORING CLIENT BASED ON
ANDROID AND H.264Candidate: Wang HongxiaSupervisor: Prof. Wang HongpengAcademic Degree Applied for: Master of EngineeringSpecialty: Computer Science and TechnologyAffiliation: Shenzhen Graduate SchoolDate of Defence: December 2011Degree-Conferring-Institution: Harbin Institute of Technology 哈尔滨工业大学硕士学位
论文 摘 要 无论是在国家重 要部 门 各个关键领 域还 是在人们的生活 ,工 作,娱乐中,视频监控都扮演者十分重要的角色,为国家和人民的财产提供了强有力的保障。
高清化,智能化,实时性一直是视频监控追求的目标,目前制约视频监控发展的主要是视频的压缩,无线传输的带宽,以及播放的流畅性等。
本文的研究目的是实现一个基于 H.264 和
Android 平台的实时监控的客户端系统。
H.264 是新一代的视频编解码标准,其在发布以来不到十年的时间里已经获得广泛的应用。
Android 是专为智能手机而设计的操作系统。
系统在视频的处理上采用大型音视频编解码库—FFmpeg 来实现视频解码部分,需要将 PC 上的 FFmpeg 多媒体编解码库裁剪优化为一个小型的只包含H.264 解码部分的解码器并移植到
Android 手机上。
采用 RTP/RTCP 协议来实现监控视频的实时传输,在
Android 平台上实现播放器的界面设计。
本系统实现流程大致如下: 1. 从 FFmpeg 中提取出本文所需的 H.264 的解码部分代码,以及相关资源及配置文件,得轻型 H.264 解码器,并在在 Linux 环境下进行编译。
2. 搭建
Android 平 台开 发环 境 ,移 植 FFmpeg 裁 剪得 到的 播 放器到
Android 平台,通过 JNI 调用 H.264 解码库, 实现视频数据的解码。
3. 进行实时接收部分的。
使用 RTP/RTCP 协议实现实时接收部分,在缓冲区部分进行改进,降低丢包率和延迟。
并将解码后的图像数据从YUV 格式转换为视频播放适用的 RGB 格式并进行视频播放测试。
4. 系统集成及测试。
通过以上裁剪和实验初步实现了实时视频监控客户端的基本功能,并通过对缓冲区的改进,在一定程度上提高了监控视频的传输质量。
关键词:
Android;H.264;实时监控 -I- 哈尔滨工业大学硕士学位
论文 Abstract No matter in people’s life work entertainment or in the importantdepartment of the country video surveillance is always the importantcomponent of security systems. With the intuitive accurate rich informationfeatures it is used in many fields. HD intelligent real-time are always thegoals that video surveillance pursue. The main constrains to video surveillanceare the compression of video wireless bandwidth and smoothly playback etc. The purpose of this thesis is to implement a client system of real-timemonitoring which is based on H.264 and
android. H.264 is a new video codecstandard since its release it has received a wide range of applications. Androidis an operating system which is specially designed for smart phone. As to the video processing the system adopt I adapt the FFmpeg to realizethe H.264 decoder. In this article we need to cut and optimize the PC-basedFFmpeg for a small H.264 decoder and port it to the
Android platform. Use theRTP/RTCP protocols to transfer the surveillance video design andimplementation the video player on the
Android phone. The flow graph of the system is as follows: 1. Cut the H.264 decoder part the relative resources and theconfiguration files from FFmpeg to be a little decoder and compile itsuccessfully in Linux. 2. Build the
Android development environment and transport the H.264decoder which is cut from FFmpeg to the
Android platform. Call the H.264decoder through the JNI mechanism so to decode the video. 3. Design the real-time receiving part use the RTP/RTCP protocol torealize the real-time receiving module and do some improvement to the bufferso as to achieve minimize the packet loss and delay. After decode the video itshould transform the data that get from the decoder that is change its formatfrom YUV to RGB and display the video. 4. System integration and testing. After the experiments above we implemented the basic functions and dosome improvement to the data buffer so as to improve the quality of the videotransmission. Keywords:
Android H.264 Real-Time Monitor - II - 哈尔滨工业大学硕士学位
论文 目 录摘 要 ............................................................................................................... IAbstract .......................................................................................................... I目 录 ............................................................................................................. II第 1 章 绪 论 .................................................................................................. 1 1.1 课题背景 ........................................................................................... 1 1.2 课题目的与意义 ................................................................................ 2 1.3 视频监控领域的现状与分析 ............................................................... 3 1.3.1 视频监控终端的变化 ............................................................... 3 1.3.2 视频编解码标准的演进 ........................................................... 4 1.3.3 视频监控技术的发展现状........................................................ 4 1.4
论文主要内容 .................................................................................... 5 1.5 本文的结构 ....................................................................................... 6第 2 章 相关技术及标准综述 ........................................................................... 7 2.1
Android 开发平台简介 ...................................................................... 7 2.1.1
Android 开发平台的选取 ......................................................... 7 2.1.2
Android 平台的特性和架构 ..................................................... 7 2.2 H.264 标准简介 ................................................................................. 9 2.2.1 H.264 的档次划分 ................................................................. 10 2.2.2 H.264 的关键技术 ................................................................. 11 2.3 FFMPEG 的研究 ............................................................................. 14 2.3.1 解码方案 FFMPEG 的选择 ................................................... 14 2.3.2 FFMPEG 简介 ...................................................................... 15 2.3.3 FFMPEG 中的主要数据结构分析 ......................................... 16 2.4 实时传输协议的研究 ...................................................................... 17 2.4.1 RTP ...................................................................................... 17 2.4.2 RTCP .................................................................................... 19 2.4.3 Jlibrtp ................................................................................... 20 2.5 本章小结 ......................................................................................... 20第 3 章 从 FFmpeg 库中裁剪得到 H.264 解码器 ............................................. 22 3.1 H.264 编解码原理 ........................................................................... 22 3.2 解码器裁剪 ..................................................................................... 23 - III - 哈尔滨工业大学硕士学位
论文 3.3 解码器编译和移植 .......................................................................... 24 3.3.1 生成相应的头文件 ................................................................ 24 3.3.2 本地 C 实现 ........................................................................... 25 3.3.4 编译本地方法 ....................................................................... 25 3.4 本章小结 .......................................................................................... 26第 4 章 客户端播放器的设计及实现 .............................................................. 27 4.1 客户端开发环境的搭建 .................................................................... 27 4.2 播放器设计 ...................................................................................... 27 4.3 多线程的设计 ................................................................................... 29 4.4 缓冲区的设计,分析和实现 ............................................................ 30 4.4.1 接收端缓冲区的分析 ............................................................. 30 4.4.2 缓冲区 ............................................................. 31 4.5 客户端各模块的设计及实现 ............................................................. 32 4.5.1 视频接收单元 ....................................................................... 32 4.5.2 视频解码单元的实现 ............................................................. 34 4.5.3 视频的格式转换及显示 ......................................................... 35 4.6 实验结果 ......................................................................................... 37 4.6.1 缓冲区设计的对比结果 ......................................................... 37 4.6.2 客户端系统测试 .................................................................... 38 4.7 本章小结 ......................................................................................... 39结 论 ............................................................................................................ 40参考文献 ....................................................................................................... 41攻读硕士学位期间发表的
论文及其它成果 .................................................... 44哈尔滨工业大学学位
论文原创性声明及使用授权说明 .................................. 45致 谢 ............................................................................................................ 46 - IV - 哈尔滨工业大学硕士学位
论文 第1章 绪 论1.1 课题背景 视频监控一直是各行各业的重点部门以及重要场所进行安全管理的重要手 1段 ,在视频监控产生二十多年的时间里,其技术及产品均经历了历代更迭,每一次变化都给人们的工作,生活,安全带来了更好的服务与体验。
一直以来,制约视频监控发展的原因都是监控视频过大,传输带宽有限,使得监控视频不得不在画面清晰度与流畅度上做出取舍,结果往往是监控画面不清晰,或者播放不流畅 2 ,而非实时的监控很多时候不能发挥好的监控作用 3 。
近年来,随着宽带的普及,3G,Wi-Fi 网络的发展,计算机技术以及图像,视频处理技术的提高,视频监控正在日益深入的渗透到国家,各行业,以及人们的生活的方方面面中。
视频监控技术的发展目标是数字化,高清化,智能化,实时化。
而实现这些目标要面临的问题是监控视频要在有限的带宽上传输尽可能多的数据,这就要将采集到的原始视频进行高效的压缩,并能提供高带宽,并在客户端进行视频的有效还原,使得监控视频可以流畅播放,画面清晰呈现 4 。
选择一种好的视频压缩方法,使得监控视频的存储所占空间大大缩小,在视频的传输上也可以占用很少的带宽传输很多的数据,这样就可以在一定程度上改善视频监控的质量和效果。
在智能手机中,目前最受人关注的无疑是
Android,它是 2007 年推出的基于 Linux 内核的完全开放的手机操作系统。
近年来,
Android 手机出货量正在呈一个飞速上升的趋势,数据统计,
Android 智能手机系统 2010 年底已超诺基亚 Symbian 成为全球最大手机操作系统,预计其 2011 年下半年的市场份额可超 40。
智能手机的普及,加上 3G 和 Wi-Fi 网络的发展,视频编解码技术的发展,人们已经不再满足于传统的图文界面,于是越来越多的视频新闻,多媒体信息流行开来,流媒体应用已经成为了未来的发展趋势,手机流媒体具有随身携带、内容丰富、信息量大、直观、吸引人的优点,是将来多媒体技术发展非常有发展前景的一个方向。
-1- 哈尔滨工业大学硕士学位
论文1.2 课题目的与意义 视频监控一直是安防领域的重要手段,在其产生的几十年的时间里,视频监控已经广泛的应用于各种军事,工业,交通等国民经济发展的关键环节,为国家以及人民的财产安全保卫工作做出了重大贡献。
随着微电子,系统集成工业的飞速发展,以及视频处理,网络传输带宽的增加,未来基于嵌入式设备的网络视频监控将成为未来发展的大趋势,并逐步走向民用化,家庭化,为越来越多的人们的人身,财产安全的保护以及公共场合的公共秩序做出越来越大的贡献。
本系统是基于
Android 智能手机和 H.264 的实时视频监控系统,其目的是能够使用户可以使用手持
Android 智能手机,随时随地的通过网络连接到远端视频服务器,通过 RTP/RTCP 实时协议来实时接收监控视频,并对接收到的监控视频进行解码并还原,在手机上实现监控场景的重现。
本系统在监控客户端的选取上,采用了目前使用用户数目最多的
Android智能手机,在视频处理上采用高压缩率和网络适应性良好的 H.264 标准进行视频处理,并采用 RTP/RTCP 实时协议来进行监控视频的传输,本系统的实现无论对人们的工作、生活、娱乐还是工业生产以及科研教学都具有深远的意义: 1 实现随时随地的监控:本系统中采用
Android 智能手机作为监控终端,便于随身携带,可以使用 Wi-Fi,3G 等网络连接远端的视频服务器,从而访问远程的流媒体服务器进行视频监控以及控制监控摄像头的转向等,从而能够实现全角度的远程监控。
在一定程度上克服了传统视频监控客户端过于庞大,一旦监控人员离开就不能继续进行监控的问题。
扩展了视频监控系统的应用范围,使其可以广泛应用在人们工作,家庭生活的方方面面。
2 在不影响监控视频播放质量的情况下节省网络带宽:很长时间以来,受限于视频压缩率以及网络传输的带宽,视频监控一直都存在监控客户端的监控视频不能流畅的接收以及清晰播放的问题,这在很大程度上限制了视频监控系统的应用。
本系统采用的 H.264 标准具有超高的压缩率,良好的网络亲和性。
能够做到高效压缩视频,从而在传输上节省了网络带宽,适应网络带宽不足的现状 5 。
由于 H.264 是分层封装的,NAL 层的封装使得压缩视频可以适应不同网络进行数据传输,并在客户端得到有效解码还原,从而做到清晰,流畅的播放监控视频,达到良好的监控效果 3 实时监控:本系统采用 RTP/RTCP 实时协议族来进行监控视频的传输并在客户端对丢包和延时问题进行了一定的处理和改进,能够做到较好质量的 -2- 哈尔滨工业大学硕士学位
论文实时视频监控 6 ,该系统在家庭生活中的广泛应用可以有效避免及阻止家庭危险的发生。
可以应用在工业生产上,在需要对一些经常变化的仪器进行监测时可以应用本系统,这样可以对频繁变化的数据及时产生相应动作。
有效节约了人力成本。
1.3 视频监控领域的现状与分析 随 着“十二五 ” 规划的提 出以及实施 ,―平安城市 ‖、 ― 平安校园‖ 2 等安 防 项目 的 开 展 和 深 入 , 视频 监 控 作 为 交 通 , 军事 , 社 区 安 全 等 领 域安全必 不 可少 的 防 范 措 施 正 在 被人 们 日 益 重 视 起 来 。
随 着 计 算 机 图 像 压 缩以及视频编码,网络传输 等技术日新月异的发展, 使得 视频监控在生产生活 的各个方面都得到了广泛的应用 4 。
在 2011 年年底召开的“2011 视频监控技术及创新应用论坛”上国家工信 部 电信 研 究 院 副 院 长 杨 昆表 示 , 视 频 监 控 正 向纵 深 扩 展 , 市 场 也 在从产品 向 服务 转 移 。
“ 越 来 越 多 的 用 户 意 识 到 视 频 监控 的 重 要 性 , 市 场 的广度正在从.