物联网感知技术与应用——智能全景视频感知（中） PDF下载

编辑推荐

暂无

内容简介

本书是一部比较全面和系统研究全景视觉理论、全景视觉感知技术及应用的学术专著。上册介绍了智能视频感知的基本原理和技术，并提出了各种智能全景感知实际工程应用的解决方案。中册围绕实际应用案例来探讨“人与环境交互”的智能感知的实现方案，尝试通过感+知+智能+应用背景，有层次、分步骤、由浅入深地介绍全景智能感知技术方面的基础知识和专业知识，主要围绕智能交通、安防、机器人等涉及国计民生的重要领域，给出智能视频感知框架及具体的实现方法，涉及内容偏重于物联网时代的信息消费领域。

作者简介

1982年浙江理工大学毕业，分配到杭州一家企业单位从事技术开发与管理工作。1986年浙江大学硕士研究生毕业，在浙江大学从事教学和科研工作。1994年日本国立埼玉大学博士研究生毕业，在日本的（富士通）系统创造公司从事软件开发工作。2000年回国到浙江工业大学信息工程学院任教，同年受聘为教授。

物联网感知技术与应用——智能全景视频感知（中） PDF下载

第1章 智能视频分析的关键核心技术 1
1.1 目标对象特征选择与运动表征 5
1.1.1 目标对象的特征选择 5
1.1.2 目标对象的运动表征 6
1.2 行为识别 8
1.2.1 基于模板匹配方法 8
1.2.2 基于状态转移图模型方法 9
1.3 高层行为与场景理解 13
1.4 行为理解中存在的问题与发展趋势 17
1.5 基于全景视觉的前景目标对象分割、定位及简单跟踪的实现 18
1.5.1 混合高斯模型 19
1.5.2 混合高斯模型的算法 20
1.5.3 基于混合高斯模型的EM算法 21
1.5.4 基于核密度估计的背景差法技术 22
1.5.5 基于DSP的全景视频多目标实时检测及跟踪的实现 24
1.5.6 阴影消除算法 32
1.6 基于全景视觉的多目标对象跟踪的实现 46
1.6.1 多目标跟踪方法概述 47
1.6.2 基于全景视觉的多目标跟踪技术 51
1.7 全景视频图像质量自诊断算法 59
1.7.1 视频亮度异常检测算法 60
1.7.2 视频图像清晰度异常检测算法 61
1.7.3 视频图像的偏色检测算法 62
1.7.4 视频图像冻结检测算法 63
1.7.5 视频图像缺失检测算法 64
1.7.6 视频图像干扰检测算法 65
本章结束语 66
参考文献 67
第2章 基于全景视觉的智能交通技术 77
2.1 交通安全运行环境的监测 85
2.1.1 高速公路隧道交通事故特点 86
2.1.2 高速公路隧道交通安全保障体系 87
2.1.3 高速公路隧道交通安全保障体系的建立 88
2.1.4 高速公路隧道交通安全保障系统的运作模式 89
2.1.5 高速公路隧道交通安全保障系统的关键技术 89
2.1.6 基于机器视觉的高速公路隧道路况能见度检测技术 90
2.1.7 基于机器视觉的道路障碍物检测技术 93
2.1.8 基于机器视觉的隧道火灾检测技术 94
2.1.9 基于机器视觉的铁路路口安全检测技术 99
2.1.10 基于机器视觉的路面状态检测技术 109
2.1.11 基于全景计算机视觉的轨道交通安全检测技术 113
2.2 交通违法行为的检测 117
2.2.1 电子警察的基本功能 119
2.2.2 违章行为识别 120
2.2.3 闯红灯行为的视觉检测 121
2.2.4 违章车辆的身份识别 127
2.2.5 闯绿灯行为的视觉检测 138
2.2.6 违章超速行驶行为的视觉检测 139
2.2.7 违章逆向行驶行为的视觉检测 143
2.2.8 违章变道行驶行为的视觉检测 146
2.2.9 违章停车行为的视觉检测 147
2.3 动态道路交通状态的检测 157
2.3.1 轻量级的道路交通状态的视觉检测 159
2.4 静态交通状况的视觉检测 175
2.4.1 停车位状态检测的研究现状 176
2.4.2 基于采样点的停车位图像特征模型分析 178
2.4.3 停车位图像特征提取 181
2.4.4 基于采样点的背景建模技术 182
2.4.5 基于采样点的干扰滤波算法 182
2.4.6 车辆遮挡对停车位视觉检测的影响 184
2.4.7 停车位状态视觉检测 186
2.5 驾驶安全辅助技术 188
2.5.1 车辆周围全景影像获取技术 192
2.5.2 车辆行驶过程中关注性区域的生成 194
2.5.3 车辆偏离预警与保持 202
2.5.4 关注区域内的障碍物视觉检测 213
2.6 基于全景视觉的驾驶疲劳检测 215
2.6.1 驾驶员的行为特征技术及研究现状 215
2.6.2 基于全景视觉的驾驶疲劳检测系统的概念设计 218
2.6.3 基于全景视觉的驾驶疲劳检测系统的模块设计与实现 219
2.7 基于全景视觉的智能倒车辅助装置 235
2.8 基于计算机视觉的油门当刹车的防止技术 242
2.9 基于全景视觉的重大交通事故的快速测绘技术 245
2.9.1 BODVS交通事故现场测绘平台的设计 248
2.9.2 BODVS的测量及测量精度研究 251
2.9.3 基于BODVS测量技术的事故现场图绘制及实验研究 259
2.10 道路岔口交通状态的视觉检测和交通信号灯控制 264
2.11 基于全景视觉检测的交通信息云服务 272
本章结束语 278
参考文献 279
第3章 智能视频分析技术在内河航道智能监控中的应用 283
3.1 水路智能交通领域国内外研究现状 285
3.1.1 水路交通流参数检测的研究现状 285
3.1.2 内河船舶实际载重吨位实时检测研究现状 286
3.1.3 基于计算机视觉的内河航道智能监控系统框架 287
3.2 基于计算机视觉的内河航道智能监控系统的概要设计 289
3.2.1 系统硬件设计 289
3.2.2 系统软件设计 293
3.3 基于计算机视觉的内河航道智能监控系统的详细设计与实现 295
3.3.1 低层视觉：船舶运动目标检测与分割 295
3.3.2 中层视觉：船舶跟踪与交通流检测 304
3.3.3 高层视觉：实际载重吨位估算与异常预警 312
3.4 船舶的身份识别 320
3.4.1 船名牌定位 320
本章结束语 327
参考文献 328
第4章 基于全景视觉的移动机器人技术 332
4.1 基于全方位视觉的移动机器人的自定位和地图创建技术 339
4.1.1 基于全方位视觉移动机器人的SLAM研究现状 343
4.1.2 基于全方位视觉的移动机器人拓扑导航 345
4.2 基于全方位视觉的移动机器人的避障 364
4.2.1 基于AODVS的障碍物测量原理 365
4.2.2 基于AODVS的全方位避障策略 367
4.2.3 移动机器人的视觉检测工作流程及相应算法 368
4.2.4 实验研究 370
本章结束语 372
参考文献 372
第5章 基于智能全景视频感知的节能与安全辅助技术 380
5.1 基于智能全景视频感知的自动扶梯节能与安全辅助技术 380
5.1.1 乘客人体运动对象与活动台阶对象的检测与分割 382
5.1.2 基于全景智能视频感知的自动扶梯节能设计与实现 395
5.1.3 基于全景智能视频感知的自动扶梯安全运行检测 399
5.2 基于计算机视觉的电梯轿厢内异常行为检测 409
5.2.1 电梯轿厢内人体前景对象的提取 412
5.2.2 电梯轿厢内人数统计 415
5.2.3 电梯轿厢内人体运动特征获取 419
5.2.4 电梯轿厢内异常行为检测 426
5.2.5 基于智能视频感知的电梯安全辅助系统架构 437
5.3 基于智能全景视频感知的群控电梯智能调度技术 440
5.3.1 轿厢内乘客数的检测 441
5.3.2 楼层中的等待上行或下行乘客数的检测 442
5.3.3 基于智能全景视频感知的群控电梯智能调度 443
5.4 基于智能全景视频感知的集中空调节能技术 448
5.4.1 基于智能全景视频感知的集中空调节能系统设计 451
5.4.2 基于全景视觉的室内人数统计 452
本章结束语 460
参考文献 460

前沿

物联网时代用一句话进行概括，就是要将物理空间与信息空间有效地进行融合，实现智慧空间。几千年前，中国伟大的思想家孔子就提出来要“知天”、“畏天”，要求人们认识自然界，自觉地利用自然界为人类社会谋福祉；同时要求人们对自然界有所敬畏，规避各种自然灾害，自觉尽到保护自然的责任，最终形成了中国传统思想的核心价值理念之一，即“天人合一”思想。“天人合一”用现代科技语言来描述就是智慧地球或者智慧空间，物联网时代实现智慧空间的目的是为人类社会谋福祉。
智能全景视频分析技术作为实现智慧空间的一项重要核心技术，其中全景视频获取技术将成为一种可以从中提取大量关键信息和有价值数据的信息源，进而使具备智能视频分析功能的视频类设备升级成为一种特殊的、重要的物联网感知终端设备，为各种行业应用（智能交通、商业智能、防灾减灾、安全生产、智能安防、安全监护等）提供强大的元数据支撑。物理空间环境中大量包含趋势性、经验性、不确定性、随机性和模糊性的信息，要让环境能自主“说话”，即实现智慧空间的一种最佳选择是应用智能全景视频分析技术，这也是物联网最有价值、最具有竞争力的意义所在。
笔者从21世纪初开始关注智能视频分析技术，当时通过谷歌搜索引擎用“智能视频分析”关键词进行检索，几乎没有中文的智能视频分析的检索结果，但是今天的检索结果有158万多条。的确，最近几年智能视频分析技术得到了众多科技工作者的普遍关注，尤其是进入21世纪以来，计算机视觉技术得到了飞速的发展，每年全世界范围内有几万篇论文发表，大量的智能视频分析技术产品进入市场。特别是最近，随着物联网技术概念的提出，物联网时代将面临着大量的趋势性、经验性、不确定性、随机性和模糊性信息的获取、加工、传输，这样基于智能视频感知技术的物联网技术就自然被推到风口浪尖上。事实上从国外物联网的发展规划来看，2020年开始将在物联网技术中全面导入智能视频分析技术。
“工欲善其事，必先利其器”。“测量技术是信息技术的重要组成部分，是信息技术的源头。”科学技术是第一生产力，而现代仪器设备和现代检测手段是第一生产力的三大要素之一。视觉是人类观察世界和认知世界最重要的手段。据统计，人类从外部世界获得的信息约有80%是由视觉获取的，这既表明视觉的信息量大，人类对视觉信息有较高的利用率，同时也体现了视觉功能的重要性。
计算机视觉的最大优点是与被观测的对象无接触，在观测者与被观测者之间不会产生任何损伤，这是其他感知方式无法比拟的；另外计算机视觉能不知疲倦，始终如一地进行观测与计算，可广泛地应用于国民经济、科学研究及国防建设等各个领域。计算机视觉的终极目标就是能够达到人类视觉的能力，接收视觉信息，感知场景中的运动对象，同时能够对运动对象进行智能化语义分析与理解，最终得出运动对象的行为判断，让物理环境能自主“说话”。从第一、二、三次工业产业革命的角度来说，虽然在第三次产业革命中出现的自动化技术和计算机技术拓展了人类的计算能力，三次工业产业革命的效果还只是延伸了人类躯体的各种能力。智能感知技术的出现，尤其是智能视频感知技术将能从更高层面融合人类文明和前三次工业产业革命的成果，让人类社会能“知天”，让“人天合一的技术”为人类社会谋福祉。
本书分为上、中、下三册；上册偏重于介绍智能视频感知和全方位视觉传感器的理论，共分5章。中册主要围绕智能全景视频分析技术的各种应用问题进行详细的讲解，重点是智能交通领域的智能视频分析应用，共分五章。这5章更偏重于物联网时代的信息消费领域。
下册详细探讨智能全景视频分析技术在特殊行业中的典型应用、3D视觉和基于视觉的各种新型传感器的开发及应用的典型案例，具体分述如下。
第1章主要介绍智能视频分析的关键核心技术，对视频图像序列中的背景建模、前景对象的检测、识别、跟踪，并对其行为进行理解和描述这几个步骤的主要关键技术与实现方法进行了比较全面的分析和阐述。本章是智能全景视频分析技术的重要理论基础，可以作为高年级本科生或研究生计算机视觉课程的必修内容。
第2章基于全景计算机视觉的智能交通技术，主要介绍全景智能视频感知技术在智能交通领域中的各种应用，本章以物联网时代的ITS（智能交通）及相关的视觉检测技术为主线，系统全面地分析和阐述了物联网时代的ITS技术路线。包括交通安全运行环境的视觉检测、交通对象的视觉检测、交通事故的视觉检测、交通状态的视觉检测和停车位的视觉检测等。
第3章智能视频分析技术在内河航道智能监控中的应用，它实际上也是一种智能交通领域的应用研究。本章全面系统地介绍了一种基于计算机视觉的内河航道智能监控系统，在实现方法上从概要设计、详细设计、检测算法实现和实验验证等方面进行了详尽的阐述；在实现功能上从船体目标跟踪、船体载重量识别、船舶身份识别、船舶异常行为识别和河道船舶流量统计等方面进行了全方位的研究论证。
第4章基于全景视觉的移动机器人技术，它是全方位视觉在机器人领域中的一个重要应用。移动机器人的一个重要需求是以观察者为中心的全景视觉（视觉=视频分析+坐标+测量）。如何实时感知移动机器人周围的环境，如何检测移动机器人在行走过程中的障碍物，如何获得移动机器人的自身状态，如何使移动机器人具有鲁棒的自主导航能力和如何通过全景视频图像处理、分析和理解来实现移动机器人的目标识别、建图、自定位是本章探讨的问题。
第5章基于全景计算机视觉的节能与安全辅助技术，给出了智能全景视频感知在电梯及节能领域中的一些应用范例。对于群控电梯的智能调度问题，通过智能全景视频分析技术获取实时的需求，提高群控电梯的使用效率。通过本章的阅读，使得读者开拓视野，充分理解物联网时代的智能全景视频感知的应用前景并进一步把握其核心技术。
本书的内容适合于从事物联网和智能视频分析领域研究和实际工程项目的广大读者。书中从全景视频图像的获取、处理、传输和理解发布的过程出发，以各种应用案例系统讨论全景视频数据如何获取，如何将全景视频数据加工成视频信息，如何将视频信息加工成知识，然后如何用这些知识自动进行决策，为从事这方面学习和研究的学生、科研工作者及项目开发人员提供帮助。书中的很多内容都是笔者多年来从事智能视频科学研究的成果，其中很多实例就是来自于笔者所申请的国家知识产权局国家发明专利中的内容，因此本书不仅可以作为专业技术人员的实用参考资料，也可以作为发明创新的启蒙教材，更适用作为从事物联网技术或计算机视觉的高年级本科生和研究生的教材。
作为从事物联网技术的高年级本科生或研究生计算机视觉课程的教材使用时，建议将本书作为数字图像处理和计算机视觉的高级课程或者后续课程。笔者曾经用本书中的几个章节作为研究生智能视频分析课程教材，上课效果及学员反映都很好；同时本书也可以作为从事视频监控企业的培训教材，用于提升员工智能视频方面的理论水平和实战能力。相信通过本书的学习，能拓宽读者的视野，从实战中真正把握智能视频分析技术的精华。笔者相信，基于视觉的智能感知领域覆盖面非常大，读者只要从工程实际问题出发，通过模仿本书的案例，按照书中介绍的工学方法，是完全可以进行各种创新活动的，期待看到读者的各种发明创造。
用八个字来概括本书的内容：“视觉艺术、认知科学”。本书中很大一部分内容涉及人的行为识别、理解及人类对各种事物的认知，其中也包括人类的第六感。视觉艺术的表现形式多种多样，不只是局限于线条、颜色、整体布局等平面的艺术形式，还包括三维的、动态的、虚拟的、现实增强的实用与观赏并存的艺术形式，其中视觉还包括坐标系、测量和解释等三方面的内容。当我们观察一些不规则的图形或是一个全景图像时，只有被看作一种由清晰的方向、一定的大小及各种几何形状和色彩等要素组成的结构图式时，才能真正被知觉；目前的视频分析技术尝试用计算机视觉的方式来解释视频图像，我们要认识到视频与视觉是有很大差距的；当今的视频分析技术总体水平约相当于3岁孩童的认知水平。认知科学作为一门新兴的科学，是研究人、动物和机器智能的本质和规律的科学，是多学科相互交叉、渗透与融合的产物，研究内容包括知觉、学习、记忆、推理、语言理解、知识获得、注意、情感、意识和动作控制等高级心理现象，是探索人类的智力如何由物质产生以及人脑信息处理的过程。
想使本书的内容面面俱到是不太现实的。本书涉及物理学、高等数学、数值计算、计算机软件、数字图像处理、机器视觉、计算机视觉、模式识别和人工智能等方面的内容，这些方面的具体内容已有专门的相关教材和参考书籍。由于本书直接面向于解决智能全景视频分析方面的一些科学和实际工程应用问题，相信已经对数字图像处理和计算机视觉的一些基础知识比较了解的读者都能够看懂；对于一些尚未接触过数字图像处理和计算机视觉的读者，建议在读本书时配一本计算机视觉、机器视觉及模式识别方面的有关书籍，或者随时通过搜索引擎检索关键词来获得相关知识。
本书也可以作为一本物联网技术的科普读物，尤其是对关注物联网技术的年轻学子来说，可以开阔视野，激发对这门“人天合一”技术的学习热情。本书同样也可以作为一位智能视频分析工程技术人员的自学教材和手册，中册是对上册第4章中所介绍的各行各业智能视频分析解决方案更为详细的阐述，是提高从事智能视频分析工程技术人员业务水平的有效途径。希望本书的出版能为我国物联网技术的发展、为普及智能视频分析技术尽微薄之力。
关于具体实现和编程语言问题，虽然本书所介绍的案例中极大部分代码是用JAVA语言开发实现的，采用了基于JAVA语言的中间件技术，但是本书的介绍不依赖任何编程语言，而是使用了通用的算法符号和流程。对于已经学会编程的读者来说，实现这些算法并非十分困难，有些可以直接调用OpenCV、JavaCV和PCL所提供的函数库；这一点从笔者所指导的学生身上已经得到证明，其中不少算法都是在本科毕业生和硕士研究生的毕业论文中实现的，借此也对学生们在本书中所做的工作表示感谢。
在中册执笔过程中发现智能全景视频分析技术还存在很多未知科学问题，需要进一步探索，加上