物联网感知技术与应用——智能全景视频感知（下） PDF下载

编辑推荐

　　本书是一部比较全面和系统研究全景视觉理论、全景视觉感知技术及应用的学术专著。本书作者在智能视频领域有很多论文和专利，书中的很多内容都是作者多年来的科学研究成果，其中很多实例来自作者所申请的国家发明专利，具有很高的原创性。；

内容简介

　　本书是一部比较全面和系统研究全景视觉理论、全景视觉感知技术及应用的学术专著。上册介绍了智能视频感知的基本原理和技术，中册提出了各种智能全景感知实际工程应用的解决方案。下册围绕实际应用案例来探讨“人与环境交互”的智能感知的实现方案，尝试通过感+知+智能+应用背景，有层次、分步骤、由浅入深地介绍全景智能感知技术方面的基础知识和专业知识，主要围绕智能交通、安防、机器人等涉及国计民生的重要领域，给出智能视频感知框架及具体的实现方法，涉及内容偏重于物联网时代的信息消费领域

作者简介

　　浙江大学硕士研究生毕业，日本国立埼玉大学博士研究生毕业,浙江工业大学信息工程学院教授。获浙江省教育厅浙江省高校优秀科研成果奖一等奖。

物联网感知技术与应用——智能全景视频感知（下） PDF下载

 第1章 基于全景视觉的安全监控系统 
　1.1 基于全景视觉的火灾监控 
　　1.1.1 火焰目标对象识别 
　　1.1.2 火焰燃烧模式识别 
　　1.1.3 火灾安全监控系统实现 
　　1.1.4 基于全方位视觉传感器的自动消防灭火装置 
　1.2 基于全景视觉的ATM机智能监控 
　　1.2.1 前景目标的提取算法研究 
　　1.2.2 运动目标跟踪算法研究 
　　1.2.3 行为理解研究 
　　1.2.4 系统界面介绍 
　1.3 基于全景视觉的财产保护技术 
　　1.3.1 盗窃异常检测算法研究 
　　1.3.2 盗窃者身份检测算法研究 
　　1.3.4 基于视觉的财产保护系统实现 
　1.4 基于全景视觉的遗留物检测技术 
　　1.4.1 遗留物检测算法研究 
　　1.4.2 遗留物放置者检测研究 
　　1.4.3 遗留物及其放置者检测系统实现 
　1.5 基于全景视觉的智能配网安全技术 
　结束语 
　参考文献 
第2章 智能全景视频分析技术在农业、工程机械等领域中的应用 
　2.1 单目多视角机器视觉珍珠在线检测分类装置 
　　2.1.1 单目多视角的立体视觉装置设计 
　　2.1.2 珍珠在线检测分类装置设计 
　　2.1.3 被测珍珠的图像分析、检测与分类 
　　2.1.4 珍珠颜色、光泽度及均匀性的视觉检测原理 
　2.2 基于全景立体视觉的采摘对象的识别、 分类和空间定位装置 
　2.3 基于全方位视觉的水下视频检测装置 
　2.4 基于双目立体全方位视觉传感器的洞穴探测装置 
　2.5 全景智能视频分析技术在农作物病情检测上的应用 
　　2.5.1 基于计算机视觉的病害识别 
　　2.5.2 基于计算机视觉的虫害识别 
　　2.5.3 基于计算机视觉的草害识别 
　2.6 智能全景视频分析技术在集装箱吊具上的应用 
　结束语 
　参考文献 
第3章 基于全景视觉的独居老人监护系统 
　3.1 老人监护技术的研究现状 
　　3.1.1 基于可穿戴式传感器的老人监护技术 
　　3.1.2 基于音频信号的老人监护技术 
　　3.1.3 基于生活线的老人监护技术 
　　3.1.4 基于视觉传感器的老人监护技术 
　3.2 家庭环境元素的定制 
　3.3 人体对象提取与跟踪 
　　3.3.1 图像预处理 
　　3.3.2 人体对象提取部分 
　　3.3.3 人体对象跟踪部分 
　　3.3.4 实验结果及分析 
　3.4 人体姿态、动作及其所处空间位置识别 
　　3.4.1 人体姿态识别 
　　3.4.2 人体动作识别 
　　3.4.3 人体所处空间位置识别 
　　3.4.4 实验结果及分析 
　3.5 异常行为分析 
　　3.5.1 视觉范围之内的异常行为分析方法 
　　3.5.2 视觉范围之外的异常行为分析方法 
　　3.5.3 实验结果及分析 
　3.6 隐私保护
　3.7 系统实现
　结束语
　参考文献 
第4章 基于主动式全景计算机视觉的全方位三维立体实景复制技术 
　4.1 被动式视觉三维测量方法 
　　4.1.1 双目（多目）立体视觉的三维重建方法 
　　4.1.2 基于单目视觉的三维重建方法 
　4.2 主动式视觉三维测量方法 
　　4.2.1 投影结构光三维测量方法 
　　4.2.2 基于三维激光扫描的三维测量方法 
　4.3 基于三维激光扫描技术的三维模型重建 
　　4.3.1 点云数据的获取 
　　4.3.2 数据配准 
　　4.3.3 点云数据的预处理 
　　4.3.4 三维模型建立 
　　4.3.5 纹理映射和纹理合成 
　　4.3.6 扫描仪坐标系、摄像机坐标系和世界坐标系 
　4.4 全景三维立体实景复制技术 
　　4.4.1 ASODVS的设计 
　　4.4.2 激光投射信息解析 
　　4.4.3 点云数据的数据格式及存储方式 
　　4.4.4 PCL点云库 
　　4.4.5 以人为中心的全景立体显示绘制技术 
　　4.4.6 基于全景激光扫描的主动式全景视觉传感器检测精度分析 
　　4.4.7 3D实景复制技术与3D打印技术 
　结束语 
　参考文献 
第5章 基于机器视觉的新型传感器 
　5.1 基于机器视觉的雨量传感器 
　5.2 基于机器视觉的三维风速风向传感器 
　5.3 基于机器视觉的生物式水质监测技术 
　　5.3.1 现有水质监测技术 
　　5.3.2 生物式水质监测 
　　5.3.3 基于机器视觉水质生物式传感器的设计 
　　5.3.4 基于机器视觉的水质生物式传感器的实验研究 
　5.4 基于机器视觉的生物式瓦斯监测技术 
　5.5 基于机器视觉的全方位倾斜传感器 
　　5.5.1 基于机器视觉的全方位倾斜传感器的组成与设计 
　　5.5.2 基于机器视觉的全方位倾斜传感器的算法设计 
　　5.5.3 全方位倾斜传感器的特性 
　　5.5.4 全方位倾斜传感器倾斜角检测实验结果及精度分析 
　结束语 
　参考文献
  ；

前沿

　　物联网时代用一句话进行概括，就是要将物理空间与信息空间进行有效的融合实现智慧空间。几千年前，中国伟大的思想家孔子就提出来要“知天”、“畏天”，要求人们认识自然界，自觉地利用自然界为人类社会谋福祉，同时要求人们对自然界有所敬畏，规避各种自然灾害，自觉尽到保护自然的责任，最终形成了中国传统思想的核心价值理念之一，即“天人合一”思想。“天人合一”用现代科技语言来描述就是智慧地球或者智慧空间，物联网时代实现智慧空间的目的便是为人类社会谋福祉。
　　智能全景视频分析技术是实现智慧空间的一项重要核心技术，其中全景视频获取技术将成为一种可以从信息源中提取大量关键信息和有价值数据，进而使具备智能视频分析功能的视频类设备升级成为一种特殊的、重要的物联网感知终端设备，为各种行业应用（智能交通、商业智能、防灾减灾、安全生产、智能安防、安全监护等）提供强大的元数据支撑。物理空间环境中包含着大量趋势性、经验性、不确定性、随机性和模糊性的信息，要让环境能自主“说话”，即实现智慧空间的一种最佳选择是应用智能全景视频分析技术，这也是物联网最有价值、最具有竞争力的意义所在。
　　笔者从21世纪初开始关注智能视频分析技术，当时通过谷歌搜索引擎用“智能视频分析”关键词进行检索，几乎检索不到中文的智能视频分析的检索结果，但是在今天的检索结果有158万多条。的确，最近几年智能视频分析技术得到了众多科技工作者的普遍关注，尤其是计算机视觉技术得到了飞跃的发展，每年全世界范围内有几万篇论文发表，大量的智能视频分析技术产品进入市场。随着物联网技术概念的提出，物联网时代将面临着大量的趋势性、经验性、不确定性、随机性和模糊性信息的获取、加工、传输，基于智能视频感知技术的物联网技术就自然被推到风口浪尖上。从国外物联网的发展规划来看，我们有必要从2020年开始在物联网技术中全面导入智能视频分析技术。
　　“工欲善其事，必先利其器。”“测量技术是信息技术的重要组成部分，是信息技术的源头。” 科学技术是第一生产力，而现代仪器设备和现代检测手段是第一生产力的重要因素。视觉是人类观察世界和认知世界的最重要的手段。据统计，人类从外部世界获得的信息约有80％是由视觉获取的，这既表明视觉的信息量大，人类对视觉信息有较高的利用率，同时也体现了视觉功能的重要性。计算机视觉的最大优点是与被观测的对象无接触，在观测者与被观测者之间不会产生任何损伤，这是其他感知方式无法比拟的；另外计算机视觉能不知疲倦、始终如一地进行观测与计算，可广泛地应用于国民经济、科学研究及国防建设等各个领域。计算机视觉的终极目标就是达到人类视觉的能力，接受视觉信息，感知场景中的运动对象，同时能够对运动对象进行智能化语义分析与理解，最终得出运动对象的行为判断，让物理环境能自主“说话”。从第一、二、三次工业产业革命的角度来说，这三次工业产业革命的效果还只是延伸了人类躯体的各种能力，虽然在第三次产业革命中出现的自动化技术和计算机技术拓展了人类的计算能力。智能感知技术尤其是智能视频感知技术的出现，将从更高层面上融合人类文明和前三次工业产业革命的成果，让人类社会能“知天”，让“人天合一”的技术为我们人类社会谋福祉。
　　本套书分为上、中和下三册。上册偏重于介绍智能视频感知和全方位视觉传感器的理论。中册主要对智能全景视频分析技术的各种应用问题进行详细的讲解，偏重于物联网时代的信息消费领域。下册将深入探讨应用智能全景视频分析技术的特殊行业中的典型应用、3D视觉和基于视觉的各种新型传感器的开发及应用的典型案例，共分5章。
　　第1章基于全景视觉的安全监控系统主要讲述了智能全景视频感知在几种安全监控领域的应用。本章从不同的应用需求出发，分析了不同应用领域中监控对象的视觉特征和行为特征，阐述了这些特征检测的各种算法实现步骤，给出了相应的实验结果。本章中的4种典型应用可以作为计算机视觉课程的应用范例。
　　第2章介绍智能全景视频分析技术在农业、工程机械等领域中的应用。由于农业、工程机械的各种应用环境一般属于开放的、非结构化的、不确定的和随机的，将全景立体视觉感知技术应用于农业和工程机械中，有望大大提高农业和工程机械的性能和水平，推动农业和工程机械向现代化、智能化的方向发展。笔者没有在该领域中进行深入的研究，希望本章内容可以起到抛砖引玉作用，为农业和工程机械科技人员进行创新性研究开拓思路。
　　第3章基于全景视觉的独居老人监护系统主要介绍了全景智能视频感知技术为满足空巢老人对照料的连续性、即时性要求，围绕着以物联网技术为手段的虚拟社会和传统家庭养老模式相结合的模式，保护独居老人的生命安全，免除独居老年人的后顾之忧。章节中系统全面地分析和阐述了全景智能视频感知技术对空巢独居老人的行为理解和异常检测技术，可以作为高年级本科生或研究生计算机视觉课程的一个应用范例。
　　第4章基于主动式全景计算机视觉的全方位三维立体实景复制技术重点介绍了各种坐标系之间的关系和三维测量等关键技术。视觉=坐标+测量+解释，智能视频分析技术要有新的突破，还需要增强坐标及三维测量与解释之间的融合，将一个二维平面视频图像的处理（OPENCV）上升至对一个三维空间的视频图像分析处理（PCL）。本章节的学习有助于学员全面准确地把握计算机视觉发展趋势。本章节在深入介绍了一种新的主动式全景视觉获取技术的同时还比较全面地阐述了三维重构及点云库（Point Cloud Library）等最新的研究成果。
　　第5章基于机器视觉的新型传感器主要介绍了如何利用机器视觉技术开发能感知雨量和雨强、三维风速风量、水质安全、瓦斯和毒气、全向水平度5种新型传感器。本章中详细说明了设计这类传感器时如何有效地将反映监测的环境信息融合到视频图像中，如何用视频分析技术检测出反映监测的环境及状态信息。读者可以模仿本章节中的一些方法改造目前的一些模拟式传感器或者整合各种不同类型的模拟传感器，从而开发出基于机器视觉的各种新型的传感器。
　　本书的内容适合于从事物联网和智能视频分析领域研究和实际工程项目的广大读者。书中从全景视频图像的获取、处理、传输和理解发布的过程出发，以各种应用案例系统讨论全景视频数据如何获取、如何将全景视频数据加工成视频信息、如何将视频信息加工成知识，然后如何用这些知识自动进行决策，为从事这方面学习和研究的学生、科研工作者及项目开发人员提供帮助。书中的很多内容都是笔者多年来智能视频方面科学研究的成果，其中很多实例就是来自于笔者所申请的国家知识产权局国家发明专利中的内容，因此该书不仅可以作为专业技术人员的一本实用参考资料，也可以作为发明创新的启蒙教材，更可以作为研究物联网技术或者计算机视觉的高年级本科生和研究生的教材。
　　作为从事物联网技术的高年级本科生或研究生计算机视觉课程的教材使用时，建议将本书作为数字图像处理和计算机视觉的高级课程或者后续课程。笔者曾经用本书中的几个章节作为研究生智能视频分析课程教材，上课效果及学员反映都很好。同时本教材也可以作为视频监控企业的培训教材，用于提升员工智能视频方面的理论水平和实战能力。相信通过对本教材的学习，读者能拓宽视野，从实战中真正把握智能视频分析技术的精华。笔者相信，基于视觉的智能感知领域覆盖面非常大，读者只要从工程实际问题出发，模仿本书的案例，按照本书中介绍的工学方法，是完全可以进行各种创新活动的，期待看到读者的各种发明创造。
　　用八个字来概括本书的内容，即“视觉艺术、认知科学”。本书中很大一部分内容涉及人的行为识别与理解以及人类对各种事物的认知，其中也包括了人类的第六感。视觉艺术的表现形式多种多样，不只是局限于线条、颜色、整体布局等平面的艺术形式，还包括了三维的、动态的、虚拟的、现实增强的实用与观赏并存的艺术形式，其中视觉还包括了坐标系、测量和解释三方面的内容。当我们观察一些不规则的图形或是一个全景图像时，只有其被看作一种由清晰的方向、一定的大小及各种几何形状和色彩等要素组成的结构图式时，才能真正被感知。目前的视频分析技术尝试用计算机视觉的方式来解释视频图像，我们要认识到视频与视觉是有很大差距的；当今的视频分析技术总体水平约相当于3岁孩童的认知水平。认知科学作为一门新兴的科学，是研究人、动物和机器智能的本质和规律的科学，是多种学科相互交叉、渗透与融合的产物，研究内容包括知觉、学习、记忆、推理、语言理解、知识获得、注意、情感、意识和动作控制等高级心理现象，是探索人类的智力如何由物质产生和人脑信息处理的过程。
　　要想使得本书的内容面面俱到是不太现实的。本书涉及物理学、高等数学、数值计算、计算机软件、数字图像处理、机器视觉、计算机视觉、模式识别和人工智能等方面的内容，这些方面的具体内容已有专门的教材和参考书籍。由于本书直接面向于解决智能全景视频分析方面的一些科学和实际工程应用问题，相信对数字图像处理和计算机视觉的基础知识比较了解的读者都能够看懂；对于尚未接触过数字图像处理和计算机视觉的读者，建议在读本书时旁边有一本计算机视觉、机器视觉及模式识别方面的书籍，或者随时通过搜索引擎检索关键词来获得相关知识。本书也可以作为一本物联网技术的科普读物，尤其是对于从事物联网技术的年轻学子，可以开阔视野，激发对这门“人天合一”技术的学习热情。本书同样可以作为一位从事智能视频分析的工程技术人员的自学教材和手册，本套书中、下册内容对各行业的智能视频分析解决方案进行了详细的阐述，是提高从事智能视频分析工程技术人员业务水平的有效途径。希望本书的出版能为我国物联网技术的发展、智能视频分析技术的普及尽微薄之力。
　　关于具体实现和编程语言问题，虽然本书中所介绍的案例极大部分是用Java语言开发实现的，采用了基于Java语言的中间件技术，但是关于本书的介绍不依赖任何编程语言，而是使用了通用的算法符号和流程。对于已经学会编程的读者来说，实现这些算法并非十分困难，有些可以直接调用OpenCV、JavaCV和PCL所提供的函数库，这一点从笔者指导的学生身上已经得到证明……