远程博弈系统中手部检测与虚实合成技术研究

1绪论

1.1课题的来源及背景

中国象棋属于一种两人博弈性的娱乐手机游戏，并且在中国有着上千年的历史，同时也是中国的一种传统文化艺术。由于中国象棋其自身具有趣味性强，操作简易等特性，因此它能够成为一种十分流行的棋盘手机游戏。在计算机还没有产生之前，人们只能通过面对面来进行象棋博弈。由于计算机技术与网络技术的迅猛发展，逐渐的产生了一些简易的象棋博弈手机游戏，使得分处异地的两个人也能够相互之间进行切礎。目前，在网络上进行象棋博弈就是在计算机终端上直接绘制一个象棋棋盘以及一些棋子的场景，用户通过鼠标来移动想要移动的棋子，从而实现远程对弈的效果。通过这种方式来进行象棋博弈，它的明显优势是操作简易、通讯的信息量少、网络延迟小。但是，这种方式与面对面下棋相比也有一个明显的缺点，它不能看到对方的表情以及听到对方的言语，进而使得用户在感官上没有强烈的沉浸感和亲切感。

近年来随着图像处理技术的快速发展和虚拟现实技术的日益成熟稳重，以及增强现实技术日趋成为一个研宄的热点，从而导致了人们进行娱乐的方式也发生了翻天覆地的改变。因此设计套基于增强现实的远程象棋博弈系统具有潜在的研究价值。首先通过摄像机拍摄对方下棋的场景，将获取的对方场景数据进行压缩编码实时传输到本地计算机中，然后获取本方场景中棋子的位置信息、运动信息，最后根据棋子的位置信息将设计的虚拟棋子叠加到对方传过来的图像中。这样最终实现两个人能够共用一个棋盘来进行下棋，同时也可以在场景中感受到对方的言谈举止、音容笑貌，就如同有一种身临其境的感觉，增强人们在进行娱乐的沉浸感。

1.2研究目的及意义

通过对远程象棋博弈系统中虚拟物体如何准确的融合到真实环境的技术研究，能够使得我们更加理解真实世界与虚拟世界的融合过程，进一步将这种技术应用于别的相关的项目与科研活动中，进而研制出一些相关增强现实的产品，使更多的人能够享受科技带来的力量。

目前，在我国主要参与研究增强现实技术的单位有北京理工大学、中国科学院计算机研究所、国防科技大学、浙江大学、电子科技大学、华中科技大学、上海大学、北方工业大学等，因此，国内对增强现实技术的相关研究仍然处于起步阶段。在理论研究方面，北京理工大学光电工程系著名教授王涌天领导的课题组主要在研究动态三维注册、运动估计等增强现实系统相关技术领域，并且取得了一定的研究成果。

增强现实技术是伴随着各种相关技术应运而生的一种前沿技术，是近年来一个十分热的研究方向，它也是虚拟现实的一个重要的分支。增强现实技术作为目前一个比较前沿的研宄方向，具有很大的市场发展潜力和研究的意义。因此，目前很多的外国研究机构和一些外国的著名大学都在进行增强现实技术的研宄和探索。例如美国著名的哥伦比亚大学、微软公司，欧洲的代夫特大学、瑞士皇家理工学院，日本的索尼公司等，并且他们都取得了一些实用型的研究成果。

2增强现实关键技术

本章主要介绍了增强现实的概念，以及研制一款增强现实系统的基本流程，最后重点阐述了实现增强现实系统需要具备的一些关键技术。通过对本章的介绍为后期设计基于增强现实技术下的远程象棋博弈系统提供一些理论和技术基础。

2.1增强现实技术简介

图2-1为一家汽车公司展示他们新产品的展览会图像，我们可以看到，在真实的场景中并没有汽车的存在，但是在看到屏幕时，你会发现在真实的场景中出现了一个看着十分真实的汽车模型，并且这个汽车模型能够根据主持人的操作来进行相应的运动。这就是增强现实技术。

增强现实技术其实就是通过摄像机来釆集现实场景中的图像数据并将计算机生成的虚拟物体精确地融合到采集到的现实场景中去，最终产生一个能够被用户感知到的逼真场景，并且能够让用户愿意相信那些计算机生成的虚拟物体是现实场景中的一部分，同时人们也可以与这些虚拟物体之间进行交互。增强现实技术是随着虚拟现实技术日趋成熟稳重而产生的，它是虚拟现实的一个重要分支。虚拟现实技术完全由计算机来对场景进行搭建，让用户沉浸在这种虚拟的场景中，而作为新兴的增强现实技术，它主要借助光电显示技术、计算机图形学、图像处理、人机交互技术和可视化技术在采集到的真实场景中精确地融合一些计算机生成的虚拟物体，使得真实场景与虚拟物体共存，进而使用户从感官上能够相信那些由计算机生成的虚拟物体是真实环境的组成部分。虽然增强现实技术与虚拟现实技术之间有着密不可分的联系，但是两者之间也有着十分明显的区别：

2.2增强现实基本流程

如图2-2所示：图形分析系统主要是根据真实场景中提供的一些感兴趣的标记信息和摄像机的位置信息，从而能够使得计算机能够计算出虚拟物体坐标到摄像机视平面的投影变换。视频合成系统主要是根据前面计算的投影矩阵将计算机生成的3D虚拟物体绘制到视平面的正确位置上。

因此，在设计并实现一套完整的增强现实系统中，一般都需要系统显示技术、三维注册技术、虚拟物体生成技术和人机交互技术等相关技术。

人体的视觉是人类与外界环境之间进行信息传递的一种重要方式。在获取外界环境的信息量中，通过使用人体视觉获取的信息量占总量的以上。在增强现实系统中，其主要的输出媒体就是人眼能够获取的图形图像。因此，系统显示技术是增强现实系统中的一种关键技术。在一套完整的增强现实系统中，系统显示技术主要职责是将计算机生成的3D虚拟物体与摄像机采集的真实场景合成后的逼真场景反映给用户。它的主要作用是让用户能够从感官上相信计算机呈现给我们的场景是真实的，计算机生成的虚拟物体是真实环境的一部分。

3基于聚类分析与图像匹配结合的棋盘检测技术研究..........12

3.1基于聚类分析的区域提取技术.........12

3.1.1聚类分析技术简介......13

4基于直线检测的棋盘格定位技术研究.........24

4.1直线检测基本原理...........24

5棋盘区域手部检测技术研究与应用.........36

5.1常用的手部检测技术............36

5棋盘区域手部检測技术研究与应用

由于在下棋的过程中，我们需要知道使用者到底是移动了哪个棋子，根据移动的棋子来控制设计的3D虚拟棋子进行移动。同时，在下棋的过程中，手部区域是棋盘区域的主要的运动目标。因此，可以考虑在棋盘区域进行手部检测来获取棋子移动前后的图像，通过获取的棋子移动前后图像进而确定出是哪个棋子进行了移动，最终实现对虚拟棋子的移动控制。本章首先介绍一些常用的手部检测方式，通过对这些相关技术的了解，进而选择出一种适宜象棋博弈系统中的手部检测方式。本文应用选择的手部检测方式来完成对棋子移动的定位，从而实现对虚拟棋子的移动控制。

5.1常用的手部检测技术

目前新型的人机交互技术是计算机领域研究的热点之一，基于新颖的交互技术可以给使用者带来全新的用户体验。本节将从两个方面来介绍一些常用的手部检测技术以及其具有的优缺点，进而为后期棋盘区域进行手部检测提供相应的依据。

5.1.1基于硬件设备的手部检测技术

数据手套是一种常用的交互式硬件设备，它能够提供给开发者一些相关的数据。开发者能够通过获取的数据知道手部所在的位置，同时也可以获取手部的一些动作信息。通过使用数据手套实现的系统能准确地获取手部位置，但是由于佩戴数据手套会给使用者带来不好的用户体验，同时也会给使用者带来诸多不便。

颜色是人体手部区域的一个重要的特征。因此，大量研究人员在进行手部检测时，往往会根据肤色特征完成场景中的手部检测。在利用手部肤色特征进行检测时，其具有一些自身的特点，如手部肤色特征具有一定的稳定性，检测不会因手部的平移、旋转以及缩放受到影响，同时检测效果对图像的尺寸、方向以及视角变化的依赖性十分小。因此，在一些特殊的场景中可以通过肤色来检测手部区域。

6总结与展望

6.1论文工作总结

本课题主要对远程象棋博弈系统中的一些关键技术进行研宄，包含复杂场景中的棋盘区域识别、棋盘格格点位置定位、基于手部检测的棋子运动定位、虚拟棋子与对方棋盘的现实影像的实时合成等。

本文的主要研究成果如下：

1、传统的象棋棋盘区域识别都是通过摄像机对准棋盘区域进行拍摄，获取的图像都是棋盘区域的图像，因此对于场景中棋盘区域的识别相对简易。但是，基于增强现实技术的远程象棋博弈系统并不只是釆集棋盘区域的图像，而是通过摄像机采集包含棋盘区域的较大场景。针对这种问题，本文提出了一种基于聚类分析和模板匹配相结合的技术来完成对复杂场景中棋盘检测的方法，为后期的一些工作提供支持。

2、由于需要将设计的3D象棋棋子融合到场景中去，所以需要对棋盘上的格点进行有效的定位。本文提出了一种基于直线检测的定位技术，在对检测到的多余直线消除上，本文提出了一种根据距离参数获取一个自动参数对多余直线进行分类并整合的方法，最终获取直线模式。通过计算直线的交点来获取棋盘格格点的位置信息，将我们设计的3D虚拟棋子融合到真实的场景中去。

3在进行象棋博弈时，需要确定出用户移动的是哪个棋子以及移动棋子的前后位置，进而能够控制场景中的虚拟棋子移动。在棋子的运动过程中，手部区域是棋盘区域的主要运动目标，因此本文提出了一种对棋盘区域进行手部检测来区分棋子运动前后图像的方法，通过处理棋子移动前后的图像来确定出棋子移动的位置，最终实现对虚拟棋子的定位处理。

参考文献（略）