前面十三篇文章介绍了Kinect SDK开发中的各个方面的最基础的知识。正如本系列博闻标题那样，这些知识只是Kinect for windows SDK开发的入门知识。本文将会介绍Kinect进阶开发需要了解一些知识(beyond the basic)。 读者可能会注意到，在学习了前面十三篇文章中关于Kinect开发的方方面面，如影像数据流、景深摄像机、骨骼追踪、麦克风阵列、语音识别等这些知识后，离开发出一些我们在网上看到的那些具有良好用户体验的Kinect应用程序还是显得捉襟见肘。Kinect SDK在某种意义上只是提供了一些其它Kinect类库的相同或者更好的功能。为了进一步提高Kinect for Windows应用程序的应用体验，我们需要了解一些其他的和Kinect有关的开发技术和类库。Kinect的真正应用潜力是和其他技术进行整合。 本文将会介绍 …
上一篇文章介绍了Kinect中语音识别的基本概念，以及一些语音处理方面的术语。在此基础上使用Kinect麦克风阵列来进行音频录制的例子说明了Kinect中音频处理的核心对象及其配置。本文将继续介绍Kinect中的语音识别，并以两个小例子来展示语音识别中的方向识别和语音命令识别。 1. 使用定向麦克风进行波速追踪（Beam Tracking for a Directional Microphone） 可以使用这4个麦克风来模拟定向麦克风产生的效果，这个过程称之为波束追踪(beam tracking)，为此我们新建一个WPF项目，过程如下： 1. 创建一个名为KinectFindAudioDirection的WPF项目。 2. 添加对Microsoft.Kinect.dll和Microsoft.Speech.dll的引用。 3. 将主窗体的名称改为& …
Kinect的麦克风阵列在Kinect设备的下方。这一阵列由4个独立的水平分布在Kinect下方的麦克风组成。虽然每一个麦克风都捕获相同的音频信号，但是组成阵列可以探测到声音的来源方向。使得能够用来识别从某一个特定的方向传来的声音。麦克风阵列捕获的音频数据流经过复杂的音频增强效果算法处理来移除不相关的背景噪音。所有这些复杂操作在Kinect硬件和Kinect SDK之间进行处理，这使得能够在一个大的空间范围内，即使人离麦克风一定的距离也能够进行语音命令的识别。 在Kinect第一次作为Xbox360的外设发布时，骨骼追踪和语音识别是Kinect SDK最受开发者欢迎的特性，但是相比骨骼追踪，语音识别中麦克风阵列的强大功能有一点被忽视了。一部分原因归于Kinect中的令人兴奋的骨骼追踪系统，另一部分原因在于Xbox游戏操控面板以及Kinect体感游戏没有充分发挥 …
上文简要介绍了手势识别的基本概念和手势识别的基本方法，并以八种手势中的挥手(wave)为例讲解了如何使用算法对手势进行识别，本文接上文，继续介绍如何建立一个手部追踪类库，并以此为基础，对剩余7中常用的手势进行识别做一些介绍。 1. 基本的手势追踪 手部追踪在技术上和手势识别不同，但是它和手势识别中用到的一些基本方法是一样的。在开发一个具体的手势控件之前，我们先建立一个可重用的追踪手部运动的类库以方便我们后续开发。这个手部追踪类库包含一个以动态光标显示的可视化反馈机制。手部追踪和手势控件之间的交互高度松耦合。 首先在Visual Studio中创建一个WPF控件类库项目。然后添加四个类： KinectCursorEventArgs.cs，KinectInput.cs，CusrorAdorner.cs和KinectCursorManager.cs这四个 …
随着手机，平板电脑的普及和流行，越来越多的应用程序使用多点触控进行操作。随着Windows7系统增加了多点触控，WPF4.0和Windows Phone中相关的类库也使得多点触控程序开发起来更加简单方便。但是，开发多点触控应用程序的缺乏好的调试环境，通常需要在真实的环境中进行测试，有时候开发者不一定有真实的设备。比如开发Windows Phone应用程序，开发者不一定有机器，只能在模拟器上运行，但是自带的模拟器并不支持多点触控，所以在电脑上部署模拟多点触控环境能给开发者来带来很多方便。本文就介绍如何在电脑上建立多点触控模拟开发环境。 1.安装和设定模拟环境 1.1 下载 Multi-Touch Vista 要在Windows7上部署多点触控环境，需要安装相应的驱动。需要下载 Muiti-Touch Vista 工具包，该工具起先是为支持在Vista系统中模 …
像点击(clicks)是GUI平台的核心，轻点(taps)是触摸平台的核心那样，手势(gestures)是Kinect应用程序的核心。和图形用户界面中的数字交互不同，手势是现实生活中存在的动作。如果没有电脑我们就不需要鼠标，但是没了Kinect，手势依然存在。从另一方面讲，手势是日常生活中人与人之间相互交流的一部分。手势能够增强演讲的说服力，能够用来强调和传递情感。像挥手(waving)或者指向(pointing)这些手势都是某种无声的演讲。 Kinect应用程序的设计和开发者的任务就是将这些现实生活中存在的手势映射到计算机交互中去以传达人的想法。尝试从鼠标或触摸式的GUI设计移植基于手势的自然交互界面要做很多工作。借鉴过去30多年来对于这一概念的研究，以及从一些Kinect for Xbox的体感游戏中获取一些设计理念，计算机工程师和交互设计师一起为 …
相信大家都用过Language Integrated Query (LINQ)，他是一种强大的工具能够从集合中提取数据。Reactive Extensions（Rx）是对LINQ的一种扩展，他的目标是对异步的集合进行操作，也就是说，集合中的元素是异步填充的，比如说从webservice或者云端获取数据然后对集合进行填充。 LINQ是从C#3.0开始引入的语言特性，而Rx起源于Microsoft DevLabs小组的研究，他扩展了LINQ的一些特性，目前Rx支持多种平台如JavaScript，Windows Phone。随着数据处理变得复杂，LINQ使得我们的处理逻辑变得简单清晰，同样地，随着越来越多的数据通过从云端异步获取，Rx使得这种异步数据处理操作变得简单和容易维护。 本文简要介绍LINQ和Rx的重要性，并用代码展示了LINQ和Rx的一些基本操作。 …
1. 基于景深数据的用户交互 到目前为止我们只用了骨骼数据中关节点的X,Y值。然而Kinect产生的关节点数据除了X,Y值外还有一个深度值。基于Kinect的应用程序应该利用好这个深度值。下面的部分将会介绍如何在Kinect应用程序中使用深度值。 除了使用WPF的3D特性外，在布局系统中可以根据深度值来设定可视化元素的尺寸大小来达到某种程序的立体效果。下面的例子使用Canvas.ZIndex属性来设置元素的层次，手动设置控件的大小并使用ScaleTransform来根据深度值的改变来进行缩放。用户界面包括一些圆形，每一个圆代表一定的深度。应用程序跟踪用户的手部关节点，以手形图标显示，图标会根据用户手部关节点的深度值来进行缩放，用户离Kinect越近，手形图表越大，反之越小。 创建一个新的WPF项目，主界面的XAML如下。主要的布局容器为Cnavas容器。它包含5个 …
前7篇文件我们介绍了Kinect SDK中各种传感器的各种基本知识，我们用实验的方式演示了这些基本对象和方法的如何使用，这些都是Kinect开发最基本的知识。了解了这些基本知识后，就可以开发出一个基于Kinect的简单程序了。但是这些离开发出一个好的基于Kinect的应用程序还有一段距离。后面的文章中，将会结合Kinect SDK介绍WPF以及其它第三方工具，类库来建立一个以Kinect为驱动的有较好用户体验的程序。我们将利用之前讲到的知识来进行下面一些比较复杂的话题。 Kinect传感器核心只是发射红外线，并探测红外光反射，从而可以计算出视场范围内每一个像素的深度值。从深度数据中最先提取出来的是物体主体和形状，以及每一个像素点的游戏者索引信息。然后用这些形状信息来匹配人体的各个部分，最后计算匹配出来的各个关节在人体中的位置。这就是我们之前介绍过的骨骼追踪。 红外 …
上一篇文章用在UI界面上绘制骨骼数据的例子展示了骨骼追踪系统涉及的主要对象，然后详细讨论了骨骼追踪中所涉及的对象模型。但是了解了基本概念是一回事，能够建立一个完整的可用的应用程序又是另外一回事，本文通过介绍一个简单的Kinect游戏来详细讨论如何应用这些对象来建立一个完整的Kinect应用，以加深对Kinect骨骼追踪所涉及的各个对象的了解。 1. Kinect连线游戏 相信大家在小时候都做过一个数学题目，就是在纸上将一些列数字(用一个圆点表示)从小到大用线连起来。游戏逻辑很简单，只不过我们在这里要实现的是动动手将这些点连起来，而不是用笔或者鼠标。 这个小游戏显然没有第一人称射击游戏那样复杂，但如果能够做成那样更好。我们要使用骨骼追踪引擎来收集游戏者的关节数据，执行操作并渲染UI界面。这个小游戏展示了自然用户界面（Natural User …