Kalman filter

1． 什么是卡尔曼滤波器
（What is the Kalman Filter?）

在学习卡尔曼滤波器之前，首先看看为什么叫“卡尔曼”。跟其他著名的理论（例如傅立叶变换，泰勒级数等等）一样，卡尔曼也是一个人的名字，而跟他们不同的是，他是个现代人！

卡尔曼全名Rudolf Emil Kalman，匈牙利数学家，1930年出生于匈牙利首都布达佩斯。1953，1954年于麻省理工学院分别获得电机工程学士及硕士学位。1957年于哥伦比亚大学获得博士学位。我们现在要学习的卡尔曼滤波器，正是源于他的博士论文和1960年发表的论文《A New Approach to Linear Filtering and Prediction Problems》（线性滤波与预测问题的新方法）。如果对这编论文有兴趣，可以到这里的地址下载： http://www.cs.unc.edu/~welch/media/pdf/Kalman1960.pdf。

简单来说，卡尔曼滤波器是一个“optimal recursive data processing algorithm（最优化自回归数据处理算法）”。对于解决很大部分的问题，他是最优，效率最高甚至是最有用的。他的广泛应用已经超过30年，包括机器人导航，控制，传感器数据融合甚至在军事方面的雷达系统以及导弹追踪等等。近年来更被应用于计算机图像处理，例如头脸识别，图像分割，图像边缘检测等等。

2．卡尔曼滤波器的介绍
（Introduction to the Kalman Filter）

为了可以更加容易的理解卡尔曼滤波器，这里会应用形象的描述方法来讲解，而不是像大多数参考书那样罗列一大堆的数学公式和数学符号。但是，他的5条公式是其核心内容。结合现代的计算机，其实卡尔曼的程序相当的简单，只要你理解了他的那5条公式。

在介绍他的5条公式之前，先让我们来根据下面的例子一步一步的探索。

假设我们要研究的对象是一个房间的温度。根据你的经验判断，这个房间的温度是恒定的，也就是下一分钟的温度等于现在这一分钟的温度（假设我们用一分钟来做时间单位）。假设你对你的经验不是100%的相信，可能会有上下偏差几度。我们把这些偏差看成是高斯白噪声（White Gaussian Noise），也就是这些偏差跟前后时间是没有关系的而且符合高斯分配（Gaussian Distribution）。另外，我们在房间里放一个温度计，但是这个温度计也不准确的，测量值会比实际值偏差。我们也把这些偏差看成是高斯白噪声。

好了，现在对于某一分钟我们有两个有关于该房间的温度值：你根据经验的预测值（系统的预测值）和温度计的值（测量值）。下面我们要用这两个值结合他们各自的噪声来估算出房间的实际温度值。

假如我们要估算k时刻的是实际温度值。首先你要根据k-1时刻的温度值，来预测k时刻的温度。因为你相信温度是恒定的，所以你会得到k时刻的温度预测值是跟k-1时刻一样的，假设是23度，同时该值的高斯噪声的偏差是5度（5是这样得到的：如果k-1时刻估算出的最优温度值的偏差是3，你对自己预测的不确定度是4度，他们平方相加再开方，就是5）。然后，你从温度计那里得到了k时刻的温度值，假设是25度，同时该值的偏差是4度。

由于我们用于估算k时刻的实际温度有两个温度值，分别是23度和25度。究竟实际温度是多少呢？相信自己还是相信温度计呢？究竟相信谁多一点，我们可以用他们的covariance来判断。因为Kg^2=5^2/(5^2+4^2)，所以Kg=0.78，我们可以估算出k时刻的实际温度值是：23+0.78*(25-23)=24.56度。可以看出，因为温度计的covariance比较小（比较相信温度计），所以估算出的最优温度值偏向温度计的值。

现在我们已经得到k时刻的最优温度值了，下一步就是要进入k+1时刻，进行新的最优估算。到现在为止，好像还没看到什么自回归的东西出现。对了，在进入k+1时刻之前，我们还要算出k时刻那个最优值（24.56度）的偏差。算法如下：((1-Kg)*5^2)^0.5=2.35。这里的5就是上面的k时刻你预测的那个23度温度值的偏差，得出的2.35就是进入k+1时刻以后k时刻估算出的最优温度值的偏差（对应于上面的3）。

就是这样，卡尔曼滤波器就不断的把covariance递归，从而估算出最优的温度值。他运行的很快，而且它只保留了上一时刻的covariance。上面的Kg，就是卡尔曼增益（Kalman Gain）。他可以随不同的时刻而改变他自己的值，是不是很神奇！

下面就要言归正传，讨论真正工程系统上的卡尔曼。

3． 卡尔曼滤波器算法
（The Kalman Filter Algorithm）

在这一部分，我们就来描述源于Dr Kalman 的卡尔曼滤波器。下面的描述，会涉及一些基本的概念知识，包括概率（Probability），随即变量（Random Variable），高斯或正态分配（Gaussian Distribution）还有State-space Model等等。但对于卡尔曼滤波器的详细证明，这里不能一一描述。

首先，我们先要引入一个离散控制过程的系统。该系统可用一个线性随机微分方程（Linear Stochastic Difference equation）来描述：
X(k)=A X(k-1)+B U(k)+W(k)
再加上系统的测量值：
Z(k)=H X(k)+V(k)
上两式子中，X(k)是k时刻的系统状态，U(k)是k时刻对系统的控制量。A和B是系统参数，对于多模型系统，他们为矩阵。Z(k)是k时刻的测量值，H是测量系统的参数，对于多测量系统，H为矩阵。W(k)和V(k)分别表示过程和测量的噪声。他们被假设成高斯白噪声(White Gaussian Noise)，他们的covariance 分别是Q，R（这里我们假设他们不随系统状态变化而变化）。

对于满足上面的条件(线性随机微分系统，过程和测量都是高斯白噪声)，卡尔曼滤波器是最优的信息处理器。下面我们来用他们结合他们的covariances 来估算系统的最优化输出（类似上一节那个温度的例子）。

首先我们要利用系统的过程模型，来预测下一状态的系统。假设现在的系统状态是k，根据系统的模型，可以基于系统的上一状态而预测出现在状态：
X(k|k-1)=A X(k-1|k-1)+B U(k) ……….. (1)
式(1)中，X(k|k-1)是利用上一状态预测的结果，X(k-1|k-1)是上一状态最优的结果，U(k)为现在状态的控制量，如果没有控制量，它可以为0。

到现在为止，我们的系统结果已经更新了，可是，对应于X(k|k-1)的covariance还没更新。我们用P表示covariance：
P(k|k-1)=A P(k-1|k-1) A’+Q ……… (2)
式(2)中，P(k|k-1)是X(k|k-1)对应的covariance，P(k-1|k-1)是X(k-1|k-1)对应的covariance，A’表示A的转置矩阵，Q是系统过程的covariance。式子1，2就是卡尔曼滤波器5个公式当中的前两个，也就是对系统的预测。

现在我们有了现在状态的预测结果，然后我们再收集现在状态的测量值。结合预测值和测量值，我们可以得到现在状态(k)的最优化估算值X(k|k)：
X(k|k)= X(k|k-1)+Kg(k) (Z(k)-H X(k|k-1)) ……… (3)
其中Kg为卡尔曼增益(Kalman Gain)：
Kg(k)= P(k|k-1) H’ / (H P(k|k-1) H’ + R) ……… (4)

到现在为止，我们已经得到了k状态下最优的估算值X(k|k)。但是为了要另卡尔曼滤波器不断的运行下去直到系统过程结束，我们还要更新k状态下X(k|k)的covariance：
P(k|k)=（I-Kg(k) H）P(k|k-1) ……… (5)
其中I 为1的矩阵，对于单模型单测量，I=1。当系统进入k+1状态时，P(k|k)就是式子(2)的P(k-1|k-1)。这样，算法就可以自回归的运算下去。

卡尔曼滤波器的原理基本描述了，式子1，2，3，4和5就是他的5 个基本公式。根据这5个公式，可以很容易的实现计算机的程序。

下面，我会用程序举一个实际运行的例子。。。
4． 简单例子
（A Simple Example）

这里我们结合第二第三节，举一个非常简单的例子来说明卡尔曼滤波器的工作过程。所举的例子是进一步描述第二节的例子，而且还会配以程序模拟结果。

根据第二节的描述，把房间看成一个系统，然后对这个系统建模。当然，我们见的模型不需要非常地精确。我们所知道的这个房间的温度是跟前一时刻的温度相同的，所以A=1。没有控制量，所以U(k)=0。因此得出：
X(k|k-1)=X(k-1|k-1) ……….. (6)
式子（2）可以改成：
P(k|k-1)=P(k-1|k-1) +Q ……… (7)

因为测量的值是温度计的，跟温度直接对应，所以H=1。式子3，4，5可以改成以下：
X(k|k)= X(k|k-1)+Kg(k) (Z(k)-X(k|k-1)) ……… (8)
Kg(k)= P(k|k-1) / (P(k|k-1) + R) ……… (9)
P(k|k)=（1-Kg(k)）P(k|k-1) ……… (10)

现在我们模拟一组测量值作为输入。假设房间的真实温度为25度，我模拟了200个测量值，这些测量值的平均值为25度，但是加入了标准偏差为几度的高斯白噪声（在图中为蓝线）。

为了令卡尔曼滤波器开始工作，我们需要告诉卡尔曼两个零时刻的初始值，是X(0|0)和P(0|0)。他们的值不用太在意，随便给一个就可以了，因为随着卡尔曼的工作，X会逐渐的收敛。但是对于P，一般不要取0，因为这样可能会令卡尔曼完全相信你给定的X(0|0)是系统最优的，从而使算法不能收敛。我选了X(0|0)=1度，P(0|0)=10。

该系统的真实温度为25度，图中用黑线表示。图中红线是卡尔曼滤波器输出的最优化结果（该结果在算法中设置了Q=1e-6，R=1e-1）。

VC++2005 CString和char*的相互转换

首先声明我不是一个高手，而是一个初学者，文章同样也是一个初学者对于CString和char*转换的理解。
因为需要，接触C++一段时间了，其中最为困扰我的问题就是在使用C++的过程中CString和char*的转换，在网上搜索了一下，看到问这个问题的 人挺多的。我使用的平台是Win2003+VC 2005，本来这个很简单的问题稍微复杂了一点在2005里面。
在我的工程里面要集成一个用C开发的程序，用VC做windows窗体的界面，在C的函数中有不少是使用char*作为参数的，因此有一个必不可少的步骤就是把CString转换为shar*字符串。
作为一个初学者，遇到这个问题，首先是在baidu上搜索了一下转换的方法，有很多结果，别人也说有效，但是我把它放在我的代码里面的时候，就是出现错误。下面是我的解决办法。
使用CString的GetBuffer方法
CString origCString("Hello,World");
char* CharString = origCString.GetBuffer(origCString.GetLength()+1);
网上的很多文章说的都是这个方法，但是我在VC++2005中编译得到下列信息
Error 1 error C2440: 'initializing' : cannot convert from 'wchar_t *' to 'char *'
对于这个错误不是很理解，因为是刚开始使用VC不久，所以对于wchar_t和char的区别不是很清楚，在MSDN中查看了一下，wchar_t是一个 宽字符型，相当于unsigned short（16bit）。而我们通常使用的char是8bit。继续搜索wchar_t*到char*的转换，msdn上面有一篇文章是Convert Between Various String Types， 讲了VC++2005中的各种字符串char *, wchar_t*, _bstr_t, CComBSTR, CString, basic_string, and System.String的相互转换。其中将wchar_t*转换为char*的代码如下：(为了保持文章的一致性，修改了变量名)
#include
#include
using namespace std;
int main()
{
wchar_t *origString = L"Hello,World";
wcout << origsize =" wcslen(origString)" newsize =" 100;" convertedchars =" 0;">
输出正确，均为Hello, World!
结合上面的两段，看看能不能将CString转换为char*
CString origCString("Hello, World!");
wchar_t* wCharString = origCString.GetBuffer(origCString.GetLength()+1);
size_t origsize = wcslen(wCharString) + 1;
size_t convertedChars = 0;
char *CharString;
CharString=new char(origsize);
wcstombs_s(&convertedChars, CharString, origsize, wCharString , _TRUNCATE);
cout <<>
成功输出字符串"Hello,World"
至于为什么原来的那段代码别人都能用好，而我在VC++2005下面去不能直接使用，还要通过转换呢？正好看到《Programming Windows》的第二章讲Unicode的和在msdn论坛问了一下相关问题后得到答案。
原来在VC++ 2005以前，应用程序默认都是关闭对Unicode的支持的，而在VC2005中，默认打开了对它的支持，CString对应的字符串应该是TCHAR，TCHAR的定义是这样的，
#ifdef _UNICODE
typedef wchar_t TCHAR ;
#else
typedef char TCHAR;
#endif
我 想这个就是为什么我在VC++2005种不能直接转换的原因。在工程中应该可以关闭对于Unicode的支持，从而可以直接转换。这个做法是右击工程名 —〉Property—〉General中的character set中选择not set，这样，本文开头的那段代码就可以正确的执行了。

七道KB推理题!2008年最新的美国FBI犯罪心理测试题!

一 绿衣服
一个刚退伍的老兵,一天夜裏起床上厕所时,发现老伴没有睡在身边,枕头掉在木头地板上,然后很疑惑的他走进厕所发现了马桶上
有一件很小的绿色衣服,当场就被吓死了,请问为什麽?

关键词提示：老兵 枕头 绿色衣服（不是其他颜色）


二 七点十二分
一名男子很惧怕坐飞机,但是由于工作的关系不得不乘坐飞机在各国间出差往来。他每次都对于时差现象特别不适应，有一次他来到了
一个跨洲的国家后，下飞机后看了一下手表，显示的是早上七点十二分，他随后就哭著自杀了，请问为什麽?

关键词提示：跨洲的国家 七点十二分

三 钥匙
一名保险推销员下班后去超市买过圣诞节送给女友的礼品，他最终买的是一个刻有月亮图案的纯银挂件。出超市后，他看见一个小姑娘
在路边哭泣，就过去看怎麽回事，突然发现那个小姑娘胸前有一串钥匙。第二天，警方发现小姑娘全身赤裸地死在街边，试分析原因。

关键词提示：保险推销员 全身赤裸


四 半张相片
女孩和男孩恋爱很久，当初是男孩先追求的女孩。女孩过生日了，男孩送给她一个八音盒，虽然是旧的，但女孩十分高兴。不久后
有一天，女孩不小心把八音盒摔坏了，发现裏面夹这一张只剩半截的旧相片，上面很模糊地象是一条狗的影像，女孩马上吓死了，
请问为什麽?

关键词提示：旧的八音盒 半张相片 一条狗的影像

五 混血儿
有一个孩子，他的父亲是名英国医生，他的母亲是一名日本的英语教师，他从小就因为自己是混血儿而倍感自豪。有一天他翻开母亲
上课准备的讲义，发现裏面有一张很久前的便条纸，上面画了一面英国，他立刻回家刺杀了父亲，请问为什麽?

关键词提示：医生 英语教师 国旗没涂颜色

六 MSN头象
一名有前科的男子刚从警局回家，他由于某件杀人事件而三不五时地被召唤去警局盘问，但由于证据不足被释放了。回家后他和
往常一样打开了MSN聊天，忽然发现一名网友的头象是一件肮脏的黑色西装，他马上冲出去，到街上买了一件相同规格，但是颜色为白色的西装。
试分析原因。

关键词提示：肮脏的黑色西装 白色的西装


七 可乐的味道
一个在运动中骨折的患者（女性）康复出院了，家裏庆祝并大摆宴席。喝饮料的时候，患者的哥哥说今天的可乐怎麽味道有点怪，然后患者的父亲
和母亲也喝了纷纷表示可乐味道的确不对。但患者喝后坚称味道正常。患者死于当天晚上洗澡的澡盆裏。为什麽？


关键词提示：女性 晚上 澡盆

贝叶斯公式在处理垃圾邮件中的应用

贝叶斯公式在处理垃圾邮件中的应用
Thomas Bayes(1702-1763), 托马斯·贝叶斯是一位英国牧师数学家，1742年成为英国皇家学会会员1763年4月7日逝世，1763年，他发表了贝叶斯统计理论，即根据已经发生的事件来预测事件发生的可能性，贝叶斯理论假设：如果事件的结果不确定，那么量化它的唯一方法就是事件的发生概率。如果过去试验中事件的出现率已知，那么根据数学方法可以计算出未来试验中事件出现的概率。贝叶斯定理可以用一个数学公式表达。即贝叶斯公式。

贝叶斯定理（又被称为贝叶斯法则）是概率论中的一个结果，它跟随机变量的条件概率以及边缘概率分布有关。在有些关于概率的解说中，贝叶斯定理(贝叶斯更新）能够告知我们如何利用新证据修改已有的看法。

通常，事件A在事件B(发生)的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系,贝叶斯定理就是这种关系的陈述。

作为一个规范的原理，贝叶斯定理对于所有概率的解释是有效的；然而，频率主义者和贝叶斯主义者对于在应用中概率如何被赋值有着不同的看法：频率主义者根据随机事件发生的频率，或者总体样本里面的个数来赋值概率；贝叶斯主义者要根据未知的命题来赋值概率。一个结果就是，贝叶斯主义者有更多的机会使用贝叶斯定理。

反垃圾邮件是具有相当难度的事情，垃圾邮件每天都在增加和变化。据Radicati估计2007年，垃圾邮件的比例将达到70％。现在的垃圾邮件发送者变得更加狡猾，采用静态反垃圾邮件技术很难防范。垃圾邮件发送者只要简单的研究一下现在采用了哪些静态反垃圾邮件，然后相应的改变一下邮件的内容或发送方式，就可以逃避检查了。

因此，必须采用一种新的技术来克服静态反垃圾邮件的弱点，这种技术应该对垃圾邮件发送者的各种伎俩了如指掌，还要能适应不同用户对于反垃圾邮件的个性化需求。这种技术就是贝叶斯过滤技术。

贝叶斯过滤技术的工作原理

根据贝叶斯理论，根据已经发生的时间可以预测未来事件发生的可能性。将该理论运用到反垃圾邮件上：若已知某些字词经常出现在垃圾邮件中，却很少出现在合法邮件中，当一封邮件含有这些字词时，那么他是垃圾邮件的可能性就很大。

1创建基于字词符号的贝叶斯数据库

用户首先需要对贝叶斯进行培训，即将邮件分类为垃圾邮件（用户不想要的）和正常邮件（用户想要的），贝叶斯将提取这些邮件样本中主题和信体中的独立字串，包括字词（word）和符号（token）（如$，IP地址，域名等），并建立相应的数据库。

2创建贝叶斯概率库

统计出每个字串在垃圾邮件中出现的概率以及在正常邮件中出现的概率，然后根据公式计算出邮件中含某字串则为垃圾邮件的概率。例如：在3000封垃圾邮件样本中"mortgage"（抵押）出现了400次，而在300封正常邮件中这个词出现了5次，那么其对应的垃圾概率为0.8889（[400/3000] /[5/300+400/3000]）。

3创建个性化的贝叶斯库（最符合您公司需求的贝叶斯库）

由于每个公司对所收到的邮件偏好是不同的，例如，某个金融类公司在正常邮件中可能经常用到"mortgage"这个词，如果使用静态的关键词过滤，就可能产生很多误判。如果采用贝叶斯过滤，在对贝叶斯进行培训的时候，将该公司的合法邮件（自然，很多都包含了"mortgage"这个词）分类为正常邮件。这样，垃圾邮件的识别率将更高，同时也使得误判率变得很低。

有些反垃圾邮件软件使用了比较初级的贝叶斯过滤机制，如outlook，foxmail等。他们采用的是通用化的贝叶斯数据库。这种贝叶斯不需要进行培训，但有两个明显的弱点：

1.如果采用通用化的贝叶斯过滤则很容易被专业的垃圾邮件发送者攻破从而绕过检查，但是如果采用个性化的贝叶斯，则他们很难攻破。

2.通用化的贝叶斯与您公司的邮件过滤要求不符，因此过滤效果通常不明显，并且可能产生较高的误判。

除了学习好的邮件之外，贝叶斯还应学习垃圾邮件，这些垃圾邮件样本应该包括了大量的已知垃圾邮件样本以及最新的变化了的垃圾邮件样本。这样才能达到最好的过滤效果，对最新的垃圾邮件样本的学习通常需要两周左右的时间。

4贝叶斯过滤器的处理过程。

贝叶斯过滤器学习了垃圾邮件样本及正常邮件样本后，每个字串代表的垃圾概率就被计算出了。

一封新的邮件到达时，这封邮件的内容将被分成字串（词或符号）。依据数据库中这些字词的概率通过公式[3]进行计算，贝叶斯将推算出这封邮件是垃圾邮件还是正常邮件。通常当贝叶斯计算出的垃圾邮件可能性高于某个数值（阈值）时，比如0.9，就判定这封邮件是垃圾邮件。


贝叶斯过滤的优点

――2003年5月BBC专题报道称，贝叶斯可以达到99.7％的垃圾邮件识别率，同时误判率极低。是目前最有效的反垃圾邮件技术。

1 贝叶斯过滤技术对邮件的所有内容进行分析，不仅仅是其中的某个关键词，而且他能判别邮件是垃圾邮件还是正常邮件。例如：包含“free”“cash”“发票”字样的邮件不一定是垃圾邮件，如果采用关键字过滤技术，显然难以达到理想的效果。而贝叶斯呢，即考虑了这些词在垃圾邮件中出现的概率又考虑了它在正常邮件中的概率，综合考虑这些因素才做出判断。可以说，贝叶斯具有一定的智能，它对邮件中的关键词汇能综合的进行评判，可以把握“好”与“坏”之间的平衡。显然，这种技术远远高于非1即0的静态过滤技术。

2 贝叶斯过滤技术具备自适应功能――通过学习新的垃圾邮件及正常邮件样本，贝叶斯将能对抗最新的垃圾邮件。并且对变体字有奇效。比如，垃圾邮件发送者开始使用"f-r-e-e"来代替“free”这样能够绕过关键字检查，除非"f-r-e-e"被加到新的关键字中。对贝叶斯而言，当它发现邮件中含有"f-r -e-e"时，由于正常邮件中从来没有发现这个词，因此他是垃圾邮件的可能性将急剧增加，"f-r-e-e"这个新词无疑成了垃圾邮件的指示器。在比如，垃圾邮件中用5e代替se，贝叶斯也推算出他是垃圾邮件的可能性也急剧增加。

3 贝叶斯过滤技术更加个性化。他能学习并理解用户对邮件的偏好。如前所述，‘mortgage’抵押一词对软件公司而言意味者垃圾，但对金融类公司则意味着好邮件。贝叶斯能根据用户的这种偏好进行处理。

4 贝叶斯过滤技术支持多语种或者说与编码无关。对于贝叶斯而言，他分析的是字串，无论他是字、词、符号、还是别的什么，当然更与语言无关。

5 贝叶斯过滤器很难被欺骗。垃圾邮件发送高手通常通过减少垃圾词汇（如free、viagra、发票）或者在信中多掺一些好的词汇（如合同、文件）来绕过检查一般的邮件内容检查，但由于贝叶斯具有的个性化色彩，要想成功的绕过贝叶斯的检查，他就不得不对每个收件人的偏好进行研究，这简直是“不可能完成的任务”。垃圾邮件发送者无法容忍的。若采用变化字，则如前所述贝叶斯判断其为垃圾邮件的可能性反而增加。

如何才能培训出好的贝叶斯过滤器

贝叶斯的样本数并不是越多越好，但一般需要超过一定的数量才能工作。要培训出比较好的贝叶斯，有如下建议：

1 不要过多的重复分类某一封或某一类邮件，以免概率失真（失衡），要分批分时间多次进行，这样样本分布广泛。

2 对要分类的邮件应认真看完，不要瞟一眼就分类。

3 如果邮件是垃圾邮件，但是和您公司的邮件或者和正常的邮件很接近，最好不要分类这种邮件。

4 如果这封邮件不是垃圾邮件，是那种在网络上订阅的邮件，如淘宝、当当等，最好把发件人加入白名单，而不要分类到贝叶斯中。

5 避免将哪些含有随机字词（贝叶斯中毒策略）的邮件进行分类。虽然新的贝叶斯系统提供了相应的保护机制。

6 样本的文字篇幅极大，请避免。（样本提供的数据将过于复杂）；样本的文字篇幅极少，或者只有图，请避免。（贝叶斯针对的是字词概率）

好的贝叶斯通常需要两周左右的培训时间，虽然需要花些时间和精力，但是机遇总是惠顾勤奋的人，这些努力都是值得的。

Window Vista 相关下载

Vista下载地址