图像前景提取的方法和装置与流程

本发明涉及到实时视频运动目标检测跟踪领域，特别是涉及到一种图像前景提取的方法和装置。

背景技术：

随着视频监控摄像头在智能监控领域的广泛应用与智能视频分析技术的快速发展，设计一种高效实时的背景建模和前景提取的算法，从而准确进行运动目标的检测和跟踪成为了视频监控领域一个研究热点。

由于场景的复杂性、不可预知性，以及各种环境干扰和噪声的存在，使背景的建模和模拟变得比较困难，实现运动物体检测面临诸多挑战。比如必须适应环境的变化、相机抖动引起画面的抖动，必须能够正确的检测出背景物体的改变(比如新停下的车必须及时的归为背景物体，而由静止开始移动的物体也需要及时的检测出来)。物体检测中往往会出现Ghost区域(Ghost区域是指当一个原本静止的物体开始运动，算法可能会将原来该物体所覆盖的区域错误的检测为运动的，这块区域就成为Ghost，同样原来运动的物体变为静止的也会引入Ghost区域)，Ghost区域在检测中必须被尽快的消除。

现有大部分背景模型均存在不足之处，首先，背景模型未充分利用图像中的相邻像素点之间相关性信息，这就使得检测出的前景产生了随机分布的漏检和虚景区域。其次，背景模型的更新速度与运动目标的运动速度不好匹配。若背景模型的更新速度比场景变化速度慢，则容易产生Ghost区域；若背景模型更新速度过快则易漏检运动目标。再次，在复杂场景中摇摆的树枝以及运动阴影也会被误检为前景。

例如对于油田监控场景，既需要排除雨雪等各种环境噪声干扰、树叶摇摆干扰、夜晚灯光阴影的干扰，还需要去除磕头机的运动。另 外对于视频监控领域，算法的效率直接影响着产品的性能。

所以如何更快地将Ghost区域消融和能够稳定可靠地应对噪声时需要解决的问题。

技术实现要素：

本发明的主要目的为提供一种建模效率高、前景提取效果更好的图像前景提取的方法和装置。

为了实现上述发明目的，本发明提出一种图像前景提取的方法，包括：

根据预设条件获取当前帧像素的距离判定阈值，并计算当前帧像素的积分直方图；

根据积分直方图计算当前帧像素距离判定阈值范围内的样本个数；

将所述样本个数与预设的样本个数阈值比较，若样本个数大于或等于样本个数阈值，则判定当前帧像素为背景点，反之，则为前景点。

进一步地，所述根据样本个数与预设的样本个数阈值比较，若样本个数大于或等于样本个数阈值，则判定当前帧像素为背景点，反之，则为前景点的步骤之后，包括：

每一个背景点随机更新自己的样本值，以及随机更新其邻域点的样本值，并统计背景点更新后的灰度直方图和邻域点更新后的灰度直方图。

进一步地，当第一次启动图像采集装置时，所述根据预设条件获取当前帧像素的距离判定阈值，并计算当前帧像素的积分直方图的步骤之前，包括：

获取建模的样本集个数，并根据时间顺序建立差分存储的灰度直方图。

进一步地，所述每一个背景点随机更新自己的样本值，以及随机更新其邻域点的样本值，并统计背景点更新后的灰度直方图和邻域点更新后的灰度直方图的步骤之后，包括：

根据图像中前景点数目持续占比，判断是否进行初始化背景模型。

进一步地，所述根据预设条件获取当前帧像素的距离判定阈值的步骤包括：

预设自适应条件列表，根据当前帧像素从自适应条件列表中选取对应的距离判定阈值，预设列表为其中，r为距离判定阈值，Pi为当前帧像素。

本发明还提供一种图像前景提取的装置，包括：

获取单元，用于像素分类，根据预设条件获取当前帧像素的距离判定阈值，并计算当前帧像素的积分直方图；

计算单元，用于根据积分直方图计算当前帧像素距离判定阈值范围内的样本个数；

判断提取单元，用于将样本个数与预设的样本个数阈值比较，若样本个数大于或等于样本个数阈值，则判定当前帧像素为背景点，反之，则为前景点。

进一步地，所述图像前景提取的装置，还包括：

更新单元，用于每一个背景点随机更新自己的样本值，以及随机更新其邻域点的样本值，并统计背景点更新后的灰度直方图和邻域点更新后的灰度直方图。

进一步地，所述图像前景提取的装置还包括：

初始化单元，用于获取建模的样本集个数，并根据时间顺序建立差分存储的灰度直方图。

进一步地，所述图像前景提取的装置还包括：

判断初始单元，用于根据图像中前景点数目持续占比，判断是否进行初始化背景模型。

进一步地，所述获取单元包括：

预设模块，用于预设自适应条件列表，根据当前帧像素从自适应条件列表中选取对应的距离判定阈值，预设列表为其中，r为距离判定阈值，Pi为当前帧像素。

本发明的图像前景提取的方法和装置，计算通过预设条件获取的距离判定阈值范围内的样本个数，然后将样本个数与预设的样本个数对比，可以快速准确地判断出前景点和背景点。

附图说明

图1为本发明一实施例的图像前景提取的方法的流程图；

图2为本发明一具体实施例的图像前景提取的方法的流程图；

图3为本发明一实施例的像素分类示的意图；

图4为本发明一实施例的图像前景提取的装置的框图；

图5为本发明一实施例的图像前景提取的装置的框图

图6为本发明一实施例中获取单元的框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，本发明实施例提出一种图像前景提取的方法，包括步骤：

S1、根据预设条件获取当前帧像素的距离判定阈值，并计算当前帧像素的积分直方图；

S2、根据积分直方图计算当前帧像素距离判定阈值范围内的样本个数；

S3、将所述样本个数与预设的样本个数阈值比较，若样本个数大于或等于样本个数阈值，则判定当前帧像素为背景点，反之，则为前景点。

如上述步骤S1所述，当前帧像素是指当前帧图像的某一个像素点。根据预设条件，获取当前帧像素的距离判定阈值，以便于对一定范围内的像素进行灰度直方图统计，由于距离判定阈值的获取是根据预设条件进行的，所以预设条件可以根据实际情况进行相应的设定，提高最终前景点获取的速度和准确性。同时计算当前帧像素积分直方图，得到后续步骤中需要的基本要求。

如上述步骤S2所述，所述样本个数是指N个样本集中满足距离判定阈值范围内的样本的个数，该样本个数可以反映出当前帧像素究竟是背景点还是前景点。

如上述步骤S3所述，样本个数阈值是一个给定的经验值，该经验值可以将前景点与背景点的区分标准更加的贴近人们需要，根据预设的条件快速、准确地抓取前景点。

本实施例中，上述步骤S1、S2、S3其实就是图像采集过程中像素点分类的过程，再此过程中抓取图像前景点。

本实施例中，上述步骤S3之后，还包括步骤：

S4、每一个背景点随机更新自己的样本值，以及随机更新其邻域点的样本值，并统计背景点更新后的灰度直方图和邻域点更新后的灰度直方图。

如步骤S4所述，上述样本值是模型中的每一个像素点的值，上述背景点的邻域点可以是背景点，也可以是前景点。灰度直方图是灰度级的函数，它表示图象中具有每种灰度级的像素的个数，反映图象 中每种灰度值出现的频率。灰度直方图的横坐标是灰度级，纵坐标是该灰度级出现的频率。步骤S4其实是模型更新的过程，当前帧的每一个像素点都要遍历判断是前景点还是背景点，而随机更新可以保证样本值的一个指数衰减的平滑生命周期，并且可以使得背景模型很好的适应视频场景的变化，从而达到更好的检测效果。而统计背景点更新后的灰度直方图和邻域点更新后的灰度直方图，是为了下一次区分前景点和背景点做好准备。本实施例中，每一个背景点随机更新自己的样本值，并统计背景点更新后的灰度直方图，即为直接更新直方图，该背景点像素值计数+1，某一随机像素值计数-1；随机更新该背景点邻域点的样本值，并邻域点更新后的灰度直方图，即直接更新随机邻域点的直方图，对一随机邻域像素，该邻域点直方图此背景点像素值计数+1，某一随机像素值计数-1。也就是，背景点在随机更新自己的样本集时，即用当前像素值随机替换一个样本值，这个灰度级出现的概率+1，被替换掉的样本灰度级出现概率-1。像素值计数就是指该灰度级出现的频率也就是直方图的纵坐标。

参照图2，本实施例中，上述步骤S1之前，还包括步骤：

S10，获取建模的样本集个数，并根据时间顺序建立差分存储的灰度直方图。

如上述步骤S10所述，该过程其实为图像采集的初始化过程，当图像获取装置第一次开启或者需要重新建模的时候，需要进行初始化，在初始化过程中，首先要获取图像，然后根据时间顺序建立差分存储的灰度直方图。也就是，确定算法模型大小N(N为正整数)，即用于建模的样本集个数(视频帧数)；算法输入视频图像Y分量(Y分量表示图像的亮度信号，也就是灰阶值)，根据视频前N帧时间序列建立灰度直方图统计。由于相邻点之间的灰度直方图比较相似，模型灰度直方图采用差分存储，即一定邻域范围内的像素点采用同一个灰度直方图。

本实施例中，上述步骤S4之后，还包括：

S5、根据图像中前景点数目持续占比，判断是否进行初始化背景模型。

如上述步骤S5所述，当图像中前景点数目持续占比在指定的范围内时，则循环上述步骤S1、S2、S3和S4，当图像中前景点数目持续占比很高时，很可能是因为光照突变等因素引起，此时则需要重新初始化背景模型，提高背景建模以及前景提取的准确性。而初始化背景模型可以通过上述步骤S10进行。

本实施例中，上述步骤S1中，根据预设条件获取当前帧像素的距离判定阈值的步骤包括：

S11、预设自适应条件列表，根据当前帧像素从自适应条件列表中选取对应的距离判定阈值，预设列表为其中，r为距离判定阈值，Pi为当前帧像素。

如上述步骤S11所述，r是距离判定阈值，是一个整数值，灰度图像的像素值取值范围为0～255，上述公式代表的意思是若当前像素值大于等于0且小于50时，r取值为6；若当前像素值大于等于50且小于75时，r取值为8；若当前像素值大于等于75且小于100时，r取值为10；若当前像素值大于等于100且小于等于255时，r取值为12，其中当前像素值与其对应的r，是一种通过本领域技术人员的经验获取。通过该预设列表可以尽可能的得到当前帧应该使用的距离判定阈值，距离判定阈值获取数度快，且准确。

本实施例中，上述步骤S4之前，包括步骤：

S40、当进行不严格的背景更新时，对目标框内前景点之外的点进行更新背景，计算更新背景点掩膜。

如上述步骤S40所述，不严格的背景更新，是指目标框内除了前景点之外的点都会更新背景。掩膜是指用选定的图像、图形或物体，对待处理的图像进行遮挡，来控制图像处理的区域或处理过程。用于覆盖的特定图像或物体称为掩模或模板。掩膜可以快速提高更新速度。

参照图2和图3，在一具体实施例中，对油田场景运动目标检测跟踪，假设算法图象分辨率为QVGA(320x240)，模型大小即建模帧数为500帧，逐帧建模。整体过程如下：

模型初始化阶段：算法输入视频图像Y分量值，根据视频前500帧时间序列建立灰度直方图统计。由于相邻点之间的直方图比较相似，模型直方图采用差分存储，2x2邻域范围内的像素点采用同一个直方图；

像素分类阶段：第一步：根据当前帧像素确定自适应的距离判定阈值r大小；距离判定阈值其中，r为距离判定阈值，Pi为当前帧像素；

第二步：计算当前像素点的积分直方图(2x2领域范围内只计算一次)，也就是初始化后的第一次；

第三步：当前像素为Pi，距离判定阈值为r，根据上一步积分直方图得出值在(Pi-r)～(Pi+r)范围内的样本个数n；

第四步：如果n大于阈值2，那么就认为当前帧该点属于背景点，否则为前景点；

模型更新阶段：

第一步：采用不严格的背景更新，即目标框内除了前景点之外的点都会更新背景，计算更新背景点掩膜，掩膜是指用选定的图像、图形或物体，对待处理的图像进行遮挡，来控制图像处理的区域或处理过程。用于覆盖的特定图像或物体称为掩模或模板；

第二步：每一个更新背景点随机更新自己的样本值，统计更新点直方图，也就是直接更新直方图，即该背景点像素值计数+1，某一随机像素值计数-1；同时该背景点随机更新邻域点的样本值，统计更新邻域点直方图，也就是直接更新随机邻域点的直方图，即对一随机邻 域像素，该邻域点直方图此背景点像素值计数+1，某一随机像素值计数-1；

第三步：如果图像中前景占比大于40％，统计次数+1，若此计数超过阀值500则可能是因为发生了光照突变，此时重新初始化背景模型。

本实施例的图像前景提取的方法，计算当前帧像素的积分直方图，然后计算通过预设条件获取的距离判定阈值范围内的样本个数，然后将样本个数与预设的样本个数对比，可以快速准确地判断出前景点和背景点，然后通过随机跟新背景点及其邻域点的样本值，统计各背景点的直方图，之后循环上述过程，大大的提高建模和提取前景的准确性和效率等。

参照图4，本发明还提供一种图像前景提取的装置，包括：

获取单元1，用于像素分类，根据预设条件获取当前帧像素的距离判定阈值，并计算当前帧像素的积分直方图；

计算单元2，用于根据积分直方图计算当前帧像素距离判定阈值范围内的样本个数；

判断提取单元3，用于将所述样本个数与预设的样本个数阈值比较，若样本个数大于或等于样本个数阈值，则判定当前帧像素为背景点，反之，则为前景点。

如上述获取单元1，当前帧像素是指当前帧图像的某一个像素点。根据预设条件，获取当前帧像素的距离判定阈值，以便于对一定范围内的像素进行灰度直方图统计，由于距离判定阈值的获取是根据预设条件进行的，所以预设条件可以根据实际情况进行相应的设定，提高最终前景点获取的速度和准确性。同时计算当前帧像素积分直方图，得到后续步骤中需要的基本要求

如上述计算单元2，所述样本个数是指N个样本集中满足距离判定阈值范围内的样本的个数，该样本个数可以反映出当前帧像素究竟是背景点还是前景点。

如上述判断提取单元3，样本个数阈值是一个给定的经验值，该 经验值可以将前景点与背景点的区分标准更加的贴近人们需要，根据预设的条件快速、准确地抓取前景点。

本实施例中，上述获取单元1、计算单元2、判断提取单元3所进行的工作其实就是图像采集过程中像素点分类的过程，再此过程中抓取图像前景点。

参照图5，本实施例中，上述图像前景提取的装置，还包括：

更新单元4，用于每一个背景点随机更新自己的样本值，以及随机更新其邻域点的样本值，并统计背景点更新后的灰度直方图和邻域点更新后的灰度直方图。

如上述更新单元4，上述样本值是模型中的每一个像素点的值，上述背景点的邻域点可以是背景点，也可以是前景点。灰度直方图是灰度级的函数，它表示图象中具有每种灰度级的像素的个数，反映图象中每种灰度值出现的频率。灰度直方图的横坐标是灰度级，纵坐标是该灰度级出现的频率。更新单元所做的工作其实是模型更新的过程，当前帧的每一个像素点都要遍历判断是前景点还是背景点，而随机更新可以保证样本值的一个指数衰减的平滑生命周期，并且可以使得背景模型很好的适应视频场景的变化，从而达到更好的检测效果。而统计背景点更新后的灰度直方图和邻域点更新后的灰度直方图，是为了下一次区分前景点和背景点做好准备。本实施例中，每一个背景点随机更新自己的样本值，并统计背景点更新后的灰度直方图，即为直接更新直方图，该背景点像素值计数+1，某一随机像素值计数-1；随机更新该背景点邻域点的样本值，并邻域点更新后的灰度直方图，即直接更新随机邻域点的直方图，对一随机邻域像素，该邻域点直方图此背景点像素值计数+1，某一随机像素值计数-1。也就是，背景点在随机更新自己的样本集时，即用当前像素值随机替换一个样本值，这个灰度级出现的概率+1，被替换掉的样本灰度级出现概率-1。像素值计数就是指该灰度级出现的频率也就是直方图的纵坐标。

参照图5，本实施例中，上述图像前景提取的装置，还包括：

初始化单元10，用于获取建模的样本集个数，并根据时间顺序建立差分存储的灰度直方图。

如上述初始化单元10，其工作的过程其实为图像采集的初始化过程，当图像获取装置第一次开启或者需要重新建模的时候，需要进行初始化，在初始化过程中，首先要获取图像，然后根据时间顺序建立差分存储的灰度直方图。也就是，确定算法模型大小N(N为正整数)，即用于建模的样本集个数(视频帧数)；算法输入视频图像Y分量(Y分量表示图像的亮度信号，也就是灰阶值)，根据视频前N帧时间序列建立灰度直方图统计。由于相邻点之间的灰度直方图比较相似，模型灰度直方图采用差分存储，即一定邻域范围内的像素点采用同一个灰度直方图。

参照图5，本实施例中，上述图像前景提取的装置，还包括：

判断初始单元5，用于根据图像中前景点数目持续占比，判断是否进行初始化背景模型。

如上述判断初始单元5，当图像中前景点数目持续占比很高时，很可能是因为光照突变等因素引起，此时重新初始化背景模型，提高背景建模以及前景提取的准确性。而初始化背景模型可以通过上述初始化单元进行。

参照图6，本实施例中，上述获取单元1包括：

预设模块11，用于预设自适应条件列表，根据当前帧像素从自适应条件列表中选取对应的距离判定阈值，预设列表为其中，r为距离判定阈值，Pi为当前帧像素。

如上述预设模块11，r是距离判定阈值，是一个整数值，灰度图像的像素值取值范围为0～255，上述公式代表的意思是若当前像素值大于等于0且小于50时，r取值为6；若当前像素值大于等于 50且小于75时，r取值为8；若当前像素值大于等于75且小于100时，r取值为10；若当前像素值大于等于100且小于等于255时，r取值为12，其中当前像素值与其对应的r，是一种通过本领域技术人员的经验获取。通过该预设列表可以尽可能的得到当前帧应该使用的距离判定阈值，距离判定阈值获取数度快，且准确。

参照图5，本实施例中，上述图像前景提取的装置还包括：

掩膜单元40，用于当进行不严格的背景更新时，对目标框内前景点之外的点进行更新背景，计算更新背景点掩膜。掩膜之后，通过上述更新单元4进行对应的更新。

如上述掩膜单元40，不严格的背景更新，是指目标框内除了前景点之外的点都会更新背景。掩膜是指用选定的图像、图形或物体，对待处理的图像进行遮挡，来控制图像处理的区域或处理过程。用于覆盖的特定图像或物体称为掩模或模板。掩膜可以快速提高更新速度。

参照图2和图3，在一具体实施例中，对油田场景运动目标检测跟踪，假设算法图象分辨率为QVGA(320x240)，模型大小即建模帧数为500帧，逐帧建模。图像前景提取的装置的工作过程如下：

模型初始化阶段：算法输入视频图像Y分量值，根据视频前500帧时间序列建立灰度直方图统计。由于相邻点之间的直方图比较相似，模型直方图采用差分存储，2x2邻域范围内的像素点采用同一个直方图；

像素分类阶段：第一步：根据当前帧像素确定自适应的距离判定阈值r大小；距离判定阈值其中，r为距离判定阈值，Pi为当前帧像素；

第二步：计算当前像素点的积分直方图(2x2领域范围内只计算一次)，也就是初始化后的第一次；

第三步：当前像素为Pi，距离判定阈值为r，根据上一步积分直方图得出值在(Pi-r)～(Pi+r)范围内的样本个数n；

第四步：如果n大于阈值2，那么就认为当前帧该点属于背景点，否则为前景点；

模型更新阶段：

第一步：采用不严格的背景更新，即目标框内除了前景点之外的点都会更新背景，计算更新背景点掩膜，掩膜是指用选定的图像、图形或物体，对待处理的图像进行遮挡，来控制图像处理的区域或处理过程。用于覆盖的特定图像或物体称为掩模或模板；

第二步：每一个更新背景点随机更新自己的样本值，统计更新点直方图，也就是直接更新直方图，即该背景点像素值计数+1，某一随机像素值计数-1；同时该背景点随机更新邻域点的样本值，统计更新邻域点直方图，也就是直接更新随机邻域点的直方图，即对一随机邻域像素，该邻域点直方图此背景点像素值计数+1，某一随机像素值计数-1；

第三步：如果图像中前景占比大于40％，统计次数+1，若此计数超过阀值500则可能是因为发生了光照突变，此时重新初始化背景模型。

本实施例的图像前景提取的装置，计算当前帧像素的积分直方图，然后计算通过预设条件获取的距离判定阈值范围内的样本个数，然后将样本个数与预设的样本个数对比，可以快速准确地判断出前景点和背景点，然后通过随机跟新背景点及其邻域点的样本值，统计各背景点的直方图，之后循环上述过程，大大的提高建模和提取前景的准确性和效率等。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。