基于几何代数的彩色光流场计算

发布于:2021-06-13 03:08:28

第29卷第10期 2009年10月
文章编号:0253—2239(2009)10—2837—05

光 学 学报
ACTA 0PTICA SINICA

基于几何代数的彩色光流场计算

V01.29。No.10 Octoher。2009

李茂宽 关 键
(海军航空工程学院,山东烟台264001)

摘要提出了一种新的基于几何代数的彩色光流场计算方法。从新的角度出发讨论了运用几何代数的概念来解决

彩色图像序列的可行性和简便性。在几何代数域内对彩色图像序列用多重矢量表示。证明了彩色光流场分析时进

行约束条件时的测量问题.通过多重矢量而非多通道的图像处理方法来表示图像连续特性.从而扩大』,测量范围; 然后依据物体色彩在运动过程中保持不变的原理,在几何代数域内推导了彩色图像序列的光流约束方程及其解

法。结果表明,该算法能够显著提高各种情况下的彩色光流场计算能力。

关键词机器视觉;几何代数;光流场;图像序列;偏微分方程

中图分类号TP391.41

文献标识码A

doi:10.3788/AOS20092910.2837

Estimation of Color Optical Flow Based on Geometric Algebra
Li Maokuan Guan J ian
(Naval Aeronautical and Astronautical University。Yantai,Shandong 26400 1。China)

Abstract A new optical flow estimation method for color image sequence is proposed。from a new point of view,the probability and simplicity of using the concept of geometric algebra to analyse color optical flow iS discussed in detail. Color image sequence is presented by multivectors in geometric algebra.it iS proved that if meet the constrained conditions for color optical flow analysis.a multivector instead of multichannel image processing method can be used to represent the continued distribution of images to expand the measurement range.then a new optical flow constraint equation and its solution in geometric algebra domain was deduced based on color invariance under motion, The experimenml results of several synthesized and natural image sequences show that this algorithm can improve the ability of color optical flow estimation in different conditions greatly. Key words machine vision;geometric algebra;optical flow s image sequences;partial differential equation

1引



图像序列中的运动目标检测是图像处理技术的

一个要组成部分,它是计算机视觉、模式识别、图像

编码和安全监控等研究领域中的重点和难点[1,z3。

在图像序列处理中,光流的计算是最基本问题之一,

光流表达了图像的变化,它包含了目标运动的信息,

可用来确定观察者对目标的运动情况。

现有的大多数光流场计算方法是针对灰度图像

序列的,*年来,由于数字彩色图像成像设备的日益

普及,人们常常得到物体和场景的彩色图像序列,随 着人们对彩色图像形成机理研究的进一步深入,提 出了彩色图像光流场的计算问题L3“]。彩色图像光 流场计算是光流场计算技术从灰度图像到彩色图像 的推广,与灰度图像相比,彩色图像能提供更丰富的 光学信息,因而可以使光流场计算的不适定问题转 换成适定问题。Ohtaf51最早提出了基于色彩灰度 不变的计算模型,把彩色图像看作是RGB 3个独立 图像通道的混合,分别用RGB颜色模型来计算图像

收稿日期:2008—12—02;收到修改稿日期:2009—02·17 基金项目:国家自然科学基金(60672140。60802088)和教育部新世纪优秀人才支持计划(NCET一05—0912)资助课题。 作者简介:李茂宽(1979一),男,博士研究生,主要从事模式识别与数字图像处理等方面的研究。 E—mail:limaokuan@sohu.corn。 导师简介:关键(1968一),男.教授,博士生导师,主要从事雷达恒虚警检测理论和图像处理等方面的研究。 E—mail:guanjian@ieee.org。
万方数据





每一点处的光流场。得到一个方程组,该方法在方 程系数线性相关时,或者在图像*坦区域梯度为零 处,计算误芹很大。
目前比较经典的算法,是rfl以色列女科学家P. Golland【6。提出的一种基于梯度的算法,从光照模 型推导可知,存在一个物体色彩特征不变量,在物体 运动时保持不变,与场景的几何形状及光照属性无 关。P.Golland用两种颜色模型RGB和HSV分别 进行计算,任取RGB颜色模型的两个通道或HSV 颜色模剐的H分量与S分量。该方法中,方程系数 矩阵条件数越大,稳定性越差,所以计算结果也会有 误差。
本文结合HSV颜色空间,利用色彩不变性原 理,在几何代数域内对彩色图像序列进行建模表示, 并且推导了几何代数于内光流约束方程及其解法。 实验证明,该方法能够有效地计算彩色图像序列的 光流场。

2 几何代数域内彩色图像序列表示

要表示一幅彩色图像,首先要选好合适的彩色

李间,表达颜色的彩色空间有许多种,它们通常是根

据不同的应用目的而提出的。彩色图像常用R,G,

B三分量的值来表示,但是R,G,B三分量之间常有

很高的相关性,直接利用这些分量常常不能得到所

需的效果。为了降低彩色特征空间中各个特征分量

之间的相关性,以及为了使所选的特征空间更方便

于彩色图像分析的具体应用,实际上常需要将RGB

图像变换到其它的彩色特征空间中去。在本文中,

采用了HSV空间,从心理学的角度来看,颜色有三

个要素:色调、饱和度和亮度,HSV颜色模型就是基

于人眼对颜色的心理感受这一因索而转换成的,因

此比较符合人的视觉感受;其次,HSV颜色空间的

3个分量相关性比较小,改变任一分量对其余分量

影响很小,可以对HSV各个分量采用独立的方法

进行处理。

几何代数(Clifford代数),它将矢量、四元数、

张量等都统一到同一个代数框架内,广泛用于描述

相对论力学、弹性动力学、机器人学、计算机视觉等

诸多领域一7叫0。,甚至已有人致力于将几何代数作为

物理学和工程领域统一的数学语言r11 ̄13]。

设有任意矢量a和b,它们的几何积定义为

ab=a·b+a A b,

(1)

其中a·b表示为a和b的内积,a A b表示为a和b

的外积,是a和b所在*面上的一个有向面积,称为

万方数据





29卷

二重矢量。两个矢量的几何积表示为一个标鼍和一 个二重矢量之和,这种形式的量称为多重矢量,所以

几何代数又称为多重矢量运算‘14]。几何代数构建了 一个分级线性空间,在,2维空间中,Clifford几何空 间G。的正交基底为

[口,(P.),(B A e,),(P。A ej^以),…, (Pl^e2 A A h e。)],
其中i,J,k∈[i,行],i≠j≠k。 几何代数G。中的元素通常表示为多重矢量。例
如G:中任一多重矢量可以表示为由标量、矢量、二 重矢量多部分组成,可以用等级(grade)表示对象中 独立矢量的数目,规定标量的等级为0,G。中多重矢

量的最高等级为2,因此,对于多重矢量M,可以按

照等级进行分解表示

M=<M>+(M>I+(M>2,

(2)

式中<·>.表示取等级为i的部分,(·>。简写为

(·>,(2)式通常写成以下形式:

M=a+B+p J, 式中a表示为标量,B表示为矢量,口J为二重矢量。

几何代数中,多重矢量的模的*方表示为

lI M ll 2=(MM),

(3)

M表示多重矢量M的逆序,G:中多重矢量M的逆

序为

M=(M>+(M)l一(M)2.

(4)

将转化为HSV格式的彩色图像用嵌入到G:代数

空间,则几何代数内彩色图像表示为

F(x,y)=V+Hel+Se 2+口I,

(5)

式中<F)表示为标量V,(F)。为矢量He,+&:,口为

零,e,,e。分别是为沿X,y方向的单位矢量。

对于彩色图像序列,定义力[R2表示为图像*

面,则彩色图像序列可以表示为

F:n×Eo,T]一G2, 即彩色图像序列

F(xel,ye2,船3)=V(z,Y,f)+H(x,y,t)el+

S(x,y,f)e2,

(6)

表示为一个多重矢量彩色图像序列,是关于时间t

和矢量xe。+ye z的多重矢量。

3 几何代数域内彩色光流场计算
光流场的计算最初是由美国学者B.Horn和 B.Schunck提出的[1 51。在相邻图像之间的间隔时 间很小,其图像中灰度变化也很小的前提下,推导了 几何代数域内彩色图像光流场计算的基本等式。假 设运动图像序列色彩保持不变,即

10期

李茂宽等: 基于几何代数的彩色光流场计算

2839

FE<x+uAt)e1+(y+vAt)ez+(£+At)e3]=

F(xel+ye 2+te3),

(7)

由于序列是以矢量为变量的多重矢量函数,根据几

何代数微积分定义,令变量X为

X=xel+ye z+据3.

根据几何代数中的泰勒展开定义‘16],则(7)式右边 可以展开为

F(X+U3At)一F(X)+U3·V。F(X)+

妻(U3·v 3)2F(x)+…,(8)

对(8)式约掉相同项和忽略最小项,得到几何代数域

内光流约束方程为

U3·v 3F(X)=0,

(9)

其中

Va《未,£,玎,表示时空梯度,

V_[未,甜,表示空间梯度,

U。一Eu,口,1]T,表示时空速度, U—u,t,]T,表示光流场; U。·V。表示几何代数中的内积运算,也表示方向梯 度,U,口是L,在z,Y方向的分量。

利用B.Horn和B.Schunck的思想求解光流场, 即运动场既满足光流约束方程,又满足全局*滑。首 先将彩色图像用多重矢量表示J=V+He。+Se:,并 建立光流能量函数

广r
L=I|(口II U·v+a。)I II 2+II Vu II 2)I dxdy I,


(10)
其中n代表连续图像的区域范围;drdy=e。e2 I出A

dy l;其中能量函数的第一项是相似项,它使光流误差 最小,第二项为*滑项,是光流速度场*滑性的测度; 口为控制参数,控制相似项与光滑项之间的*衡。根

据(3)式中多重矢量模的定义,(10)式中的相似项可 以化简为
口0(【,·E7+a,)川2=口<EU·v+8,)J]

Eu·v+3,)il>=乜(Eu·v+a,)13>一

缸(U·v+a,)H-]2+aE(u·v+a,)s12+

口Eu·v+a,)v-12,

(11)

(10)式中的*滑项可以化简为

||vu I|2=<(vU)(Uv)>=“,2+U;+

记+诟+2u,础,一2V.U,

(12)

根据(10~12)式,光流误差能量函数最终可以表示为

L=.r-r口{{[(u·V+a,)H]2+[(u·V+a。)s]2+E(u·V+a,)V]2)+

(“:+U;+《+%2+2u,础,一2v.u,))dxdy.

(13)

对于彤如卜式的积分最小化求解Ir】题

min[.rJ.Lc“,t,,“,,“,,%,码,dzdy],

(14)

其解可以通过欧拉一拉格朗日微分(15)式求解
卜誓一鲁一o, (15)
卜誓一等一o.

所以,(13)式相应的欧拉一拉格朗日方程为
f口(uH,+讲,+H,)H,+a(uS,+uS,+S,)S,+口(。以+彬,+V)U 一‰+2%+乱"一2%=Au, Ia(uH:+讲,+Hr)Hy+a(uS,+洒。+S)5,+口(∥,+vV。+V)V, =%+2%+‰一2%=Av.
(16)
对于(16)式的数值解。可以对拉普拉斯算子进行如下的*似 Au≈k-一U,△口≈万一口,
其中孑表示U的四邻域*均值。那么该线性方程组最终可用Gauss—Seidel迭代法求解n 9。,迭代公式为 fU“+”一百“’一aE(u“’也+∥“H,+H,)也+(““’S+∥o S,+S)S+(雒“’U+00Vy+V)U]
l∥州’=可“’一aE(u“+"见+口“’Hy+Hf)H+(““+”S+tI“’S+S)Sy+(““+1’E+73(oU+Vf)K]7
(】7)

万方数据

2840





以上就是利用几何代数求解彩色光流场的推导过 程,彩色光流场的求解过程可总结为以下几个步骤:
1)将彩色图像转换为HSV格式,并用多重矢 量表示,利用差分法求每一分量的梯度,和时间差 分,并且设置控制因子口;初始化zlo,Vo均为零矩阵。
2)用Gauss-Seidel迭代法求解光流场,根据 (17)式,对每一个像素计算““’,u“’。
令i为迭代次数,对每一个像素,计算U“’,7./“’:
“‘订,可‘D,矿‘‘’——}“‘件¨, mask*“‘’}1’—’矿‘计1)
“‘件”,口‘D,万‘‘’—}“‘件", mask*u‘计1’—’万‘件",
式中mask为四邻域*均模板,*表示卷积操作,i 为迭代次数
3)满足迭代条件,则停止,否则返回2)。

4试验结果
为了验证本文所提出的光流场模型的效果,在 Celeron(R)M CPU 440 1.86 GHZ,1 G内存*台 下的Matlab环境中,选用了3组彩色图像序列进行 光流场计算实验,合成序列(1)是背景不变而目标运 动的情况,大小为200 pixel×200 pixel;合成序列 (2)是目标与摄像机均移动的情况,大小为 300 pixel×400 pixel;以及自然图像序列(3),大小 为240 pixel×352 pixel。当迭代满足
U。一U,r1 l。<0.01, 则终止迭代。以下是3组彩色图像序列的验证结果。





29卷

实验主要验证算法的正确性。实验中基于 Ohta与P.Golland的方法均失效,因这两种传统的 彩色光流场计算算法,均会涉及到解方程组,两种方 法的方程组有一个共同点:方程组系数线性相关时, 误差很大;在图像*坦区域梯度为零处,方程组失效, 同样也会引起误差。所用合成彩色图像序列1和2 中存在大面积的像素相同区域,在这些区域内图像梯 度为零,所以会引起很大的计算误差。利用本文算法 迭代次数为4次,时间不足1 s,算法所测光流场幅度 如图1,2所示,能有效提取运动区域的光流场。图3 是针对自然序列所做的验证,由于自然序列中含有噪 声的同时,还存在较多像素值接*的*坦区域,梯度 运算又会加剧噪声对这两个方程组的求解,使方程组 系数矩阵为病态矩阵,最终使两种经典算法失效,而 本文提出的算法能快速有效地提取运动区域。

图1(a)实验数据1和(b)光流场幅度图
Fig.1 Image sequence data 1(a)optical flow amplitude(b)

图2(a)实验数据2和(b)光流场幅度图
Fig.2 Image sequence data 2(a)optical flow amplitude(b)

万方数据

图3(a)实验数据3和(b)光流场幅度图
Fig.3 Image sequence data 3(a)optical flow amplitude(b)

10期

李茂宽等: 基于几何代数的彩色光流场计算

2841

5结



彩色图像序列的光流场计算在机器视觉研究领

域具有十分重要的意义。本文将几何代数理论引入

到彩色光流场的计算之中,运用几何代数理论,对彩

色图像序列进行建模,并且推导了几何代数域中的

光流约束方程及其求解方法。实验结果表明,本文

所提出的算法模型能够有效求取彩色图像序列的光

流场,相对于经典的彩色光流计算过程中的求解线

性方程组,可以避免因图像*坦区域及其噪声等对

计算带来的影响。是一种快速有效的运动目标检测

方法,具有广阔的应用前景。

参考文献
1 Rastislav Lukac,Konstantinos N.Plataniotis.Colot Image Processing[M3.CRC Press,2007.182~190
2 Guan Zhiqiang,Chen Qian,Gu Guohua et a1..Dim target detection based on optical flow histgram in low frame frequence in clouds background[J].Acta Optica Sinica,2008,28(8): 1496~1501
管志强,陈钱.顾国华等.基于光流直方图的云背景下低帧频 小H标探测方法[J].光学学报,2008,28(8):1496~1501 3 Bai Junqi.Chen Qian.Algorithm for infrared image noise filtering based on anisotropic diffusion EJl.Acta Optica Sinica. 2008。28(5):866~869
F{俊奇.陈钱.基于各向异性扩散的红外图像噪声滤波算法 [JJ.光学学报.2008.28(5):866~869
4 Ni Guoqiang,Xiao Manjun,Qin Qingwang矗a1..Development of near natural color image fusion algorithms and real—time image fusion system[J].Acta Optica Sinica,2007,27(12)l 2101~2109
倪围强.肖蔓君.秦庆旺等.*自然彩色罔像融合算法及其实时 处理系统的发展[J].光学学报.2007,27(12):2101~2109 5 B.Horn,B.Schunck.Determining optical flow l-J]./h-tificial

Intelligence,1981,17:185~203 8 N.Ohta.Optical flow detection by color image Ec].Proc of the
lEEE International ConfeFence on Image Processing.
Singapore。1989·801~805 7 P.Golland.Use of Color for Optical Flow Estimation[D3.
Haifa.Israel Institute of Technology.1995,18~28 8 Venzo de Sabbata.Bidyut Kumar Datta.Geometric Algebra and
Applications to Physics[M3.Taylor&Francis Group,CRC Press.2007.62~80
9 Stephen Gull,Anthony Lasenby,Chris Doran. Imaginary numbers are not real—the geometric algebra of spacetime[J]. Found.P^ys.。1993。23(9):1175~1201
10 Leo Dorst.The inner products of geometrie algebra[C].
Applications of Geometric Algebra in Computer Science and
Engineering。Birkhauser.2002.37~45 1 1 S.Buchholz.G.Sommer.A hyperbolic muhilayer perception
EcJ.19’CNN(2)2000.Como.Italy,2000,129~133 1 2 Michael Felsberg.Lozv-Level Image Processing with the
Structure Multivector[D].Kiel,Christian Albrechts University of Kiel,2002.27~38
13 John Vince.Geometric Algebra for Computer Graphics[M]. London.Springer Press,2008.33~45
14 L.Dorst,D. Fontijne,S. Mann.Geometric Algebra厂or Computer Science.an Object—Oriented Approach to Geometry rM3.Morgan Kaufman,2005.51~62
15 David Hestenes.New Foundations for Classicaf Mechanics EM3. Dordrecht Kluwer Academic Publishers,2002.77~86
16 D.Hestenes.G.Sobczyk.Clifford Algebra to Geometric Calculus:A Unified Language for Mathematics and Physics EM].Dordrecht.Reidel Publishing Company。1984.47~62
17 D.Hestenes,H.Li,A.Rockwood.Geometric computing with clifford algebras.in G.Sommer,editor。New Algebraic Tools for Classical Geometry[M].Springer—Verlag。2001.3~23
18 P.Lounesto.Clifford Algebras and Spinors.Second Edition [M].Cambridge Cambridge University Press。2001.44~52
19 John H.Mathews,Kurtis D.Fink.Numerical Methods Using Matlab[M].Upper Saddle River,Prentice Hall,1999. 159~165

万方数据


相关推荐

最新更新

猜你喜欢