摘要
介绍了一种基于计算机视觉的结构模态参数辨识方法,对于连续、长时间的采样视频,该方法通过设置局部“虚拟”测点、放大视频切片的处理方式,保证了测量结果的精度和分辨率,同时显著提高了数据处理效率。该方法具体步骤包括:拍摄被测结构在外激励下响应历程的一段视频;通过图像边缘检测算法在结构边缘处设置若干“虚拟”测点;通过光流法提取测点的表观运动响应,并利用随机子空间法辨识结构的模态参数;依次截取与每一阶模态对应的整周期运动视频,通过运动放大算法获得结构的全场工作模态振型。开展了模型飞机的单频振动试验,结果表明视觉测振的频率误差小于频率分辨率。开展了悬臂梁的模态分析试验,利用相机和激光多普勒测振仪同时进行动力学响应测量,结果显示提出的视觉方法与激光多普勒测振仪对悬臂梁结构前五阶模态频率的测量误差不超过0.35%,阻尼比的测量误差不超过14.6%,两者振型的MAC值高于94%,测量结果基本吻合。
传统的结构动力学试验一般需要在结构表面粘贴加速度计、应变片等“接触式”传感器以获取测点的振动响
本文研究利用计算机视觉技术测量结构运动响应的方法。在这一领域,大量的研究集中于数字图像相关法(Digital Image Correlation,DIC),又称为数字散斑相关
近年来,随着计算机视觉技术的发展,常见的结构动态响应测量方法可分为两大类,第一类方法是在结构上设置标志点(人工靶点或者结构的自然特征点),通过光流法等运动目标检测和跟踪算法提取标志点的运动信息。文献[
第二类方法是通过放大结构在特定频带内的微小运动,进而获得结构的全场振型。文献[
鉴于此,本文提出了一种基于计算机视觉的结构全场工作模态分析方法。该方法选取结构局部特征点,利用光流法进行运动估计,通过模态辨识算法得到结构的模态频率、阻尼比和包含若干测点的振型,降低了计算量。利用基于相位的全场模态振型识别方法处理所拍摄视频的短时切片,得到结构的全场模态振型。本文首先通过模型飞机的单频振动测量实验验证所提出方法的精确度和计算效率;再通过悬臂梁的模态试验,辨识了悬臂梁的前五阶模态参数和全场振型。同时,利用激光多普勒测振仪测量悬臂梁的模态参数,两者结果基本吻合,验证了所提出方法的可行性和精确性。
基于计算机视觉的结构全场工作模态分析方法分为五个步骤,各步骤之间的关系以及方法的整体框架如

图1 基于计算机视觉的结构工作模态分析方法框架
Fig.1 Framework of structural operational modal analysis method based on computer vision
利用图像处理算法在被测结构灰度梯度较大的位置(例如结构边缘处)选择若干个具有代表性的“虚拟”测点,作为后续结构响应数据提取的位置。这里,采用Canny算子对感兴趣区域(ROI)内的图像进行边缘检

图2 Canny边缘检测算法流程图
Fig.2 Flow chart of Canny edge detection algorithm
利用光流法提取步骤二所设置的若干“虚拟”测点的表观运动响应。这里,表观运
本文采用了Gunnar Farneback稠密光流

图3 利用局部测点代替全场测量的示意图
Fig.3 Schematic diagram of local measuring points instead of full field measurement
利用光流法提取动态响应的具体步骤如
假设步骤二设置的“虚拟”测点数量为N,即有N个感兴趣区域(ROI)。视频总帧数为m,以其中一个测点/(ROI)为例,假设边缘像素点数量为n,像素点邻域的位置矩阵为,利用二次多项式构造一个局部信号模型:
(1) |
式中 为像素点邻域的信号值;为对称矩阵;是向量;c是标量。由于每个像素点的邻域都近似于一个多项式,可假设某边缘像素点p的邻域多项式估计为:
(2) |
当前帧经过平移向量到下一帧,得到新的信号:
(3) |
(4) |
(5) |
(6) |
(7) |
若是奇异矩阵,则有多解,即出现孔径问
(8) |
为了保证误差足够小,引入近似和约束条件进行计算,需要满足以下近似条件:
(9) |
(10) |
(11) |
由于多项式展开式是局部模型,在空间上会发生变化,从而在约束中引入误差。对于较小的位移,问题并不严重,但对于较大的位移,误差则相对较大。因此,需要引入先验位移,
(12) |
(13) |
式中 。
最后,利用迭代位移估计法即可求解出n个边缘像素点的位移量D:
(14) |
取其中某一个边缘像素点的位移量作为该“虚拟”测点的振动响应数据,则N个“虚拟”测点的振动响应数据为:
(15) |
在通过光流法提取出N个测点的振动响应E后,第四步采用基于协方差的随机子空间
(16) |
(17) |
式中 表示第时刻各测点振动响应构成的序列;j表示Hankel矩阵的列数。Hankel矩阵被等分成,两部分,分别表示过去(Past)和将来(Future)。
定义协方差矩阵,根据离散状态空间模型和随机子空间模型的关系,又与状态矩阵和输出矩阵相关:
(18) |
(19) |
式中 为测点和测点之间的互相关函数;E表示数学期望;G表示状态‑输出协方差矩阵。
根据协方差矩阵和Hankel矩阵构造Toeplitz矩阵:
(20) |
(21) |
式中 和分别为扩展可观测矩阵和扩展可控制矩阵。
再对Toeplitz矩阵进行SVD分解,并结合
(22) |
(23) |
式中 U和V为正交矩阵;S为奇异值矩阵,是元素从大到小排列的对角阵。
由
(24) |
式中 K为系统阶次。
可以得到系统状态矩阵为:
(25) |
式中 为矩阵的伪逆矩阵。
根据离散状态空间模型和模态参数的关系,计算系统状态矩阵的特征向量和特征值即可得到模态频率和阻尼比,由输出矩阵得到模态振型。
在得到结构的模态频率、阻尼比和若干“虚拟”测点处的振型之后,第五步采用基于相位的运动放大技

图4 基于相位的全场模态振型识别的流程图
Fig.4 Flow chart of phase-based full-field mode shape identification
综上所述,本文提出的基于计算机视觉的结构工作模态分析方法的步骤可以归纳如下:(1)利用视频采集设备拍摄结构的振动历程;(2)通过图像处理程序对视频进行处理,并选择若干个“虚拟”测点;(3)利用光流法提取测点的动态响应;(4)利用随机子空间法和提取的“虚拟”测点的响应数据辨识结构的模态参数(模态频率、阻尼比和振型);(5)通过基于相位的微小运动放大算法对视频切片中覆盖模态频率的窄带进行放大,得到结构的全场工作模态振型。该方法的创新点在于设置“虚拟”测点,通过处理局部测点的响应数据足以辨识结构的模态频率与阻尼比。对于长时间的采样视频,保留局部信息可以获得较高的频率分辨率与阻尼比辨识精度,相较于全场测量,计算速度显著提升。与此同时,该方法通过截取短时高清视频进行运动放大获得结构的全场模态振型,计算量较小。
为了验证所提出方法的可行性和精确度,利用两个实验开展验证:一是模型飞机的单频振动测量实验,二是悬臂梁的工作模态分析实验。
实验系统如

图5 模型飞机单频振动测量的实验装置整体布局
Fig.5 Overall layout for model airplane single frequency vibration measurement
实验步骤如下:
(1)对采集到的视频进行剪辑,剪掉开头和结尾的部分,保留中间50 s视频(对应频率分辨率为0.02 Hz),避免开始录制以及结束录制时的噪声干扰。
(2)选择视频中感兴趣的区域,设置“虚拟”测点。如

图6 选择感兴趣区域
Fig.6 Selected region of interest
(3)通过Gunnar Farneback光流算法计算“虚拟”测点的光流响应,并将其变换到频域。如

图7 边缘像素点的时域和频域数据
Fig.7 Time domain and frequency domain data of edge pixels
将本文设置“虚拟”测点(见
计算方式 | 每帧计算耗时/s |
---|---|
局部测点 | 0.0062 |
全场测点 | 0.42 |
悬臂梁工作模态分析的实验系统如

图8 悬臂梁工作模态分析实验装置整体布局
Fig.8 Overall layout of cantilever beam working mode analysis experimental device
实验步骤如下:
(1)对采集到的视频进行剪辑,剪掉开头和结尾的部分时长,保留中间的125 s视频(对应频率分辨率为0.008 Hz)。
(2)选择视频中感兴趣的区域。如

图9 选择的21个感兴趣区域
Fig.9 Twenty-one selected regions of interest
(3)通过Gunnar Farneback光流算法计算视频中感兴趣区域内边缘点的光流场,得到结构响应数据,通过FFT变换得到频域数据,如

图10 8号区域边缘像素点的时域和频域数据
Fig.10 Time domain and frequency domain data of edge pixels in area 8
(4)将21个测点的响应数据作为输入,通过协方差驱动的随机子空间法辨识结构的模态参数。
将基于计算机视觉的工作模态分析方法的结果与激光多普勒测振仪结果相对比,对比结果见
模态阶次 | 激光多普勒测振仪/Hz | 基于计算机视觉的工作模态分析/Hz | 相对误差/% |
---|---|---|---|
一阶 | 0.559 | 0.561 | 0.35 |
二阶 | 2.422 | 2.422 | 0.00 |
三阶 | 6.433 | 6.437 | 0.06 |
四阶 | 12.374 | 12.382 | 0.06 |
五阶 | 19.927 | 19.954 | 0.13 |

图11 模态振型的MAC矩阵
Fig.11 Mac matrix of modal shapes


图12 梁的前五阶模态振型对比
Fig.12 Comparison of first five modal shapes of beam
模态阶次 | 激光多普勒测振仪/% | 基于计算机视觉的工作模态分析方法/% | 相对误差/% |
---|---|---|---|
一阶 | 1.094 | 0.987 | 9.78 |
二阶 | 0.295 | 0.271 | 8.13 |
三阶 | 0.390 | 0.405 | 3.84 |
四阶 | 0.461 | 0.466 | 1.08 |
五阶 | 1.125 | 1.289 | 14.57 |
(5)从视频中截取时间切片,时间切片的长度分别为前五阶模态频率倒数的整数倍,如
模态阶次 | 模态频率/Hz | 信号周期/s | 切片长度/s |
---|---|---|---|
一阶 | 0.561 | 1.782 | 5.34 |
二阶 | 2.422 | 0.412 | 4.95 |
三阶 | 6.437 | 0.155 | 5.12 |
四阶 | 12.382 | 0.080 | 4.84 |
五阶 | 19.954 | 0.050 | 5.01 |

图13 激光多普勒测振仪的振型(蓝色线)与运动放大的全场振型(背景图)对比
Fig.13 Comparison between vibration modal shapes (blue line) of laser Doppler vibrometer and full field vibration modal shapes (background image) of motion amplification
提出了一种基于计算机视觉的结构模态分析技术,利用若干“虚拟”测点代替全场测点,获得了结构的模态频率与阻尼比,显著地降低了模态辨识过程中的计算量。通过截取与模态阶次相对应的视频时间片段,并将模态频率附近的频带进行运动放大,获得了结构的全场振型,是一种具有较高计算效率的分析方法。
开展了模型飞机的单频振动测量实验,验证了所提方法提取振动信息的可行性与计算效率。相比于全场光流估计,局部测点(光流)明显提高了计算速度。开展了悬臂梁的模态参数辨识试验,验证了所提方法在模态辨识中的有效性。本文所提方法不仅辨识出悬臂梁的前五阶模态频率和阻尼比,还获得了全场模态振型。与激光多普勒测振仪的试验结果进行对比,所提方法的模态频率辨识相对误差不超过0.35%,阻尼比的相对误差在14.6%以下,两者振型的MAC矩阵对角值在94%以上。
在实际的工程应用场景中,本文所提出的方法能够实现远距离、多点非接触式测量,且操作简单、成本相对较低。在测量真实目标对象之前,对环境进行预评估,选取合适的拍摄位置,并且目标对象要与其背景存在一定的对比度;测量时,需要确保相机(或手机等其他便携式设备)在拍摄过程中处于固定状态,如果有轻微的晃动,则会产生相对位移,影响最终的测量结果;需要注意的是,实际拍摄时要避开恶劣天气(大风、雨、雪等)造成的能见度较低的情况。
参考文献
陆秋海, 李德葆. 工程振动实验分析[M]. 2版. 北京: 清华大学出版社, 2015. [百度学术]
Lu Qiuhai, Li Debao. Analysis of Experiments in Engineering Vibration[M]. 2nd ed. Beijing: Tsinghua University Press, 2015. [百度学术]
Zhang Yongchao, Zhang Tieli, Liu Xiaoxue, et al. Laser vibration measurement technology and its application in aerospace field[C]//Proceedings of 2021 International Conference on Laser, Optics and Optielectronic Technology. Xi’an, 2021: 1188509. [百度学术]
王瑞曾, 陈东东, 舒礼邦. 全场激光测振技术优化结构动力学特性研究[J]. 电子产品可靠性与环境试验, 2018, 36(4): 1-6. [百度学术]
Wang Ruizeng, Chen Dongdong, Shu Libang. Research on the optimization of structural dynamic characteristics by full-field laser vibration measurement technology[J]. Electronic Product Reliability and Environmental Testing, 2018, 36(4): 1-6. [百度学术]
陈建武, 史永敏, 祝浩, 等. 深空探测中着陆雷达技术发展与应用研究[J]. 航天返回与遥感, 2020, 41(4): 10-20. [百度学术]
Chen Jianwu, Shi Yongmin, Zhu Hao, et al. Research on the development and application of landing radar in deep space explorations[J]. Spacecraft Recovery and Remote Sensing, 2020, 41(4): 10-20. [百度学术]
Summers Andrew, Wang Qing, Brady Neil, et al. Investigating the measurement of offshore wind turbine blades using coherent laser radar[J]. Robotics and Computer-Integrated Manufacturing, 2016, 41: 43-52. [百度学术]
金观昌, 孟利波, 陈俊达, 等. 数字散斑相关技术进展及应用[J]. 实验力学, 2006, 21(6): 689-702. [百度学术]
Jin Guanchang, Meng Libo, Chen Junda, et al. The progress and application of digital speckle correlation method[J]. Journal of Experimental Mechanics, 2006, 21(6): 689-702. [百度学术]
邵新星, 陈振宁, 戴云彤, 等. 数字图像相关方法若干关键问题研究进展[J]. 实验力学, 2017, 32(3): 305-325. [百度学术]
Shao Xinxing, Chen Zhenning, Dai Yuntong, et al. Research progress of several key problems in digital image correlation method[J]. Journal of Experimental Mechanics, 2017, 32(3): 305-325. [百度学术]
Chen Fanxiu, Chen Xu, Xie Xin, et al. Full-field 3D measurement using multi-camera digital image correlation system[J]. Optics and Lasers in Engineering. 2013, 51(9): 1044-1052. [百度学术]
陈兴旺. 结构变形测量的数字图像相关法研究与应用[D]. 长沙: 长沙理工大学, 2019. [百度学术]
Chen Xingwang. Study and application of digital image correlation method for structural deformation measurement[D]. Changsha: Changsha University of Science and Technology, 2019. [百度学术]
张文东, 樊俊铃, 陈莉, 等. 二维数字图像相关法在准静态拉伸实验中的应用[J]. 应用力学学报, 2018, 35(5): 1058-1064. [百度学术]
Zhang Wendong, Fan Junling, Chen Li, et al. Study on the application of two-dimensional digital image correlation method in quasi-static tension test[J]. Chinese Journal of Applied Mechanics, 2018, 35(5): 1058-1064. [百度学术]
张小虎, 周翔, 周剑, 等. 结构位移摄像测量系统的设计与实现[J]. 应用光学, 2009, 30(4): 622-625. [百度学术]
Zhang Xiaohu, Zhou Xiang, Zhou Jian, et al. Design and realization of videometric system for structural displacement measurement[J]. Journal of Applied Optics, 2009, 30(4): 622-625. [百度学术]
胡雪兵, 周华飞, 汪小平, 等. 风电叶片单/双轴测试及其全场三维变形分析[J]. 玻璃钢/复合材料, 2015(9): 39-46. [百度学术]
Hu Xuebing, Zhou Huafei, Wang Xiaoping, et al. Uniaxial and biaxial test and full-field 3D deformation analysis for a wind turbine blade[J]. Fiber Reinforced Plastics/Composites, 2015(9): 39-46. [百度学术]
王斐斐, 周建华, 魏虎安, 等. 3D-DIC技术在材料力学弯曲梁实验中的拓展应用[J]. 力学与实践, 2021, 43(6): 986-991. [百度学术]
Wang Feifei, Zhou Jianhua, Wei Hu’an, et al. Extended application of 3D-DIC technology in bending beam experiment of material mechanics[J]. Mechanics in Engineering, 2021, 43(6): 986-991. [百度学术]
曾祥福, 刘程林, 马少鹏. 高速三维数字图像相关系统及其动载三维变形测量[J]. .北京理工大学学报, 2012, 32(4): 364-369. [百度学术]
Zeng Xiangfu, Liu Chenglin, Ma Shaopeng. Measurement of dynamic three-dimensional deformation of structures using high-speed 3-D digital image correlation system[J]. Transactions of Beijing Institute of Technology, 2012, 32(4): 364-369. [百度学术]
Ehrhardt David A, Allen Matthew S, Yang Shifei, et al. Full-field linear and nonlinear measurements using Continuous-Scan Laser Doppler Vibrometry and high speed Three-Dimensional Digital Image Correlation[J]. Mechanical Systems and Signal Processing, 2017, 86: 82-97. [百度学术]
孙强, 王启乾, 刘国有, 等. 基于超高速DIC方法的近距侧爆破地铁隧道应变场分析[J]. 矿业科学学报, 2018, 3(1): 39-45. [百度学术]
Sun Qiang, Wang Qiqian, Liu Guoyuo, et al. Proximity side blasting based on ultra-high speed DIC method strain field analysis of subway tunnels[J]. Journal of Mining Science and Technology, 2018, 3(1): 39-45. [百度学术]
许畅, 王聪, 高晶波, 等. 基于摄像测量法的在轨柔性结构模态参数辨识[J]. 哈尔滨工业大学学报, 2014, 46(11): 17-23. [百度学术]
Xu Chang, Wang Cong, Gao Jingbo, et al. Videogrammetric based modal identification of on-orbit flexible structures[J]. Journal of Harbin Institute of Technology, 2014, 46(11): 17-23. [百度学术]
吴小猷, 李文博, 张国琪, 等. 基于视觉测量的太阳翼模态参数在轨辨识[J]. 空间控制技术与应用, 2016, 42(3): 9-14. [百度学术]
Wu Xiaoyou, Li Wenbo, Zhang Guoqi, et al. Photogrammetry-based on-orbit modal identification of solar arrays[J]. Aerospace Control and Application, 2016, 42(3): 9-14. [百度学术]
Yoon Hyungchul, Elanwar Hazem, Choi Hajin, et al. Target‐free approach for vision‐based structural system identification using consumer‐grade cameras[J]. Structural Control and Health Monitoring, 2016, 23(12): 1405-1416. [百度学术]
Dong C Z, Ye X W, Jin T. Identification of structural dynamic characteristics based on machine vision technology[J]. Measurement, 2018, 126: 405-416. [百度学术]
Feng Dongming, Feng Maria Q. Experimental validation of cost-effective vision-based structural health monitoring[J]. Mechanical Systems and Signal Processing, 2017, 88: 199-211. [百度学术]
王彤, 李俊坡, 夏遵平. 基于视频测量的运行状态模态分析[J]. 振动与冲击, 2017, 36(5): 157-163. [百度学术]
Wang Tong, Li Junpo, Xia Zunping. Operational modal analysis based on videogrammetric technique[J]. Journal of Vibration and Shock, 2017, 36(5): 157-163. [百度学术]
朱前坤, 崔德鹏, 张琼, 等. 利用计算机视觉识别人行桥时变模态参数[J]. 振动工程学报, 2023, 36(1): 52-61. [百度学术]
Zhu Qiankun, Cui Depeng, Zhang Qiong, et al. Identification of time-varying modal parameters of pedestrian bridges using computer vision[J]. Journal of Vibration Engineering, 2023, 36(1): 52-61. [百度学术]
周颖, 张立迅, 刘彤, 等. 基于计算机视觉的结构系统识别[J]. 土木工程学报, 2018, 51(11): 17-23. [百度学术]
Zhou Ying, Zhang Lixun, Liu Tong, et al. Structural system identification based on computer vision[J]. China Civil Engineering Journal, 2018, 51(11): 17-23. [百度学术]
Dong Chuan-Zhi, Necati Catbas F. A non-target structural displacement measurement method using advanced feature matching strategy[J]. Advances in Structural Engineering, 2019, 22(16): 3461-3472. [百度学术]
周子杰, 吴华勇, 赵荣欣. 基于模板匹配的结构振动无靶标视频识别算法[J]. 上海公路, 2021(2): 67-71. [百度学术]
Zhou Zijie, Wu Huayong, Zhao Rongxin. Marker-free structural vibration recognition algorithm based on template matching[J]. Shanghai Highway, 2021(2): 67-71. [百度学术]
Yang Yongchao, Dornb Charles, Mancini Tyler, et al. Blind identification of full-field vibration modes from video measurements with phase-based video motion magnification[J]. Mechanical Systems and Signal Processing, 2017, 85: 567-590. [百度学术]
Yang Yongchao, Dorn Charles, Mancini Tyler, et al. Blind identification of full-field vibration modes of output-only structures from uniformly-sampled, possibly temporally-aliased (sub-Nyquist), video measurements[J]. Journal of Sound and Vibration, 2017, 390: 232-256. [百度学术]
蔡文婷. 基于相位视频运动放大原理的结构位移与模态识别方法[D]. 哈尔滨: 哈尔滨工业大学, 2020. [百度学术]
Cai Wenting. Structural displacement and modal identification methods based on phase video motion amplification[D]. Harbin: Harbin Institute of Technology, 2020. [百度学术]
Molina-Viedma A J, Felipe-Sesé L, López-Alba E, et al. 3D mode shapes characterisation using phase-based motion magnification in large structures using stereoscopic DIC[J]. Mechanical Systems and Signal Processing, 2018, 108: 140-155. [百度学术]
Chen Justin G, Wadhwa N, Cha Y J, et al. Modal identification of simple structures with high-speed video using motion magnification[J]. Journal of Sound and Vibration, 2015, 345: 58-71. [百度学术]
Chen Justin G, Adams Travis M, Sun Hao, et al. Camera-based vibration measurement of the World War I Memorial Bridge in Portsmouth, New Hampshire[J]. Journal of Structural Engineering, 2018, 144(11): 04018207. [百度学术]
Sarrafi Aral, Mao Zhu, Niezrecki Christopher, et al. Vibration-based damage detection in wind turbine blades using Phase-based Motion Estimation and motion magnification[J]. Journal of Sound and Vibration, 2018, 421: 300-318. [百度学术]
尚长春, 马宏伟, 安静宇. 基于改进Canny算子的煤矿井下物体图像边缘检测方法研究[J]. 计算机工程与科学, 2014, 36(3): 491-496. [百度学术]
Shang Changchun, Ma Hongwei, An Jingyu. Image edge detection method of underground objects based on improved Canny operator[J]. Computer Engineering and Science, 2014, 36(3): 491-496. [百度学术]
Glennerster Andrew, Read Jenny. 2D coordinate frames for optic flow and disparity[J]. Journal of Vision, 2016, 16(12): 436. [百度学术]
Chow Hiu Mei, Knöll Jonas, Madsen Matthew, et al. Look where you go: characterizing eye movements toward optic flow[J]. Journal of Vision, 2021, 21(3): 19. [百度学术]
Farneback G. Two-frame motion estimation based on polynomial expansion[J]. Lecture Notes in Computer Science, 2003, 2749: 363-370. [百度学术]
Horn B, Schunck B G. Determining optical flow[J]. Artificial Intelligence, 1981, 17(1-3): 185-203. [百度学术]
章国稳. 环境激励下结构模态参数自动识别与算法优化[D]. 重庆: 重庆大学, 2012. [百度学术]
Zhang Guowen. Modal parameter automatic identification for structures under ambient excitation and algorithm optimization[D]. Chongqing: Chongqing University, 2012. [百度学术]
Wadhwa Neal, Rubinstein Michael, Durand F, et al. Phase-based video motion processing[J]. ACM Transactions on Graphics, 2013, 32(4): 1-10. [百度学术]