南音工乂谱图像预处理的流程和方法

2019-06-19王占军

沈阳师范大学学报(自然科学版) 2019年2期

张岩, 王占军

(沈阳师范大学计算机与数学基础教学部, 沈阳110034)

南音被列为世界人类非物质文化遗产名录,千年以来是以工乂谱为形式来记载音乐的。由于历史悠久蕴意深奥,南音工乂谱历来都是以书法手抄传世的。利用模式识别等技术对工乂谱进行数字化处理,有利于工乂谱的整理和保存,也有利于将工乂谱翻译为五线谱等其他乐谱。工乂谱数字化的初始步骤是将手写或刻字印刷的乐谱进行扫描,形成乐谱的图像。图像化的乐谱要进一步经过图像加强、倾斜矫正等处理,然后分割成一个个的谱式单元的图像。谱式单元是乐谱数字化的基本单位,谱式单元图像的预处理关系着乐谱识别和翻译的准确率。研究针对个工乂谱的谱式单元图像的预处理流程和方法可以在技术上提高工乂谱数字化的质量,助推南音文化的继承、流传和发展。

1 南音工乂谱及谱字图像预处理流程

1.1 南音工乂谱

南音工乂谱是集音高、节奏、琵琶弹奏指法为一体的记谱方式,以竖排从右至左记谱。南音工乂谱的谱式(如图1所示)是由最左边的谱字、中间的指骨符号和最右边的撩拍符号等3部分组成。谱字代表音符和该音符在琵琶上的位置;指骨符号表示弹奏的指法;撩拍表示节拍[2]。

图1 工乂谱样例Fig.1 Example of Gongyi spectrum

1.2 南音工乂谱谱字单元

为了使计算机能够自动识别和翻译工乂谱,应该对原谱图像进行必要的解构,提取谱字腔格,以提供计算机处理的基本单元。因为每个谱字还附带弹奏指法和节拍信息,对应五线谱就相当于一个音符,例如,全音符、二分音符、四分音符、全休止符、二分休止符、四分休止符等等。所以工乂谱可以解构为含有音高和时值的基本信息的各个基本单元。谱字及其骨指符号、撩拍符号的全部或部分组合称为谱字单元。例如,、、等即是解构出的3个谱字单元。本文只针对谱字单元和多个谱字单元的图像的预处理进行讨论,不涉及谱字单元撩拍符号的分割和识别等。

1.3 南音工乂谱谱字图像的预处理流程

南音工乂谱一般以书法手写或刻板印刷为记载方式,对于工乂谱的计算机自动识别和翻译来讲,分割和识别是首要目标,这与图像的优质化处理目标不同,将图像清晰化、对比鲜明化和特征简要化做为预处理的重点。为了节省预处理的时间开销,可以提前进行谱字图像清晰度的评价。如果是彩色谱字图像,则要先进行图像的灰度化处理,然后再进行图像清晰度评价。图像清晰度评价指标主要有熵、峰值信噪比、平均梯度、结构相似指数等。通过分析比较各种方法的适用对象和评价特点,认为基于梯度的清晰度评价可以反映图像中微小细节反差与纹理变化特点[5]。所以本文利用Tenengrad函数进行基于梯度的图像清晰度评价。以下为清晰度计算的matlab代码(阈值T取0)[6]:

I=imread(′实验样谱.jpg′); %读取样谱图像

J=rgb2gray(I); %图像灰度化

Sx=[-1 -2 -1;0 0 0 ;1 2 1]; %生产sobel垂直梯度模板

Sy=Sx′; %生产sobel水平梯度模板

gradx=filter2(Sx,J);

gradx=abs(gradx); %计算图像的sobel垂直梯度

grady=filter2(Sy,J);

grady=abs(grady); %计算图像的sobel水平梯度

grad=sqrt(gradx.*gradx+grady.*grady); %计算图像的sobel梯度

Ten=sum(grad(:)) %计算图像的清晰度

图2 工乂谱谱字图像预处理流程图Fig.2 Pretreatment flow chart of Gongyi spectrum spectral image

清晰度标准可以通过对一张认定为清晰的谱字单元图像进行基于Tenengrad函数的清晰度计算而获得。在计算出清晰度后,通过对比所设定的清晰度标准值,考虑是否进行去噪。以图1所示的中等质量的白底黑字的工乂谱图像为例进行预处理,建立谱字图像的预处理流程如图2所示。

2 南音工乂谱字图像的预处理方法

2.1 谱字图像去噪的方法

图像噪音干扰图像主要特征的表现,给图像的后续处理带来不利影响。一般数字图像系统中的常见噪声主要有2种,一是由阻性元器件内部产生的高斯噪音,二是由图像切割产生的黑图像上白点噪声的椒盐噪音[7]。南音工乂谱一般自身存在图像缺陷,数字化处理后也会产生噪音。

考虑到谱字图像预处理的目的是进行分割和识别,不强调图像的重构和复原,所以选择空间域去噪方法。空间域去噪方法包括均值滤波、中值滤波和维纳滤波等,去噪会使图像一定程度上变得模糊。中值滤波可以很好地保护图像边缘细节,且通过实验比较证明,3*3模板的中值滤波对图像边缘细节的保护效果较好,有利于工乂谱的去噪质量[8]。利用MATLAB的medfilt 2函数对截取的部分乐谱进行去噪实验,实验效果如图3所示。利用MATLAB的filter 2函数对于原始图像和滤波效果图像进行Tenengrad梯度(阈值T为0)的清晰度计算,计算结果分别为1 462 100和1 233 900,表明清晰度下降了15.6%。所以,对清晰度在允许范围内的原始图像不做去噪处理是合理有效的。

图3 工乂谱中值去噪效果图Fig.3 Median denoising effect map of Gongyi spectrum

2.2 谱字图像增强的方法

通常情况下,工乂谱图像的亮度和对比度大多在适当范围值之内,增强图像目的就是要加强被模糊的细节。增强图像的方法可选择的主要有灰度变换法、直方图均衡法和直方图匹配法等[9]。本文采用灰度变换中的伽马变换来增强图像。利用MATLAB的imadjust函数,对图3(a)进行增强实验。为了提高细节的显示度,γ值分别取1和0.3进行比较,实验效果如图4所示。可以看出,γ值取0.3时,乐谱图像的背景被提亮。

图4 工乂谱增强效果图Fig.4 Contrast enhancement effect map of Gongyi spectrum spectral unit

2.3 谱字图像扩大的方法

图5 工乂谱三次插值扩大2倍效果图Fig.5 Cubic interpolation enlarged by 2 times effect map of Gongyi spectrum

谱字图像的数字化中可能有谱字单元较小或谱字单元密集等问题需要扩大处理。图像扩大的算法主要有最近邻值插值、双线性插值和双三次插值[10]。利用MATLAB的imresize函数对图像进行扩大实验。从实验结果看,最近邻插值、双线性插值和双三次插值3种算法对谱字图像处理的效果依次变好,即双三次插值更适合对谱字图像进行扩大处理。图5是图4(a)扩大2倍采用Bicubic参数进行双三次插值的结果图。双三次插值运行的时间代价较大,应考虑利用MapReduce函数完成较大规模数据的处理[11]。

2.4 谱字图像二值化的方法

图像的二值化能突显目标的特征信息,有利于图像的进一步处理。比较常用的二值化方法有平均灰度值法、双峰法、迭代阈值法和OTSU法(最大类间方差法)等[12]。具体是设置适当的阈值,将灰度图像所有灰度大于或等于阈值的像素被判定为属于特定物体,其灰度值表示为255,否则这些像素点被排除在物体区域以外,灰度值表示为0。利用MATLAB的graythresh函数自动获取阈值0.503 9,利用MATLAB的im2bw函数的最大类间方差法对图4(a),图4(b)进行二值化实验。实验结果发现谱字线条损失严重,对图4(a)提高阈值为0.75,对图4(b)提高阈值为0.92,实验效果如图6所示。结果表明,对不同图像的二值化处理应该选择不同的阈值[13]。

图6 工乂谱二值化效果图Fig.6 Binarization effect map of Gongyi spectrum

2.5 谱字图像细化的方法

细化算法分为迭代细化算法和非迭代细化算法。细化的实质是去掉原图中的一些点[14]。利用MATLAB的bwmorph函数对图6(a)和图6(b)进行细化实验。实验效果如图6所示,表明细化结果受到前面谱字图像增强和二值化的影响,细节差别比较明显。相对地,图6(a)比图6(b)谱字、指骨符号和撩拍符号分辨更清晰,有利于更高层次的分割和识别等处理。图8是对图5进行阈值0.75的二值化和细化的结果图。从实验结果可以看出,对本文的实验乐谱样例,先扩大谱字图像,然后进行二值化和细化,图像质量简洁清晰,也比较适合后续的分割和识别等处理[15]。