语音质量的客观评估算法

在过去的数十年中,已经发展出了多种SQA(Speech Quality Assessment)算法来估计MOS绝对分数或会话质量。语音质量评估算法分为主观和客观两种。

1、主观方法

主观方法 就不详细讲了,主要研究的是怎么让人更客观的评价语音的质量,用什么样本,在什么情况下,让用户怎么打分,是0-5分 还是只选 yes 和 no,怎么去除人的 疲惫因素,不同人群 评价的 偏差,等等。

但是主观方法的意义在于,可以用来校准客观方法,特别是客观算法里的种种参数。

2、客观方法

客观方法 分为 黑盒方法 和 透明参数模型方法。

2.1、黑盒方法

黑盒方法的含义主要是不考虑传输层的参数,只考虑语音波。它进一步分为 全参考的方法和 无参考的方法。全参考的算法是指 在评估的时候 需要对比正常语音 和 模拟出来的失真语音信号,又被称为post-service SQA算法,主要有 MBSD,MNB,PAMS,PESQ。无参考的算法 是指在评估的时候,不需要对比,看一个语音波 就可以了,主要有 P.563,POSQE。

1) 全参考的方法

这种算法对比了纯净语音序列和增加了失真的语音序列,在比对的时候,要先把失真语音序列转换为20ms的语音帧,依据人类声学理论 转换成“可听失真”,然后跟纯净语音序列逐帧对比,最后计算总分。

它有现成的算法 MNB和 PESQ(P.861 和 P.862),但是这个算法不论是时间复杂度还是空间复杂度都太高了。

有人提出可以用别的参数来替代声学失真,比如说用 声音的光谱距离来替代,然后用 这个参数转换成MOS值。这样做的话,复杂度降低到了n^2,但是效果却不如原本声学失真的计算方式。

另外,“逐帧对比” 使得原本 自适应缓冲区算法带来的时间失真,被无视掉了。

2) 无参考的方法

无参考的信号层SQA算法,则直接从失真信号中提取 各种参数,比如噪声,中断,电平饱和,停顿和语音自然度 ,然后把这些参数组合在一起计算得分。而组合参数的公式 来自 主观SQA算法里的总结,也就是说用人工的方法找公式,找参数,用于客观方法。

所以无参考的SQA算法,是在用人来养算法。

单端算法更适用于VoIP场景,因为它们的实现成本更低,并且可以实时监控会话,不用管 网络结构是什么样的。

2.2 透明参数模型方法

透明参数模型方法 分为离线计算方法和 在线计算方法。离线计算方法可以在服务运行前,预测通话的质量,所以又被称为 pre-service SQA算法,主要有 E-Model。在线计算方法就是在服务运行的同时计算,主要有 VQmon,Q-Model,Genome。

1) 离线计算方法

离线参数算法可以在服务运行前,预测通话的质量,所以又被称为 pre-service SQA算法。

它需要非常多的 参数,比如编码失真、延迟极其变化、降噪、回声、丢包、垂直水平切换(这是啥?),等等。

其中最著名的E-Model需要多达21个参数。E模型对于每个参数,有固定的范围和 计算公式,它的输出是 R值,如果R值低于60,说明整个电话的配置是不合理的,需要改进。它一般用于 规划目的。

2) 在线计算方法

在线计算模型因为不影响正常的通话,所以可以在通话的过程中执行。

感觉突出的重点是在线计算。但是所 举的例子里又包括了 各种对于网络的模拟。

比如VQmon:它的内部操作模式遵循分组层单端参数模型SQA方法。它可以模拟网络,允许定义网络功能,例如节点数,网络负载,移动性模型和路由协议。

3、单端无参考算法

1) 基础算法(2001年提出)

来源:R. G. Cole and J. H. Rosenbluth, “Voice over ip performance monitoring,” Computer Communication Review, ACM SIGCOMM, vol. 31, no. 2, pp. 09–24, 2001.

其中,Id和Ie是失真的参数模型,分别表示由延迟和设备损害因素导致的质量下降。 Ta是在评估间隔内播放的语音数据包的平均单向延迟,PLR是数据包丢失率,CODEC使用的语音编码格式。 校准参数A用于量化用户在某些情况下(即移动通信)接受质量下降的意愿。

这个公式主要是引入了回声的影响,小于177.3ms的延迟不会造成回声方面的问题所以有个 H(x)的判断。这个参数来源于ITU-T Rec.4的G.107。

最后,这是编码方式和丢包带来的影响。其中,a,b和c是通过对数回归分析获得的实拟合系数,不同的编码方式有不同的系数。 例如,在随机丢失过程下,当激活丢包隐藏(PLC)算法时,G.711语音编解码器的推荐系数为a = 0,b = 30和c = 15。

另外,此方向的经典算法是 P.563,它是ITU-T 在2004年 集合了三大通信公司,一起设计出来的算法,有论文有代码,但非常复杂,并且有版权限制,我还没有细看。

跟开源软件Homer( github.com/sipcapture/h)的参数相互比较,Homer的参数里:

把 94.2改成了 93.2

把 0.024 改成了 0.025

把 0.11改成了 0.1

把 177.3 改成了 120

最后的Ie,即编码方式和丢包(PLR)的计算,Homer的算法里没有管编码方式,简单计算成了 2.5*PLR。

对于Ta的参数,论文含义是 语音播放延迟,Homer的算法里采用的是 delay+jitter*2+10,其中 delay并不是播放延迟,而是RTCP两次report之间的延迟,实质上对应的是RTCP在采样和传输之间的延迟,jitter是这一段时间内语音的抖动。(这是我 比较疑惑,同时没有找到理论依据的一点)

附-RTCP官方文档里对delay的解释:

tools.ietf.org/html/rfc

另外,此方向的经典算法是 P.563,它是ITU-T 在2004年 集合了三大通信公司,一起设计出来的算法,有论文有代码,但非常复杂,并且有版权限制,我还没有细看。


2) 增强的单端算法

主要的增强点在于,不是仅仅考虑一个通话的整体丢包了,还考虑了丢包的分布,比如集中的丢包就比分散的丢包来的影响大。丢包的间隔大于多少,认为是一组集中丢包。然后,在不同的编码方式下,不同的丢包模式 会有 不同的参数。

另一个方法是,把通话切片,分段计算mos值,再求平均,其中,分段计算的逻辑是,从 正常 到连续丢包完成的 duration。(开源软件Homer github.com/sipcapture/h 的算法也是切片的,但是Homer是平均切片,不是按丢包分布的逻辑来的)

然后,还有考虑边缘设备对于QoE的影响,各种不同的边缘设备在相似程度的网络失真(即丢包过程和延迟抖动)下会产生非常不同的QoE。

以及,还有针对语音帧的评估策略,不同的语音 有不同的丢失权重。

还有针对链接断开的SQA算法。用户可能会遭受短暂的连接丢失,比如网络间和网络内的切换,或者是当用户漫游到相关基础架构的覆盖范围之外,在不同的网络,需要采用不同的编码方式。

4、现有的 其它公司的工具

VQuad:支持模拟,支持评估无线电话,它需要进行原始语音序列和降级语音序列的比较。

OPERA:双端 侵入式SQA算法,可以分析 背景噪声,讲话者和听者的回声,双向通话,语音削波,饱和度,信号衰减以及由噪声引起的伪像语音活动。它使用 伯努利(Bernoulli)模型和吉尔伯特(Gilbert)模型 来模拟失真;使用 利用了FIFO排队模型(遵循泊松分布)来模拟延迟和丢包。

3SQM:使用 单端方法来计算,它实现了ITUT的 P.563 标准。

Mongolia:它可以计算出每个语音帧的重要性,所以可以有选择的丢包。基于侵入式比较的SQA算法,是Hoene博士 毕业论文之作,仅支持几种流行的低比特率语音编解码器,即ITU-T G.729和GSM。

VQmon:它的内部操作模式遵循分组层单端参数模型SQA方法。它可以模拟网络,允许定义网络功能,例如节点数,网络负载,移动性模型和路由协议。

代做工资流水公司阜阳房贷流水报价贵阳做个人流水揭阳银行流水电子版公司盐城房贷流水模板青岛车贷流水费用舟山开入职流水烟台代做对公银行流水深圳工作收入证明代做烟台打印日常消费流水制作工资流水app截图西宁代开工资证明温州银行对公流水代办唐山对公银行流水代办泰安银行流水账模板烟台银行流水代办中山自存流水公司沈阳开企业对公流水石家庄薪资银行流水报价淮安车贷银行流水 样本宿迁房贷工资流水 代办黄冈银行流水账开具无锡代办公司流水深圳代开公司银行流水包头房贷流水天津银行流水修改报价汕头代做房贷工资流水廊坊代开个人银行流水衡阳办工资流水账单南京做工资证明北京查个人工资流水香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声卫健委通报少年有偿捐血浆16次猝死汪小菲曝离婚始末何赛飞追着代拍打雅江山火三名扑火人员牺牲系谣言男子被猫抓伤后确诊“猫抓病”周杰伦一审败诉网易中国拥有亿元资产的家庭达13.3万户315晚会后胖东来又人满为患了高校汽车撞人致3死16伤 司机系学生张家界的山上“长”满了韩国人?张立群任西安交通大学校长手机成瘾是影响睡眠质量重要因素网友洛杉矶偶遇贾玲“重生之我在北大当嫡校长”单亲妈妈陷入热恋 14岁儿子报警倪萍分享减重40斤方法杨倩无缘巴黎奥运考生莫言也上北大硕士复试名单了许家印被限制高消费奥巴马现身唐宁街 黑色着装引猜测专访95后高颜值猪保姆男孩8年未见母亲被告知被遗忘七年后宇文玥被薅头发捞上岸郑州一火锅店爆改成麻辣烫店西双版纳热带植物园回应蜉蝣大爆发沉迷短剧的人就像掉进了杀猪盘当地回应沈阳致3死车祸车主疑毒驾开除党籍5年后 原水城县长再被查凯特王妃现身!外出购物视频曝光初中生遭15人围殴自卫刺伤3人判无罪事业单位女子向同事水杯投不明物质男子被流浪猫绊倒 投喂者赔24万外国人感慨凌晨的中国很安全路边卖淀粉肠阿姨主动出示声明书胖东来员工每周单休无小长假王树国卸任西安交大校长 师生送别小米汽车超级工厂正式揭幕黑马情侣提车了妈妈回应孩子在校撞护栏坠楼校方回应护栏损坏小学生课间坠楼房客欠租失踪 房东直发愁专家建议不必谈骨泥色变老人退休金被冒领16年 金额超20万西藏招商引资投资者子女可当地高考特朗普无法缴纳4.54亿美元罚金浙江一高校内汽车冲撞行人 多人受伤

代做工资流水公司 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化