我区蒙古语语音合成基础研究取得最新研究成果

    近日，内蒙古大学计算机学院蒙古文智能信息处理团队与新加坡国立大学李海洲教授团队合作在国际信号处理领域国际顶级期刊《IEEE/ACM Transactions on Audio, Speech, and Language Processing》上刊发了最新成果“利用形态学和音位学特征改善蒙古语语音合成的韵律分词”（Exploiting Morphological and Phonological Features to Improve Prosodic Phrasing for Mongolian Speech Synthesis）。该成果针对蒙古语语音合成的韵律建模问题开展研究，提出了一种融合形态学和音系学的蒙古文韵律建模方法。
    该研究得到了国家重点研发计划项目（2018YFE0122900）、国家自然基金项目（61773224，62066033），内蒙古自然科学基金项（2018MS06006），亚洲博彩平台排名成果转化项目（CGZH2018125）、亚洲博彩平台排名应用技术研究与开发资金项目（2019GG372，2020GG0046）等项目的大力支持。
    韵律建模问题是影响语音合成自然度和可懂度的重要因素。随着深度学习技术的发展，在海量文本和语音数据的支撑下，韵律建模的效果可以取得令人满意的效果。但是，在面对蒙古语这样的低资源语言时，韵律建模往往充满很多挑战。第一，蒙古文韵律建模的数据规模有限，没有海量的文本和语音数据用于模型的充分训练；第二，蒙古文独特的黏着语特性导致蒙古文单词具有复杂的构词特点，现有韵律建模方法并没有充分挖掘与韵律表达相关的构词特点以用于蒙古文韵律模型的训练。为了解决以上问题，研究团队提出了一种蒙古文单词表示特征强化方法，并融合自注意力机制进行韵律标签的预测。该团队利用了蒙古文单词的形态学构词知识和音系学构词知识来增强文本编码器的特征表达能力。研究团队考虑到自注意力模型可以充分学习输入文本的全局上下文相关性，将自注意力模型作为韵律模型的解码器进行韵律标签的预测，最后通过实验结果证明该团队提出的方法可以有效提升蒙古文韵律建模的精度，并且最终提升蒙古语语音合成系统合成语音的整体表现。
    论文链接：https://ieeexplore.ieee.org/document/9271923