科学家开发出一种机器学习工具，能够准确识别22个阿拉伯语国家中的方言

沙迦大学的科学家们认为他们已经创造了一个可以自动识别某人使用的阿拉伯方言的人工智能系统。这项工作正在进行中。发表在IEEE Xplore.

他们说他们的系统能够解开阿拉伯方言的丰富和复杂织锦，而传统的语音系统在这方面存在不足，无法准确解读和识别。

阿什拉夫·埃尔纳加尔（计算机科学与智能系统教授）表示：“阿拉伯语是一种丰富的语言，拥有许多地区方言，每一种方言都有其独特的词汇、表达和发音。这种多样性使得技术很难准确地理解和区分它们。”

为了应对这一问题，我们开发了一个能够自动识别某人所说的是哪种阿拉伯方言的系统。

阿拉伯语是中东、北非和阿拉伯半岛22个国家的官方语言，它是全球使用最广泛的语言之一，拥有超过3亿7千多万人民将其作为母语。它也是世界上最富有文化浸润的语言之一，无论是以它为母语的人还是将其作为第二语言或外语发现自己也在学习伊斯兰教及其文化。

与英语完全不同的字母表，该语言拥有许多特定于其音系的独特发音。它的声音和字符的魅力令人困惑不已无数的外国学习者希望流利地说这种语言的人。尽管大多数阿拉伯语学习都是以标准的正式形式进行的，许多外国学习者选择方言或日常版本，特别是埃及和叙利亚流行的口语形式。

作者说，在仅通过听取口语就教会计算机识别不同阿拉伯方言的努力中，他们面临的任务并不轻松。他们写道：“主要的挑战是开发一种能够从口语中准确识别多种阿拉伯方言的机器学习模型。”音频录音.

这项任务由于阿拉伯方言内在的多样性和复杂性而变得更加困难，再加上音频处理和机器学习模型优化的技术挑战。

作者利用了包含超过3000小时音频片段的数据集，这些数据是从YouTube收集的。该数据涵盖了阿尔及利亚、埃及、伊拉克、约旦、沙特阿拉伯、科威特、黎巴嫩、利比亚、毛里塔尼亚、突尼斯、摩洛哥、阿曼、巴勒斯坦、卡塔尔、苏丹、叙利亚、阿拉伯联合酋长国（U.A.E.）、巴林和也门等国家使用的19种不同方言。

埃尔纳加教授说，结果令人印象深刻，突出了该模型在地区和国家层面识别阿拉伯方言的高准确性。“我们的模型正确地识别了方言区域97.29%的时间内准确识别语言，以及94.92%的时间内准确识别特定国家的方言。

值得注意的是，我们仅使用了29%的资源配置就达到了这一成就。训练数据通常其他研究人员所需的要求。我们已经将我们的模型公开发布，以便其他研究人员和开发人员可以使用它们为阿拉伯语使用者创建更好的语音相关技术。" 注意：这句话的部分翻译可能不够流畅或准确，因为原文有些地方不太清晰或者存在表述上的问题，请根据实际情况调整理解与翻译。如果需要更精确的翻译建议提供更多的上下文信息。

该项目有可能增强全球数百万阿拉伯语使用者的沟通和可访问性。埃尔纳加尔教授表示，该模型能够正确识别方言的能力可以“改善语音激活技术，如虚拟助手、翻译服务和自动化客户支持系统。”

这不仅弥合了不同阿拉伯语地区之间的沟通差距，还促进了技术对阿拉伯语使用者更加包容和用户友好。

尽管取得了惊人的成果，埃尔纳加教授指出，该项目仍可以进一步改进。为此，作者们已将他们的系统公开发布在名为HuggingFace的平台上，“以便其他人可以访问并在此基础上构建，以改进阿拉伯语技术。”

这项研究是Elnagar教授与其三位同事合作的结果。本科生作为构建用于从语音识别阿拉伯方言的深度学习模型项目的部分工作，初步的研究成果首次在2024年应用计算年度本科生研究大会（URC）上发表。

“我们的系统背后的技术是由我们专注的学生开发的，它集成了前沿的方法论和深度学习技术。从文本扩展到音频信号的功能使其脱颖而出，提供了一种多模态的方式来理解和处理阿拉伯语。”埃尔纳加教授说。

对于学生研究员阿姆尔·巴拉卡特来说，该项目“填补了语言技术中的一个关键空白，使全球阿拉伯语使用者能够实现更加包容和准确的交流。通过利用先进的机器学习技术，我们创建了一个不仅在性能上表现出色而且还为语音识别未来创新铺平道路的模型。”

另一位学生研究员阿卜杜拉·阿尔达黑里报告称，该项目在业界引起了广泛兴趣，因为它“具有被广泛应用的潜力，为各种由人工智能驱动的语言应用和服务提供了众多好处和改进。”

除了高精度之外，作者开发的工具与目前可用的模型不同，它需要较少的数据和计算资源，使其更易于广泛使用。据作者介绍，这一特点引起了业界对其工作的兴趣。他们提到微软等科技公司以及阿联酋沙迦等地的政府机构对他们的工作表现出特别的热情。

更多信息：阿姆尔·巴拉卡特等，从语音识别阿拉伯方言2024年应用计算本科生研究会议（URC）第十五届年度会议 (2024). DOI: 10.1109/URC62276.2024.10604557