对于聋人来说，乘坐火车旅行可能是一场赌博。在普通的日子中，一切顺利：他们按时到达目的地并继续他们的事务。
但当出现特殊情况时，情况可能会迅速变得令人害怕，因为大多数更新仅通过语音广播传达。一位聋人旅客可能错过他们的列车，因为它被移到了另一个站台，或者看着车站从眼前飞驰而过，因为他们今天的列车不停靠那里。在紧急情况下，他们也可能留在车厢内，当其他人都已撤离后需要由站台工作人员来救援。
每一个这样的例子已被绘制根据悉尼聋人的实际生活经验。我和我的同事们正在与悉尼火车公司以及澳大利亚聋人社区的成员合作，开发一个先进的、由人工智能（AI）驱动的手语虚拟形象，它可以自动将音频公告翻译成Auslan。
我们在创建虚拟形象方面的努力也为下一步工作奠定了基础：开发能够“理解”澳斯兰语的AI系统。
旅程并不总是按计划进行
今年早些时候，我和我的同事们运行了一个试点研究与悉尼的三位聋人火车旅客交谈。除了他们分享的一些关于火车旅行中可能出现问题的故事，我们还了解到他们使用了一些经过验证的战略来确保旅途顺利。
他们的策略可能对经常乘坐公共交通的乘客来说很熟悉。例如，他们会使用应用程序规划行程，提前到达并寻找指示牌以了解是否有任何变化。
但他们也表示他们感到需要站在信息屏附近观看更新，并在情况发生变化时询问车站工作人员或其他乘客获取信息。他们在火车上也非常警惕，时刻注意不要错过他们的站点。
但这些策略并不能总是确保聋人旅客收到重要信息，包括紧急情况的信息。例如，虽然通常很有帮助，车站工作人员有时太忙而无法提供协助。
最令人沮丧的情况是，当其他乘客不愿意或无法提供信息时，我们的聋人旅客只能“跟着 crowds”，这通常意味着他们会误入错误的地方。注：这里的"crowds"可能需要根据上下文调整翻译，如果是指跟随人群的意思可以直接译为“跟着人群”。若需完全准确翻译且考虑“crowds”在原文中的用法，请输出：“最令人沮丧的情况是，当其他乘客不愿意或无法提供信息时，我们的聋人旅客只能‘跟着 crowds’，这通常意味着他们会误入错误的地方。”但考虑到流畅性，推荐使用“跟着人群”。
开发签名Avatar
语音转文字软件可能看起来是解决这些问题的一个简单方案。但对于许多聋人来说，英语不是他们的母语，而Auslan（澳大利亚手语）则可以更容易、更快地处理。
我们的聋人旅客告诉我们，在一个理想的世界里，他们希望有现场翻译员。然而，使用自动AI技术的翻译系统具有吸引力，该系统可以在平台上或列车屏幕上显示一个做手语的虚拟形象，能够识别音频公告中的关键词，生成正确的Auslan语法句子，并从我们的词汇库中拼接相应的手势。
首先，它允许实时翻译使用已知词汇的公告——这在火车和车站的情境中很有用，因为许多公告涉及类似的主题。
其次，化身及其签名可以根据特定情况的需要进行定制，例如利用屏幕位置信息确保化身在指示出口或其他平台时朝正确的方向签名。
第三，多个签署者可以为一个虚拟形象的词汇库贡献签名，这些签名可以被流畅地组合成一句话。
重要的是，虚拟形象意味着不需要任何真实的人成为组织自动发布通知的“面孔”。这一点尤为重要，因为澳大利亚聋人社区很小且紧密相连，如果翻译出现问题，没有人会因此遭受声誉损害。
从技术角度来看，化身也允许我们确保签名的最低质量标准。我们使用动作捕捉来确保词汇库中的每个手势都是准确的，并且动作清晰。
它还帮助我们避免“恐怖谷效应”——当某些东西看起来像人类但又有细微的不对劲时会让人感到不安。我们不想看到最近由AI生成的那种多指怪物。
人人可用的AI
这项工作是我们更广泛的目标之一，即创建一个能够理解澳大利亚手语（Auslan）的AI系统。这样的AI可以用于帮助聋人和听力正常的工作人员进行交流，或者创建“聊天机器人亭”或基于应用程序的助手，让聋人可以通过Auslan即时获取关于他们火车旅行或其他日常任务的信息。
世界各国的手语和聋人文化有着微妙之处和复杂性，这些是听觉研究人员和人工智能开发人员需要注意的。可能没有意识到这些细微差别和复杂性必须嵌入到新技术中，研究人员和开发人员在AI数据收集和设计时必须采取以语言为先的方法。随着不仅仅是为了聋人。
只有那时，人工智能才能满足聋人的真实需求：确保他们在日常生活的各个方面都能安全和独立。