dstc-no,全称为Dialogue State Tracking Challenge - Noetic Option,是一种人机对话技术的评测框架。它是在DSTC(Dialogue State Tracking Challenge)基础上发展出来的,但与DSTC不同的是,它的数据处理方式不需要使用先验领域知识。其目的是为了评测人机对话技术在一个无领域知识做对话的情境下的表现。
dstc-no的评测方式主要分为两个部分。第一部分是现场评测,参赛团队需要在规定时间内完成一个人机对话系统的开发,并在现场对该系统进行测试。第二部分是线上评测,参赛团队需要基于数据集进行模型训练和优化,并提交对话系统的代码和模型,最终由评测系统进行测试评估。衡量指标主要包括准确率、多样性、鲁棒性等。
dstc-no的应用领域主要是人机对话技术。它将对话系统的设计和优化从传统的领域知识依赖上解放出来,使得对话系统可以更好地应用于更多的实际情境中。其中,对于智能客服、语音助手等领域,dstc-no的应用具有重要的意义。
dstc-no的开展和推广具有重要的科研意义和应用意义。一方面,它促进了人机对话技术在领域无关性方面的发展,深化了对话系统的设计和优化思路。另一方面,它推动了人机对话技术实际应用的进一步推广和落地,使得人机对话可以更好地为人们的生活提供帮助。