模板机器人是平台的预构建机器人。它包含六个对话其中包含手动编写的训练语句。我们保留每个对话个语句作为训练集用于训练意图模型其余语句用于评估。这六个意图分别是转接给客服人员结束聊天联系销售人员查看问题状态查看订单状态和报告问题。
我们发现可以通过释义和对话用户模拟进行数据高效评估。
目标生成和对话模拟
为了模拟部署前的测试场景我们将释义模型应用于条意图训练语句生成释义意图查询。这些查询随后被纳入模拟目标实例并通过对话模拟测试意图模型的性能。释义完成后我们将意图查询集的大小增加到原始意图语句的十倍以便更好地捕捉真实用户 手机号数据库列表 意图查询中的语言差异。
应用补救建议使用增强训练集对意图模型进行再训练。最后我们可以应用补救建议来改进机器人意图模型。在这里我们将集中推荐的错误分类意图释义添加到集中形成集并重新训练意图模型。之后进行另一轮对话模拟以测试重新训练后的意图模型。然后我们比较了重新训练前后的性能使用个引导样本计算的置信 此外玩家还需要了解足球博彩 区间的。我们观察到在模型重新训练后集的所有意图都得到了持续的提升尤其是那些最具挑战性的意图值较低例如报告问题和联系销售。
用于平台部署前测试的多意图对话生成
虽然提供了一些测试功能但它们专为回归测试而设计旨在确保先前开发的机器人模型在更改后仍然能够正常运行。用户需要探索对话路径并手动与机器人聊天以注释对话并将其保存为回归测试用例。在本案例研究中我们展示了如何使用内置的金融服务大型机器人对机器人进行部署前测试和性能分析。
解析器调用来解析对话流并将其建模为图形。这使得能够自动探索对话路径并生成涵盖这些路径的 选择加入列表 多意图对话。结合意图释义可以对多意图目标实例进行筛选以便通过对话模拟对机器人进行端到端部署前评估。