推荐系统[九]项目技术细节讲解z2：搜索Query理解[Term Weight、Query 改写、同义词扩写]和语义召回技术
迪丽瓦拉
2024-05-30 22:44:03
0次
搜索Query理解和语义召回技术
随着用户规模和产品的发展， 搜索面临着越来越大的 query 长尾化挑战，query 理解是提升搜索召回质量的关键。本次将介绍搜索在 query term weighting，同义词扩展，query 改写，以及语义召回等方向上的实践方法和落地情况。
1.面临问题：长尾 query
长尾 query 的多样性对于搜索系统来说是一个很大的挑战，原因有：
-
存在输入错误。例如上图中的错误 query “塞尔维雅” ( 塞尔维亚 )，对于这种错误我们希望系统能够自动的纠错；
-
存在表达冗余。例如输入 “孙子兵法智慧的现代意义”，在这个语境下，“智慧” 是一个无关紧要的词。如果强制去匹配 “智慧” 的话，反而匹配不出真正想要的结果；
-
存在语义鸿沟。比如 “高跟鞋消音”，其中 “消音” 这个词的表达较少见，使得同时包含 “高跟鞋” 和 “消音” 文档较少。而类似的表达如 “高跟鞋声音大如何消除”、“高跟鞋消声” 等可能较多。用户输入的 query 和用户生产内容之间存在了语义鸿沟。其他类型的难点还有表达不完整，意图不明等等。
我们先通过图