美团网站的数据搜索排序解决方案精华分享--1号站长-站长学院|资讯交流平台

一、线上篇
随着业务的发展，美团的商家和团购数正在飞速增长。这一背景下，搜索排序的重要性显得更加突出：排序的优化能帮助用户更便捷地找到满足其需求的商家和团购，改进用户体验，提升转化效果。

和传统网页搜索问题相比，美团的搜索排序有自身的特点——90%的交易发生在移动端。一方面，这对排序的个性化提出了更高的要求，例如在“火锅”查询下，北京五道口的火锅店A，对在五道口的用户U1来说是好的结果，对在望京的用户U2来讲不一定是好的结果；另一方面，我们由此积累了用户在客户端上丰富准确的行为，经分析获得用户的地理位置、品类和价格等偏好，进而指导个性化排序。

针对美团的O2O业务特点，我们实现了一套搜索排序技术方案，相比规则排序有百分之几十的提升。基于这一方案，我们又抽象了一套通用的O2O排序解决方案，只需1-2天就可以快速地部署到其他产品和子行业中，目前在热词、Suggestion、酒店、KTV等多个产品和子行业中应用。

我们将按线上和线下两部分分别介绍这一通用O2O排序解决方案，本文是线上篇，主要介绍在线服务框架、特征加载、在线预估等模块，下篇将会着重介绍离线流程。

排序系统
为了快速有效的进行搜索算法的迭代，排序系统设计上支持灵活的A/B测试，满足准确效果追踪的需求。

美团搜索排序系统如上图所示，主要包括离线数据处理、线上服务和在线数据处理三个模块。

离线数据处理
HDFS/Hive上存储了搜索展示、点击、下单和支付等日志。离线数据流程按天调度多个Map Reduce任务分析日志，相关任务包括：

离线特征挖掘
产出Deal（团购单）/POI（商家）、用户和Query等维度的特征供排序模型使用。
数据清洗标注 & 模型训练
数据清洗去掉爬虫、作弊等引入的脏数据；清洗完的数据经过标注后用作模型训练。
效果报表生成
统计生成算法效果指标，指导排序改进。
特征监控
特征作为排序模型的输入是排序系统的基础。特征的错误异常变动会直接影响排序的效果。特征监控主要监控特征覆盖率和取值分布，帮我们及时发现相关问题。
在线数据处理
和离线流程相对应，在线流程通过Storm/Spark Streaming等工具对实时日志流进行分析处理，产出实时特征、实时报表和监控数据，更新在线排序模型。

在线服务（Rank Service）
Rank Service接到搜索请求后，会调用召回服务获取候选POI/Deal集合，根据A/B测试配置为用户分配排序策略/模型，应用策略/模型对候选集合进行排序。

下图是Rank Service内部的排序流程。

L1 粗粒度排序（快速）
使用较少的特征、简单的模型或规则对候选集进行粗粒度排序。
L2 细粒度排序（较慢）
对L1排序结果的前N个进行细粒度排序。这一层会从特征库加载特征（通过FeatureLoader），应用模型（A/B测试配置分配）进行排序。
L3 业务规则干预
在L2排序的基础上，应用业务规则/人工干预对排序进行适当调整。
Rank Service会将展示日志记录到日志收集系统，供在线/离线处理。

A/B测试
A/B测试的流量切分是在Rank Server端完成的。我们根据UUID（用户标识）将流量切分为多个桶（Bucket），每个桶对应一种排序策略，桶内流量将使用相应的策略进行排序。使用UUID进行流量切分，是为了保证用户体验的一致性。