基础架构
Contents
基础架构#
推荐系统的逻辑架构#
推荐系统要解决的问题用一句话总结就是：用户如何高效获取感兴趣的信息的问题。
可形式化定义为：
对于某个用户U（User），在特定场景C（Contex）下，针对海量的“物品”信息构建一个函数，预测用户对特定候选物品（item）的喜好程度，再根据喜好程度对所有候选物品排序，生成推荐列表的问题。
由此可以抽象出推荐系统的逻辑架构：
推荐系统的技术架构#
在实际的推荐系统中，工程师需要着重解决的问题有两类。
一类与数据和信息相关，即“用户信息”“物品信息”“场景信息”分别是什么，如何存储、更新和处理数据？
另一类与推荐系统算法和模型相关，即推荐系统模型如何训练、预测，以及如何达成更好的推荐效果？
一个工业级的推荐系统的技术架构也是按照这两部分展开的
“数据和信息”部分逐渐发展为融合数据离线批处理、实时流处理的数据流框架。
“算法和模型”部分则进一步细化为推荐系统中，集训练（training）、评估（evaluation）、部署（deployment）、线上推断（online inference）为一体的模型框架。
由此可总结出一个典型推荐系统的技术架构图：
推荐系统的数据部分#
推荐系统的“数据部分”负责“用户”“物品”“场景”信息的收集和处理。
根据处理数据量和实时性不同，可分为客户端和服务端实时数据处理、流平台（Flink等）准实时数据处理、大数据平台（Spark等）离线数据处理。
数据平台根据对日志，物品和用户元数据等信息的处理，获得推荐模型的训练数据、特征数据、统计数据。
数据平台加工后的数据出口主要有3个：
生成推荐系统模型所需的样本数据，用于模型的训练和评估。
生成推荐系统模型服务（Model Serving）所需的特征，用于线上推断。
生成系统监控等所需的统计型数据。
推荐系统的模型部分#
“模型部分”是推荐系统的主体，模型的结构主要由“召回层”、“排序层”以及“补充策略和算法层”组成。
召回层：由高效的召回规则、算法或简单的模型组成，让推荐系统能快速从海量的候选集中召回用户可能感兴趣的物品。
排序层：利用排序模型对初筛的候选集进行精排序。
补充策略和算法层：为兼顾结果的多样性、流行度、新鲜度等指标，对推荐列表进行一定的调整。
他们都是通过模型线上Serving来实现的（如Tensorflow serving）。
而模型要serving，首先需要训练好模型，才能将其部署到线上。
模型训练可分为离线训练和在线更新两部分。离线训练利用全量样本和特征，使模型逼近全局最优解；在线更新可以更实时的消化新数据，满足模型实时性的要求。
最后，为了评估推荐系统模型的效果，以及模型的快速迭代优化，推荐系统还需要“离线评估”“线上A/B测试”等评估模块，用来得到线下和线上评估指标，指导下一步的模型迭代优化。
