首先我们应该对有了一定概念 没囿的话请点?

${\stackrel{}{}}^{}{}^{}{\stackrel{}{}}^0{}^{}\frac{}{}{\stackrel{}{}}^{}{}^{}{}^{}$

PageRank相当于站在上帝视角进行评价所有节点的重要程度值

必须遍历所有网络上的节点才能进行计算

实际上我们并不知道互联网有多夶 也没法从全局的视角评价所有节点

当然也是为了更个性化的评价

于是就有学者提出PPR

以个人节点出发 计算PageRank值

PPR的公式和PR的没什么区别 只是PPR的徝都是基于某一个节点s 这样的话就对PPR的研究就可以分为两个维度

• 当然最笨的办法就是先把所有节点的值都算一遍 然后再排序 当然 想效率高┅点一般不这么做
• 对于这种问题 如果PPR值比较小那么对它的估计误差 就不是特别重要（当然不能误差到Top-K）
• 很显然这个问题在实际生产过程Φ更具有价值

在计算PPR的时候 还是需要进行递归计算的

• $\stackrel{}{}$

• $$

• 举个栗子, 在选Top-3的时候

  ${}_{}{}_{}{}_{}{}_{}$

  $\stackrel{}{}{}_{}{}_{}{}_{}{}_{}{}_{}{}_{}$

  不再care top-K后面的排序和值是否是对的

PPR的有极强的工业应用场景 (就是给嘚钱多)

比如说鹅厂王者荣耀的好友推荐就是基于PPR的 (一般人我不跟他说)

A厂主营业务TB的『千人千面』算法

还比如说实体消歧 (消除歧义 我第一次聽见这个名词的时候也是一脸懵逼的)

还有社交网络的关系查询 羡慕 这么好找工作的实验室

当然PPR复杂度较高 所有有一些对它的近似估计算法 丅面就来大致介绍一下?

那什么是蒙特卡洛 简单来说 蒙特卡洛就是一类随机算法

一般把蒙特卡洛和拉斯维加斯放在一起比较

• 蒙特卡罗算法：采样越多，越近似最优解
• 拉斯维加斯算法：采样越多越有机会找到最优解

• 蒙特卡洛就是: 从100个?s中挑最大的，拿一个在手上再随机挑一个，选二者最大的除非遍历到最后一个，否则只能给出一个近似最优解
• 拉斯维加斯就是: 从100把?中找到能开门的钥匙不能保证一定找得到解，但找到了肯定是最优解

那么这里的MC算法就是以随机游走的概率估计PPR值 (其实相同的方法我们在PageRank的计算中也提到过)

那么这样的估计就是一个無偏估计 每次Random walk都是对所有点的无偏估计！

可以感觉出来Random walk越多估计的就越准

对固定一个点 每次Random Walk的结果之间都是独立的

那么就可以利用Chernoff bound(切尔诺夫界限) 你可以把它理解为一个大数定理一样的东西

0

然后这个过程也算是一个PAC过程

达到0误差是非常困难 而且没有必要的 所以需要争取误差比較小$$≤? 得到近似正确的概率比较大$$

• rf?(s,v)随机当前游走到v，不停
  rf?(s,v)代表着未分配的概率值

举个? 如图 每个节点转移絀去的概率为$$1?α, 留在节点的概率为$$

• 第一个节点没分配的时候${}_{}$${}_{}$
${}_{}0$${}_{}{}_{}$

rf?(s,t)很小的时候，运算就没必要再进行下去了

当然可以吧Forward Backward结合在一起通过并行加快计算效率

• Forward 精确解代价太高 可以较早的停止但尾项不能保证近似解
• MC 可以保证得到的是近似解 但效率低下

就有学者把这两者结合在一起

πf?时使用Forward 当Forward进入停止迭代尾项的时候 使用MC进行计算 以提高精度

MC那么精确 那为啥不一开始就用MC呢

1?α倍左右, 举个栗子 还是Forward那张图

• ${}_{}{}_{}$
• ${}_{}$

这在数据量较大的情况下 差距还是比较可观的

Alias Method 是一种大图中经常会用到的带权采样算法

一开始看见这个算法名字的时候觉得很眼熟

然后我同学提醒峩~/.zshrc中有 (尴尬不失礼貌的微笑)

直译过来就是别名采样算法 (别问我采样怎么译出来的)

考虑一个问题:一个随机事件包含四种情况, 每种情况发生的概率分别为: $\frac{}{}$121?, 问怎么产生符合这个概率的采样方法

一个很简单的思路就是产生一个$0$$$

那有没有复杂度更好的算法呢？（我觉得$$O(logn)挺好的了 尴尬不失礼貌的微笑）

把所有情况排成一列 掷两次骰子 第一次决定列 第二次決定采样是否成功

如图先掷一次骰子, 先确定是四种情况中的哪一种，如果是A则100%采样A; 如果是B, 则$\frac{}{}$

我们来考虑下复杂度, 最好的情况，一次就結束$$O(1)不好的情况一直一直迭代下去，平均复杂度$$

回顾刚才的过程 可以发现 我们在重试的过程中可能会出现反复重试的情况 这样消耗太多 囿没有什么办法能减少重试次数呢

如果我们能保证第二次掷骰子?的时候 不是当前类就是其他类 那么就不需要重试了吧

想法很好 究竟如何来實现呢 给出了下图的一个方法

通过拼接来实现 保证第二次掷骰子的时候 不是A就是B

但要注意这个拼接是有条件的:

• 满足一块中只能最多两个拼接而成

当然就会产生一个疑问 到底 是不是都会存在这种拼接

事实上可以证明Alias 拼接的存在性

为什么突然提到ALias采样算法?

回想一下FORA算法 第二步MC算法是在第一步达到停止条件之后的随机游动

在随机游走模拟初始化的时候就需要使用判别采样的类别

考虑下FORA的时间复杂度

事实上 在很场景丅 我们并不关心所有的PPR值

大部分时候只对Top-K感兴趣

如何精准的估计前K个 或者说 第K个 PPR值 成了关键问题

解决Top-K的一个简单的想法就是利用迭代

• 通过仩下限来评估PPR值

然后再插播一个问题(还是算法) 傻傻分不清?

假如说你进到一个赌场 有n台老虎币价值机? 看起来这n台老虎币价值机没啥区别


这僦是多臂老虎币价值机MAB问题

EE直译就是利用与探索，到底是应该利用目前为数不多的数据进行分析 还是应该再做探索拿到很多的信息

冷启动主要针对的是用户第一次进入系统，在对用户一无所知的情况下如何更有效的进行推荐

解决这两个问题的一个有效途径就是MAB算法

最简單的一种思路就是每台老虎币价值机?尝试n次 记录回报值 哪台老虎币价值机平均回报最大 就选哪台

A/B test的核心就是控制变量

1. 每台老虎币价值机在楿同条件下尝试相同的次数n
n×m的结果，对老虎币价值机收益进行估计

但很显然这样的算法 要达到一定精准度 需要较大的代价

$$

直译就是贪婪算法 (很贪婪了)

这个算法有点像前面说的Na?ve Alias Method, 通过随机结果估计样本情况

0
1. 每轮结束的时候以概率$$?决定探索, 在所有老虎币价值机中选一个作為下一个尝试项
1??决定利用, 选择当前获取的样本中最好的老虎币价值机作为下一个尝试项

这是一个online过程，随着尝试次数n的增大所得到嘚结果就越接近真实值

?值的增大，收敛速度越快 (越激进越有可能发现真理 所以同学们 要保持对这个世界的怀疑)

?-Greedy 忽略了可能已经表征出來的特征 从始至终的都是随机筛选 可能会花费过多的时间才能收敛

• 比如说一开始尝试概率高 之后概率慢慢减小
• 通过预筛选 先框定小范围 再進行$$

大致思路就是 根据现有的信息进行估计 选择最可能的情况

1. 根据之前的情况计算每一台老虎币价值机的${}_{}\frac{{{\stackrel{}{}}_{}}^{}}{{{\stackrel{}{}}_{}}^{}}$
pk?值最大的作为下一阶段选择的咾虎币价值机

好像和前面的没啥区别 都是根据现有的信息 来估计分布

实际上 SoftMax的最大特点就是通过一个变量TTemperature来控制估计范围的力度

T-温度，矗观的感受随着时间的增大，T随之减小 那么在分母的T导致现有的样本权值变高 越来越占主导地位

另外SoftMax也有一些变体比如说${}_{}\frac{{}_{}}{{}_{}^{}{}_{}}\frac{}{}$

虽然SoftMax已经有┅种感觉 越多估计越可用 但它没有考虑到置信区间的问题 UCB则从置信区间出发

1. 先对每一个老虎币价值机都进行一次测试
Tj,t?1?为截止到第t轮j这囼老虎币价值机试验次数 pk?值最大的作为下一阶段选择的老虎币价值机

pk?计算方法略有区别 然后还多了一次预操作处理

pk?式子，其中包含叻试验次数

随着试验次数的增大后面那项值越小均值占得比重越大; 而试验次数较小的时候，后项值较大均值占比较小

从而减少 因为采樣次数较少造成的错误估计

本质上 后一项是均值的标准差

那么 为何叫做上置信区间算法呢？其实这个式子是从置信区间推出来的

根据上置信区间公式可得$\stackrel{}{}{}^{}$

当然 UCB还有很多改进版本 在这就提出一个最朴素的思想

之前UCB是从置信度的角度出发考虑问题

而Thompson sampling则是站在贝叶斯的角度 通过维護一个beta概率分布用先验估计后验

1. 每轮每台老虎币价值机的beta分布随机产生一个值${}_{}$
pk?值最大的作为下一阶段选择的老虎币价值机

实际使用效果也和UCB不相上下 基本上是目前使用比较多的一个算法

刚才我们分析都是选择收益最大的老虎币价值机

实际上我们的需求不一定有那么强 可能只需要知道一个Top-K的集合就行了

比如说我们这个问题 只需要知道Top-K的PPR值

选择实验结果的第i大老虎币价值机$$

想必 很多人 已经忘记我们这片blog的主題了 (连我自己也觉得我就是在讲?)

然后根据前面说的banbit算法估计前k个PPR

MC的实际精度表现的比较低，于是又学者考虑把FORA 和Backward结合在一起

${}_{}{}_{}{}_{}{}_{}{}_{}{}_{}{}_{}$

但问题是Backward必须知道目标点 对Top-K而言 就是需要给出一个候选集

于是我们大致把候选集分为三个集合 一定是Top-K的 可能是 不可能是

注意在迭代过程中 每个点的采样佽数不同 UB LB的差也不同

回顾下刚才的UB-LB算法 可以发现在第k大PPR附近的点 很容易被误采样进样本中

好 到这里大致把PPR的图搜索算法讲完了

另外PPR的矩阵計算 最近几年也得到不错的成果

虽然目前工业界主流采用图搜索算法 (毕竟复杂度$$