MetaPath 游走

1. 算法介绍

MetaPath2Vec是一个异构图上的图表示算法，其原理是先通过游走得到一系列长路径，再将其作为样本训练word2vec，从而得到每个节点的embedding表示。本算法仅包含游走部分。

2. 运行

算法IO参数

• input：输入，hdfs路径，无向图，带权（可选）。每行表示一条边： srcId 分隔符 dstId （分隔符 weight）
• output: 输出，hdfs路径。每行表示一条游走路径
• sep: 分隔符，输入中每条边的起始顶点、目标顶点之间的分隔符: tab, 空格等
• isWeighted：边是否带权
• metaPath：游走路径，必须是对称的路径，如“0-1-2-1-0”
• nodeTypePath：节点类型，hdfs路径，两列，分别表示节点id及其对应的节点类型，节点类型用int表示

算法参数

• walkLength：每条路径的游走长度（或节点个数）
• numWalks：游走轮数，每轮游走指从metaPath中包含的所有类型的节点开始，游走walkLength长度
• needReplicateEdge：是否需要将graph转成无向图
• partitionNum：数据分区数，spark rdd数据的分区数量
• psPartitionNum：参数服务器上模型的分区数量
• useBalancePartition：参数服务器对输入数据节点存储划分是否均衡分区，如果输入节点的索引不是均匀的话建议选择是
• storageLevel：RDD存储级别，DISK_ONLY/MEMORY_ONLY/MEMORY_AND_DISK
• batchSize: 将节点邻居及其他信息push到ps时的batch大小，可按executor资源大小进行调节，一般设置为1000以下
• pullBatchSize：游走时每次从ps采样pullBatchSize个节点，由于pull的信息量较小，资源允许的情况下可以酌情设大该值，一般设置为100000以上

资源参数

• ps个数和内存大小：ps.instance与ps.memory的乘积是ps总的配置内存。为了保证Angel不挂掉，需要配置ps上数据存储量大小两倍左右的内存。对于metapath来说，ps上存储的是节点、对应的aliasTable、邻居节点类型和对应权重。 aliasTable是用于快速采样的一种数据结构，其包含了3个array，分别表示节点邻居(Array[Long]类型)，对应的accept概率(Array[Long])和alias(Array[Int]),邻居节点类型和权重分别是Array[Int]和Array[Float]格式，据此可以根据graph大小计算ps内存。
• Spark的资源配置：num-executors与executor-memory的乘积是executors总的配置内存，最好能存下2倍的输入数据。 如果内存紧张，1倍也是可以接受的，但是相对会慢一点。 比如说100亿的边集大概有160G大小， 20G * 20 的配置是足够的。 在资源实在紧张的情况下， 尝试加大分区数目！

任务提交示例

input=hdfs://my-hdfs/data
output=hdfs://my-hdfs/output

source ./spark-on-angel-env.sh
$SPARK_HOME/bin/spark-submit \
  --master yarn-cluster\
  --conf spark.ps.instances=1 \
  --conf spark.ps.cores=1 \
  --conf spark.ps.jars=$SONA_ANGEL_JARS \
  --conf spark.ps.memory=10g \
  --name "metaPath angel" \
  --jars $SONA_SPARK_JARS  \
  --driver-memory 5g \
  --num-executors 1 \
  --executor-cores 4 \
  --executor-memory 10g \
  --class org.apache.spark.angel.examples.graph.MetaPath2VecExample \
  ../lib/spark-on-angel-examples-3.3.0.jar
  input:$input output:$output nodeTypePath:$nodeTypePath metaPath:0-1-2-1-0\
  sep:tab storageLevel:MEMORY_ONLY useBalancePartition:true \
  partitionNum:4 psPartitionNum:1

常见问题

• 在差不多10min的时候，任务挂掉： 很可能的原因是angel申请不到资源！由于HIndex基于Spark On Angel开发，实际上涉及到Spark和Angel两个系统，在向Yarn申请资源时是独立进行的。 在Spark任务拉起之后，由Spark向Yarn提交Angel的任务，如果不能在给定时间内申请到资源，就会报超时错误，任务挂掉！ 解决方案是： 1）确认资源池有足够的资源 2） 添加spakr conf: spark.hadoop.angel.am.appstate.timeout.ms=xxx 调大超时时间，默认值为600000，也就是10分钟