Angel图算法

标签：str   pager   好友   friend   网络   空白   简单的   head   ali   

Angel图算法

[2.0]CommonFriends

计算两个好友的共同好友数，某种程度上可以刻画两个节点之间的紧密程度。

输入

• 输入数据路径：输入文件所在路径，无权网络数据, 数据格式为两列 srcId(long) | dstId(long), 其中|为分隔符，分隔字段表示空白符或者逗号等。
• 输入文件类型：格式包括以下两种：
• csv：csv 文件。
• 输入数据包含 header 信息。
• 输入数据分割符：主要包括逗号、空格、分号、星号等分割符。
• parquet：列式存储格式 parquet。

输出

• 输出数据路径：输出文件所在路径。
• 输出数据格式：格式包括以下两种：
• csv：csv 文件。
• 输出数据包含 header 信息。
• 输出数据分割符：主要包括逗号、空格、分号、星号等分割符。
• parquet：列式存储格式 parquet。

参数说明

• src：源节点列。
• dst：目标节点列。
• numPartition：分区数。

资源参数

• drive 节点资源类型：请选择合适的 drive 节点机型。
• executor 节点资源类型：请选择合适的 executor 节点机型。
• num-executors：分配计算节点数目，可根据数据量来配置，一般训练数据量越大，需要的 worker 个数越多。
• spark-conf：spark常用参数配置，如压缩、序列化、网络等。

[2.0]HyperAnf

估计网络的平均半径。

输入

• 输入数据路径：输入文件所在路径，无权网络数据, 数据格式为两列 srcId(long) | dstId(long), 其中|为分隔符，分隔字段表示空白符或者逗号等。
• 输入文件类型：格式包括以下两种：
• csv：csv 文件。
• 输入数据包含 header 信息。
• 输入数据分割符：主要包括逗号、空格、分号、星号等分割符。
• parquet：列式存储格式 parquet。

输出

• 输出数据路径：输出文件所在路径。
• 输出数据格式：格式包括以下两种：
• csv：csv 文件。
• 输出数据包含 header 信息。
• 输出数据分割符：主要包括逗号、空格、分号、星号等分割符。
• parquet：列式存储格式 parquet。

算法结果保存路径，共两列，其中第一列为 round 值，第二列为 anf 值，其中round = -1对应的 anf 为最终估计值。

参数说明

• src：源节点列。
• dst：目标节点列。
• numPartition：分区数。
• maxIter：最大迭代次数。

资源参数

• drive 节点资源类型：请选择合适的 drive 节点机型。
• executor 节点资源类型：请选择合适的 executor 节点机型。
• num-executors：分配计算节点数目，可根据数据量来配置，一般训练数据量越大，需要的 worker 个数越多。
• spark-conf：spark 常用参数配置，如压缩、序列化、网络等。

[2.0]LPA

LPA（Label Propagation Algorithm）是最简单的社区发现算法，通过标签扩散发掘网络的社区关系。

输入

• 输入数据路径：输入文件所在路径。
• 输入文件类型：格式包括以下两种：
• csv：csv 文件。
• 输入数据包含 header 信息。
• 输入数据分割符：主要包括逗号、空格、分号、星号等分割符。
• parquet：列式存储格式 parquet。

输出

• 输出数据路径：输出文件所在路径。
• 输出数据格式：格式包括以下两种：
• csv：csv 文件。
• 输出数据包含 header 信息。
• 输出数据分割符：主要包括逗号、空格、分号、星号等分割符。
• parquet：列式存储格式 parquet。

算法结果保存路径，共两列，其中第一列为节点 ID，第二列为节点对应的社区 ID。社区 ID 相同表示属于同一个社区。

参数说明

• src：源节点列。
• dst：目标节点列。
• numPartition：分区数。

资源参数

• num-executors：使用多少个 Spark 节点。
• driver-memory：Spark driver 的内存大小。
• executor-cores：每个 Spark 节点使用多少个 core。
• executor-memory：每个 Spark 节点使用的内存大小。
• spark-conf：Spark 的其他参数。 由于权限原因，需要用户额外提供 ugi 参数 spark.hadoop.hadoop.job.ugi=用户名：密码。

[2.0]EffectiveSize

EffectiveSize 是由结构空洞理论得到的网络度量指标，是 ego-network 中节点的重要衡量指标。

输入

• 输入数据路径：输入文件所在路径。
• 输入文件类型：格式包括以下两种：
• csv：csv 文件。
• 输入数据包含 header 信息。
• 输入数据分割符：主要包括逗号、空格、分号、星号等分割符。
• text：本文件。
• parquet：列式存储格式 parquet。

输出

• 输出数据路径：输出文件所在路径。
• 输出数据格式：格式包括以下两种：
• csv：csv 文件。
• 输出数据包含 header 信息
• 输出数据分割符：主要包括逗号、空格、分号、星号等分割符。
• parquet：列式存储格式 parquet。

算法结果保存路径，共三列，其中第一列为节点 ID，第二列为 effectiveSize 值，第三列为 redundancyCol 值。

参数说明

• src：源节点列。
• dst：目标节点列。
• numPartition：分区数。

资源参数

• num-executors：使用多少个 Spark 节点。
• driver-memory：Spark driver 的内存大小。
• executor-cores：每个 Spark 节点使用多少个 core。
• executor-memory：每个 Spark 节点使用的内存大小。
• spark-conf：Spark 的其他参数。由于权限原因，需要用户额外提供 ugi 参数 spark.hadoop.hadoop.job.ugi=用户名：密码。

[2.0]PageRank

PageRank 是著名的节点排序算法，由 Google 发表。

输入

• 输入数据路径：输入文件所在路径。
• 输入文件类型：格式包括以下两种：
• csv：csv 文件。
• 输入数据包含 header 信息。
• 输入数据分割符：主要包括逗号、空格、分号、星号等分割符。
• text：本文件。
• parquet：列式存储格式 parquet。

输出

• 输出数据路径：输出文件所在路径。
• 输出数据格式：格式包括以下两种：
• csv：csv 文件。
• 输出数据包含 header 信息
• 输出数据分割符：主要包括逗号、空格、分号、星号等分割符。
• parquet：列式存储格式 parquet。

算法结果保存路径，共三列，其中第一列为节点 ID，第二列为 effectiveSize 值，第三列为 redundancyCol 值。

参数说明

• src：源节点列。
• dst：目标节点列。
• numPartition：分区数。
• maxIter：最大迭代次数。
• tol：最小容忍误差，当误差小于该值时，算法迭代提早结束。

资源参数

• num-executors：使用多少个 Spark 节点。
• driver-memory：Spark driver 的内存大小。
• executor-cores：每个 Spark 节点使用多少个 core。
• executor-memory：每个 Spark 节点使用的内存大小。
• spark-conf：Spark 的其他参数。由于权限原因，需要用户额外提供 ugi 参数 spark.hadoop.hadoop.job.ugi=用户名：密码。

Angel图算法

标签：str   pager   好友   friend   网络   空白   简单的   head   ali   

原文地址：https://www.cnblogs.com/wujianming-110117/p/14458246.html