添加链接
link管理
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement . We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

背景:9千万个点,20亿边,分布式训练后(1ps + 20worker)得到cpkt模型,然后进行embedding表导出,执行如何命令:

python -m tf_euler --data_dir hdfs://path/data --model_dir model --max_id 90000000 --feature_idx 0 --feature_dim 1 --model graphsage --mode save_embedding

由于save_embedding不像train那样实现分布式计算,所以执行上面命令后会加载所有数据到单台机器内存后,导致内存不足,从而无法导出embedding表。所以,请问对于大规模的图,怎么导出模型训练后对应的embedding表?

@yangsiran