• 应用配置

    应用配置

    配置名称默认值含义
    xlearning.am.memory1024AM申请所需内存大小,单位为MB
    xlearning.am.cores1AM申请所需CPU核数
    xlearning.worker.num1worker启动数目
    xlearning.worker.memory1024worker申请使用内存大小,单位为MB
    xlearning.worker.cores1worker申请使用CPU核数
    xlearning.chief.worker.memory1024chief worker申请使用的内存大小,主要针对TensorFlow作业中index为0时的特殊worker,单位为MB,默认与worker memory一致
    xlearning.evaluator.worker.memory1024evaluator worker申请使用的内存大小,主要针对TensorFlow estimator作业中evaluator角色的内存分配使用,单位为MB,默认与worker memory一致
    xlearning.ps.num0ps启动数目,默认作业不使用ParameterServer机制
    xlearning.ps.memory1024ps申请使用内存大小,默认单位为MB
    xlearning.ps.cores1ps申请使用CPU核数
    xlearning.app.queueDEFAULT作业提交队列
    xlearning.app.priority3作业优先级,级别0-5,分别对应DEFAULT、VERYLOW、LOW、NORMAL、HIGH、VERY_HIGH
    xlearning.input.strategyDOWNLOAD输入文件加载模式,目前主要有DOWNLOAD、STREAM、PLACEHOLDER
    xlearning.inputfile.renamefalse输入文件下载至本地是否需要重命名,该选项只用于输入文件加载模式为DOWNLOAD时
    xlearning.stream.epoch1输入文件加载次数,该选项只用于输入文件加载策略为STREAM时
    xlearning.input.stream.shufflefalse输入文件是否采用shuffle模式,该选项只用于输入文件加载模式为STREAM时
    xlearning.inputformat.classorg.apache.hadoop.mapred.TextInputFormat.classSTREAM模式下,输入文件inputformat类指定
    xlearning.inputformat.cachefalsestream epoch大于1时,是否采用缓存至本地文件的操作
    xlearning.inputformat.cachefile.nameinputformatCache.gzinputformat缓存至本地的文件名称
    xlearning.inputformat.cachesize.limit100*1024inputformat缓存于本地的文件大小上限,单位为MB
    xlearning.output.local.diroutput输出文件本地默认路径,该选项只用于作业提交参数output未指定本地输出路径时
    xlearning.output.strategyUPLOAD输出文件加载策略,目前主要有DOWNLOAD、STREAM
    xlearning.outputformat.classTextMultiOutputFormat.classSTREAM模式下,输出文件outputformat类指定
    xlearning.interresult.dir/interResult指定模型中间结果上传至HDFS子路径
    xlearning.interresult.upload.timeout30 60 1000模型中间结果上传至HDFS超时时长设置,单位为毫秒
    xlearning.interresult.save.incfalse模型中间结果是否增量上传,默认为全部上传
    xlearning.tf.evaluatorfalseTensorFlow类型分布式作业中,是否将最后一个worker视为evaluator角色,主要针对Estimator高级API
    xlearning.tf.distribution.strategyfalse是否使用TensorFLow分布式策略方法,默认为false