spark是否可以加载模型,并基于这个加载的模型参数,超参数进行增量更新


0
  1. 首先从磁盘或者hdfs加载已存在的模型
    val validatorModel0 =TrainValidationSplitModel.load(modelPath)
    val bestModel0 = validatorModel0.bestModel
  2. 其次是使用这个bestModel0的参数,进行增量更新而不是原始值开始更新,比如LR模型的话可以得到系数,截距等
    val coeffi = bestModel0.asInstanceOf[PipelineModel].stages.last.asInstanceOf[LogisticRegressionModel].coefficients
    val intercept = bestModel0.asInstanceOf[PipelineModel].stages.last.asInstanceOf[LogisticRegressionModel].intercept
  3. 但是目前找不到相关的模型方法进行预加载这些参数进行设置,比如LR模型如下,请前辈们赐教,感谢~
    val classifier = new LogisticRegression()
         .setElasticNetParam(0.0)
         .setFeaturesCol("featureVector")
         .setLabelCol("label") 
         .setMaxIter(numIter)
         .setStandardization(true)
         .setWeightCol(“weightCol”)
         .setPredictionCol("prediction")
         .setProbabilityCol("probability")

0 答案

我来回答