大模型有什么用,从技术上看

这个时候的方案是tensorflow分布式训练+savedmodel,分布式训练可以用多个ps(tensorflow自带的),资源管理可以用yarn。用分布式是由于样本数大,同时多ps也能异步加速训练。saved_model一般由chiefworker保存,但存下来以后,会抹掉ps的痕迹,保存的模型跟单机训练的一模一样。当模型比较大的时候,这个时候要求的样本数也更大,...

【机器学习基础】一文带你用sklearn做特征工程

树模型中GBDT也可用来作为基模型进行特征选择,使用feature_selection库的SelectFromModel类结合GBDT模型,来选择特征的代码如下:1fromsklearn.feature\_selectionimportSelectFromModel2fromsklearn.ensembleimportGradientBoostingClassifier34#GBDT作为基模型的特征选择5SelectFromModel\(GradientBoostingClas...

数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限...

常见的降维方法除了以上提到的基于L1惩罚项的模型以外,另外还有主成分分析法(PCA)和线性判别分析(LDA),线性判别分析本身也是一个分类模型。PCA和LDA有很多的相似点,其本质是要将原始的样本映射到维度更低的样本空间中,但是PCA和LDA的映射目标不一样:PCA是为了让映射后的样本具有最大的发散性;而LDA是为了让映射后的...

深度学习的可解释性研究(一):让模型「说人话」

比如如下图的一种图稀疏性的LDA方法,根据层次性的单词信息形成了层次性的主题表达,这样一些小的主题就可以被更泛化的主题所概括,从而可以使我们更容易理解特定主题所代表的含义。Graph-basedLDA中的主题层次结构基于单调性的方法:在很多机器学习问题中,有一些输入和输出之间存在正相关/负相关关系,如果在模型...