您正在查看: Young 发布的文章

增量学习的主流实现

Overview 之前的文章介绍了一些推荐系统的理论知识,理论虽然很容易理解,但是实际项目当中会有一些细节问题是需要我们去解决的。比如在很多流量很大的电商以及资讯网站的推荐系统中,每天的数据其实是增长很快的,所以模型迭代的频率也是非常高的,甚至于需要每天更新。那么我们就要面临一个很现实的问题,我们每天更新模型,那么每次都要用全量数据去训练模型吗?显然这是不可能的。一来耗费资源,二来时间也不...阅读全文>>

内容相似推荐实现

Overview 内容相似推荐算法,是推荐系统当中的一个常用的算法。假设我们做的是文章推荐,那么,我们该怎样求两篇文章的相似度呢?本文将记录几个常用工具的使用方法。 1. jieba分词工具 可以说是当前最好用的中文分词组件。我们拿到文章的标题、摘要、全文之后,可以用jieba提取关键词,然后去另一篇文章当中做Doc2Vec,把另一篇文章转化为一个向量,可以用平均或者加权平均的方式得到一个...阅读全文>>

PySpark笔记之五:lightGBM调参之PySpark + mmlspark + Hyperopt

Overview 之前的文章中记录了大数据平台上lightGBM分类器的Grid Search调参方法的应用。这次我们继续用lightGBM分类器,看看另外两种常用的调参方法随机搜索Random Search和贝叶斯优化Bayesian Optimization怎么在Spark平台上使用。 1. 加载相关包 import numpy as np import pyspark spark =...阅读全文>>

PySpark笔记之四:lightGBM调参之PySpark + mmlspark + Grid Search

Overview 上一篇文章PySpark笔记之三:lightGBM调参之PySpark + Grid Search,我们记录了分别用PySpark中自带的CrossValidator和更通用的生成多个分类器同时执行训练预测的方式选取最好的模型。其中CrossValidator并不能得到验证集上最佳的分类器,而是得到训练集上最佳的效果。而mmlspark当中却有更为简单的方式,既可以得到验...阅读全文>>

PySpark笔记之三:lightGBM调参之PySpark + Grid Search

Overview 在实际机器学习工作当中,调参是我们一个重要的内容。PySpark当中就实现了一个最常用的调参方法Grid Search,我们结合lightGBM使用一下PySpark的调参。这个程序需要安装的依赖的安装方式,可以参考上一篇博客。 1. 引入依赖包 import numpy as np import pyspark spark = pyspark.sql.SparkSess...阅读全文>>

PySpark笔记之二:PySpark环境LightGBM训练

Overview 就目前的PySpark版本2.4.5来说,虽有pyspark.ml这个模块可以进行机器学习,但是都是一些工业界不太常用的算法,而XGBoost和LightGBM这样的常用算法还没有集成。幸好微软前几年发布了mmlspark这个包,其中包含了深度学习和LightGBM等算法,可以和PySpark无缝对接。下面我们看看怎么用PySpark和mmlspark来运行LightGB...阅读全文>>

PySpark笔记之一:读写并处理数据

Overview PySpark是提供了Python语言API接口的Spark,经过我的初步使用,未发现和Scala API的Spark有太大差别。且我们服务器上已经配置好了PySpark,正好配合Jupyter notebook使用来进行机器学习离线训练模型。 从这篇文章开始,将从一个算法工程师的视角去记录一下Spark的使用。 Spark在我看来就是一个计算工具,用来处理单机计算不了的...阅读全文>>

TensorFlow 2.0使用CNN进行图片分类

Overview 本篇我们来记录一下怎么使用TensorFlow2.0当中的Keras模块来进行CNN图片分类。 1.加载数据 我们用经典的猫狗分类数据集来做这次图片分类。 import os import numpy as np import matplotlib.pyplot as plt import tensorflow as tf from tensorflow.keras.m...阅读全文>>

TensorFlow 2.0训练结构化数据

Overview 近期正在更新新用户模型,仍然在用XGBoost。由于训练集数据已经达到20W,故用神经网络来训练一下,看看效果如何。 TensorFlow 2.0集成了Keras,易用性很高,且Keras之后不再单独更新了,而是作为TensorFlow的一个模块来使用。我们这次就用TensorFlow 2.0中的tf.keras来训练我们的结构化数据。 1. 导入特征列表及数据 impo...阅读全文>>

互联网金融模型经验总结(一)

Overview 互联网金融行业主要涉及以下方面:保险、理财、基金、信贷、虚拟信用卡、催收等,主要用到以下类型的模型: 新用户营销模型、老用户召回模型(支付宝蚂蚁财富基金推荐红包发放等) 新用户反欺诈模型 新老用户信用额度模型(蚂蚁借呗,腾讯微粒贷,京东金条,微博钱包,美团借钱,各类小贷等) 虚拟信用卡贷中风控模型(蚂蚁花呗,京东白条等) 贷后催收模型 我在互联网金融行业已经工作两年了...阅读全文>>