Shaoguang Blog

Thinking will not overcome fear but action will.

Focalloss的理解

CrossEntropy loss: L = -ylog(y’) - (1 - y)log(1 - y’), 等价于 L = -log(y’) if y = 1; L = -log(1 - y’) if y = 0 若考虑对正负样本给予不同的权值，即正负样本对最终loss的贡献大小不一样，可做如下处理: L = -alpha * log(y’) if y ...

Posted by Shaoguang Blog on April 7, 2019

Tf下graph太大保存的解决办法

tensorflow在使用tf.train.CheckpointSaverHook时，会在训练正式开始之前出发write_graph的操作，如果定义的graph大小超过2G，就会保存失败，具体的错误示例为：Invalid arguments graph.pbtxt.tmp1246f70ae1304a66abaa4a7cab067148。 一般模型太大的原因是graph中保存了很大...

Posted by Shaoguang Blog on March 6, 2019

点击率位置偏置修正

采用COEC来修正点击率，COEC计算公式如下： 分子：一个ad在各个位置上的点击次数之和。 分母：ad在各个位置上的展现次数*位置的期望点击率之和。 参考论文：model ensemble for click prediction in bing search ads

Posted by Shaoguang Blog on February 24, 2019

英语短语

[2019-02-10] busy season 旺季 off/slack/low season 淡季 –> Winter is the slack seaon at most hotels. cash on delivery 货到后付款 –> Cash on delivery has largely become a thing of the past in the Un...

Posted by Shaoguang Blog on February 11, 2019

多模态特征融合

融合方法 Tensor Fusion Network for Multimodal Sentiment Analysis 提出Tensor Fusion Layer, 自动学习各单模态表示、双模型和三模态之间的交互，融合之后得到一个高维的tensor,对比之间直接concat各单模态表示结果，在效果上有很大提升

Posted by Shaoguang Blog on December 13, 2018

多任务学习初探

在机器学习领域，多数时候我们会关注一个特定的优化目标，比如ctr、cvr、gmv等。为了达到这个目标，我们会训练单一模型或者集成模型，并通过精细调参，使得模型逼近我们的真实目标。对于一个特定任务来说，这种做法通常可以得到可接受的结果，但我们忽略了一些可以使模型更优的信息，这些信息来自于与目标相关任务的监督数据。举例说明，在cvr任务中，我们要预估用户对一件商品发生购买的概率，一种做法是在曝光...

Posted by Shaoguang Cheng on December 9, 2018

图卷积网络

本文会包含以下内容： GCN GraphSage(PinSage)，Inductive Representation Learning on Large Graphs Graph Attention Network FastGCN（https://arxiv.org/pdf/1801.10247.pdf） 在GCN中，如何解决计算K阶表达时，需要涉及指数级的邻接节点，...

Posted by Shaoguang Blog on December 5, 2018

Ctr预估中的深度学习方法

FwFM, Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising WDL, NFM， Neural Factorization Machines for Sparse Predictive Analytics∗ AFM, Attentio...

Posted by Shaoguang Blog on December 5, 2018

Ctr预估中序列数据的使用

用户行为序列数据如何在推荐系统排序中发挥作用

Posted by Shaoguang Blog on December 5, 2018

metapath2vec

一种异构图 embedding 算法

metapath2vec 本文是对论文 metapath2vec: scalable representation learning for heterogeneous networks 的总结。 论文要点 文章对异构网络和异构网络表示学习给出了形式化定义，提出了 metapath2vec 和 metapath2vec++ 两种算法对异构图网络进行表示学习，经大量实验，作者发现这两种算法...

Posted by Shaoguang Cheng on October 2, 2018

FEATURED TAGS
ABOUT ME

Goals determine what you going to be!

✉️ chengshaoguang1291@126.com

FRIENDS