之前的博客旧址可以访问https://old.yulegend.cn,以前的笔记大部分都在那边。

facebookresearch/simsiam: PyTorch implementation of SimSiam https//arxiv.org/abs/2011.10566 (github.com)

这个比赛过程没有怎么记录下来有点可惜,最后拿了铜奖,前9%,感觉也还可以,是第一次认真打的kaggle并拿了奖(断断续续做了有一个月的样子)。没有什么太多的个人创新点,主要还是结合了大家分享的方法,然后自己在代码层面上做了些小改,包括后续集成的部分。

最近在弄transformer处理时序数据的时候,发现怎么用transformer的效果并不怎么好,结果发现原来torch里的transformerencoder并没有去实现positional encoding。。。