众所周知，机器学习尤其是现在的深度学习，大量的工作都集中在调参上。一个模型能否很好的解决问题，调参占了很大的比重。而学习率又是模型众多超参数中最重要和最容易调节的一个。
【机器学习】关于注意力模型（attention Model）的理解和应用
注意力模型是近年来在序列处理领域新提出的机器学习方法，在语言翻译等领域取得了不错的效果。要想了解注意力模型，那么必须对现在的机器学习各领域有一定的了解，而且要了解encoder-decoder基本思想。
【转】【译】how to handle very long sequences with lstm（lstm rnn 超长序列处理）
LSTM在处理长时间序列的时候表现很好。尤其是像是时序预测和文本翻译一样每个输入都对应一个输出的时候。但是当一个长的输入序列却只对应一个或者一小段输出的时候，LSTM的性能就不是那么理想了。
【数据处理】关于t Sne：降维、可视化
机器学习中，我们的使用的数据基本都是高维的，所以我们很难直接从数据中观察分布和特征。因此出现了很多数据降维的手段帮助我们提取特征和可视化数据。这就是流行学习方法(Manifold Learning):假设数据是均匀采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化。它是从观测到的现象中去寻找事物的本质，找到产生数据的内在规律。
【机器学习】batch Normalization的理解和研究
15年谷歌发表了一篇文章，名字是《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，文章介绍了一种新的深度学习算法，可以有效的提高模型的效率和精度。
【机器学习】梯度下降算法分析与简述
梯度下降(gradient descent)是一种最优化算法，基于爬山法的搜索策略，其原理简单易懂，广泛应用于机器学习和各种神经网络模型中。在吴恩达的神经网络课程中，梯度下降算法是最先拿来教学的基础算法。