数据一定要做shuffle。理解网络原理最重要，尤其是CNN的卷积部分，你需要理解sobel算子的边界检测原理。要多用Dropout（不仅能防止过拟合，还相当于低成本的Ensemble，虽然会让训练变慢一些，同时建议适当增加网络参数，这也会让训练更慢一点）。CNN更适合是/否类的问题，如果任务复杂，建议先用分类任务训练模型再做finetune。CV领域就用ReLU，用3x3卷积核，用xavier初始化。LRN其实可以不用，不行再尝试。filter数量用2^n。多尺度的图片输入（或网络内部使用多尺度结果）效果很好。第一层filter数量不要太少，否则学不出底层特征。优化器选择sgd还是adam看个人，一般对网络影响不大，我习惯用sgd+momentum。batch normalization很好用，建议使用。不要盲信论文，觉得某些结构可能有效就去试试。95%的情况下你用不到40层以上的模型。shortcut连接是有效的。暴力调参最实用，毕竟时间宝贵，况且你调好的模型可能很快就要换掉了。