机器学习技术是整个AI的基础，对机器学习的理解以及深度决定了在AI领域能够走多远。机器学习看似简单，但它是一门博大精深的学科。在这门课程中，我们将传授给大家机器学习领域最为重要的几个技术，包括最近特别流行的图神经网络，在原有第一版的基础上做了大幅度的更新，包括内容的增加、开放式项目的安排。 在课程中，我们由浅入深的讲清楚每一个核心的细节以及前沿的技术、同时你将有机会参与到课题中，并通过课题来增加对领域的认知，让自己的能力更上一层。 课程特别适合想持续深造的人士, 想跑在技术前沿的人士。
高级魔鬼训练营的优势
1、每个章节都有案例或者项目实操，这点对我来说还是比较友好的。
2、在合适的章节介绍合适的案例，比如在凸优化介绍第一周的时候介绍的是运输问题讲解，而在第三周，凸优化问题时候介绍的打车中的匹配问题。这样对比和比较知识点也比较轻松。
3、课程有迭代，会在适合的时候加入相应的模块。
4、课程有对应的项目作业和实操案例。
5、课程服务开设小班教学，并且对学员有相应的回访。
6、通俗易懂地讲解每一个技术细节，用最少的时间成本来掌握那些很难自学的原理和模型。
7、为进阶人士设计，帮助打破技术天花板。
目录
Week 1: 凸优化介绍
从优化角度理解机器学习
凸优化的重要性
常见的凸优化问题
线性规划以及Simplex Method
Stochastic LP
案例：运输问题讲解
Week 2: 判定凸函数
凸集的判断
First-order Convexity
Second-order convexity
Operations preserve convexity
二次规划问题（QP)
案例：最小二乘问题
项目：股票投资组合优化
Week 3: 凸优化问题
常见的凸优化问题类别
半定规划问题（semi-definite programming）
几何规划问题（geometric programming）
非凸函数的优化
松弛化（relaxazation）
整数规划（integer programming）
案例：打车中的匹配问题
Week 4: 对偶（Duality）
拉格朗日对偶函数
对偶的几何意义
Weak and Strong Duality
KKT条件
LP, QP, SDP的对偶问题
对偶的其他应用
案例：经典机器学习模型的对偶推导及实现
Week 5: 优化技术
一阶与二阶优化技术
Gradient Descent
Subgradient Method
Proximal Gradient Descent
Projected Gradient Descent
Stochastic Gradient Descent与收敛
Newton’s Method
Quasi-Newton Method
Week 6: 数学基础
向量空间和图论基础
Inner Product, Hilbert Space
Eigenfunctions, Eigenvalue
傅里叶变化
卷积操作
Time Domain and Spectral Domain
Laplacian, Graph Laplacian
Week 7: 谱域（Spectral Domain）的图神经网络
卷积神经网络回归
卷积操作的数学意义
Graph Convolution
Graph Filter
ChebNet
CayleyNet
GCN
Graph Pooling
案例：基于GCN的推荐间域与谱域的比较
Week 8: 空间域（Spatial Domain）的图神经网络
Spatial Convolution
Mixture Model Network (MoNet)
注意力机制（Attention Mechanism)
Graph Attention Network(GAT)
Edge Convolution
空间域与谱域的比较
项目：基于图神经网络的链路预测
Week 9: 图神经网络改进与应用
拓展1: Relative Position与图神经网络
拓展2：融入Edge特征：Edge GCN
拓展3：图神经网络与知识图谱: Knowledge GCN
拓展4：姿势识别：ST-GCN
案例：基于图的文本分类
案例：基于图的阅读理解
Week 10: 强化学习基础
Markov Decision Process
Bellman equation
三种方法：Value-based, Policy-based, Model-based
Value-based Approach: Q-learning
Policy-based Approach: SARSA
Week 11: Bandicts
Multi-armed bandicts
Epsilon-Greedy
Upper Confidence Bound (UCB)
Contextual UCB: LinUCB & Kernel UCB
案例：Bandits在推荐系统的应用案例
Week 12: 路径规划
Monte-Carlo Tree Search
N-step learning
Approximation and reward shaping
项目：强化学习在游戏中的应用案例
结合深度学习：Deep RL
Week 13: 自然语言处理中的RL
Seq2seq模型的问题
结合Evaluation Metric的自定义loss
结合aspect的自定义loss
不同RL模型与seq2seq模型的结合
案例：基于RL的对话系统
Week 14: 贝叶斯方法论简介
贝叶斯定理
从MLE, MAP到贝叶斯估计
集成模型与贝叶斯方法比较
贝叶斯方法在计算上的Intractiblity
MCMC与变分法简介
贝叶斯线性回归
贝叶斯神经网络
案例：基于Bayesian-LSTM的命名实体识别
Week 15: 主题模型
生成模型与判别模型
隐变量模型
贝叶斯中的prior重要性
狄利克雷分布、多项式分布
LDA的生成过程
LDA中的参数与隐变量
Supervised LDA
Dynamic LDA
LDA的其他变种
项目：LDA的基础上修改并搭建无监督情感分析模型
Week 16: MCMC方法
Detail Balance
对于LDA的吉布斯采样
对于LDA的Collapsed吉布斯采样
Metropolis Hasting
Importance Sampling
Rejection Sampling
大规模分布式MCMC
大数据与SGLD
案例：基于分布式的LDA训练
Week 17: 变分法（variational method)
变分法核心思想
KL散度与ELBo的推导
Mean-Field变分法
EM算法
LDA的变分法推导
大数据与SVI
变分法与MCMC的比较
Variational Autoencoder
robabilistic Programming
案例：使用概率编程工具来训练贝叶斯模型
