在线学习调研

在线学习是什么

第一种理解 (how to feed the data into the model)

在线学习，通常是

1. 一次输入一条数据
2. as opposed to batch
3. 训练完了直接更新数据
4. 不需要一次提供所有训练集，可以逐渐地提供

离线学习，通常是

1. 一次处理多条数据，也就是一个 batch
2. 在整个批量训练完成后更新权重
3. 需要在每次训练操作中提供整个 batch 的数据

第二种理解 (relationship between training and prediction)

在线学习

1. 可以适应数据不断到来的环境，动态地更新模型。
2. 从而避免在数据变化后，需要重新生成模型的问题
3. 训练和判断是同步的。训练时也在判断。

离线学习

1. 在数据变化后，需要重新生成模型的问题
2. 训练的时候不可以进行判断