使用ps实现异步梯度下降。


14年提出的。



可以看出异步运行效率非常高。
异步梯度下降的流程


如下,如果worker3很慢,那他的权重其实是最开始的,那么算出来的梯度如果同步到服务器中去,那就好有问题。

重要概念


MapReduce:消息传递、客户端-服务器和同步。.
参数Server:消息传递、客户机-服务器和异步。.
分散:消息传递,点对点,同步或异步。
并行计算和分布式计算
其实没有明显的技术;

上一篇:【面试题】圣杯布局和双飞翼布局
下一篇:你说倾盆大雨是什么意思