关键点1.强化学习的发展历程2.马尔可夫决策过程3.动态规划4.无模型预测学习5.无模型控制学习6.价值函数逼近7.策略梯度方法8.深度强化学习DQN算法系列9.深度策略梯度DDPG,PPO等第一天9:0012:0014:0017:00一、强化学习概述1.强化学习介绍2.强化学习与其它机器学习的不同3.强化学习发展历史4.强化学习典

一、RSA加密简介　　RSA加密是一种非对称加密。可以在不直接传递密钥的情况下，完成解密。这能够确保信息的安全性，避免了直接传递密钥所造成的被破解的风险。是由一对密钥来进行加解密的过程，分别称为公钥和私钥。两者之间有数学相关，该加密算法的原理就是对一极大整数做因数分解的困难性来保证安全性。通常个人保存私钥，公钥是公开的（可能同时多人持有）。

　　写代码这么多年了，在涉及RSA跨语言的功能时，总会让人经历一番折磨。所以有必要把现在我掌握的这些零碎的知识总结一下公布出来，免得组内同事再走弯路。由于RSA实在太复杂，还有很多内容没弄懂，也没精力全了解，暂且把问题留下，未来也许能回答。所以这篇文章的标题为“经验之谈”　　本质上是数字运算　　RSA算法的本质是找到几个非常大的数，然后做运算

分库分表理解　　　分库分表应用于互联网的两个场景;大量数据和高并发，通常策略有两种：垂直分库，水平拆分　　垂直拆分：是根据业务将一个库拆分为多个库，将一个表拆分为多个表，例如：将不常用的字段和经常访问的字段分开存放，在实际开发由于跟业务关系紧密，所以一般采用水平拆分。　　水平拆分：则是根据分片算法讲一个库拆分为多个库，来进行维护，

1、数据挖掘数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程，系统中的数据挖掘是指利用计算机技术对基准点、IP开源信息、IP应用场景等IP相关数据的采集、过滤和分析处理，对IP的属性进行探测的过程。2、网络测量网络测量是指利用探测机对IP的网络属性进行探测的过程，包含IP存活性、IP上层路由器拓扑连接关系和网络时延等网络信息。3

算法描述：快速排序一般是选择数组的第一个数据为对称轴参考值pivot。按照大小数组分割成左右两个区间。然后对左右两个区间再进行递归排序，知道结束为止。例子演示：数组：43251，长度：5，对称轴参考值选择第一个数据4。比它小的我们放到它的右边，比它大的我们放到左边。设置左右两个工作位置。指向开头和末尾。第一轮：4325

1.若没有分区，一个topic对应的消息集在分布式集群服务组中，就会分布不均匀，即可能导致某台服务器A记录当前topic的消息集很多，若此topic的消息压力很大的情况下，服务器A就可能导致压力很大，吞吐也容易导致瓶颈。有了分区后，假设一个topic可能分为10个分区，kafka内部会根据一定的算法把10分区尽可能均匀分布到不同的服务器上，比如：A服务

这几天一直在学习基于Python的OpenCV，开发环境是在Ubuntu16.04下，学习的心得就是基于Python的OpenCV开发基本上就属于函数式编程了，OpenCV提供了大多数的功能函数，以及大多数的算法封装，并不需要从头开发，不需要重复的造轮子，需要的仅仅是将各个零部件进行组装。所以学习起来相对容易一些。但是这是建立在对于Python有一定的基础

近年来，国内外科技公司的算法面试中，动态规划几乎成了必考题型。动规题目类型众多，又没有固定的解题模板，初学者往往摸不着头脑，有时还会混淆动规和递归，所以动态规划又被称为“新人杀手”。不过动态规划的难，更多是因为初学者不知道怎么入门。学会正确的思考模式和解题流程，掌握动态规划其实并不难。九章侯卫东老师针对所有动态规划题型，总结了一套

前言日常开发中位运算不是很常用，但是巧妙的使用位运算可以大量减少运行开销，优化算法。举个例子，翻转操作比较常见，比如初始值为1，操作一次变为0，再操作一次变为1。可能的做法是使用三木运算符，判断原始值为1还是0，如果是1，设置为0，否则设置为0.但是使用位运算，不用判断原始值，直接改变值就可以：1^num//num为原始值当然，一条语句可能