Stella981 Stella981
3年前
Spark如何与深度学习框架协作,处理非结构化数据
随着大数据和AI业务的不断融合,大数据分析和处理过程中,通过深度学习技术对非结构化数据(如图片、音频、文本)进行大数据处理的业务场景越来越多。本文会介绍Spark如何与深度学习框架进行协同工作,在大数据的处理过程利用深度学习框架对非结构化数据进行处理。Spark介绍Spark是大规模数据处理的事实标准,包括机器学习的操
Stella981 Stella981
3年前
Git 迁移之痛
OSChina的Git平台一直在云平台上,今年年中的时候数据增长迅猛,特别是在存储的容量上成倍的增长。我们跟几个云平台的深入聊过,目前的环境下没有解决方案,难以在容量和性能上都同时满足。于是才做出建立独立服务器的决定。然后是几个月的硬件准备和软件架构的准备,特别是在Ceph(http://my.oschina.net/p/ceph)存储上的研究
Wesley13 Wesley13
3年前
CDN是什么?
CDN是ContentDeliveryNetwork的简称,即“内容分发网络”的意思。一般我们所说的CDN加速,一般是指网站加速或者用户下载资源加速。CDN是通过在网络各处放置节点服务器,形成在现有的互联网基础之上的一层智能虚拟网络。CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户
Stella981 Stella981
3年前
Kafka介绍
最近公司项目中做了一个两个oracle数据库数据进行数据实时同步的功能,由于数据量和环境的因素,开发人员采用了kafka做为消息中间件来转发数据,笔者就进行了kafka的学习,记录了下面的文档,望大家多多指教,共同学习进步。一、   Kafka介绍  Kafka是由Java和Scala编写的是一个分布式、高吞吐量、分区的、多副本的、多订阅者
Stella981 Stella981
3年前
ReentrantReadWriteLock读写锁详解
一、读写锁简介现实中有这样一种场景:对共享资源有读和写的操作,且写操作没有读操作那么频繁。在没有写操作的时候,多个线程同时读一个资源没有任何问题,所以应该允许多个线程同时读取共享资源;但是如果一个线程想去写这些共享资源,就不应该允许其他线程对该资源进行读和写的操作了。 针对这种场景,JAVA的并发包提供了读写锁ReentrantReadW
Stella981 Stella981
3年前
Linux学习总结心得
1.学习Linux的心得学习Linux就是一些命令开始是创建虚拟机,必须有Centos镜像然后安装就有完整的虚拟机了,然后安装复制粘贴的和win系统链接,然后就是一些命令,最主要是背记学的Linux的命令和作用。  2.Linux的发展史l 1965 年左后由贝尔实验室加入了麻省理工学院 以及 通用电气合作的计划 —— 该计划
Stella981 Stella981
3年前
AStar寻路1
A星算法是一种启发式的搜索方法,通过一个路径评估函数,来动态确定最佳路径。这点和广度搜索不同。基本思想是有2个列表,open和close,open列表里面的节点表示待搜索周围点的节点,close列表里面记录着不需要搜索的节点。启发式函数fgh;f表示该路径的代价,g表示起点到搜索的点的该条路径的实际值,h表示该搜索的点到终点的估计值。h的
Wesley13 Wesley13
3年前
HTML5 & CSS3初学者指南(1) – 编写第一行代码
介绍网络时代已经到来。现在对人们来说,每天上网冲浪已经成为一种最为常见的行为。在网页浏览器中输入一段文本地址,就像http://www.codeproject.com,等待一下,网页就加载到浏览器窗口中。一个典型的网页是由文本、图像和链接组成的。除去内容上的差异,不同网站的网页也具有不同的外观和感受,以实现在网络上建立自己的身份品牌的目的。
Stella981 Stella981
3年前
Atlassian 重磅推出12个新功能为您打造全新 DevOps 体验!
我们的使命是通过协作工具和实践的力量来释放所有团队的潜力。对于实践DevOps的团队来说尤其如此,好的工具完全可以真正提升开发团队,IT运营团队和业务团队之间的高效协作。但是,增加多个团队的协作也有可能会给开发人员带来其它成本的付出。虽然开发人员无需编写代码并构建创新的解决方案,但最终需要花费大量时间去集成多个工具,更新工作状态并与其他
Wesley13 Wesley13
3年前
DRDS 柔性事务漫谈
_摘要:_ 在阿里巴巴,“柔性事务”已经是重构分布式事务的标准方法,覆盖了商品、交易、支付各个大规模应用场景,并且经受了双十一的考验。DRDS 是阿里云提供的一款分布式数据库产品,它的原型是在阿里内部使用了10年的数据库中间件TDDL。DRDS在TDDL提供的数据切分和SQL路由能力上,强化了分布式查询,事务和水平扩容能力。