HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

了解爬虫,这一篇就够用!

爬虫的基本原理是基于网站网络协议,根据网址批量获取到网页上的信息操作过程。简单一点说就是用计算机程序来模拟人工点击网页获取数据的过程。本教程将通过网络协议介绍、http请求流程、网页中的请求与返回、爬虫工作过程来为大家详细介绍爬虫是如何展开工作的。!image(https://imghel

数据批量上云方案

近些年传统企业数字化转型十分的火爆,而传统企业数字化一大的痛点就是各个业务系统之间“数据不通”。包括一直以来的数仓、数据湖、湖仓一体,其中的第一步都是数据汇集。作为企业数据建设的第一步,这个环节做的好坏,直接影响项目的成败,做的少了业务不可用,做的多了白白浪费存储计算成本,以下我们讨论的就是整个数据

大数据上手实战!训练营“9营齐开”第二季限时免费报名啦

8月18日,阿里巴巴大数据训练营“九营齐开”正式开营,来自数据计算、数据分析、数据仓库、搜索、机器学习、数据智能等多个领域的技术大佬亲身上阵教学,解读各技术领域基础原理,剖析行业实践案例,帮助开发者实现大数据从0到1的上手学习。首期大数据“9营齐开”计划吸引了10000开发者报名参与,

BIGDATA+AI Meetup 2020第二季·上海站开启报名!

金秋桂花香,正是上海相聚好时节。还记得盛夏降临时我们举办的大数据AIMeetup第一站吗,虽然疫情当前采用了线上直播的形式,但是我们仍然邀请了来自阿里巴巴、Databricks、快手、网易云音乐的7位技术专家,在北京、上海、杭州3地,集中解读上半年大数据的热门话题。时隔4个月,大数据江湖又有哪些

部分省份高考生选医学专业大幅增加,疫情正在改变着……

近日,全国抗击新冠肺炎疫情先进事迹报告会在广东举行,钟南山院士参会并发言,他表示九个月抗疫洗礼,各种“逆行者”深入人心,那些热衷追星、渴望“钱多事少离家近”的年轻人,开始思索处世之道,懂得了报效祖国的意义。确实,疫情让年轻人感受到了医生的价值,促使今年高考后,广东省报考医学学生比例大幅度增加,环

如何区分Hive与HBase

  如何区分Hive与HBase,要想区分Hive与HBase是有一定难度的。下面是给大家整理的关于从其各自的定义、特点、限制、应用场景等角度来进行分析,以帮助大家更好的理解、区分Hive和HBase。  HBase是什么?  ApacheHBase是运行于HDFS顶层的NoSQL(NotOnlyS

Hadoop技术优缺点

  Hadoop技术优缺点,目前我们正被数据包围,全球43亿部电话、20亿位互联网用户每秒都在不断地产生大量数据,人们发送短信给朋友、上传视频、用手机拍照、更新社交网站的信息、转发微博、点击广告等,使得机器产生和保留了越来越多的数据。数据的指数级增长对处于市场领导地位的互联网公司,它们需要对TB级别

快速学习MapReduce

  快速学习MapReduce,先说一下MapReduce的定义。它是一种编程模型,用于大规模数据集的并行运算,名字中暗含着&34;Map(映射)&34;和&34;Reduce(归约)&34;的意思,是从函数式编程语言、矢量编程语言中借鉴而来的。  MapReduce的三层含义  1)Map

数据系统架构-2.元数据管理

2.元数据管理篇目标通过收集与整合各个系统信息,打造数据全链路血缘关系。序场景1:报表A的数据和报表B的数据不一致,能帮忙看下是什么问题吗?场景2:我改动一个hive表,下游任务是否会有影响?场景3:原始日志打印字段结构变化了,我该通知哪些人?上述

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。