文章
数据价值的挖掘,有哪些实现路径呢?
💡一、以“协同”实现全局优化,提升产业运行效率,增强产业核心竞争力。通过从数据中挖掘出有用信息,作用于其他要素,改造提升传统要素投入产出效率,以数据引领物资流、人才流、技术流、资金流,找到企业、行业、产业在要素资源约束喜爱的“最优解”,提高全要素生产率,可解决过去解决不了的难题,实现过去创造不了的
如何搭建一套大数据系统?
由于工作关系,我从原来的数据库开发转变身份到2c的公司搭建大数据系统。经过一段时间的磨合,对如何搭建大数据系统有了更深入的理解。在文章的一开头,太可研究所(techinstitute)不得不声明下,不同公司的Data部门都有自己的特殊性,同时受限于经验,也很难用一篇文章解决全部的场景……
Data 领域分工及避坑指南,看这一篇就够了!
最近跟朋友忆当年,聊起初入Data行业的场景,发现包括当时的我们在内,对于行业的具体分工并不了解。最核心的原因在于Data的分工的确很复杂,哪怕同为研发也不一定了解其中的区别。公司在招人的时候也会用一份JD招各个方向的人,很容易出现把人招进公司后才出现预期不匹配的情况,造成人才流失的
MegEngine 优化 dataloader 使用体验!data monitor 帮助更好定位性能瓶颈
业务模型训练中Data部分可能是瓶颈所在在训练业务模型过程中,如果我们发现模型的训练速度不符合预期,往往会下意识地认为网络本身出了问题。但实际上,大多数时候问题发生在模型的数据供给逻辑中。区分一个训练过程的瓶颈到底是在准备数据,还是在网络的计算阶段其实是很简单的。比如对于下面这段
Flink测试利器之DataGen初探 | 京东云技术团队
什么是FlinksqlFlinkSQL是基于ApacheCalcite的SQL解析器和优化器构建的,支持ANSISQL标准,允许使用标准的SQL语句来处理流式和批处理数据。通过FlinkSQL,可以以声明式的方式描述数据处理逻辑,而无需编写显式的代码。使用F
从“概念”到“应用”,字节跳动基于 DataLeap 的 DataOps 实践
<blockquote更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群</blockquote近日,火山引擎数智平台VeDIMeetup「超话数据」在深圳举办,来自火山引擎的产品专家分享了字节跳动基于DataLeap的DataOps实践,数据研
MegEngine Python 层模块串讲(上)
在前面的文章(https://link.segmentfault.com/?encHREy%2BCw9JEqneRM19b0TUw%3D%3D.K8NkClhb5FUarNfKO8q2Vlr%2Bs3Xcg9Hkrd0UQkkSOO8sWtiL5e%2BE04VfTM63aBVx)中,我们简单
如何使用流程 中的 DataObject 并为流程设置租户
不知道小伙伴们有没有留意过,在Flowable流程图的绘制过程中,我们可以编写一个名为dataObject的元素,这个元素可以指定变量的id、名称以及数据类型等各种属性,并且在流程实例启动的时候,会自动将dataObject元素的信息转换为流程实例变量,这个东西也蛮好玩的,今天松哥就带
Data Analysis 常见的组件
Flink:ApacheFlink是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Spark:ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Streaming:Streaming基于开源Storm,是一个分布式、实时计算框架。
基于Hudi的湖仓一体技术在Shopee的实践
<code关注「Shopee技术团队」公众号👆,探索更多Shopee技术实践</code<pre<code目录1.Shopee数据系统建设中面临的典型问题2.为什么选择Hudi3.Shopee在Hudi落地过程中的实践4.社区贡献5.总结与展望</code
已加载文章中没有匹配内容,试试其他关键词或清空搜索。