Stella981 Stella981
4年前
Canal简介及配置说明
1.简介canal是纯Java开发的,基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql。原理相对比较简单:1.1.canal模拟mysqlslave的交互协议,伪装自己为mysqlslave,向mysqlmaster发送dump协议2.2.mysqlmaster收到dump请
Stella981 Stella981
4年前
Kafka(3)
消息的存储原理:  消息的文件存储机制:  前面我们知道了一个topic的多个partition在物理磁盘上的保存路径,那么我们再来分析日志的存储方式。通过   \root@localhost~\ls/tmp/kafkalogs/firstTopic1/命令找到对应partition下的日志内容
Stella981 Stella981
4年前
Spark Cache源代码分析
1\.sparkcache原理Task运行的时候是要去获取Parent的RDD对应的Partition的数据的,即它会调用RDD的iterator方法把对应的Partition的数据集给遍历出来,具体流程如下图:!在这里插入图片描述(https://imgblog.csdnimg.cn/20200724165519878.pn
Stella981 Stella981
4年前
Redis高级特性
redis的事务(transaction)转载:https://blog.csdn.net/fmwind/article/details/78065236redis中的事务是一组命令的集合。事务同命令一样都是redis的最小执行单元。一组事务中的命令要么都执行,要么都不执行。(例如:转账)原理:先
京东供应链创新与实践:应用数据驱动的库存选品和调拨算法提升履约效率
作者:零售供应链技术2024年10月,京东零售供应链技术团队凭借其在库存选品与调拨技术上的创新与实践,荣获运筹与管理学领域的国际顶级奖项DanielH.WagnerPrize。本文为您介绍获奖背后的供应链技术创新和落地应用。摘要在电商行业中,供应链管理和履
哈希竞猜搭建
我整理了一下:哈希竞猜游戏开发原理。哈希区块链的搭建原理。哈希值的应用和定义哈希值就是文件的身份证,不过比身份证还严格。他是根据文件大小,时间,类型,创作着,机器等计算出来的,很容易就会发生变化,谁也不能预料下一个号码是多少,也没有更改他的软件。哈希算法将任意长度的二进制值映射为固定长度的较小二进制值,这个小的二进制值称为哈希值。哈希值是一段数据唯一且极其紧
数据堂 数据堂
2年前
语音数据集:智能语音技术的基石与挑战
随着人工智能技术的飞速发展,语音技术已成为人机交互领域的重要突破口。语音数据集作为支撑语音技术研发的核心资源,对于提高语音识别、合成及自然语言处理等技术的性能具有至关重要的作用。本文将对语音数据集的发展历程、应用领域及面临的挑战进行探讨。一、语音数据集的发
AI全流程落地实战:从设计-开发-测试到运营一站式搞定(完结)
AI全流程落地:从技术到应用的深度剖析随着人工智能(AI)技术的飞速发展,其在各个领域的应用日益广泛,从智能制造到智慧金融,从智慧医疗到在线教育,AI正逐步改变着我们的生活方式和工作模式。本文将深入探讨AI全流程落地的技术细节,从需求分析、技术选型、数据准