HelloWorld 开发者社区
数据库与数据工程
解决centos的mysql服务3306端口无法远程连接10038问题
之前一期说过在centos下安装宝塔控制面板,当登陆进去新建了数据库,然后在windows使用navicatformysql远程连接数据库一直失败,没有解决就先用阿里的RDS先用着,直到近期找到了方法。 BBC服务器版本(命令 lsb_releasea): LSBVers
Elasticsearch7.8评分脚本的索引迁移解决方法
前言:为了实践一下ElasticSearch的自定义相关度评分,使用了Expression脚本。但是在执行过程中却报错了,最后通过修改索引映射,添加别名和同步旧索引数据得以解决,所以以下也围绕这几项问题展开。 涉及知识:索引映射修改索引别名使用重建索引相关度评分 问题:
Elasticsearch数据同步——嵌套文档关联
前言:上一篇实践了通过Logstash同步MySQL的几张关联表到Elasticsearch中。为了实现同一种业务需求,嵌套文档在资源开销和查询速度上要优于父子文档(针对少量数据的情况)。所以以下就实践一下嵌套文档的基本使用和,以及Logstash如何同步一对多关系表到ElasticS
Elasticsearch数据同步——Logstash一对多关联
前言:目前大部分业务开发中,ElasticSearch主要还是用来做搜索。而支撑搜索功能的数据结构比较单一,不会有数据嵌套或者多种关联之类的。尽管没有,但是有些小众需求可能还会有一对多查询的场景。为了实现和MySQL的Join类似的查询方式,以下以ES的父子文档方式储存,并详细演示Lo
故障分析 | innodb_thread_concurrency 导致数据库异常的问题分析
作者通过分析源码定位数据库异常,梳理参数innodb_thread_concurrency设置的注意事项。<blockquote<p作者:李锡超</p<p一个爱笑的江苏苏宁银行数据库工程师,主要负责数据库日常运维、自动化建设、DMP平台运维。擅长MySQL、Python、Ora
PostgreSQL 分区
<blockquote<h2PostgreSQL分区</h2</blockquote概念PostgreSQL分区是将单个大表分成小的、可管理的部分的过程。通过将表分解为更小的部分,可以提高查询性能和数据加载速度,同时也可以简化数据维护和管理。使用分区技术,可以将大型
流批一体的近实时数仓的思考与设计
作者|张剑<blockquote摘要:基于对数据时间旅行的思考,引出了对目前三种数仓形态和两种数仓架构的思考。结合数据湖在Flink的应用和数据湖元数据类型的思考,探索了基于数据湖的FlinkSQL流批一体的实践,在流批一体SQL表达一致、结果一致性、流批任务分离、混合调度依赖
数据驱动运营增长
利用数据来分析、优化和提升产品或服务的各个方面,从而实现业务目标的方法叫数据驱动运营增长。用好数据,在运营中能精准地定位用户需求、痛点、偏好和行为,细分用户群体以提供个性化的产品或服务,精细化地管理和优化每一个环节和指标,以提高用户满意度、留存率、转化率、收入等。更多的好处还有能帮助企业更客观、科学
peewee+mysql+evetlet 为每次操作,都新开一个数据库连接
<pre<codefromcore.mysql.modelsimportTweetTablefromloguruimportloggerimporteventletimporttimefromeventletimportmonkey_patchmonkey_pat
ElasticSearch数据同步——Logstash多表批量
前言:上一篇文章也简单的介绍了Logstash同步MySQL到ElasticSearch。批量同步虽说就配置文件不一样,但是实际操作的时候,也还会遇到不少的问题,比如reader不允许特殊字符(0x0)等等。下面也主要以几个问题来演示批量同步的过程,以及启动命令时如何排查报错的方法。
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。