选择合适的监控指标 确保跨境电商网站业务稳步增长

XunHuanTi
• 阅读 3107

引用文字

作者介绍:余劲,Crazysales公司IT负责人,拥有18年以上的代码编写经验,15年Java/PHP 应用经验,13年的电子商务行业经验,8年软件架构设计经验和丰富的项目开发管理经验,对软件工程有深入研究,曾帮助一外资企业成功通过CMM L4 和CMMI L5 评估,善于 WEB 应用软件分析、开发,成功带领团队开发和维护多个大型跨国交易网站。

Crazysales是一家典型的跨境电商企业, 不仅是eBay等大型电商平台上的大卖家,同时拥有多个自营电商平台,在中国也有多个品牌在运营,为广大用户提供完整的网购服务。

欢迎大家投稿:lily.qi@cloudwise.com

联系QQ:614117760

跨境电商经历2014~2015年的爆发式增长已经进入成熟发展阶段,据统计,2015年年底我国海淘市场规模达到2400亿元,同比增长60%,海淘人数达到2400万人,预计在2018年,市场规模将达万亿级别。早期政策和人口红利带来的诸多利好因素逐渐成为过去,随着各大综合型电商纷纷布局海淘市场,以及大量个性化、差异化海淘网站的上线,如今的跨境电商已经成为竞争激烈的红海市场,电商企业要在激烈的竞争中确保业务稳定增长,必须对作为业务支撑的网站和APP性能进行准确的监控,选择合适的关键业务监控指标尤为重要。

跨境电商企业从资本积累到高速发展,再到业务扩张,网站(系统)对于IT技术架构的要求会根据业务变化不停地变化。在整个过程中,监控的内容和指标类型是基本不变的,变的只是数字。众所周知,对外网站的访问量是衡量网站的重要指标之一,它在系统后面的反映就是压力,是处理各个级别访问量的能力。一般细分出来有: 1. 磁盘I/O;2. 内存使用量;3. 内外网络的带宽;4. CPU 使用率;5. 数据库的Select QPS等。

根据我们的经验,当系统架构由三台或以上的独立服务器协助完成的时候,需要在内部对每台服务器以上几个指标进行监控,这样才能让我们及时发现瓶颈,优化性能时才会更有重点和高效。如何使用这些监控指标呢?

结合我们跨境电商企业的网站特点,网站一开始对数据库的依赖大的特征做一个简单分析:数据库(MySQL) 在从一个库到多个库的发展过程中,时常会变成整个系统最大的瓶颈,每当网站访问量提高10%,MySQL的CPU使用波动和输出网络带宽就会出现很大的增长,如果后台系统同时对数据库进行读写操作时,更容易导致前台网页出现500错误。在架构壮大之前,导致的原因往往是MySQL出现大量(查询时间长)的Select操作后,引起数据库进行表级别的Lock(MyISAM引擎的特征)所导致的。

这又引出一个疑问了,在这么多的系统和代码中,怎么样发现这类问题,并进行优化呢?通过对监控数据长时间的观察,CPU的波动一般都是正常的,它成为瓶颈的机率很少,除非程序出现死循环。现代的磁盘性能已经很高了,I/O性能在使用HA架构后,会根据I/O指标来决定增加磁盘(无缝完成),所以I/O也不会是瓶颈。如果项目管理到位,内存使用是严格控制的,需要大量内存消耗的功能,必须要向架构师申请,不允许私自写大数据到内存。最后,内外网络的带宽的变化是最大的,最容易反应各个系统运行情况的一个指标,当有一定历史监控数据之后,更容易发现整个系统架构的性能瓶颈。

例如某次,通过云智慧监控宝发现网页的响应时间比平常多出5倍,工程师迅速对数据库和各个独立系统的监控数据进行分析,发现如下情况:

选择合适的监控指标 确保跨境电商网站业务稳步增长

图一

选择合适的监控指标 确保跨境电商网站业务稳步增长

图二

经过两张图的对比,发现一台服务器的进来的网络流量(图一,Incoming network traffic)变化正是另外一台服务器出去的网络流量(图二,Outgoing network traffic)变化一致,范围缩小,我们的内部监控是针对每个功能节点的,而刚好这个Outgoing network traffic正是数据库出去的流量,可以肯定另外一台服务器(图一)提取了不应该的数据了(在访问量不变的情况下,对比了历史监控数据,没有发现以前有这么多数据流动)。范围进一步缩小,很快定位问题在这个功能点,接下来就是针对性地进行程序或系统的优化了。这是监控宝通过监控响应时间的变化,从而发现问题的实例。

监控宝对跨境电商还有另外一个重要作用,就是准确感知海外服务器的网络状况,通过监控宝部署在不同国家的监控点对网站运行状态进行观察,很容易区分是外部网络故障还是内部系统故障。

选择合适的监控指标 确保跨境电商网站业务稳步增长

图三

如上图,我们的网站服务器是星状部署模型, 有一个中心数据(系统)源,而监控宝在各国国家都有落地的监控点,所以我们利用这个特性,在监控宝创建了一个直接指向我们中央服务器的监控项目,让它收集从不同的地方的到我们中央服务器的监控数据,汇总到如下图:

选择合适的监控指标 确保跨境电商网站业务稳步增长

图四

这里每一条线代表中央服务器对不同国家的响应时间,蓝色箭头这里(5月15日),加拿大响应时间超过2000ms,而其它国家回来的数据是正常(1000ms左右)。这说明加拿大到我们的中央服务器链路有问题。红色箭头(7月3日) 情况看到是所有国家的响应时间都很高(接近3000ms),说明我们的数据源服务器内部出现问题了,我们的工程师翻查内部系统日志,也印证了这一个结论。

以上是根据我们的架构特性积累的经验,并不一定适合每家跨境电商,正如本文开头提到的,每家公司的发展阶段不同,可投入的IT资源不同,遇到的问题和解决方案当然也有差异。这就要求IT部门熟悉掌握技术架构的同时,对企业的具体业务模式有深入的了解,通过细致的数据观察和分析,才能找到业务增长的主要监控指标和辅助指标,让网站技术和公司业务一起稳步增长。

选择合适的监控指标 确保跨境电商网站业务稳步增长

点赞
收藏
评论区
推荐文章
光速从0到1掌握Prometheus和Grafana,腾讯云专家5万字精华教程免费送
作者黄雷,腾讯云高级工程师,曾负责构建腾讯云云监控新一代多维业务监控系统,擅长大规模分布式监控系统设计,对golang后台项目架构设计有较深理解,后加入TKE团队,致力于研究Kubernetes相关运维技术,拥有多年Kubernetes集群联邦运维管理经验,目前在团队主要负责大规模集群联邦可观测性提升,主导研发了腾讯云万级Kubernetes
Stella981 Stella981
3年前
JindoFS缓存加速数据湖上的机器学习训练
作者:苏昆辉,花名抚月,阿里巴巴计算平台事业部EMR高级工程师,曾就职于华为、网易.ApacheHDFScommitter.对Hadoop、Hbase等有深入研究,对分布式存储、高性能优化有丰富经验.目前从事大数据云化相关工作
Wesley13 Wesley13
3年前
Oracle 19c迁移前,做好RAT回放测试有多重要?
作者介绍梁铭图,新炬网络首席架构师,十多年数据库运维、数据库设计、数据治理以及系统规划建设经验,拥有OracleOCM、Togaf企业架构师(鉴定级)、IBMCATE等认证,曾获dbaplus年度MVP以及华为云MVP等荣誉,并参与数据资产管理国家标准的编写工作。在数据库运维管理和架构设计、运维体系规划、数据资产管理方面有深入研究。背
Wesley13 Wesley13
3年前
C++游戏开发工程师(双休+五险一金+高薪上万)
岗位职责:1.参与公司在研游戏,负责游戏的涉及与开发2.与策划配合,进行新功能的开发3.保证代码质量与运行效率,持续进行项目功能优化与代码调优任职要求:1.热爱游戏研发。2.计算机、软件自动化相关专业本科以上学历(有特长可适当放宽) 3.熟悉掌握C或java编程语言,二年以上C或java程序经验,一年以上三维编程经验4
Stella981 Stella981
3年前
Python魔法方法之_init_、_del_与_new_
今天的这篇文章来自蜗牛学院重庆校区陈南老师。蜗牛学院资深导师,计算机本科学历,10年开发测试及管理经验。曾供职于某大型研究所与韩国互联网龙头企业Naver,并担任项目主要负责人。深厚的技术功底,具备安全邮件、存储产品、电商系统、开源数据库等多个大型项目的开发与测试经验。在Linux、C/Java/Python、数据库、自动
Wesley13 Wesley13
3年前
00_设计模式之语言选择
设计模式之语言选择设计模式简介背景设计模式是一套被反复使用的、多数人知晓的、经过分类编目的、代码设计经验的总结。设计模式(Designpattern)代表了最佳的实践,通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的
Stella981 Stella981
3年前
720 智能硬件与 LeanCloud 云端的默契协作
【玩转LeanCloud】开发者经验分享:作者:谢子超720技术负责人,从业十余年,一直负责软件开发工作。我们的产品是与监控和改善室内空气质量相关的智能硬件,我们使用LeanCloud平台已经有2年多了,借此机会与其他从事智能硬件生产及应用解决方案的团队分享下我们的经验。我们的主要硬件产品分为两部分:环境监测设备(环境宝)和环境
Wesley13 Wesley13
3年前
Java面试记录
首先,你需要先准备下工作相关的自我介绍,包括以下内容:  1.几年Java开发经验,大概概括下做过什么类型的项目,分别多久经验(如互联网金融,互联网电商,传统后台等)  2.选择1~2个近期关键项目具体介绍;  主要担任什么岗位,工作内容是什么,也可以简单介绍下团队人员组成,你在其中是属于什么角色(如架构搭建,核心代码编写,主要做接口开发等。。
Easter79 Easter79
3年前
Tedis:基于 TiKV 构建的 NoSQL 数据库
作者介绍:陈东明,饿了么北京技术中心架构组负责人,负责饿了么的产品线架构设计以及饿了么基础架构研发工作。曾任百度架构师,负责百度即时通讯产品的架构设计。具有丰富的大规模系统构建和基础架构的研发经验,善于复杂业务需求下的大并发、分布式系统设计和持续优化。个人微信公众号dongming\_cdm。Tedis(https://github.
企业级飞速低代码平台 | 公司及产品介绍 | 飞速生产力的平台
​一、飞速创软飞速创软专注于云原生全场景低代码及数字基础设施,研发中心位于深圳,在香港、北京、上海等地设立办事处,于2017、2020年分别成立珠海和深圳公司。公司研发团队深入研究和实践面向对象业务建模、前后端分离开发技术、云原生、微服务框架等,具有软件开发全生命周期平台产品,曾帮助腾讯、格力、碧桂园、OPPO、立邦集团、扬子江药业等多行业多领域大机构成功实现数字化转型和升级。二、企业背景创始人张军飞带领初创团队,在20余年丰富软件行业经验浸润和互联网架构思维指导下搭建了飞速平台架构模型,经由多家行业
XunHuanTi
XunHuanTi
Lv1
何处秋风至?萧萧送雁群。
文章
3
粉丝
0
获赞
0