火山引擎 DataTester 应用故事:一个 A/B 测试,将产品 DAU 提升了数十万

继承潮涌
• 阅读 606

疫情让线下的需求大量转移到线上,催生出了远程办公、网络授课、线上健身等新的生态现象。如何更好地为用户服务,提升用户体验,成为了诸多平台的一大课题。

今天的故事来自字节的一款 App,当它的发展进入成熟期后,通过 A/B 测试等精细化数据分析提升用户体验,实现 DAU(日活跃用户数)增长数十万的故事。

在字节有一个专门保障用户使用性能体验的团队,他们在日常的数据观察中发现了一个现象:用户所使用的设备性能好坏,会影响到他们在产品使用中的活跃度。同时,他们在研究中发现,这些基础性能体验的提升,会延长不同细分领域的用户生命周期,最终提升短视频产品的大盘 DAU。

为了进一步精确归因,这个团队使用专门为 A/B 实验打造的数据产品——DataTester,该产品是字节跳动内部应用多年的 A/B 实验平台,在 2020 年已通过火山引擎面向外部企业开放服务。

他们通过 DataTester 查看已经获得正向收益的 A/B 实验,并对其中的每个性能指标和业务指标做线性分析,尝试寻找会对业务指标造成影响的性能指标。

火山引擎 DataTester 应用故事:一个 A/B 测试,将产品 DAU 提升了数十万

数据显示,字节每日有 3 万余个 A/B 实验在同时运行,而每一次微小的产品改动,也都会经过 A/B 实验所得出的数据验证。

可以说小到按钮颜色和位置,大到推荐算法策略和规则,在字节都经历过 DataTester 的 A/B 实验效果验证。因此,该短视频产品也在 DataTester 中积累了大量的实验记录。

当性能体验团队将 DataTester 中的历史实验进行归纳整理后,他们发现有几个性能指标和产品的业务指标具有高度的相关性——当用户在刷短视频的过程中,遭遇到较多流畅度、储存占用、网络速度等问题,会直接的降低用户使用短视频产品的活跃度,而这个问题在设备性能较低的用户群体中更为明显和集中。

火山引擎 DataTester 应用故事:一个 A/B 测试,将产品 DAU 提升了数十万

定位到问题后,性能体验团队开始有针对性地开启了产品策略的优化。他们集中优化了设备性能较低的用户,在打开产品启动速度和视频加载流畅性方面——启动速度:首刷视频加载时间过长;流畅性:UI 动画和视频加载卡顿。

他们设计了优化后的产品形态,核心是将页面展示简洁化,并再次通过 DataTester 投放 A/B 实验,用以验证效果。

火山引擎 DataTester 应用故事:一个 A/B 测试,将产品 DAU 提升了数十万

配合产品页面展示简洁化,也同时减轻了一些特效、动效、快捷功能、附加组件等加载,综合性大幅提升了该短视频 App 的启动速度和视频播放的流畅度。从 DataTester 的实验结果上看,优化后的实验组方案在性能指标上有了大幅提升,App 启动速度、播放流畅度明显提升,播放卡顿指标大幅下降。

而在业务指标的数据反馈中,用户生命周期、用户访问时长等都有不同程度的正向收益。最终,本次的产品优化在 DataTester 中取得了提升整个短视频 App 数十万日活的收益,超出预期。

从今日头条开始,字节的每款产品,在迭代中都离不开 A/B 测试。也正是因为 DataTester 在字节全业务线的深度普及和应用,帮助业务在每一个微小决策的岔路口上,都做出了那个“更正确一点”的选择。

DataTester 基于先进的底层算法,提供科学分流能力和智能的统计引擎,支持多种复杂的 A/B 实验类型。在应用和分析场景上,DataTester 深度耦合推荐、广告、搜索、UI、产品功能等多种业务场景需求,为业务增长、转化、产品迭代,策略优化,运营提效等各个环节提供科学的决策依据,让业务真正做到数据驱动。

目前,DataTester 已经服务了美的、得到、凯叔讲故事等在内的上百家标杆客户,将成熟的“数据驱动增长”经验赋能给各行业。

点击跳转火山引擎A/B测试DataTester官网了解详情

点赞
收藏
评论区
推荐文章
blmius blmius
4年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
美凌格栋栋酱 美凌格栋栋酱
7个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
4年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
3年前
PIC中档单片机汇编指令详解(5)
位操作指令详述BCF数据寄存器指定位清0语法形式:BCFf,b操作数:f为数据寄存器的低7位地址(0x00~0x7F)B为数据位编号(0~7)执行时间:一个指令周期执行过程:使数据寄存器f的的b位清0状态标志影响:无说明:该指令可对任何数据寄存器的任意一个位置清0,常用于标志位的设定和清除,或者把某一管脚置成低电平。指
Stella981 Stella981
3年前
Flutter 实战之南瓜屋故事App诞生记
奇技指南南瓜屋故事App是由360导航的前端团队基于Flutter框架开发的一款真实故事创作与分享的内容型产品。南瓜屋故事简介南瓜屋故事是360旗下的以真人、真事、真情为调性的故事社区。这是一个以真实故事为内核的用户创作和分享平台,用户可以在这里写真实故事,看其他人的故事。它背靠360三大产品:导航、搜索
Wesley13 Wesley13
3年前
MySQL 快速创建千万级测试数据
备注:此文章的数据量在100W,如果想要千万级,调大数量即可,但是不要大量使用rand()或者uuid()会导致性能下降背景在进行查询操作的性能测试或者sql优化时,我们经常需要在线下环境构建大量的基础数据供我们测试,模拟线上的真实环境。废话,总不能让我去线上去测试吧,会被DBA砍死的创建测试数据的方式
个推分享两个调优技巧,让TiDB性能提速千倍!
个推“大数据降本提效”专题,正是通过总结分享自身在大数据实战过程中的踩坑经验、调优技巧等,为从业人员开展大数据实践提供参考。本文是“大数据降本提效”专题的第三篇,将为大家分享个推通过调优,实现TiDB千倍性能提升的实战经验。个推与TiDB的结缘作为一家数据智能企业,个推为数十万APP提供了消息推送等开发者服务,同时为众多行业客户提供专业的数字化解决方案。
python如何分布式和高并发爬取电商数据
随着互联网的发展和数据量的不断增加,网络爬虫已经成为了一项非常重要的工作。爬虫技术可以帮助人们自动地从互联网上获取大量数据,并且这些数据可以应用于各种领域,如搜索引擎、数据分析和预测等。然而,在实际应用中,我们面临的一大难题就是如何高效地爬取大量数据。分布
2023京东零售技术年度盘点
过去一年,围绕开放生态建设、低价心智等主要方向,京东零售技术团队持续攻坚。从百亿补贴、调整流量分配机制为用户提供低价品质好货,到简化商家进驻流程、优化商家体验,带动商家数量增长和平台生态活跃,再到将大模型结合到内部大量业务场景,探索效率提升……快速响应、助