文章
我的常用shell命令
hive相关命令以加载一个数据文件到hive表中为例,如果跨服务器的话,经过以下三个步骤<pre<codescp/home/test.csvuser_name@ip地址:目标文件夹文件传输至安装hive的服务器上</code</pre<pre<codeh
日期函数使用小结hive,postgre
一些hive中常用的时间函数<pre<codeselectday时间字段,trunc(day,&39;MM&39;)
python requests 登陆hue并提交hive query
<pre<code&34;&34;&34;python登录Hue并查询.首次使用请修改BASE_URL,USERNAME和PASSWORD.&34;&34;&34;__author__&39;YujianYangand0ut0fcontrol&39;_
[Hive] order by/distribute by/sort by/group by/partition by
orderbyorderby会对数据进行全局排序,和oracle和mysql等数据库中的orderby效果一样,它只在一个reduce中进行所以数据量特别大的时候效率非常低。distributebyDISTRIBUTEBY是控制在map端
15. 数据仓库分层之DWS层、ADS层--本周回流用户数
<blockquote本周活跃用户数即不是新注册用户且上周未登录的用户。所以:<br/本周回流用户数本周活跃用户数本周新增用户数上周活跃用户数</blockquoteDWS层使用日活跃设备明细表dws_uv_detail_wk、dws_new_mid_day作为DWS层数据。
15. 数据仓库分层之DWS层、ADS层--沉默用户数
<blockquote沉默用户数:只在安装当天启动过,且启动时间在一周(或月)前。</blockquoteDWS层使用日活明细表作为数据ADS层沉默设备数表。<pre<codehive(gmall)>droptableifexistsads_slien
15. 数据仓库分层之DWS层、ADS层--用户留存主题
<blockquote留存用户:某段时间新增(活跃)用户隔段时间后再次使用。<br/留存率:留存用户占当时新增用户的比例。</blockquote分析!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/img
15. 数据仓库分层之DWS层、ADS层--每日新增设备
在经过了ODS层的加载数据、DWD层的解析数据后。这一节将具体分析特定指标,DWS层将对DWD层数据轻度汇总,ADS层将统计数据。用户每日新增设备表每日新增设备分析。!image.png(https://imghelloworld
15. 数据仓库分层之DWS层、ADS层--用户活跃主题
在经过了ODS层的加载数据、DWD层的解析数据后。这一节将具体分析特定指标,DWS层将对DWD层数据轻度汇总,ADS层将统计数据。用户活跃主题DWS层目标:统计当日、当周、当月活动的每个设备明细。每日活跃设备明细
14. 数据仓库分层之DWD层(2)
<blockquoteDWD层:对ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据,行式存储改为列存储,改压缩格式)</blockquote接上一节内容。在事件表解析成功后,我们需要将事件表中的数据详细解析。以字段“en”来判断事件名称,最后具体到确定的表。
已加载文章中没有匹配内容,试试其他关键词或清空搜索。