hive建模分析

建模分析

  • 基于访客系统的案例来进行讨论

建模分析目的

  • 分析出整个数仓需要哪些层次,哪些表,哪些字段
  • ODS层:源数据层

    • 对接源数据,保持和源数据相同粒度
  • DWD

    • 任务:
    • 1.清洗。

      • 不完整数据
      • 过期或者无效数据
    • 2.转换

      • create_time->年月日
      • 或时间戳
    • 3.可以适当维度退化,减少表的关联
  • DWM:中间层

    • 进一步对明细层进行聚合,譬如可以将日的记录先合并,在后期记录月时可以更方便的合并
  • DWS: 业务层

    • 细化聚合统计,
  • APP:应用层

    • 对细化统计结果再次分析
    • 可以省略
  • DIM:维度层

    • 放置维度表数据

你可能感兴趣的