发布网友 发布时间:2022-04-20 04:09
共2个回答
热心网友 时间:2023-10-05 14:36
一 业务调研
数据仓库是要涵盖所有业务领域,还是各个业务领域独自建设,业务领域内的业务线也同样面临着这个问题。所以要构建大数据数据仓库,就需要了解各个业务领域、业务线的业务有什么共同点和不同点,以及各个业务线可以细分为哪几个业务模块,每个业务模块具体的业务流程又是怎样的。业务调研是否充分,将会直接决定数据仓库建设是否成功。
二 需求调研
了解业务系统的业务后不等于说就可以实施数仓建设了,还需要收集数据使用者的需求,及找分析师、运营人员、产品人员等了解他们对数据的诉求。通常需求调研分下面两种途径:
1. 根据与分析师、运营人员、产品人员的沟通获取需求。
2. 对现有报表、数据进行研究分析获取数据建设需求。
三 数据调研
前期需要做好数据探查工作,需要了解数据库类型,数据来源,全量数据情况及数据每年增长情况,更新机制;还需要了解数据是否结构化,是否清洗,是接口调用还是直接访问库,有哪些类型的数据,数据结构之怎样的。
数据开发,模型建设之前,先了解数据结构,数据内容,数据特性,对数据有一个整体把控
探查一下本次需求能不能实现,怎么实现,有没有隐藏bug,数据质量如何
热心网友 时间:2023-10-05 14:37
设计调查表格
在确定调查目的。调查任务、调查单位、调查对象和报告单位等一系列条目之后,要根据调查的需要,将所要了解的数据列为设计表格中的每一个项目,并且编制填表说明和报告时间,尔后发给调查单位和调查对象在规定的时间内填报。有时,也可由调查人员直接向调查单位或调查对象提问、计量、观察。
摘录有关数据
在报告单位的数据资料和在调查研究过程中调查对象提供的数据里,有一些是与调查研究课题无关的,调查者应根据调查工作的实际需要,对已掌握的数据资料进行筛选、摘录,把有关、有用的数据摘录出来。如中国社会科学院青少年研究所在汇编《中国1982年青少年人口数据资料》一书时,就采取了这种方法。他们以我国青少年人口自我状况和社会现象诸方面的数据为编辑依据,从《中国1982年人口普查10%抽样资料》一书,以及各类报刊登载的有关这方面的数据资料中进行摘编。如在人口普查的许多现有表格中,有许多是与该书所需要的数据无关的,其中有23类有关系,他们就把这23类抽出来汇编整理。
搜集原始记录
一般情况下,每个单位都有自己的工作记事本,记载本单位所做的主要工作,这些都属于原始记录,比较真实、可信。在开展调查活动时要注意搜集。查阅这些原始记录中的有关数据。
实践已经表明,数据调查是容易受人为因素的影响的。“大跃进”时期,在“浮夸风”的影响下,农村多报粮食产量的现象泛滥成灾,而且谁报得越多,谁就是模范。如有人曾将粮食亩产量报到一万斤。因此维护数据调查的科学性和严肃性是十分重要的。在开展数据调查时,要防止虚报、估报、误报等现象发生,一是不能完全依照领导的意图搞数据调查,特别是领导要求夸大或缩小某些事实数据时。二是要注意反复核实数据,如查阅原始记录,询问数据的来源。同时还可以和其他调查方法相结合进行验证,如抽样调查法。三是加强对统计调查工作者的办公培训。防止在填报表格中产生不必要的误差。