海量数据采用何种方式保存数据、如何分析?

大多数地方都无法确认海量的历史数据是否还具有价值,有没有那些方便的技术能帮助筛选出有用的数据,剩余无用的清除掉。

参与20

4同行回答

lzg21stlzg21st存储工程师brcb
数据的价值肯定是业务说了算,所以历史数据的归档肯定也是业务进行的,无论是通过数据库级的存储过程或者是定制脚本完成数据转储等等手段,都是业务人员指定数据的“时间戳”。而后端架构层也不是“看热闹”就行了,在海量数据的存储上,肯定存储典型的热点和非热点也就是冷热数据...显示全部

数据的价值肯定是业务说了算,所以历史数据的归档肯定也是业务进行的,无论是通过数据库级的存储过程或者是定制脚本完成数据转储等等手段,都是业务人员指定数据的“时间戳”。

而后端架构层也不是“看热闹”就行了,在海量数据的存储上,肯定存储典型的热点和非热点也就是冷热数据,那么显然采用分级存储是不二方案。

收起
银行 · 2016-01-06
浏览1677
byethenbyethen系统工程师CMBC
如果数据不那么重要,确实可以采用简单粗暴的办法,比如定义一年没人访问的数据为垃圾数据,可以删除。用这个思路可以进行数据分层,比如一年没访问的数据移到等候层,再过一年仍然没人访问便自行删除。数据库的定时任务调度估计可以实现。...显示全部

如果数据不那么重要,确实可以采用简单粗暴的办法,比如定义一年没人访问的数据为垃圾数据,可以删除。

用这个思路可以进行数据分层,比如一年没访问的数据移到等候层,再过一年仍然没人访问便自行删除。

数据库的定时任务调度估计可以实现。

收起
银行 · 2016-04-20
浏览1566
LINE2008LINE2008系统工程师北京北鹰吉成科技有限公司
这个技术无法确认吧。如果是保留多少数据的话,这个容易实现。显示全部

这个技术无法确认吧。如果是保留多少数据的话,这个容易实现。

收起
互联网服务 · 2016-04-20
浏览1547
s6dongs6dongit技术咨询顾问东软集团
这个主要还得需要依赖数据分析处理程序,理论上将数据都有价值,就看怎样去进行分析和处理,其实这就是目前大数据需要处理的事情。建议先进行大数据建模,确认出数据类型,关键数据,分析过程和方法等,然后再利用大数据分析出各种数据的价值。...显示全部

这个主要还得需要依赖数据分析处理程序,理论上将数据都有价值,就看怎样去进行分析和处理,其实这就是目前大数据需要处理的事情。建议先进行大数据建模,确认出数据类型,关键数据,分析过程和方法等,然后再利用大数据分析出各种数据的价值。

收起
互联网服务 · 2016-04-20
浏览1511

提问者

abit2007
系统工程师代维
擅长领域: 服务器存储灾备

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2016-01-06
  • 关注会员:5 人
  • 问题浏览:6317
  • 最近回答:2016-04-20
  • X社区推广