价格分析报告（204年6月价格表）

能简单通俗的解释一下什么是大数据吗？

“不接触互联网，以后寸步难行！”十年前，在这样的危言耸听下，大家扔掉砖块手机拿起手掌大的智能手机。

好不容易学会了玩微信刷朋友圈，现在中年危机和“大数据”都一起来了。

是不是不接触大数据，也要被时代淘汰？

而现实生活中处处看见大数据，你刷不刷小视频？读不读每日新闻？看不看新剧？

细心的人就会发现，为什么软件这么了解我，知道我喜欢看婆媳伦理视频、知道我喜欢学最新广场舞、知道我喜欢哈哈搞笑段子？

手指不管怎么往下滑，都是我喜欢看的，每次像再刷五分钟就去睡觉，一刷就是两个小时。这样熟悉的场景是不是有感同身受？

这就是大数据整合优化。

用专业术语概括大数据就是：使用新的处理模式，对信息进行捕捉、管理和处理的数据集合。

简单来说就是：你拿着没有喝完的奶茶，准备扔进垃圾桶。上海清洁工阿姨非常友好地问你，“你是什么垃圾？”，

这时候你就要：

第一，先倒了剩下的奶茶

第二，然后把珍珠倒到“湿垃圾”处

第三，把外包装扔到“干垃圾”处。

以上这个过程就是大数据处理，对海量的数字信息进行分类、整合、优化，来达到客户需求的目的。

大数据在资源分配、信息配对非常有用，例如器官移植配对，就职简历投放等等。

像我们这样的普通人，我们享受的是大数据给我们带来的便捷，我们并不需要去过于专研它。

所以不用担心不接触大数据，就要被时代淘汰！就像我们都会用智能手机，要理解智能手机到底是怎么运作，里面的锂子电子排列顺序是什么，这个是完全不必要的。

随着互联网时代的到来，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，人们生活息息相关的事情都会变成网络中的数据，而大数据就是这个高科技时代的产物，所以大数据是非常重要的一个资源。

大数据是每时每刻都在变化变动，是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要，所以我们要把这些数据进行深度的挖掘和分析，扩大他们的价值。

大数据是需要通过大量的统计了解大家的喜好，想要的东西，从而得到他们想要的、想做的，而对于很多行业而言,如何利用这些大规模数据是赢得竞争的关键，比如精准营销，征信分析，消费分析等等。

实践表明，大数据在推动经济转型升级、服务社会民生、促进政府治理体系和治理能力现代化等方面发挥了重要并且越来越明显的作用，大数据之所以成为时代变革力量，在于它通过追随意义而获得智慧，而随着时代发展，科技进步，会有越来越多的高科技时代的产物，大数据只是其中之一。

数通畅联专注于企业IT架构、SOA综合集成、数据治理分析领域，感谢您的阅读与关注

大数据，不仅仅是数据量大，同时在其他方面，也有一定的特点。

第一，大数据数据体量非常大，传统的单机存储系统，已经无法在存储这么大量的数据，此时需要用到分布式存储技术。

第二，大数据的数据种类非常多，数据的格式也会变得复杂，比如数据种类有视频、文档、图片、消息记录等等。

第三，大数据中潜藏着非常重要的价值，通过数据分析技术，对商业决策做出智能化以及数据化的支持。

大数据最主要的功能，就是为公司上层提供商业化决策支持，让公司能够结合历史数据，往正确的方向发展。大数据技术主要分为两类：大数据计算和大数据存储。

大数据计算主要分为离线计算和实时计算，具体使用要看业务场景对于数据产出时延的要求

离线计算对于数据的产出会有一定的时延，具体时延可以是15分钟、小时或者天级别的。离线任务一般会对数据进行全局批计算，这一次运行完就运行完了，不会像实时计算那样，除非你自己停止实时任务，否则实时程序会一直运行。

实时计算数据是不断产生的，一般数据产出的延迟会很低，最多是秒级别的。比如我们的数据大屏、实时数据流的加工处理等，这些场景对于数据的产出的时延要求很低。

离线计算的话，一般对于数据的产出时延没有那么高的要求，只要数据最终产出即可，具体使用像现在很多公司离线业务报表。目前大多数公司离线计算引擎使用的是Hive或者Spark，实时计算引擎目前主要是Flink。

大数据存储需要数据分布式存储，单机不能够在存储这么多巨量数据

在传统的关系型数据库中，当一个表非常大时，会使用分库分表技术，将表分布式的存储在不同的机器上面。分库分表技术可以使用开源工具TDDL。

在非关系型NoSQL数据库中，一般最底层的文件存储系统可以选择HDFS。HDFS文件系统将文件按照块来进行存储，一个块的大小为128兆，同时每个块会存储三份，对数据进行容灾存储，即使其中一个块坏了，可以选择其他块进行数据恢复。

分布式数据库系统可以对数据表进行水平分割和垂直分割。比如HBase数据库，水平分割使用的是Region，垂直分割则是使用的列族。

分布式数据存储技术，需要不同机器一起协同工作，每台机器存储整体数据的一个子集。在未来大数据时代，肯定都会使用分布式数据存储，分布式数据库，会成为大数据系统的标配。

我是Lake，专注大数据技术原理、人工智能、数据库技术、程序员经验分享，如果我的问答对你有帮助的话，希望你能点赞关注我，感谢。

我会持续大数据、数据库方面的内容，如果你有任何问题，也欢迎关注私信我，我会认真解答每一个问题。期待您的关注