请问大数据应用技术都要学什么

大数据是我的主要研究方向之一，目前也在指导大数据方向的研究生，所以我来回答一下这个问题。

大数据应用技术专业主要以培养大数据应用技能为主，相对于数据科学与大数据专业来说，大数据应用技术专业主要培养技能型人才，以满足广大传统行业对于大数据应用人才的需求。大数据应用技术专业的毕业生未来可以从事的岗位包括数据采集、数据整理、大数据运维、数据分析、大数据应用开发等。

在知识结构的设计上，大数据应用技术涉及到数学、统计学、编程语言、大数据平台、操作系统、数据分析工具等内容，另外也会涉及到物联网、云计算等相关方面的内容。数学和统计学是大数据技术的重要基础，即使从事落地应用也要重点掌握一些常见的算法。

编程语言的学习通常会集中在Java、Python、Scala、R等编程语言上，从目前就业的角度出发，Java是不错的选择。如果未来想从事大数据应用开发岗位，那么需要重点学习一下编程语言部分。

大数据平台的学习是大数据应用技术的重点学习内容之一，大数据平台的学习内容包括大数据平台的部署、调试、维护等内容。目前Hadoop、Spark是比较常见的大数据平台，同时这两个平台也比较适合初学者学习和实验。经过多年的发展，目前大数据平台的组件已经逐渐丰富，所以这部分学习内容也相对比较多。

数据分析工具的学习可以从基本的Excel开始，然后进一步学习各种BI工具，在学数据分析工具的过程中也涉及到一些常见的数据分析算法以及数据库知识。

最后，随着大数据技术逐渐落地到广大的传统行业，未来大数据应用专业的就业前景还是比较广阔的。

我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。

如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以在评论区留言！

Linux系统、Java语言、数据结构、大数据导论、数据库基础、Python语言、数据采集&标注、HADOOP运维、Spark数据分析、数据可视化、企业项目综合实践等课程。学生可根据个人兴趣和就业方向选择相关课程，并系统学习。

首先，做大数据要有Java语言和Linux操作系统两项基础，在大数据开发上，这两项是学习大数据应用技术的重要基石。

这里不谈具体的课程，只说现在市场主流选用的几代大数据处理框架，对这几代框架技术有相应程度的掌握，基本上找工作也不愁了。

Hadoop

Hadoop是大数据处理第一代框架，至今也仍然占据重要的市场地位，Hadoop必学。

Hadoop核心组件，HDFS、MapReduce和YARN，整个Hadoop生态圈发展至今已有超过20个组件框架，都需要有所了解和掌握。

Spark

Spark是用来弥补基于Hadoop的MapReduce引擎，在处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别喜欢它。

Storm

Storm是开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流。Apache Storm采用Clojure开发。Storm有很多应用场景，包括实时数据分析、联机学习、持续计算、分布式RPC、ETL等。

Flink

Apache Flink是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。

大数据究竟是什么？大数据有哪些技术呢

近几年，大数据的概念逐渐深入人心，大数据的趋势越来越火爆。但是，大数据到底是个啥？怎么样才能玩好大数据呢？

大数据的基本含义就是海量数据，麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

数字经济的要素之一就是大数据资源，现在大家聊得最多的大数据是基于已经存在的大数据的应用开发。

如今，大数据技术已应用在各行各业。小麦举个例子，讲述一下最贴近我们生活的民生服务是如何运用大数据。

最近电视新闻提及到的“一网统管”精准救助场景，传统的救助方式往往通过困难家庭申请、审核、审批等多项程序，遇到需要跨部门、跨层级、跨街区协调解决的个案，还需要召开各级协调会的形式协商解决。

现在通过“精准救助”的方式，民政部门在平时的摸排中了解情况，将相关信息录入到“一网统管”数据中心，再根据数据模型识别出需要协助的家庭，随后形成走访工单派发给社工对其进行帮扶，从而提升救助的效率，做到雪中送炭。

在数字化政府改造之前，每个部门只掌握各自分管的数据，形成“信息孤岛”；有了大数据分析平台后，所有的数据信息，便打通了“任督二脉”。

政府可以充分利用大数据技术打造“一网统管”精准救助场景，极大提升了社会救助的科学性和精准性，让城市变得更加温暖。

就以悟空问答为例说说大数据的故事。以下说的数字都不是真实的，都是我的假设。

比如每天都有1亿的用户在悟空问答上回答问题或者阅读问答。

每天产生的内容

假设平均有1000万的用户每天回答一个问题。一个问题平均有1000的字, 平均一个汉字占2个字节byte，三张图片, 平均一帐图片300KB。那么一天的数据量就是：

文字总量：10,000,000 * 1,000 * 2 B = 20 GB

图片总量: 10,000,000 * 3 * 300KB = 9 TB

为了收集用户行为，所有的进出悟空问答页面的用户。点击，查询，停留，点赞，转发，收藏都会产生一条记录存储下来。这个量级更大。

所以粗略估计一天20TB的数据量. 一般的PC电脑配置大概1TB，一天就需要20台PC的存储。

如果一个月的，一年的数据可以算一下有多少。传统的数据库系统在量上就很难做到。

另外这些数据都是文档类型的数据。需要各种不同的存储系统支持，比如NoSQL数据库。

需要分布式数据存储，比如Hadoop的HDFS。

数据的流动

上述1000万个答案，会有1亿的人阅读。提供服务的系统成百上千。这些数据需要在网上各个系统间来回传播。需要消息系统比如Kafka。

在线用户量

同时在线的用户量在高峰时可能达到几千万。如此高的访问量需要数前台服务器同时提供一致的服务。为了给用户提供秒级的服务体现，需要加缓存系统比如redis。

机器学习，智能推荐

所有的内容包括图片都会还用来机器学习的分析，从而得到每个用户的喜好，给用户推荐合适的内容和广告。还有如此大量的数据，必须实时的分析，审核，审核通过才能发布，人工审核肯定做不到，必须利用机器来智能分析，需要模式识别，机器学习，深度学习。实时计算需要Spark，Flink等流式计算技术。

服务器的管理

几千台服务器，协同工作。网络和硬件会经常出问题。这么多的资源能够得到有效利用需要利用云计算技术，K8S等容器管理工具。还需要分布式系统的可靠性和容灾技术。

---

本人，@小马过河Vizit，专注于分布式系统原理和实践分享。希望利用动画生动而又准确的演示抽象的原理。欢迎关注。

关于我的名字。小马过河Vizit，意为凡事像小马过河一样，需要自己亲自尝试，探索才能获得乐趣和新知。Vizit是指Visualize it的缩写。一图胜千言，希望可以利用动画来可视化一些抽象的原理。

这是我通常与想要了解大数据的人进行对话：

问：什么是大数据？

答：大数据是描述庞大数据的术语。

问：现在，大数据有多大？

答：如此庞大，以至于无法用常规工具处理？

问：通常的工具是什么意思？

答：普通文件系统，数据库等工具。

所有这些大数据工具都有一个共同的特性：分布式计算。

因此，大数据是一个通常只能通过分布式的工具才能解决的问题。我知道这些天，每个人都在尝试将他们的BI（商业情报）工具描绘成大数据工具，但不要被喧闹声所欺骗。

问：哪些典型的大数据问题？

答：请考虑以下几点：

1，如何建立存储和保存500 TB电影/视频/文字的存储？

2，一台机器实际读取500 TB会花费多少时间？

3，如何建立可以存储数百万列和数十亿行数据而不会像乌龟一样慢的数据存储？

4，如何提供每秒数百万的读写？

5，如何解决真正复杂的问题？还记得时间的复杂性吗？想象一下，电子邮件哦公司，必须每秒钟来自不同用户30GB 电子邮件自动分类为5个类别（比如是否垃圾邮件），

或判断数百万个网站的内容，您必须准备网站名称的层次树，以使两个同级彼此非常相似。这种问题称为分类。

它们比通常的数据排序更为复杂。

随着数据的进一步增长，这些问题变得非常不可能解决。

解决此类问题需要巨大的计算能力-就RAM，CPU，磁盘读取速度而言。

问：大数据有什么用？

答：如果规模巨大，几乎每个业务计算问题都可以转换为大数据问题。

大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。

大数据技术可以定义为一种软件应用程序，旨在分析，处理和提取来自极其复杂的大型数据信息，而传统数据处理软件则无法处理。

我们需要大数据处理技术来分析大量实时数据，并提出预测和方案以减少未来的风险。

在类别中的大数据技术分为两大类型：

1.运营大数据技术

2.分析大数据技术


首先，运营大数据与我们生成的常规日常数据有关。这可能是在线交易，社交媒体或特定 组织的数据等。

运营大数据技术的一些示例如下：

·网上订票，其中包括您的火车票，飞机票，电影票等。

·在线购物是您的淘宝，京东交易等等。

·来自社交媒体网站（如微信，QQ等）的数据。

·任何跨国公司的员工详细信息。

其次，分析性大数据就像大数据技术的高级版本一样。它比运营大数据要复杂一些。简而言之，分析性大数据是实际绩效的组成部分，而关键的实时业务决策是通过分析运营大数据来制定的。

分析大数据技术的几个示例如下：

·股票行销

·进行太空任务，其中任何信息都是至关重要的。

·天气预报信息。

·可以监视特定患者健康状况的医学领域。

大三要分方向了，其中有大数据方向，不知道大数据好不好学，主要学什么

作为一名IT行业的从业者，同时也是一名计算机专业的研究生导师，我来回答一下这个问题。

首先，选择大数据方向是没有问题的，但是学习大数据是具有一定难度的。

当前正处在大数据时代，大数据未来将得到广泛的落地应用，所以从未来发展的前景来看，大数据方向是不错的选择。学习大数据需要具备三方面的基础知识，分别是数学、统计学和计算机，另外还包括一众辅助学科，比如社会学、经济学等等。所以大数据涉及到的内容还是比较多的，而且也具有一定的难度。

对于计算机专业的学生来说，学习大数据方向通常需要学习以下几个方面的内容：

第一：编程语言。大数据领域的编程语言比较常见的有Java、Python、Scala、R等，其中Python和R语言在数据分析领域应用比较多，Java语言在大数据应用开发和大数据平台开发领域应用比较多，Scala则主要应用于Spark平台。

第二：大数据平台。目前比较常见的大数据平台是Hadoop和Spark，不少商用大数据平台通常也是基于Hadoop构建的，而且Hadoop平台对于计算机硬件的要求比较低，比较适合初学者和大学生群体。另外，大数据平台的组件比较多，需要一个系统的学习过程才能逐渐掌握。

第三：大数据分析。数据分析是大数据专业要重点学习的内容，目前大数据分析有两种主要方式，一种是统计学分析方式，另一种是机器学习分析方式。以机器学习方式为例，首先需要掌握一些常见的算法，包括决策树、朴素贝叶斯、支持向量机等等，然后通过编程语言完成算法的实现，进而对算法进行训练和验证，整个过程还是具有一定难度的。当前，场景分析是大数据比较常见的落地应用。

我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。

如果有互联网方面的问题，或者考研方面的问题，都可以咨询我，谢谢！

以上全部就是关于大数据技术主要学什么的详细介绍，如果对你有所帮助或希望获取更多大数据技术主要学什么的资讯内容，欢迎收藏关注本站。

标签: 大数据技术主要学什么