统计学与数据挖掘有什么联系
发布网友
发布时间：2022-04-22 05:06
共3个回答
热心网友
时间：2022-06-20 09:27
<
热心网友
时间：2022-06-20 10:45
数据挖掘与统计学的联系
数据挖掘技术是计算机技术、人工智能技术和统计技术等构成的一种新学科。数据挖掘来源于统计分析，而又不同于统计分析。数据挖掘不是为了替代传统的统计分析技术，相反，数据挖掘是统计分析方法的扩展和延伸。大多数的统计分析技术都基于完善的数学理论和高超的技巧，其预测的准确程度还是令人满意的，但对于使用者的知识要求比较高。而随着计算机能力的不断发展，数据挖掘可以利用相对简单和固定程序完成同样的功能。新的计算算法的产生如神经网络、决策树使人们不需了解到其内部复杂的原理也可以通过这些方法获得良好的分析和预测效果。
由于数据挖掘和统计分析根深蒂固的联系，通常的据挖掘工具都能够通过可选件或自身提供统计分析功能。这些功能对于数据挖掘的前期数据探索和数据挖掘之后对数据进行总结和分析都是十分必要的。统计分析所提供的诸如方差分析、假设检验、相关性分析、线性预测、时间序列分析等功能都有助于数据挖掘前期对数据进行探索，发现数据挖掘的题目、找出数据挖掘的目标、确定数据挖掘所需涉及的变量、对数据源进行抽样等等。所有这些前期工作对数据挖掘的效果产生重大影响。而数据挖掘的结果也需要统计分析的描述功能(最大值、最小值、平均值、方差、四分位、个数、概率分配)进行具体描述，使数据挖掘的结果能够被用户了解。因此，统计分析和数据挖掘是相辅相成的过程,两者的合理配合是数据挖掘成功的重要条件。
数据挖掘与统计学的区别
统计学目前有一种趋势是越来越精确。当然，这本身并不是坏事，只有越精确才能避免错误，发现真理。统计学在采用一个方法之前先要证明，而不是象计算机科学和机器学习那样注重经验。有时候同一问题的其它领域的研究者提出一个很明显有用的方法，但它却不能被统计学家证明(或者现在还没有证明)。统计杂志倾向于发表经过数学证明的方法而不是一些特殊方法。数据挖掘作为几门学科的综合，已经从机器学习那里继承了实验的态度。这并不意味着数据挖掘工作者不注重精确，而只是说明如果方法不能产生结果的话就会被放弃。
正是由于统计学的数学精确性，而且其对推理的侧重，尽管统计学的一些分支也侧重于描述，但是浏览一下统计论文的话就会发现这些论文的核心问题就是在观察了样本的情况下如何去推断总体。当然这也常常是数据挖掘所关注的。下面我们会提到数据挖掘的一个特定属性就是要处理的是一个大数据集。这就意味着，传统统计学由于可行性的原因，我们常常得到的只是一个样本，但是需要描述样本取自的那个大数据集。然而，数据挖掘问题常常可以得到数据总体，例如关于一个公司的所有职工数据，数据库中的所有客户资料，去年的所有业务。在这种情形下，统计学的推断就没有价值了。
很多情况下，数据挖掘的本质是很偶然的发现非预期但很有价值的信息。这说明数据挖掘过程本质上是实验性的。这和确定性的分析是不同的。(实际上，一个人是不能完全确定一个理论的，只能提供证据和不确定的证据。)确定性分析着眼于最适合的模型-建立一个推荐模型，这个模型也许不能很好的解释观测到的数据。大部分统计分析提出的是确定性的分析。
如果数据挖掘的主要目的是发现，那它就不关心统计学领域中的在回答一个特定的问题之前，如何很好的搜集数据，例如实验设计和调查设计。数据挖掘本质上假想数据已经被搜集好，关注的只是如何发现其中的秘密。
热心网友
时间：2022-06-20 12:20
说下统计学与数据挖掘的联系：
统计学主要利用概率论建立数学模型，是研究随机现象的常用数学工具之一。数据挖掘分析大量数据，发现其中的内在联系和知识，并以模型或规则表达这些知识。虽然两者采用的某些分析方法（如回归分析）是相同的，但是数据挖掘和统计学是有本质区别的：一个主要差别在于处理对象（数据集）的尺度和性质。数据挖掘经常会面对尺度为GB甚至TB数量级的数据库，而用传统的统计方法很难处理这么大尺度的数据集。传统的统计处理往往是针对特定的问题采集数据（甚至通过试验设计加以优化）和分析数据来解决特定问题；而数据挖掘却往往是数据分析的次级过程，其所用的数据原本可能并非为当前研究而专门采集的，因而其适用性和针对性可能都不强，在数据挖掘的过程中，需要对异常数据及冲突字段等进行预处理，尽可能提高数据的质量，然后才经过预处理的数据进行数据挖掘。
如果说想要了解大数据分析和统计学的相关信息，这里推荐CDA数据分析师的相关课程，教你用可落地、易操作的数据科学思维和技术模板构建出优秀模型;聚焦策略分析技术及企业常用的分类、NLP、深度学习、特征工程等数据算法，只教实用干货，以专精技术能力提升业务效果与效率;课程中安排了Sklearn/LightGBM、Tensorflow/PyTorch、Transformer等工具的应用实现，并根据输出的结果分析业务需求，为进行合理、有效的策略优化提供数据支撑点击预约免费试听课。
