课堂重点总结思维导图

U564537099

2024-05-15

浏览量: 52

识别网络空间中的入侵者

分类变量

数据挖掘起源

数据挖掘课堂重点总结

树图思维导图提供《课堂重点总结》在线思维导图免费制作，点击“编辑”按钮，可对《课堂重点总结》进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：1e67418931d0f2452d44b7115efd2e91

思维导图大纲

Slide 1

数据挖掘：绪论数据挖掘重要性什么是数据挖掘数据挖掘的起源数据挖掘任务数据挖掘要解决的问题

Slide 2

大数据无处不在! 随着数据生成和采集技术的发展，商业和科学数据库中的数据量出现了爆炸式增长。这催生了一种新的数据科学箴言。

箴言无论何时何地，尽可能广泛地收集所有数据

期望所收集的数据即使不是针对特定目的，也可能在未来发现意想不到的价值

Computational Simulations Social Networking: Twitter Sensor Networks Traffic Patterns Cyber Security 2 E-Commerce

Slide 3

数据挖掘为何重要? 大量数据正在被收集并存储网络数据 Google拥有海量网络数据 Facebook拥有数十亿活跃用户消费数据：百货商店、杂货店和电商平台每天处理数亿次访问亚马逊每月的访问量超过55亿次金融数据：银行和信用卡交易数据不断积累

计算机变得更便宜、更强大

竞争压力激烈提供更好、更定制的服务以获得竞争优势(例如，客户关系管理) 3

Slide 4

数据挖掘为何重要? 数据以极快的速度被收集和存储卫星遥感数据 NASA EOSDIS每年存档超过PB 级别的地球科学数据天文观测数据天文望远镜扫描天空，产生大量数据高通量生物数据科学模拟数据几小时内就能生成TB级数据

数据挖掘帮助科学家自动分析海量数据集提出假设

4 fMRI Data from Brain Sky Survey Data Gene Expression Data Surface Temperature of Earth

Slide 5

数据挖掘的巨大机遇：提高各行各业的生产力和解决社会重大问题 5

Slide 6

数据挖掘的巨大机遇：提高各行各业的生产力和解决社会重大问题 Improving health care and reducing costs Finding alternative/ green energy sources Predicting the impact of climate change Reducing hunger and poverty by increasing agriculture production 6

Slide 7

数据挖掘是什么? 数据挖掘的定义在大型数据库中自动地发现有用信息的过程；是数据库中知识发现（Knowledge Discovery in Database，KDD）不可缺少的一部分 7 表1.1 数据库中知识发现（KDD）过程

Slide 8

数据挖掘从机器学习/人工智能、模式识别、统计学和数据库系统等领域汲取思想

传统技术可能不适合处理以下类型的数据大规模数据高维度数据异构数据复杂数据分布式数据

数据挖掘是新兴的数据科学，是数据驱动发现领域的一个关键组成部分数据挖掘起源 8

Slide 9

数据挖掘任务预测任务使用一些变量来预测其他变量的未知或未来值因变量、自变量分类、回归

描述方法找到人类可解释的模式来描述数据相关、趋势、聚类、轨迹、异常 9

Slide 10

Predictive Modeling Clustering Association Rules Anomaly Detection Milk

Data

数据挖掘任务（本课程涉及的四种任务） 10

Slide 11

找到一个模型，用来预测离散的目标变量

预测信用度的模型类别预测建模: 分类 11

Slide 12

分类示例分类变量分类变量数值变量类别

Training Set

Learn Classifier

Slide 13

将信用卡交易分类为合法或欺诈

使用卫星数据对土地覆盖（水体、城市地区、森林等）进行分类

将新闻故事分类为财经、天气、娱乐、体育等

识别网络空间中的入侵者

将肿瘤细胞预测为良性或恶性

将蛋白质的二级结构分类为α螺旋、β折叠或无规卷曲分类任务例子 13

Slide 14

分类: 应用 1 欺诈检测目标：预测信用卡交易中的欺诈案例方法: 使用信用卡交易及其持卡人信息作为属性客户何时购买、购买什么、按时付款频率等将过去的交易标记为欺诈或公平交易。这构成了类别属性学习交易类别的模型通过观察账户上的信用卡交易来使用此模型检测欺诈 14

Slide 15

分类: 应用 2 客户流失预测目标:预测客户是否会流失到竞争对手那里方法: 使用与过去和现在每个客户的交易明细记录，找到属性客户多久打电话一次，他打电话到哪里，他最常打电话的时间，他的财务状况，婚姻状况等. 将客户标记为忠诚或不忠诚. 找到忠诚度的模型 From [Berry & Linoff] Data Mining Techniques, 1997 15

Slide 16

分类: 应用 3 天空调查编目目标:基于望远镜巡天图像（来自帕洛马天文台），预测天体（恒星或星系）的类别（尤其是视觉上微弱的天体） 3000幅图像，每幅图像23,040 x 23,040像素方法: 对图像进行分割测量图像属性（特征） - 每件物体有40个属性基于这些特征对类别进行建模成功案例：发现了16个新的高红移类星体，这些都是一些难以发现的最遥远的天体！ From [Fayyad, et.al.] Advances in Knowledge Discovery and Data Mining, 1996 16

Slide 17

星系分类 Early Intermediate Late 数据大小: 7200 万颗恒星，2000 万个星系对象目录：9 GB 图像数据库：150 GB 分类: 形成阶段属性: 图像特征, 接收到的光波特性等 17

Slide 18

回归假设依赖关系是线性和非线性模型，基于其他变量（自变量）的值，预测给定连续值变量（因变量）的值。

在统计学、神经网络领域得到广泛研究

例子: 根据广告支出预测新产品的销售额根据温度、湿度、气压等预测风速股市指数的时间序列预测 18

Slide 19

聚类分析旨在发现紧密相关的观测值组群，使得与属于不同簇的观测值相比，属于同一簇的观测值相互之间尽可能类似。聚类 19

Slide 20

Understanding 针对性营销：创建客户画像（根据他们的购买历史、浏览习惯分成不同的群组，比如“科幻爱好者”、“历史书迷”）用于浏览的组相关文档（将相关主题的书籍和文档分到一起，比如所有关于“机器学习”的资料放在一起）数据摘要：简化复杂度减少大型数据集的大小（数据点归纳为几个代表性的群组）

聚类分析应用利用 K-means 聚类算法将海面温度 (SST) 和净初级生产力 (NPP) 划分为反映南北半球的集群 Courtesy: Michael Eisen 09/09/2020 20

Slide 21

聚类: 应用 1 市场细分:

目标:将市场细分为不同的客户子集，任何子集都可以被选择为目标市场，并用不同的营销组合来接触方法: 基于客户的地理和生活方式相关信息收集客户的不同属性找到相似客户的群集通过观察同一集群中客户的购买模式与不同集群中客户的购买模式来衡量聚类的质量 21

Slide 22

聚类: 应用 2 文档聚类:

目标:发现基于关键术语出现的相似文档组

方法: 识别每个文档中经常出现的术语根据术语出现频率建立文档之间的相似度应用聚类算法（如IRM和K-means）进行文档分组 22 Enron email dataset：利用K-means算法对Enron电子邮件数据集中的文本进行无监督聚类。

与加利福尼亚州能源危机相关的邮件聚类，其中包含了“California”、“trade”等关键词。

Slide 23

关联规则学习发现描述数据中强关联特征的模式所发现的模式通常用蕴含规则或特征子集的形式表示；搜索空间是指数规模的，关联分析的目标是用有效的方式提取有趣的模式。 Rules Discovered: {Milk} --> {Coke} {Diaper, Milk} --> {Beer} 23

Slide 24

关联分析: 应用市场篮分析通过分析顾客的购物篮，我们可以发现哪些商品经常一起被购买。这些信息可以指导商店的促销策略，比如将经常一起购买的商品放在一起，或者在销售某个商品时推荐另一个商品，从而优化货架布局和库存管理；电信故障诊断分析电信网络中的故障和警报数据，我们可以识别出经常同时发生的警报组合；

医学信息学用来发现特定疾病与患者表现出的症状和检测结果之间的关联 24

Slide 25

异常检测检测异常行为应用: 信用卡欺诈检测网络入侵检测识别用于监控和监视的传感器网络中的异常行为检测全球森林覆盖率的变化 25

Slide 26

挑战可伸缩处理海量数据集，算法必须是可伸缩的；高维性数据集常常包含成千上万的特征，挑战在于如何在高维空间中有效地发现模式；异构数据和复杂数据数据来自不同来源，格式多样，包括结构化数据、文本、图像等，需要算法能够处理这些复杂性；数据所有权和分布数据可能分布在不同的位置，涉及隐私和所有权问题；非传统分析传统统计方法基于假设检验方法，当前数据分析需要产生和评估数千种假设，需要自动的产生和评估假设。 26