大数据挖掘、可视化与ChatGPT职场赋能培训课程

【课程特色】

1、理论与实践结合，穿插案例分析与行业应用；

2、专家精彩内容解析、学生专题讨论、小组研究；

3.通过综合知识理解、主题技能和实践相结合的教学方法。

【课程大纲】

第一天

早晨

实际数据分析

第一讲：从零开始学习Python

讲解Python背景、国内发展现状、基本语法、数据结构、绘图操作等。具体以向量计算为重点，重点介绍Python在这方面的优势和使用方法。

第2讲数据分析方法

讲解统计分析的基础知识，包括统计、假设检验、置信区间等基本概念，并以数据案例说明其使用场景和应用方法。介绍数据分析流程和常见分析思路，并结合案例进行讲解。

第3讲数据处理技术

将从数据访问、数据统计、数据转换等几个方面进行讲解。数据访问包括MySQL、Oracle、Hadoop等常见数据库操作的访问；数据统计包括Pandas包的具体使用和解释；数据转换包括数据集的关联、合并和重塑等操作。另外，在海量数据的情况下，介绍了Spark平台上的数据处理技术，并结合真实环境讲解了操作。

第一天

下午

数据挖掘理论与核心技术

第4 讲：了解数据挖掘

讲解数据挖掘的基本概念，详细讲解业务理解、数据理解、数据准备、模型建立、模型评估、模型部署的工作内容和相关技术；结合业界经典场景，讲解了数据挖掘的实施流程和方法体系。

第5讲数据挖掘核心技术

详细讲解了采样、分区、样本平衡、特征选择、训练模型、评估模型等数据挖掘核心技术的原理，并举例说明其具体实现和使用。尤其是样本平衡，重点关注人工合成、成本敏感等算法；对于特征选择，重点讲解特征选择的核心思想，并使用Python进行案例演示。

第二天

早晨

大数据算法原理及案例实现（一）

第6讲特征降维算法及Python实现

降维是大数据分析非常重要的算法。它可以大大减少数据大小，同时减少信息量。主要讲解主成分、LDA和t-SNE的原理，并结合案例用Python实现。特别针对海量数据情况下的应用场景，讲解了实现思路和Python案例。

第7讲决策树算法及Python实现

决策树是一种非常经典的算法，一般用在小数据挖掘中。由于决策树具有很强的可解释性，因此对于海量数据来说仍然具有很大的实用价值。主要讲解ID3、C4.5、C5.0和CART决策树算法的实现原理，并结合案例用Python实现。

大数据挖掘、可视化与ChatGPT职场赋能培训课程

第8讲：好莱坞百万级影评数据分析及电影推荐实现

实践部分：基于好莱坞数百万影评数据，对数据进行建模、清洗和透视。然后，根据用户画像，分析不同的用户偏好，利用机器学习算法为不同性别、不同年龄的用户进行定制化的电影推荐，最后将推荐的电影进行可视化展示。

第二天

下午

大数据算法原理及案例实现（二）

第9讲因果推理算法及Python实现

大数据分析技术可以帮助我们发现并解决一些业务问题。但如何判断我们的改进是否有效，业务指标是否存在一定的因果逻辑，是一个重要的问题和分析方向。本节主要介绍因果推理算法，包括贝叶斯推理、状态空间模型和CausalImpact工具，并结合案例在Python中实现。

第10讲深度学习算法及Python实现

对于大数据建模任务，我们可以基于深度学习来实现。不仅可以对海量数据进行建模，而且效果也非常好。本节主要讲解深度学习的发展历史、DBN、DNN等经典深度学习算法、深度学习优化算法和一些技术。同时介绍了Keras和OpenCV库的使用，并结合案例用Python实现。

第11讲使用YOLO实现计算机视觉技术

实践部分：基于YOLO人脸模型，完成图片和视频的人脸识别。 YOLO的重要类和函数将在实践部分进行讲解。主要内容包括YOLO库的安装和部署、图像增强、像素操作、图形分析等技术，并详细介绍了如何处理来自文件或摄像头的视频，以及如何检测和跟踪运动物体。

第三天

早晨

Python可视化应用实践

第12讲数据分析图表和Python案例

数据可视化是大数据分析的重要手段。通过图表的合理运用，不仅可以简洁表达数据含义、高效发现问题，还可以为报告撰写和数据分析Web应用增色添彩。本节主要讲解常用的数据分析图表及其使用场景，介绍数据可视化的方法论，避免机械地使用图表，根据不同的业务场景和需求合理选择可视化方法。介绍的工具不限于matplotlib、pycha、pyecharts、ggplot、Bokeh、HoloViews、mpld3、plotly、pygal等常见可视化库。

第14讲使用Notebook编写数据分析报告

数据分析报告在大数据分析过程中具有很大的价值。反映了大数据分析的目的、过程和结果，以及发现问题的解读、改进方案等。本节主要讲解使用Notebook编写数据分析报告的具体步骤。方法，以及数据分析报告的撰写方法，并结合案例讲解其用法。

第15讲Seaborn视觉开发实践

Seaborn 是一个很好的可视化框架，与Pandas 一样，也是基于Matplotlib 构建的。基于Seaborn可以快速开发出轻量级的数据分析Web应用。将图表、数据和分析算法嵌入网页是在企业内构建敏捷数据分析工具集的理想选择。本节主要介绍Pie、Scatter、Radar等各种可视化解决方案，同时讲解一个使用Seaborn实现数据分析功能（及图表）、搭建服务器、在企业内部实现轻量级数据分析应用的实际案例。

第三天

下午

ChatGPT 职场赋权

第16 讲GPT4 Plus 快速入门

首先了解以ChatGPT为代表的大语言模型的原理，比较介绍GPT3和GPT4的区别。接下来我们将介绍如何在国内环境中方便稳定地使用ChatGPT4。最后，我们演示了GPT使用过程中如何高效使用提示词，以及GPT4的新功能：自定义指令和角色设置。

第17讲GPT4 Plus提升办公效率

介绍如何在Excel中安装GPT插件并自动编写函数以提高表格的处理效果。接下来我们将介绍Python如何调用GPT API，并介绍token计算、字数限制、乱码内容的解决方案。最后，我们将解释ChatGPT4 Plus如何自动实现数据挖掘过程并生成分析报告。以及Plugin Store中第三方插件的安装和使用

第十八讲：文案、短视频、AI主播的定制生成