记录 Windows 下 Spark 的环境配置与 PySpark Shell 使用过程,介绍 RDD、Driver 与 Executor,并演示 Scala 独立应用的编写、sbt 打包和 spark-submit 提交。
介绍 Spark 的核心定位与组件体系,梳理其在数据科学和数据处理中的应用场景、发展历程,以及 Pipeline、Stage 与 DAG 执行模型。
记录 Spark ingestion 发生 Java Heap OOM 的调查过程,梳理 Executor 内存、GC 指标、数据倾斜判断、参数误区与治理方案。
从 Python list 和原生数组出发,逐步梳理 NumPy array、pandas Series 与 DatetimeIndex 如何补足批量计算、标签索引和时间语义能力。
在 Windows 与 VS Code 中使用 Python 3.12 搭建可复现的 ADTK 项目,并通过依赖检查、异常检测示例和结果图完成端到端验证。
系统梳理 Benchmark 与 Baseline 的定义、区别和关系,并通过技术选型、性能回归、容量规划、生产监控和数据质量等场景说明如何落地。
梳理维度上卷的概念、层级关系与聚合原则,并说明其在 OLAP 和多维分析中的应用。
从用户、账号、设备和匿名标识的边界出发,系统梳理 CanonicalUserId、ID-Mapping 与 Identity Graph 的原理、合并风险、工程实现及主流平台实践。
↑