Logo

菜单

博客

所有标签

#表格式 1 #湖仓一体 1 #数据湖 1 #Apache Iceberg 1 #QQ 1 #PNPM 1 #NPM 1 #Elasticsearch 1 #Railway 1 #Vercel 1 #服务器 1 #阿里云 1 #SpringBoot 1 #无线网卡 1 #IP 1 #CentOS 6 #分布式锁 1 #ZooKeeper 1 #Composition API 1 #响应式 1 #Vue3 1 #esbuild 1 #Rollup 1 #构建工具 1 #前端工程化 1 #Vite 1 #后端开发 1 #Spring Boot 3 #分布式计算 1 #Spark 1 #运维 1 #中间件 1 #Hooks 1 #Fiber 1 #虚拟DOM 1 #React 1 #在线抠图 1 #锁机制 1 #事务 1 #ShardingSphere 1 #分库分表 1 #SSL 1 #权限管理 1 #安全 1 #高可用 1 #读写分离 1 #主从复制 1 #PITR 1 #XtraBackup 1 #备份恢复 1 #架构 1 #Nacos 1 #Spring Cloud 1 #微服务 2 #前端架构 1 #qiankun 1 #Module Federation 1 #微前端 1 #流处理 1 #分布式 4 #消息队列 1 #Kafka 1 #双亲委派 1 #async/await 1 #Promise 1 #事件循环 1 #JavaScript 1 #Java8 1 #单元测试 1 #工程化 1 #虚拟线程 1 #Stream 2 #Java新特性 1 #性能调优 3 #垃圾回收 1 #内存模型 1 #类加载 2 #JVM 4 #异步编程 1 #CompletableFuture 1 #线程池 1 #并发容器 1 #JUC 1 #JMM 1 #动态代理 1 #注解 1 #反射 1 #序列化 1 #源码分析 1 #Set 1 #类型系统 1 #泛型 1 #最佳实践 1 #异常处理 1 #日期时间 1 #String 1 #枚举 1 #内部类 1 #接口 1 #OOP 1 #面向对象 1 #数据类型 1 #基础语法 1 #开发环境 1 #JDK 1 #Java从入门到精通 18 #零拷贝 1 #网络编程 1 #NIO 2 #IO 2 #CAS 1 #多线程 2 #并发编程 4 #源码 1 #ArrayList 1 #HashMap 2 #集合框架 3 #JET 2 #Hadoop 1 #HQL 1 #数仓 1 #Hive 1 #经验分享 3 #Html 1 #主题美化 2 #Markdowm 1 #HDFS 1 #NoSQL 1 #HBase 1 #CSP 1 #CSRF 1 #XSS 1 #Web安全 1 #实时计算 1 #流计算 1 #Flink 1 #MPP 1 #实时数仓 1 #Apache Doris 1 #数据库 7 #列式存储 2 #OLAP 2 #ClickHouse 1 #应用部署 2 #破解 1 #缓存 1 #渲染原理 1 #性能优化 4 #浏览器 1 #前端 6 #防火墙 1 #Hexo 7 #Tag Plugins 1 #AQS 2 #LINUX 4 #SWAGGER 1 #MAVEN 2 #QUARTZ 1 #ES 0 #ChatGPT 3 #宝塔 3 #NODE.JS 2 #APP 1 #大数据 10 #端午节吃粽子 1 #NVM 1 #JOE 1 #分享 7 #EXCEL 1 #IDEA 6 #JAVA 36 #REDIS 2 #BIGDECIMAL 2 #LIST 2 #TOMCAT 4 #WEBLOGIC 1 #NGINX 4 #工具类Utils 8 #MYBATIS 3 #MYSQL 16 #Navicat 1 #Mac 2 #linux 2 #文章 1 #Halo 0
Spark 核心原理与实战：RDD、DAG 调度、Shuffle 与内存管理
大数据 #Spark#大数据#分布式计算#性能优化

Spark 核心原理与实战：RDD、DAG 调度、Shuffle 与内存管理

从 MapReduce 的三大痛点讲起，系统拆解 Spark 的核心机制：RDD 五大特性与算子体系、宽窄依赖如何决定 DAG 的 Stage 划分、任务调度从 Job 到 Task 的完整链路、Shuffle 从 Hash 到 Sort 的演进与调优参数、统一内存管理的动态借用规则；再深入数据倾斜的定位与治理套路（加盐聚合、广播 Join），用一张表对比 MapReduce 与 Flink，最后给出生产环境避坑清单，是大数据工程师入门与复盘 Spark 的完整路线图。

神经蛙 发布于 2026-09-21