Logo

菜单

博客

所有标签

#表格式 1 #湖仓一体 1 #数据湖 1 #Apache Iceberg 1 #QQ 1 #PNPM 1 #NPM 1 #Elasticsearch 1 #Railway 1 #Vercel 1 #服务器 1 #阿里云 1 #SpringBoot 1 #无线网卡 1 #IP 1 #CentOS 6 #分布式锁 1 #ZooKeeper 1 #Composition API 1 #响应式 1 #Vue3 1 #esbuild 1 #Rollup 1 #构建工具 1 #前端工程化 1 #Vite 1 #后端开发 1 #Spring Boot 3 #分布式计算 1 #Spark 1 #运维 1 #中间件 1 #Hooks 1 #Fiber 1 #虚拟DOM 1 #React 1 #在线抠图 1 #锁机制 1 #事务 1 #ShardingSphere 1 #分库分表 1 #SSL 1 #权限管理 1 #安全 1 #高可用 1 #读写分离 1 #主从复制 1 #PITR 1 #XtraBackup 1 #备份恢复 1 #架构 1 #Nacos 1 #Spring Cloud 1 #微服务 2 #前端架构 1 #qiankun 1 #Module Federation 1 #微前端 1 #流处理 1 #分布式 4 #消息队列 1 #Kafka 1 #双亲委派 1 #async/await 1 #Promise 1 #事件循环 1 #JavaScript 1 #Java8 1 #单元测试 1 #工程化 1 #虚拟线程 1 #Stream 2 #Java新特性 1 #性能调优 3 #垃圾回收 1 #内存模型 1 #类加载 2 #JVM 4 #异步编程 1 #CompletableFuture 1 #线程池 1 #并发容器 1 #JUC 1 #JMM 1 #动态代理 1 #注解 1 #反射 1 #序列化 1 #源码分析 1 #Set 1 #类型系统 1 #泛型 1 #最佳实践 1 #异常处理 1 #日期时间 1 #String 1 #枚举 1 #内部类 1 #接口 1 #OOP 1 #面向对象 1 #数据类型 1 #基础语法 1 #开发环境 1 #JDK 1 #Java从入门到精通 18 #零拷贝 1 #网络编程 1 #NIO 2 #IO 2 #CAS 1 #多线程 2 #并发编程 4 #源码 1 #ArrayList 1 #HashMap 2 #集合框架 3 #JET 2 #Hadoop 1 #HQL 1 #数仓 1 #Hive 1 #经验分享 3 #Html 1 #主题美化 2 #Markdowm 1 #HDFS 1 #NoSQL 1 #HBase 1 #CSP 1 #CSRF 1 #XSS 1 #Web安全 1 #实时计算 1 #流计算 1 #Flink 1 #MPP 1 #实时数仓 1 #Apache Doris 1 #数据库 7 #列式存储 2 #OLAP 2 #ClickHouse 1 #应用部署 2 #破解 1 #缓存 1 #渲染原理 1 #性能优化 4 #浏览器 1 #前端 6 #防火墙 1 #Hexo 7 #Tag Plugins 1 #AQS 2 #LINUX 4 #SWAGGER 1 #MAVEN 2 #QUARTZ 1 #ES 0 #ChatGPT 3 #宝塔 3 #NODE.JS 2 #APP 1 #大数据 10 #端午节吃粽子 1 #NVM 1 #JOE 1 #分享 7 #EXCEL 1 #IDEA 6 #JAVA 36 #REDIS 2 #BIGDECIMAL 2 #LIST 2 #TOMCAT 4 #WEBLOGIC 1 #NGINX 4 #工具类Utils 8 #MYBATIS 3 #MYSQL 16 #Navicat 1 #Mac 2 #linux 2 #文章 1 #Halo 0
Hive 离线数仓核心实战：HQL、分区分桶、文件格式与执行引擎选型
大数据 #Hive#大数据#数仓#HQL#Hadoop

Hive 离线数仓核心实战：HQL、分区分桶、文件格式与执行引擎选型

Kafka 让数据稳稳流起来，Spark/Flink 让数据算得又快又准，HBase 让海量数据存得下查得快，但"用 SQL 把 HDFS 上的海量数据按业务口径算成报表"这件事，最早靠手写 MapReduce——又慢又难维护。Hive 正是为此而生：把 HQL 翻译成分布式计算作业，让数据工程师用熟悉的 SQL 玩转 PB 级数据。本文拆解 Hive 的架构本质、内部表与外部表、分区与分桶的取舍、ORC/Parquet 文件格式选型、MapReduce→Tez→Spark 执行引擎演进，以及 MapJoin/CBO/向量化/数据倾斜等专属优化，并与 Kafka/Spark/Flink/HBa

神经蛙 发布于 2026-10-16