Logo

菜单

博客

所有标签

#表格式 1 #湖仓一体 1 #数据湖 1 #Apache Iceberg 1 #QQ 1 #PNPM 1 #NPM 1 #Elasticsearch 1 #Railway 1 #Vercel 1 #服务器 1 #阿里云 1 #SpringBoot 1 #无线网卡 1 #IP 1 #CentOS 6 #分布式锁 1 #ZooKeeper 1 #Composition API 1 #响应式 1 #Vue3 1 #esbuild 1 #Rollup 1 #构建工具 1 #前端工程化 1 #Vite 1 #后端开发 1 #Spring Boot 3 #分布式计算 1 #Spark 1 #运维 1 #中间件 1 #Hooks 1 #Fiber 1 #虚拟DOM 1 #React 1 #在线抠图 1 #锁机制 1 #事务 1 #ShardingSphere 1 #分库分表 1 #SSL 1 #权限管理 1 #安全 1 #高可用 1 #读写分离 1 #主从复制 1 #PITR 1 #XtraBackup 1 #备份恢复 1 #架构 1 #Nacos 1 #Spring Cloud 1 #微服务 2 #前端架构 1 #qiankun 1 #Module Federation 1 #微前端 1 #流处理 1 #分布式 4 #消息队列 1 #Kafka 1 #双亲委派 1 #async/await 1 #Promise 1 #事件循环 1 #JavaScript 1 #Java8 1 #单元测试 1 #工程化 1 #虚拟线程 1 #Stream 2 #Java新特性 1 #性能调优 3 #垃圾回收 1 #内存模型 1 #类加载 2 #JVM 4 #异步编程 1 #CompletableFuture 1 #线程池 1 #并发容器 1 #JUC 1 #JMM 1 #动态代理 1 #注解 1 #反射 1 #序列化 1 #源码分析 1 #Set 1 #类型系统 1 #泛型 1 #最佳实践 1 #异常处理 1 #日期时间 1 #String 1 #枚举 1 #内部类 1 #接口 1 #OOP 1 #面向对象 1 #数据类型 1 #基础语法 1 #开发环境 1 #JDK 1 #Java从入门到精通 18 #零拷贝 1 #网络编程 1 #NIO 2 #IO 2 #CAS 1 #多线程 2 #并发编程 4 #源码 1 #ArrayList 1 #HashMap 2 #集合框架 3 #JET 2 #Hadoop 1 #HQL 1 #数仓 1 #Hive 1 #经验分享 3 #Html 1 #主题美化 2 #Markdowm 1 #HDFS 1 #NoSQL 1 #HBase 1 #CSP 1 #CSRF 1 #XSS 1 #Web安全 1 #实时计算 1 #流计算 1 #Flink 1 #MPP 1 #实时数仓 1 #Apache Doris 1 #数据库 7 #列式存储 2 #OLAP 2 #ClickHouse 1 #应用部署 2 #破解 1 #缓存 1 #渲染原理 1 #性能优化 4 #浏览器 1 #前端 6 #防火墙 1 #Hexo 7 #Tag Plugins 1 #AQS 2 #LINUX 4 #SWAGGER 1 #MAVEN 2 #QUARTZ 1 #ES 0 #ChatGPT 3 #宝塔 3 #NODE.JS 2 #APP 1 #大数据 10 #端午节吃粽子 1 #NVM 1 #JOE 1 #分享 7 #EXCEL 1 #IDEA 6 #JAVA 36 #REDIS 2 #BIGDECIMAL 2 #LIST 2 #TOMCAT 4 #WEBLOGIC 1 #NGINX 4 #工具类Utils 8 #MYBATIS 3 #MYSQL 16 #Navicat 1 #Mac 2 #linux 2 #文章 1 #Halo 0
Apache Iceberg 数据湖核心实战：表格式、快照隔离、Schema 演进与湖仓一体
大数据 #Apache Iceberg#数据湖#大数据#湖仓一体#表格式

Apache Iceberg 数据湖核心实战：表格式、快照隔离、Schema 演进与湖仓一体

Iceberg通过三层元数据和快照隔离实现ACID、时间旅行与Schema演进，将对象存储转化为可管理的表格式。作为湖仓一体底座服务ODS/DWD层，与Doris/ClickHouse分工协作，避免数据重复存储。

神经蛙 发布于 2026-11-04
Apache Doris 实时数仓核心实战：MPP 架构、数据模型、导入与高并发查询
大数据 #Apache Doris#大数据#实时数仓#OLAP#MPP

Apache Doris 实时数仓核心实战：MPP 架构、数据模型、导入与高并发查询

从"离线数仓查得慢、点查扛不住"的痛点切入，系统拆解 Apache Doris 的 MPP 架构（FE 元数据/查询规划 + BE 存储计算，MySQL 协议接入）、三种数据模型（Duplicate/Aggregate/Unique Key）与分区分桶策略，讲透 Stream Load/Routine Load/Broker Load 等导入方式与 Kafka/Flink 实时入仓链路，最后给出前缀索引、倒排索引、高并发点查、Colocate Join 等查询优化与十项生产避坑，补齐 ClickHouse 之外"高并发实时分析"的另一块拼图。

神经蛙 发布于 2026-10-30
ZooKeeper 核心原理与实战：ZNode 数据模型、Watch 机制、ZAB 协议与分布式协调
大数据 #ZooKeeper#大数据#分布式#分布式锁

ZooKeeper 核心原理与实战：ZNode 数据模型、Watch 机制、ZAB 协议与分布式协调

从"多台机器怎么协同"这个分布式老问题讲起，系统拆解 ZooKeeper 的四大支柱：树形 ZNode 数据模型与四种节点类型、一次性触发的 Watch 机制与羊群效应治理、Leader/Follower/Observer 集群分工与过半提交、ZAB 原子广播协议的崩溃恢复与消息广播两阶段，最后给出 Curator 分布式锁与选主的正确姿势、三大协调服务对比和生产避坑清单，补齐 Kafka、HBase 背后共同依赖的"协调层"拼图。

神经蛙 发布于 2026-10-23
Hive 离线数仓核心实战：HQL、分区分桶、文件格式与执行引擎选型
大数据 #Hive#大数据#数仓#HQL#Hadoop

Hive 离线数仓核心实战：HQL、分区分桶、文件格式与执行引擎选型

Kafka 让数据稳稳流起来，Spark/Flink 让数据算得又快又准，HBase 让海量数据存得下查得快，但"用 SQL 把 HDFS 上的海量数据按业务口径算成报表"这件事，最早靠手写 MapReduce——又慢又难维护。Hive 正是为此而生：把 HQL 翻译成分布式计算作业，让数据工程师用熟悉的 SQL 玩转 PB 级数据。本文拆解 Hive 的架构本质、内部表与外部表、分区与分桶的取舍、ORC/Parquet 文件格式选型、MapReduce→Tez→Spark 执行引擎演进，以及 MapJoin/CBO/向量化/数据倾斜等专属优化，并与 Kafka/Spark/Flink/HBa

神经蛙 发布于 2026-10-16
ClickHouse 列式存储与海量数据实时 OLAP 实战
大数据 #ClickHouse#OLAP#列式存储#大数据#数据库

ClickHouse 列式存储与海量数据实时 OLAP 实战

从 OLTP 与 OLAP 的本质差异出发，深入讲解 ClickHouse 的列式存储、MergeTree 表引擎、分区与排序键、稀疏索引、向量化执行与物化视图等核心机制；对比行存与列存、MergeTree 与 Log 引擎、以及 ClickHouse 与 Elasticsearch/Doris/StarRocks 的适用场景；最后给出分片集群、写入去重、TTL、单表过大的生产避坑清单，是搭建实时分析平台的完整参考。

神经蛙 发布于 2026-10-13
HBase 核心原理与实战：LSM 树、Region 分裂、RowKey 设计与读写流程
大数据 #HBase#大数据#NoSQL#列式存储#HDFS

HBase 核心原理与实战：LSM 树、Region 分裂、RowKey 设计与读写流程

Kafka 解决了数据怎么稳稳流起来，Spark/Flink 解决了数据怎么算得快算得准，但海量结构化数据怎么"存得下、查得快、随时横向扩展"——HBase 作为 Hadoop 生态的列式 NoSQL 承接这一角色。本文拆解其核心：稀疏多维的表模型、基于 LSM 树的写入链路、HMaster/RegionServer 架构与 Region 分裂、RowKey 反热点设计，以及布隆过滤器与 BlockCache 调优，最后给出生产避坑清单，与 Kafka/Spark/Flink 三篇拼成大数据平台的完整链路。

神经蛙 发布于 2026-10-07
Flink 核心原理与实战：时间语义、Watermark、状态管理与 Exactly-Once
大数据 #Flink#大数据#流计算#实时计算

Flink 核心原理与实战：时间语义、Watermark、状态管理与 Exactly-Once

从"微批为什么不够"讲起，系统拆解 Flink 的流处理内核：JobManager/TaskManager 架构与 Slot 并行模型、事件时间语义与 Watermark 乱序治理、三类窗口与迟到数据兜底、Keyed State 与 RocksDB 状态后端、基于 Barrier 的分布式快照如何实现端到端 Exactly-Once，最后对比三大流处理引擎并给出生产避坑清单，与 Kafka、Spark 两篇构成大数据流式链路的完整拼图。

神经蛙 发布于 2026-09-23
Spark 核心原理与实战：RDD、DAG 调度、Shuffle 与内存管理
大数据 #Spark#大数据#分布式计算#性能优化

Spark 核心原理与实战：RDD、DAG 调度、Shuffle 与内存管理

从 MapReduce 的三大痛点讲起，系统拆解 Spark 的核心机制：RDD 五大特性与算子体系、宽窄依赖如何决定 DAG 的 Stage 划分、任务调度从 Job 到 Task 的完整链路、Shuffle 从 Hash 到 Sort 的演进与调优参数、统一内存管理的动态借用规则；再深入数据倾斜的定位与治理套路（加盐聚合、广播 Join），用一张表对比 MapReduce 与 Flink，最后给出生产环境避坑清单，是大数据工程师入门与复盘 Spark 的完整路线图。

神经蛙 发布于 2026-09-21
Kafka 核心原理与实战：分区、副本、消费组与精确一次语义
大数据 #Kafka#消息队列#大数据#分布式#流处理

Kafka 核心原理与实战：分区、副本、消费组与精确一次语义

从"为什么需要消息队列"讲起，系统拆解 Kafka 的核心机制：Topic 与 Partition 如何支撑水平扩展与分区内有序，ISR 副本机制如何兼顾高可用与数据不丢，顺序写盘、零拷贝、页缓存、批量压缩如何成就百万级吞吐；深入生产者幂等与事务、消费者位移提交与再均衡、精确一次语义（EOS）的实现路径，并用一张表对比 Kafka 与 RabbitMQ/RocketMQ，最后给出生产环境避坑清单，是后端工程师入门与复盘 Kafka 的完整路线图。

神经蛙 发布于 2026-09-14
ChatGPT归纳的Hbase
#大数据#JAVA

ChatGPT归纳的Hbase

请提供需要提炼摘要的文章正文内容，我将根据要求生成符合规范的摘要。

神经蛙 发布于 2023-04-07