大厂面经：京东大数据面试题及参考答案（3万字长文）
目录
Hive窗口函数有什么，什么场景，怎么用
Hive文本拼接函数是什么
Hive的数据存储格式有哪些，优缺点
两个表 join 过程中，空值的情况如何处理？
Hive存储结构的区别？
Hive本身对于SQL做了哪些优化？
Hive分区和分桶区别？
Hive分桶表的作用？
HBase负载均衡怎么实现
Hadoop如何更改文件所有者
Kafka如何监控
LGBM和XGBoost的区别
RNN, GRU, LSTM之间的差别
为什么RNN容易梯度爆炸？
进程的通信方式
进程和线程
逻辑斯特回归过拟合怎么办？
大数据集群间节点是如何通信的
hadoop core-site文件一般配置什么内容
ranger权限管理的最小粒度要什么
KNN的时间复杂度？怎么优化KNN的时间复杂度
SVM核函数的作用是什么
clickhouse的写入和读取为什么快
flink有哪些算子
flink的窗口函数了解吗
flink的精准一次性如何保证的
kafka是如何保证数据不丢失和不重复的，从生产者和消费者考虑
hbase用过吗，rowkey的设计原则是什么
如何解决热点现象
redis的数据结构了解吗
java的集合类有哪些
java实现多线程的几种方式
你知道有哪些实现线程池的方式吗，讲一下有哪些类
udf函数的分类
你实现的udf函数的功能
项目中最大的收获是什么
大数据项目遇到过的最难的需求，怎么解决的
MapReduce的执行过程
zookeper的leader选举机制，常见的一些应用场景，举例说明
kafka介绍一下
spark中jvm调优怎么调
hive优化你用过哪些，数据倾斜遇到过吗
你采用的数据存储格式是什么，相比于其他有什么优势
flink和spark的区别是什么
hashmap的底层原理是什么
你用过的一些linux命令
hbase中rowkey的设计原则是什么，如何解决热点现象
有什么方法取出hashmap中的所有key，怎么去遍历key，不是value
java从编译到运行发生了什么
一台服务器特别卡，应该怎么处理
shullfe为什么环形缓冲区80% 大于或小于行不行
namenode怎么保证开机还有之前的记录
hbase的特点和底层，和mysql有什么区别
zookeper的leader选举机制，常见的一些应用场景，举例说明
常见的排序算法，时间复杂度，空间复杂度
快速排序
归并排序
插入排序
冒泡排序
选择排序
堆排序
synchronized关键字的使用
volatile关键字，和synchronized的区别
Java的内存回收怎么做的
hashmap和treemap的区别
红黑树有什么特点
队列和栈结构
Java的内存回收怎么做的
hashmap和treemap的区别
红黑树有什么特点
队列和栈结构
你项目里的熔断器的原理？
SQL调优怎么做的？
MVC架构里用到了什么设计模式？
那你讲讲Java里的设计模式
给定一颗二叉树，按照从顶部到底部的顺序，返回从右侧能看到的节点值？
示例代码
写Java代码-搜索螺旋排序数组
示例代码
Hive窗口函数有什么，什么场景，怎么用
Hive 支持多种窗口函数，这些函数可以在数据集的每一行上进行计算，并且可以考虑数据集中的其他行。常见的窗口函数包括 ROW_NUMBER(), RANK(), DENSE_RANK(), LAG(), LEAD(), FIRST_VALUE(), LAST_VALUE(), NTH_VALUE(), 以及聚合函数如 SUM(), AVG(), COUNT(), MIN(), MAX() 等。
应用场景：
- 排名：根据某个字段对数据进行排名，比如销售业绩排名。
- 累计计算：比如计算每个月的累计销售额。
- 前后行比较：比较当前行与前一行或后一行的值，用于计算增长率等指标。
- 滑动窗口统计：比如计算过去7天的日均销售额。
使用方法：
窗口函数通常在 SELECT 子句中使用，并通过 OVER 子句指定窗口的范围。
例如，假设有一个销售记录表 sales 包含字段 salesperson, date, 和 amount，我们想要计算每个月每个销售人员的累计销售额，可以这样写：
SELECT salesperson, date, amount, SUM(amount) OVER (PARTITION BY salesperson ORDER BY date) AS running_total FROM sales;这里 OVER (PARTITION BY salesperson ORDER BY date) 定义了一个窗口，它将数据按照 salesperson 分组，并在每个分组内按 date 排序。SUM(amount) 则在这个窗口内计算累计销售额。
Hive文本拼接函数是什么
Hive 提供了多个字符串操作函数来处理文本数据，其中一个常用的就是 CONCAT 函数，用于拼接两个或多个字符串。此外，还有 CONCAT_WS 函数，该函数允许用户指定一个分隔符来拼接字符串。
使用示例：
假设有一个表 employees 包含字段 first_name 和 last_name，如果要创建一个新的字段 full_name，可以通过以下方式实现：
SELECT first_name, last_name, CONCAT(first_name, ' ', last_name) AS full_name FROM employees;或者使用 CONCAT_WS 函数来添加一个分隔符：
SELECT first_name, last_name, CONCAT_WS(' ', first_name, last_name) AS full_name FROM employees;这两个函数都非常适合于生成复合字段，如全名、地址等。
Hive的数据存储格式有哪些，优缺点
Hive 支持多种数据存储格式，常见的包括 TextFile、SequenceFile、ORC、Parquet、Avro 等。
- TextFile：最简单的存储格式，以纯文本形式存储数据。
- 优点：易于阅读和调试。
- 缺点：占用空间大，读写性能较差。
- SequenceFile：二进制格式，由一系列键值对组成。
- 优点：比 TextFile 更紧凑，支持压缩。
- 缺点：查询性能较低。
- ORC (Optimized Row Columnar)：列式存储格式，支持高效压缩和编码。
- 优点：读取速度快，存储效率高。
- 缺点：写入速度相对较慢，需要较大的 CPU 资源。
- Parquet：列式存储格式，支持高效的压缩和编码。
- 优点：读写性能好，存储效率高。
- 缺点：写入时需要更多的 CPU 资源。
- Avro：一种数据序列化系统，支持动态模式。
- 优点：支持模式，便于解析。
- 缺点：读写性能略低于 ORC 和 Parquet。
选择哪种格式取决于具体需求，如实时性要求、存储成本考量等。
两个表 join 过程中，空值的情况如何处理？
在进行表连接操作时，经常需要处理空值。Hive 支持三种主要类型的连接：内连接（INNER JOIN）、左连接（LEFT JOIN）和右连接（RIGHT JOIN）。
- INNER JOIN：只返回两个表中匹配的行，如果某行在任一表中有空值，则不会出现在结果集中。
- LEFT JOIN 或 RIGHT JOIN：会保留左侧或右侧表中的所有行，即使没有匹配项也会显示，未匹配的行中对应的列会显示为 NULL。
处理空值的一种常见做法是使用条件过滤，例如：
SELECT t1.id, t1.name, t2.value FROM table1 t1 LEFT JOIN table2 t2 ON t1.id = t2.id WHERE t1.name IS NOT NULL AND t2.value IS NOT NULL;这将排除任何 name 或 value 为空的行。
Hive存储结构的区别？
Hive 的存储结构主要包括表（Table）、分区（Partition）和桶（Bucket）。
- 表：最基本的逻辑单元，对应 HDFS 上的一个目录。
- 分区：基于表的列值对数据进行划分，每个分区对应 HDFS 上的一个子目录，通常用于提高查询性能。
- 桶：进一步细粒度的划分，基于哈希值分布到不同的文件中，主要用于提高排序和抽样操作的性能。
Hive本身对于SQL做了哪些优化？
Hive 在执行 SQL 查询时进行了多种优化，包括但不限于：
- 自动并行化：将大的任务分解成小的任务并行执行。
- 执行计划优化：生成最优的执行计划来减少 I/O 操作和计算量。
- 索引：支持索引来加速某些查询。
- 分区裁剪：只扫描相关分区，避免不必要的数据访问。
- 列式存储：利用列式存储格式提高读取效率。
- 动态分区插入：允许在运行时确定分区值。
- 数据压缩：支持多种压缩算法来减小数据大小。
这些优化措施有助于提高查询性能，减少资源消耗。
Hive分区和分桶区别？
分区 和 分桶 都是为了提高查询性能而设计的，但它们之间存在一些关键差异：
分区：
- 根据表的列值进行划分。
- 每个分区存储在一个单独的目录中。
- 主要用于缩小数据搜索范围，提高查询效率。
- 分区通常是静态定义的。
分桶：
- 基于哈希函数对数据进行分割。
- 每个桶存储在一个单独的文件中。
- 主要用于加速排序和随机采样操作。
- 分桶的数量通常在表创建时就定义好。
通过合理地使用分区和分桶，可以显著提高 Hive 中数据查询的速度和效率。
Hive分桶表的作用？
Hive 分桶表的主要作用在于提高数据处理的效率，特别是对于大规模数据集的处理。分桶表通过哈希函数将数据分散到多个文件中，从而实现以下优势：
- 加速排序：当需要对数据进行排序时，可以在每个桶内部进行局部排序，然后合并结果，这样可以大大减少排序的时间复杂度。
- 提高抽样效率：由于数据被均匀分布到各个桶中，因此可以更快速地从每个桶中抽取样本。
- 减少 MapReduce 任务数量：在执行某些查询时，MapReduce 任务可以根据桶的数量来确定，而不是根据文件数量，从而减少任务数。
为了创建分桶表，需要在创建表时指定分桶的数量和用于分桶的列。例如：
CREATE TABLE my_bucketed_table ( id INT, name STRING ) CLUSTERED BY (id) INTO 5 BUCKETS;这里 CLUSTERED BY (id) 表示按照 id 列进行分桶，INTO 5 BUCKETS 表示总共分成 5 个桶。
HBase负载均衡怎么实现
HBase 是一个分布式、可扩展的大规模列族数据库，它能够自动管理数据的分布，确保集群中的节点负载均衡。HBase 使用 RegionServer 和 Region 的概念来组织数据。Region 是数据的物理存储单位，而 RegionServer 是运行在每个节点上的进程，负责托管多个 Region。
负载均衡机制：
HBase 通过自动 Region 分裂和手动或自动 Region 移动来实现负载均衡。
- 自动 Region 分裂：随着数据的增长，Region 变得越来越大，当 Region 大小达到预设的阈值时，HBase 会自动将其分裂为两个新的 Region。这样可以防止单个 Region 成长得过大，并且确保数据分布在集群的不同节点上。
- 手动或自动 Region 移动：为了保持集群的负载均衡，管理员或 HMaster（HBase 的主节点）可以触发 Region 的移动。Region 会被移动到负载较低的 RegionServer 上，以此来平衡不同 RegionServer 之间的负载。
自动负载均衡策略：
- 自动负载均衡：HBase 提供了一个自动负载均衡器，它定期检查集群的负载情况，并在必要时移动 Region 以平衡负载。自动负载均衡可以通过配置参数启用，例如
hbase.regionserver.balance.switch设置为true表示启用。 - 手动触发：管理员也可以手动触发负载均衡，通过执行
balance命令来强制重新分配 Region。
注意事项：
- 性能影响：频繁的 Region 移动可能会导致集群性能下降，因此需要权衡负载均衡和性能之间的关系。
- 策略调整：可以通过调整配置参数来优化负载均衡策略，例如设置最小和最大 Region 大小、延迟时间等。
Hadoop如何更改文件所有者
在 Hadoop 文件系统（HDFS）中，文件的所有者信息对于权限管理和访问控制非常重要。要更改文件或目录的所有者，可以使用 chown 命令。但是需要注意的是，Hadoop 的 chown 命令仅允许超级用户（通常是 hdfs 用户）修改文件的所有者。
使用 chown 命令：
hadoop fs -chown [owner[:group]] path这里的 [owner[:group]] 是新的所有者（和可选的组），path 是要更改所有权的文件或目录路径。
示例：
如果要将 /user/olduser/data.txt 文件的所有者更改为 newuser，可以执行以下命令：
hadoop fs -chown newuser /user/olduser/data.txt如果还需要更改文件所属的组，可以指定组名，例如：
hadoop fs -chown newuser:newgroup /user/olduser/data.txt注意事项：
- 权限限制：只有超级用户才能更改文件的所有者和组。
- 递归操作：可以使用
-R参数递归地更改目录及其子目录下的文件所有者。
Kafka如何监控
Apache Kafka 是一个分布式流处理平台，它提供了丰富的监控功能来帮助用户了解其集群的状态。Kafka 的监控主要包括几个方面：
- Broker 监控：监控 Broker 的状态、网络流量、磁盘使用情况等。
- Topic 监控：监控 Topic 的消息生产速率、消费速率、消息积压等。
- Consumer Group 监控：监控 Consumer Group 的偏移量、滞后情况等。
监控工具和方法：
- JMX：Kafka 使用 JMX（Java Management Extensions）来暴露许多监控指标，可以使用 JMX 客户端来收集这些指标。
- Kafka Monitoring Interceptor：用于监控 Producer 和 Consumer 的活动，可以通过配置启用。
- Prometheus：可以配置 Prometheus 来抓取 Kafka 的 JMX 指标，然后使用 Grafana 等工具可视化这些数据。
- Kafka Manager：这是一个基于 Web 的 UI，可以用来查看 Kafka 集群的健康状况和监控指标。
具体步骤：
- 配置 JMX：确保 Kafka Broker 和 ZooKeeper 的配置文件中启用了 JMX。
- 安装监控工具：例如安装 Prometheus 和 Grafana。
- 配置 Prometheus：配置 Prometheus 抓取 JMX 指标的配置文件。
- 配置 Grafana：在 Grafana 中配置仪表板，展示从 Prometheus 收集的数据。
LGBM和XGBoost的区别
LightGBM 和 XGBoost 都是非常流行的梯度提升框架，用于构建高性能的机器学习模型。它们之间存在一些重要的区别：
- 目标函数：两者都支持多种损失函数，但 LightGBM 默认使用了一种新的目标函数来优化梯度提升决策树的训练过程。
- 特征并行：LightGBM 支持特征并行，可以并行地在不同的特征上构建树，而 XGBoost 不支持这种并行方式。
- 直方图构建：LightGBM 使用了直方图分箱的方法来减少内存使用和加快训练速度，而 XGBoost 使用了更传统的直方图构建方法。
- 缺失值处理：LightGBM 在缺失值的处理上有更好的默认行为，而 XGBoost 需要显式地指定缺失值的处理方式。
- 性能：LightGBM 通常在大型数据集上表现更好，因为它采用了更高效的算法，如直方图分箱和特征并行，而 XGBoost 在较小的数据集上可能表现更佳。
- 内存使用：LightGBM 通过直方图分箱等技术减少了内存使用，这使得它在内存受限的情况下更有优势。
RNN, GRU, LSTM之间的差别
循环神经网络（RNN）、门控循环单元（GRU）和长短期记忆网络（LSTM）都是用于处理序列数据的神经网络模型。它们之间的主要区别在于如何处理长期依赖问题：
- RNN：基本的 RNN 结构通过隐藏层的状态来捕捉序列中的上下文信息。然而，标准 RNN 在处理长序列时容易遇到梯度消失或梯度爆炸的问题。
- LSTM：LSTM 引入了门控机制，包括输入门、输出门和遗忘门，这些门控可以有效地控制信息的流动，解决了长期依赖问题。
- GRU：GRU 是 LSTM 的简化版本，它将输入门和遗忘门合并为一个更新门，同时使用重置门来决定是否将之前的记忆与当前输入结合。
为什么RNN容易梯度爆炸？
RNN 在训练过程中容易遇到梯度消失或梯度爆炸问题，这是因为梯度在反向传播时需要沿着时间维度进行多次乘法运算。当权重矩阵的谱半径大于 1 时，梯度会呈指数增长，从而导致梯度爆炸；反之，当谱半径小于 1 时，梯度会呈指数衰减，导致梯度消失。梯度爆炸问题可以通过以下方法缓解：
- 梯度裁剪：在训练过程中限制梯度的最大值，以防止梯度变得过大。
- 使用正则化：如 L2 正则化，可以帮助稳定权重矩阵的谱半径。
- 使用 LSTM 或 GRU：这些变体通过门控机制来缓解梯度消失问题，同时也减轻了梯度爆炸的风险。
进程的通信方式
进程间的通信（IPC）是指不同进程之间交换数据或同步状态的方式。常见的 IPC 方法包括：
- 管道（Pipes）：允许进程间进行单向或双向的数据传输。
- 消息队列（Message Queues）：允许进程之间传递消息。
- 共享内存（Shared Memory）：多个进程可以访问同一段内存区域来交换数据。
- 信号量（Semaphores）：用于控制多个进程对共享资源的访问。
- 套接字（Sockets）：不仅限于本地进程通信，还可以用于网络通信。
进程和线程
进程 是操作系统资源分配的基本单位，每个进程都有自己的独立地址空间。进程之间是相互隔离的，可以通过 IPC 进行通信。
线程 是进程内的执行单元，共享进程的地址空间和其他资源。线程之间的切换开销比进程小，但线程间的错误处理也会影响整个进程。
逻辑斯特回归过拟合怎么办？
逻辑斯特回归是一种广泛使用的分类算法，当模型过拟合时，可以采取以下几种方法来解决：
- 正则化：使用 L1 或 L2 正则化来惩罚较大的权重值，从而降低模型复杂度。
- 增加数据：收集更多的训练数据可以提高模型泛化能力。
- 特征选择：减少不相关的特征可以降低模型复杂度，提高泛化能力。
- 交叉验证：使用 K 折交叉验证来评估模型性能，有助于发现过拟合。
- 早停：在训练过程中监测验证集上的性能，当验证集上的性能不再改善时停止训练。
- 集成学习：使用集成方法如 Bagging 或 Boosting 来增强模型的稳定性。
- 调整超参数：例如正则化参数或学习率等，以找到最佳的模型配置。
大数据集群间节点是如何通信的
大数据集群通常由多个节点组成，这些节点之间需要进行通信以完成分布式计算任务。通信机制对于集群的性能至关重要，它决定了数据传输的速度和效率。在大数据集群中，节点间通信主要通过以下几个方面实现：
RPC（Remote Procedure Call）远程过程调用：大多数大数据框架使用 RPC 作为节点间通信的基础。例如，在 Hadoop 中，客户端通过 RPC 向 NameNode 请求文件系统的元数据信息，DataNodes 也通过 RPC 向 NameNode 汇报状态。
心跳机制：为了维护集群的状态，节点之间会定期发送心跳消息来确认彼此的存活状态和健康情况。例如，在 Hadoop 中，DataNodes 会定期向 NameNode 发送心跳消息，以表明自身状态良好。
数据块传输：在分布式文件系统（如 HDFS）中，数据是以块的形式存储的。当执行 MapReduce 作业时，节点之间会通过网络传输数据块以满足计算需求。
消息队列：有些系统（如 Apache Kafka）使用消息队列来处理节点间的通信。消息队列提供了一种异步通信机制，允许生产者将消息发布到队列中，消费者从队列中拉取消息。
流式处理框架：像 Apache Flink 和 Apache Storm 这样的流式处理框架通过网络传输数据流，允许节点间进行高效的数据交换。
hadoop core-site文件一般配置什么内容
core-site.xml 是 Hadoop 配置文件之一，它包含了 Hadoop 核心服务的全局配置。这些配置对于 Hadoop 集群的正常运行至关重要。core-site.xml 中的一些关键配置包括：
fs.defaultFS：指定了 Hadoop 集群的默认文件系统 URI。如果是 HDFS，则通常设置为
hdfs://namenode-host:port，其中namenode-host是 NameNode 的主机名或 IP 地址，port是 NameNode 的端口号。hadoop.tmp.dir：指定了 Hadoop 临时文件的存储位置。这些文件可能包括 Hadoop 运行时生成的日志文件、临时文件等。
io.file.buffer.size：定义了文件操作时的缓冲区大小，默认为 4KB。
hadoop.security.authentication：配置了 Hadoop 安全认证机制，可以选择使用简单认证或 Kerberos 认证等。
hadoop.security.authorization：开启或关闭 Hadoop 的授权功能。
hadoop.rpc.protection：配置了 RPC 的保护级别，例如是否启用数据加密。
hadoop.proxyuser.*.hosts 和 hadoop.proxyuser.*.groups：配置了代理用户的主机和组，允许特定用户代表其他用户提交作业。
hadoop.security.group.mapping：定义了用户组映射机制。
ranger权限管理的最小粒度要什么
Apache Ranger 是一个为 Hadoop 生态系统提供统一安全管理和策略执行的框架。Ranger 允许管理员为各种服务定义访问控制列表（ACLs），并支持精细的权限管理。
最小粒度：Ranger 的权限管理最小粒度通常是针对数据集的。这意味着权限可以细化到文件、目录、表、列等层次。例如，在 HDFS 上，Ranger 可以管理文件和目录级别的权限；在 Hive 中，它可以管理数据库、表和列级别的权限。
- HDFS：可以配置文件和目录级别的权限。
- Hive：可以配置数据库、表和列级别的权限。
- HBase：可以配置表和命名空间级别的权限。
- Kafka：可以配置主题、分区和 ACLs 的权限。
KNN的时间复杂度？怎么优化KNN的时间复杂度
时间复杂度：K-Nearest Neighbors (KNN) 算法的时间复杂度主要取决于数据集的大小和维度。在最简单的情况下，对于 n 个样本，KNN 需要在测试点周围查找最近的 k 个邻居，因此时间复杂度为 O(n * d)，其中 d 是特征的维度。
优化方法：
- 使用 KD-Tree 或 Ball Tree：这两种数据结构可以将数据集组织成树形结构，从而在搜索最近邻时降低时间复杂度至接近 O(log n)。
- 降维：通过 PCA、LDA 等方法减少特征维度，降低计算量。
- 局部敏感哈希 (LSH)：通过哈希函数将相似的样本映射到同一个桶中，从而减少需要比较的样本数量。
- 并行处理：利用多核处理器或分布式计算框架（如 Spark）并行处理数据集。
- 近似最近邻搜索：允许一定程度的误差，使用近似最近邻算法（如 FLANN）来减少搜索时间。
SVM核函数的作用是什么
支持向量机 (SVM) 是一种监督学习模型，主要用于分类和回归分析。SVM 的核心思想是找到一个超平面，使得不同类别的数据点被尽可能远地分开。对于非线性可分的数据集，SVM 通过使用核函数将数据从原始特征空间映射到一个更高维的空间，使得数据在这个新空间中变得线性可分。
核函数的作用：
- 非线性映射：将低维非线性可分数据映射到高维空间，使其变为线性可分。
- 避免显式映射：通过核函数计算数据点之间的相似度，而不是直接在高维空间中计算距离或内积，从而避免了显式映射带来的计算负担。
- 支持多种核函数：不同的核函数适用于不同类型的数据分布，例如线性核、多项式核、高斯核（径向基函数核，RBF）等。
clickhouse的写入和读取为什么快
ClickHouse 是一款用于在线分析处理 (OLAP) 的列式数据库管理系统，它的读写性能非常出色。以下是 ClickHouse 快速读写的原因：
- 列式存储：数据按列存储，有利于批量读取和压缩，减少了 I/O 操作次数。
- 数据压缩：支持多种压缩算法，减少了存储空间需求，提高了 I/O 效率。
- 数据分区：数据按照时间或其他属性自动分区，可以快速定位到所需的数据段。
- 索引结构：支持多种索引类型，如 MinMax 索引和 Null 索引，可以加速查询过程。
- 内存缓存：使用内存缓存数据，减少了磁盘访问，提高了读取速度。
- 查询优化：内置了查询优化器，能够智能地处理查询，减少不必要的计算。
- 向量化执行：查询引擎支持向量化执行，提高了 CPU 利用率。
- 并行处理：支持多核并行处理数据，提高了整体处理速度。
- 低延迟：ClickHouse 设计用于实时分析，支持低延迟的数据写入和读取。
flink有哪些算子
Apache Flink 是一个用于处理无界和有界数据流的流处理框架。Flink 提供了一系列算子来处理数据流，包括但不限于：
- Map：将输入流中的每个元素转换为另一个元素。
- FlatMap：将输入流中的每个元素转换为零个或多个元素。
- Filter：根据给定的条件筛选出流中的元素。
- KeyBy：对流中的元素进行分组，以便后续的操作可以按键处理数据。
- Reduce：在每个分组上应用一个约简函数。
- Aggregate：类似于 Reduce，但在每个分组上应用聚合函数。
- Window：将流中的元素划分为窗口，然后对每个窗口应用聚合操作。
- Join：将两个流或数据集连接在一起。
- Union：将两个流合并为一个流。
- TimeWindow：定义基于时间的窗口操作。
- SessionWindow：定义基于会话的窗口操作。
- ProcessFunction：允许访问事件时间和上下文，可以实现更复杂的业务逻辑。
- Connect：连接两个流，允许分别处理每个流，但共享相同的环境。
- CoMap 和 CoFlatMap：用于处理连接的流，允许在两个流上执行相同的操作。
- Split 和 Select：允许从流中分离数据并选择要处理的分支。
- Broadcast State：用于实现广播变量，使流中的每个元素都可以访问一组共享的状态。
- Keyed State 和 Operator State：用于实现状态管理，允许算子在执行过程中保存状态。
这些算子共同构成了 Flink 强大的流处理能力，使得开发者可以灵活地构建复杂的数据流应用程序。
flink的窗口函数了解吗
Flink 支持丰富的窗口函数，这些函数可以帮助用户对流数据进行时间范围内的聚合操作。窗口函数是 Flink 流处理的核心特性之一，它们允许用户将无限的数据流分割成有限的片段（即窗口），并对每个片段的数据进行处理。
窗口类型：
时间窗口：
- 滚动窗口：在固定的时间间隔内创建窗口，例如每 5 分钟创建一个新的窗口。
- 滑动窗口：与滚动窗口类似，但窗口之间会有重叠，例如每 5 分钟创建一个窗口，但是每隔 3 分钟创建一个新的窗口。
事件时间窗口：基于事件发生的时间，而不是数据到达的时间，这对于处理迟到数据和乱序数据尤为重要。
- 允许乱序时间：可以通过设置时间延迟（watermark）来容忍一定程度的乱序。
会话窗口：基于事件之间的空闲时间间隔，如果两个事件之间的间隔大于某个阈值，则认为它们属于不同的会话。
键控窗口：在键控流上应用窗口操作，这样每个键都会有自己的窗口实例。
窗口函数：
- 聚合函数：如
sum(),min(),max()等，可以应用于窗口内的数据进行简单的聚合操作。 - 窗口聚合操作：如
reduce(),aggregate(),fold()等，可以自定义聚合逻辑。 - 窗口函数：如
windowAll(),window(),timeWindow()等，用于定义窗口的类型和行为。
示例代码：
// 创建滚动时间窗口，并计算每个窗口内的平均值 DataStream stream = ...; stream .keyBy(event -> event.getKey()) .window(TumblingEventTimeWindows.of(Time.minutes(5))) .apply(new AverageFunction()) .print(); flink的精准一次性如何保证的
Flink 的精准一次性（exactly-once semantics）是指确保在故障恢复之后，数据流的处理结果与没有发生故障的情况完全一致。为了实现这一点，Flink 提供了一套完整的状态后端和检查点机制。
实现原理：
- 状态后端：Flink 使用状态后端来存储算子的状态，例如 KeyedState 和 OperatorState。
- 检查点机制：Flink 通过周期性的检查点（checkpoint）来保存整个流处理应用的状态快照。检查点触发时，所有算子都会保存其当前的状态。
- 两阶段提交：Flink 使用两阶段提交协议来确保在状态持久化过程中的原子性和一致性。
- 端到端一致性：Flink 支持与外部系统（如 Kafka）集成，以实现端到端的一致性保证。
具体步骤：
- 初始化检查点：检查点协调器（Checkpoint Coordinator）发起一个检查点。
- 保存状态：算子保存其当前状态，并将状态的引用传递给检查点协调器。
- 确认检查点：一旦所有参与检查点的算子都成功保存了状态，检查点就被确认。
- 持久化状态：状态被持久化到持久化存储中。
- 故障恢复：在发生故障时，Flink 可以从最近的检查点恢复状态。
kafka是如何保证数据不丢失和不重复的，从生产者和消费者考虑
Kafka 通过多种机制来保证数据的可靠传输，确保数据不会丢失且不会重复消费。
生产者：
- 确认机制：生产者发送消息时可以选择等待 ACK（确认）。ACK 可以设置为
0（不等待确认）、1（等待 Leader 确认）或-1/all（等待所有 ISR 副本确认）。 - 重试机制：如果生产者未收到 ACK 或者遇到错误，可以根据配置进行重试。
- 同步复制：通过设置 ISR（In-Sync Replicas）来保证数据的同步复制。
消费者：
- 偏移量管理：消费者通过提交偏移量来标记已读取的消息。Kafka 默认使用
auto.commit.interval.ms自动提交偏移量，也可以手动提交。 - 幂等性消费：确保即使消息被重复消费，其结果也是相同的。
- 消费者组：同一组内的消费者消费同一分区的消息时，每个分区只分配给一个消费者，这有助于避免重复消费。
hbase用过吗，rowkey的设计原则是什么
HBase 是一个分布式的、面向列的 NoSQL 数据库，它是基于 Google Bigtable 的设计而实现的。在 HBase 中，RowKey 是数据表中的主键，用于唯一标识一条记录。
RowKey 设计原则：
- 唯一性：RowKey 必须是唯一的，以区分不同的记录。
- 有序性：RowKey 应该具有一定的顺序性，因为 HBase 中的数据是按 RowKey 排序存储的。有序性可以帮助优化查询性能。
- 前缀可检索性：如果查询经常基于 RowKey 的前缀，那么设计时应该考虑前缀的可检索性。
- 短小精悍：RowKey 不宜过长，否则会影响性能。
- 散列性：对于随机访问的场景，可以使用散列函数生成 RowKey，以达到均匀分布的目的。
- 时间戳：如果需要按照时间顺序进行查询，可以在 RowKey 中加入时间戳字段。
- 组合键：RowKey 可以是由多个字段组成的复合键，以满足不同的查询需求。
如何解决热点现象
热点现象指的是数据访问或写入操作集中在少数几个节点或数据项上的情况，这会导致系统性能瓶颈。为了解决热点问题，可以采取以下措施：
- 数据分区：合理设计数据的分布，比如在 HBase 中通过 RowKey 的设计来分散数据。
- 负载均衡：动态调整负载，确保各节点的负载大致相等。
- 缓存策略：使用缓存机制减少对后端存储的访问频率。
- 数据复制：增加数据副本的数量，使得请求可以分散到多个节点。
- 一致性哈希：使用一致性哈希算法来实现数据的均衡分布。
- 轮询策略：在客户端实现轮询机制，将请求均匀分配到各个服务器。
redis的数据结构了解吗
Redis 是一个高性能的键值对存储系统，支持多种数据结构，这些数据结构为不同的应用场景提供了便利。
Redis 数据结构：
- String：最基础的数据类型，用于存储字符串。
- Hash：用于存储键值对的集合。
- List：用于存储字符串类型的有序集合。
- Set：用于存储唯一的字符串集合。
- Sorted Set：用于存储带有分数的唯一字符串集合。
- Bitmaps：用于存储位图，适用于统计和计数场景。
- HyperLogLog：用于估算基数，即集合中不同元素的数量。
- Geospatial：用于存储地理位置信息。
- Streams：用于实现消息队列的功能。
java的集合类有哪些
Java 提供了丰富的集合框架，主要包括以下几类集合类：
List：有序集合，可以包含重复元素。
ArrayList：基于数组实现的 List。LinkedList：基于双向链表实现的 List。Vector：线程安全的 List。
Set：不允许重复元素的集合。
HashSet：基于哈希表实现的 Set。LinkedHashSet：保持元素插入顺序的 Set。TreeSet：基于红黑树实现的排序 Set。
Queue：用于实现 FIFO（先进先出）的数据结构。
ArrayDeque：基于数组的双端队列。LinkedList：可以用作队列。PriorityQueue：基于优先级的队列。
Map：键值对集合。
HashMap：基于哈希表实现的 Map。LinkedHashMap：保持插入顺序的 Map。TreeMap：基于红黑树实现的排序 Map。
特殊集合：
Stack：基于 Vector 实现的栈。EnumSet：用于枚举类型的 Set。ConcurrentHashMap：线程安全的 Map。
java实现多线程的几种方式
Java 提供了多种实现多线程的方法：
- 继承 Thread 类：通过继承
Thread类并重写run()方法来创建线程。 - 实现 Runnable 接口：实现
Runnable接口的run()方法，并通过Thread对象启动线程。 - 实现 Callable 接口：实现
Callable接口的call()方法，并通过FutureTask包装后传递给Thread对象启动线程。 - 使用 Executor 框架：通过
ExecutorService接口提供的execute()方法提交任务，由框架管理线程。 - 使用 Lambda 表达式：从 Java 8 开始，可以使用 Lambda 表达式简化实现 Runnable 或 Callable 的代码。
- 使用 Fork/Join 框架：通过
ForkJoinPool和RecursiveTask或RecursiveAction实现分治算法。
你知道有哪些实现线程池的方式吗，讲一下有哪些类
Java 中使用线程池的主要方式是通过 java.util.concurrent.ExecutorService 接口和其实现类来实现。
线程池相关类：
- ExecutorService：定义了线程池的基本行为，如提交任务、关闭线程池等。
- ThreadPoolExecutor：实现了
ExecutorService接口，提供了一个可以控制工作线程数量的线程池。 - Executors：提供了工厂方法来创建不同类型的线程池。
newFixedThreadPool(int nThreads)：创建固定大小的线程池。newCachedThreadPool()：创建可缓存线程池，线程数不限。newSingleThreadExecutor()：创建单线程化的线程池。newScheduledThreadPool(int corePoolSize)：创建定时任务线程池。newWorkStealingPool(int parallelism)：创建一个支持抢占式执行的线程池。
- ScheduledExecutorService：扩展了
ExecutorService接口，提供了定时和周期性执行任务的能力。 - ThreadFactory：用于创建新的线程，可以用来定制线程的属性。
- RejectedExecutionHandler：当线程池无法接受新任务时的拒绝策略接口。
通过这些类和接口，可以灵活地创建和管理线程池，以适应不同的并发场景。
udf函数的分类
UDF (User-Defined Function) 是用户自定义函数，在大数据处理中非常常见，特别是在 SQL 查询和数据处理过程中。UDF 可以分为以下几类：
Scalar UDF：这是最基本的 UDF 形式，它接收一个或多个标量值作为输入，并返回一个标量值。这种类型的 UDF 主要用于简单的数据转换或计算。
Aggregate UDF：这种 UDF 用于执行聚合操作，例如计算平均值、标准差等。它们通常接收一组输入值，并返回一个单一的聚合结果。
Table UDF：也称为表生成函数，它接收一个或多个输入值，并返回一个表或集合。这种类型的 UDF 常用于数据清洗或数据生成任务。
Window UDF：窗口函数允许在数据集的一个窗口内进行操作，这个窗口可以是基于行数或者基于值的范围。窗口 UDF 在处理时间序列数据时特别有用。
Grouping UDF：这种 UDF 能够将数据集中的记录分组，并对每一组进行独立的处理。
Complex UDF：这类 UDF 处理复杂类型的数据，例如 JSON、XML 或其他结构化数据。
UDTF (User-Defined Table Function)：类似于 Table UDF，但更专注于生成多行输出。
你实现的udf函数的功能
假设我曾实现过一个 Scalar UDF，它的功能是对输入的文本进行情感分析，并返回一个情感得分。此 UDF 可以用于社交媒体分析或评论分析中，帮助评估用户反馈的情感倾向。
示例代码：
import org.apache.spark.sql.functions.udf; import org.apache.spark.sql.types.DataTypes; import org.apache.spark.sql.expressions.UserDefinedFunction; public class SentimentAnalysisUDF { public static double analyzeSentiment(String text) { // 这里可以使用预先训练好的情感分析模型 // 假设模型已经存在并且可以使用 double sentimentScore = 0.0; // 假设的情感得分 // 进行情感分析逻辑 // ... return sentimentScore; } public static void main(String[] args) { UserDefinedFunction sentimentUDF = udf(SentimentAnalysisUDF::analyzeSentiment, DataTypes.DoubleType); // 注册 UDF spark.udf().register("sentimentAnalysis", sentimentUDF); } }项目中最大的收获是什么
在大数据项目中，最大的收获往往不是技术本身，而是团队协作和解决问题的过程。例如，在一个涉及大量实时数据处理的项目中，最大的收获可能是：
- 团队合作：了解如何有效地与跨职能团队成员沟通和协作，共同解决问题。
- 敏捷开发：学习如何在迭代过程中快速响应变化，并持续交付价值。
- 技术挑战：掌握如何利用新技术解决复杂的技术难题，例如实时数据流处理或大规模数据存储。
- 业务理解：深入理解业务需求和技术解决方案之间的联系，从而更好地为客户提供价值。
- 个人成长：在项目中担任不同的角色，如开发人员、架构师或项目经理，可以促进个人技能和职业发展的提升。
大数据项目遇到过的最难的需求，怎么解决的
在一个典型的大数据项目中，可能遇到的最难需求之一是实时数据处理与分析。例如，在一个实时交易监控系统中，需要在毫秒级别内处理大量交易数据，并能够及时发现异常交易行为。
解决方案：
- 选择合适的技术栈：使用像 Apache Kafka 这样的消息队列来处理高吞吐量的数据流。
- 实时处理框架：采用 Apache Flink 或 Spark Streaming 进行实时数据处理。
- 性能优化：针对实时处理进行调优，包括 JMM（Java Memory Model）和 GC（Garbage Collection）优化。
- 异常检测算法：开发或集成机器学习模型来识别异常模式。
- 监控与报警：建立监控系统来跟踪实时处理的性能，并在出现问题时发出警报。
MapReduce的执行过程
MapReduce 是一种分布式计算模型，主要用于处理海量数据集。它的执行过程可以概括为以下几个步骤：
- Splitting：输入文件被切分成若干个块（Splits），每个块由一个 Map 任务处理。
- Mapping：每个 Map 任务读取输入数据，并将其转换为键值对的形式，输出为中间键值对。
- Shuffling and Sorting：Map 任务输出的中间结果会被排序，并根据键进行分区，然后发送给 Reducer。
- Reducing：Reducer 对来自多个 Map 任务的相同键的值进行聚合操作，生成最终的结果。
- Output：最后的结果被写入到输出文件中。
zookeper的leader选举机制，常见的一些应用场景，举例说明
Zookeeper 的 Leader 选举机制：
Zookeeper 使用 ZAB 协议来实现 Leader 选举。当集群中的一个节点失败或新节点加入时，集群进入选举状态。选举过程如下：
- 选举开始：所有参与者都认为自己是 Leader 并发起选举。
- 投票：每个参与者向集群中的其他参与者发送投票消息。
- 投票收集：参与者收集其他节点的投票。
- 选举完成：当一个参与者获得超过半数的投票时，它成为 Leader。
Zookeeper 的常见应用场景：
- 配置管理：Zookeeper 可以用于集中管理应用程序的配置信息。
- 命名服务：提供全局唯一的命名空间。
- 集群管理：用于维护集群成员信息和状态。
- 分布式锁：实现分布式环境中资源的互斥访问。
- 队列管理：实现分布式队列，如公平队列和非公平队列。
示例：在一个分布式系统中，多个节点需要访问同一个资源，此时可以使用 Zookeeper 的分布式锁功能来确保资源访问的互斥性。
kafka介绍一下
Kafka 是一个开源的分布式流处理平台，由 LinkedIn 开发并在 2011 年贡献给 Apache 软件基金会。Kafka 具有以下特点：
- 高吞吐量：能够处理大量的数据流，适合实时数据管道。
- 持久性：数据存储在磁盘上，确保数据不丢失。
- 容错性：通过数据复制提供高可用性。
- 扩展性：支持水平扩展，易于增加更多节点。
Kafka 的核心概念：
- Topic：逻辑上的数据流，可以理解为主题。
- Producer：生产数据的应用程序。
- Consumer：消费数据的应用程序。
- Broker：Kafka 集群中的服务器节点。
- Partition：每个 Topic 被分成多个 Partition，每个 Partition 可以分布在不同的 Broker 上。
- Replication：每个 Partition 可以有多个副本，提高容错性。
spark中jvm调优怎么调
Spark 中 JVM 调优：
- 堆内存配置：通过
--executor-memory和--driver-memory设置合适的堆内存大小。 - 垃圾回收：选择合适的垃圾回收器（如 G1 或 CMS），并调整相应的参数。
- 内存溢出保护：设置
spark.executor.extraJavaOptions和spark.driver.extraJavaOptions来配置 JVM 参数。 - Off-Heap 存储：通过
spark.memory.offHeap.enabled和spark.memory.offHeap.size启用 Off-Heap 存储。 - 线程池大小：通过
spark.executor.cores设置合适的线程池大小。 - 直接内存：通过
spark.driver.memoryFraction和spark.executor.memoryFraction控制堆外内存的使用。
hive优化你用过哪些，数据倾斜遇到过吗
Hive 优化：
- 索引：为经常查询的列创建索引。
- 分区表：根据常用筛选条件进行分区，减少扫描的数据量。
- 压缩：使用高效的压缩算法，如 Snappy 或 Parquet，减少 I/O 开销。
- 小文件合并：通过 MapReduce 或其他手段合并小文件，减少 Map 任务的数量。
- 连接优化：使用合适的连接类型（如 Map Join、Bucket Join）减少数据传输。
- 查询优化：避免在 WHERE 子句中使用 NOT IN 和 IN，尽量使用 JOIN 替代。
数据倾斜：
数据倾斜是指数据在分区或表中分布不均，导致某些任务处理的数据量远大于其他任务。这种情况可能导致整个查询效率低下。
解决方法：
- 重新分区：通过增加分区数或重新组织数据分布来改善数据倾斜。
- 采样：使用采样来估计数据分布，从而更好地进行分区。
- 自定义分区器：编写自定义分区器来控制数据的分布。
- 倾斜数据过滤：使用 Map Join 或 Bucket Join 来处理倾斜数据。
- 参数调整：调整 Hive 的参数，如
hive.map.aggr和hive.groupby.skewindata来处理倾斜。
你采用的数据存储格式是什么，相比于其他有什么优势
在大数据处理场景中，我采用的存储格式通常是 Parquet。Parquet 是一种列式存储格式，它具有以下优势：
- 压缩效率高：由于 Parquet 是列式存储，因此对于重复性较高的数据可以达到更高的压缩比。
- 支持高效查询：Parquet 支持对特定列进行查询而无需读取整个文件，这可以显著减少 I/O 操作，提高查询速度。
- 元数据丰富：Parquet 文件包含丰富的元数据，这有助于优化查询计划，例如跳过不必要的数据块。
- 跨语言兼容：Parquet 是一种开放标准，多种编程语言和工具都支持 Parquet 格式，这意味着可以在不同的工具之间无缝交换数据。
- 可扩展性强：Parquet 支持嵌套的数据结构，如数组和映射，这使得它可以很好地适应复杂的业务数据模型。
flink和spark的区别是什么
Apache Flink 和 Apache Spark 都是流行的分布式计算框架，它们各自有一些独特之处：
处理模型：
- Flink 是一个真正的流处理框架，它支持事件时间处理，可以很好地处理无界数据流。
- Spark 则主要是一个批处理框架，虽然 Spark Streaming 提供了流处理能力，但它本质上仍然是通过微批处理的方式来处理数据流。
状态管理：
- Flink 提供了强大的状态管理和容错机制，能够保证精确一次（exactly-once）的状态一致性。
- Spark 的状态管理相对简单，主要依赖于 RDD 的不可变性和 DAG 的重算能力来恢复状态。
执行模型：
- Flink 使用的是轻量级的流式计算模型，数据处理延迟较低。
- Spark 使用的是基于内存的批处理模型，适用于需要频繁访问内存中的数据的场景。
社区与生态系统：
- Flink 和 Spark 都拥有活跃的社区和支持，但 Spark 的生态系统更为成熟，支持更多的外部系统和工具。
hashmap的底层原理是什么
HashMap 的底层实现主要基于哈希表。它使用哈希函数将键映射到数组的索引位置，并通过链表或红黑树来处理哈希冲突。以下是 HashMap 的一些关键特性：
- 哈希函数：将键映射成一个整数哈希码。
- 链地址法：当两个键的哈希码相同时，会使用链表或红黑树来存储这些键值对。
- 负载因子：默认为 0.75，用于决定何时进行扩容，以保持哈希表的性能。
- 动态扩容：当元素数量达到阈值时，HashMap 会自动扩大容量并重新哈希。
你用过的一些linux命令
在 Linux 环境下工作时，我使用过许多常用的命令，例如：
ls: 列出目录内容。cd: 切换目录。mkdir: 创建目录。rm: 删除文件或目录。mv: 移动或重命名文件。cp: 复制文件或目录。grep: 在文件中搜索匹配的字符串。find: 查找文件或目录。tar: 打包和解包文件。ssh: 安全地远程登录到另一台机器。top: 显示系统资源使用情况。ps: 查看进程状态。kill: 终止进程。
hbase中rowkey的设计原则是什么，如何解决热点现象
HBase 中 RowKey 的设计非常重要，因为它直接影响数据的分布和查询性能。RowKey 的设计原则包括：
- 唯一性：确保每个 RowKey 都是唯一的。
- 排序性：如果查询操作需要按照一定顺序检索数据，则 RowKey 应该反映这种顺序。
- 分散性：RowKey 应该均匀分布，避免数据集中在某些 Region 上。
解决热点现象的方法：
- 散列 RowKey：通过散列函数来打乱 RowKey 的自然顺序，使数据分布更加均匀。
- 前缀反转：将时间戳或其他变化快的部分放在 RowKey 的前面，以确保数据在时间维度上均匀分布。
- RowKey 分段：通过在 RowKey 中添加额外的信息（如日期或分区标识符）来避免热点。
有什么方法取出hashmap中的所有key，怎么去遍历key，不是value
要取出 HashMap 中的所有 key，可以使用 keySet() 方法。示例代码如下：
Map map = new HashMap<>(); // 添加元素 map.put("one", 1); map.put("two", 2); // 获取所有 key 的 Set Set keys = map.keySet(); // 遍历 key for (String key : keys) { System.out.println(key); } 遍历 key 的另一种方式是使用 entrySet() 方法，这样可以同时获取 key 和 value，然后仅遍历 key：
for (Map.Entry entry : map.entrySet()) { String key = entry.getKey(); System.out.println(key); } java从编译到运行发生了什么
Java 代码从编写到运行的过程中经历了多个步骤：
- 源代码编写：程序员使用 Java 编程语言编写源代码。
- 编译：Java 源代码文件（
.java）通过 Java 编译器（如 javac）编译成字节码文件（.class）。 - 类加载：JVM 加载字节码文件，并将它们转换为运行时数据结构。
- 链接：JVM 将字节码文件与已加载的类关联起来，进行验证、准备和解析。
- 初始化：执行类构造器
- 执行：JVM 解释或 JIT 编译字节码，执行程序逻辑。
一台服务器特别卡，应该怎么处理
当服务器出现性能问题时，可以采取以下步骤进行排查和处理：
- 监控系统：使用工具如
top,htop,iostat,vmstat等监控 CPU、内存、磁盘 I/O 和网络 I/O 的使用情况。 - 查看日志：检查系统日志和应用日志，寻找错误信息或异常。
- 资源限制：检查是否有进程占用了过多的资源，使用
ps aux或top来查找高负载进程。 - 内存泄漏：如果是 Java 应用，使用 JMX 或其他工具检查是否存在内存泄漏。
- 磁盘空间：使用
df -h检查磁盘空间是否足够。 - 网络延迟：使用
ping或traceroute检查网络连接状态。 - 系统调优：根据监控结果调整系统配置，如调整虚拟内存、修改调度策略等。
- 软件升级：考虑更新软件版本，修复已知的性能问题。
- 重启服务：在排除其他问题后，重启服务可能会有所帮助。
shullfe为什么环形缓冲区80% 大于或小于行不行
在 Spark 中，shuffle 过程中使用的环形缓冲区默认占用每个任务可用内存的 80%。这是因为：
- 性能平衡：80% 的设置是在内存使用和磁盘溢出之间取得一个较好的平衡点。
- 内存管理：保留 20% 的内存空间用于其他操作，比如内存管理和其他非 shuffle 相关的任务。
如果设置为大于 80%，可能会导致内存不足，从而影响其他操作的性能；如果设置为小于 80%，可能会导致环形缓冲区提前溢出到磁盘，增加磁盘 I/O，降低 shuffle 的效率。因此，80% 的设置是一个合理的折衷方案。
namenode怎么保证开机还有之前的记录
Namenode 是 Hadoop 分布式文件系统（HDFS）的核心组件之一，负责管理文件系统的命名空间。为了确保 Namenode 在重启后仍然能够恢复之前的元数据状态，Hadoop 使用了以下机制：
编辑日志（Edit Log）：每当 Namenode 接收到客户端的文件系统元数据更改请求时，都会先将这些更改写入到 Edit Log 文件中。Edit Log 记录了文件系统的变更操作，如创建文件、删除文件、重命名文件等。
FsImage 文件：FsImage 文件保存了文件系统元数据的一个快照。Namenode 启动时，会从 FsImage 文件中加载最新的元数据状态，并重放 Edit Log 文件来恢复任何未提交的事务。
Checkpoint：Secondary Namenode（或 Checkpoint Namenode）定期合并 FsImage 文件和 Edit Log 文件，生成一个新的 FsImage 文件。这个过程称为 Checkpoint。这减少了 Namenode 重启时需要重放的日志量，加快了启动过程。
安全模式：Namenode 启动后会进入安全模式，在此期间不允许对文件系统进行写操作，直到 Namenode 完成了元数据的恢复和状态检查。
持久化：通过将 FsImage 和 Edit Log 存储在可靠的持久化存储中（如硬盘），即使 Namenode 重启或故障，这些文件也可以被恢复。
hbase的特点和底层，和mysql有什么区别
HBase 是一个分布式、多维、稀疏的列族数据库，它是基于 Google Bigtable 论文设计的。HBase 有以下几个特点：
- 水平扩展：HBase 被设计用于横向扩展，能够支持非常大的数据集。
- 列族存储：数据按照列族存储，而不是传统的行存储。
- 稀疏性：HBase 可以处理大量稀疏数据，即大部分单元格为空的数据表。
- 实时读写：支持低延迟的随机读写访问。
- 版本控制：每个单元格的数据可以有多个版本，并且这些版本会被保留一段时间。
- 分区存储：数据自动分区到集群的不同节点上，每个分区称为一个 Region。
HBase 的底层架构 包括 RegionServer 和 HMaster。RegionServer 负责处理用户请求，管理多个 Region。HMaster 是集群中的主控节点，负责协调 RegionServer 之间的任务分配、负载均衡等工作。
HBase 与 MySQL 的区别：
- 数据模型：MySQL 使用关系模型，而 HBase 使用列族模型。
- 扩展性：MySQL 通常通过垂直扩展来提升性能，而 HBase 通过水平扩展。
- 数据类型：MySQL 支持各种数据类型和 SQL 查询，而 HBase 主要支持基本的数据类型和简单的过滤器查询。
- 事务支持：MySQL 支持 ACID 事务，而 HBase 不支持跨行事务。
- 存储方式：MySQL 存储数据在硬盘上，而 HBase 使用 HDFS 存储数据。
zookeper的leader选举机制，常见的一些应用场景，举例说明
Zookeeper 使用 ZAB 协议来进行 Leader 选举。当集群中的大多数 Server 可用时，Leader 选举过程如下：
- 投票阶段：当 Zookeeper 集群中的一个 Server 发现自己与其他 Server 的连接断开时，它会发起选举过程。每个 Server 都会发送一个投票消息给集群中的其他 Server，投票中包含自己的 Server ID 和一轮选举的轮次号。
- 选票比较：每个 Server 接收到来自其他 Server 的投票后，会比较投票中的 Server ID 和轮次号，选择 Server ID 最大的 Server 作为投票对象。
- 多数派获胜：当一个 Server 收到超过半数的 Server 的投票时，它成为 Leader。
Zookeeper 的常见应用场景：
- 配置管理：Zookeeper 可以用来集中管理配置信息，确保应用程序在不同环境中使用相同的配置。
- 命名服务：Zookeeper 可以为集群中的服务提供统一的命名机制。
- 集群管理：Zookeeper 可以跟踪集群中的成员，维护集群的健康状态。
- 分布式锁：Zookeeper 可以实现分布式锁机制，保证分布式环境下的互斥访问。
- 队列管理：Zookeeper 可以用来实现分布式队列，如消息队列、任务队列等。
常见的排序算法，时间复杂度，空间复杂度
快速排序
- 时间复杂度：平均 O(n log n)，最坏 O(n^2)。
- 空间复杂度：O(log n)。
归并排序
- 时间复杂度：O(n log n)。
- 空间复杂度：O(n)。
插入排序
- 时间复杂度：平均 O(n^2)，最好 O(n)。
- 空间复杂度：O(1)。
冒泡排序
- 时间复杂度：O(n^2)。
- 空间复杂度：O(1)。
选择排序
- 时间复杂度：O(n^2)。
- 空间复杂度：O(1)。
堆排序
- 时间复杂度：O(n log n)。
- 空间复杂度：O(1)。
synchronized关键字的使用
synchronized 是 Java 中的关键字，用于实现同步。它可以修饰方法或者代码块：
- 修饰方法：当修饰一个实例方法时，它的锁对象是该实例对象本身；当修饰一个静态方法时，它的锁对象是该类的 Class 对象。
- 修饰代码块：可以通过指定一个对象作为锁来实现同步，该对象称为监视器锁。
示例代码如下：
public class SynchronizedExample { public synchronized void method() { // 同步方法体 } public void anotherMethod() { synchronized (this) { // 同步代码块 } } }volatile关键字，和synchronized的区别
volatile 关键字用于标记变量，以确保该变量对所有线程可见。它主要用于解决变量的可见性问题，但不保证原子性：
- 可见性：当一个线程修改了一个 volatile 变量后，其他线程能够立即看到这个变化。
- 不保证原子性：volatile 只能保证读写操作的原子性，对于复合操作则不能保证。
volatile 和 synchronized 的主要区别在于：
- 锁的粒度：
synchronized可以锁定对象或代码块，而volatile只能应用于变量。 - 原子性：
synchronized可以保证原子性，而volatile仅保证变量的可见性。 - 成本：使用
volatile的成本较低，因为不需要进行加锁解锁的操作。
Java的内存回收怎么做的
Java 的内存回收主要由垃圾收集器（Garbage Collector, GC）完成，它自动管理堆内存中的对象生命周期。GC 的主要目标是释放不再使用的对象所占用的内存。GC 的工作原理可以概括为以下几点：
- 可达性分析：通过根对象集合（如线程栈中的局部变量、静态变量等）出发，如果一个对象可以从根对象集合到达，则认为该对象是可达的，否则认为是不可达的。
- 标记-清除：首先标记出所有不可达的对象，然后清除这些标记的对象。
- 复制算法：将存活的对象复制到另一个同样大小的空间中，这种方式适用于新生代的内存回收。
- 标记-整理：标记完成后，将所有存活的对象向一端移动，然后直接清理掉端边界以外的内存。
- 分代收集：将堆分为年轻代（Young Generation）和老年代（Old Generation），年轻代又分为 Eden 区和 Survivor 区。新创建的对象首先放入 Eden 区，经过几次 GC 后才可能晋升到老年代。
hashmap和treemap的区别
HashMap 和 TreeMap 都是 Java 中的 Map 实现，但它们之间存在一些重要的差异：
- 键的排序：HashMap 中的键是无序的，而 TreeMap 中的键是按照自然顺序或者自定义的比较器排序的。
- 性能：HashMap 的增删改查操作平均时间复杂度为 O(1)，而 TreeMap 的时间复杂度为 O(log n)。
- 空间复杂度：HashMap 的空间复杂度通常更低，因为它使用哈希表实现；而 TreeMap 使用红黑树实现，空间复杂度略高。
- 线程安全性：HashMap 不是线程安全的，而 TreeMap 也不是线程安全的，但在并发访问时 TreeMap 的性能通常更差。
红黑树有什么特点
红黑树是一种自平衡二叉查找树，它具有以下特点：
- 节点颜色：每个节点都有一个颜色属性，可以是红色或黑色。
- 根节点黑色：根节点总是黑色。
- 没有连续的红色节点：从任一节点到其每个叶子的所有路径上不能有两个连续的红色节点。
- 所有路径相同：从任一节点到其每个叶子的所有简单路径上都含有相同数目的黑色节点。
- 自平衡：在插入和删除操作之后，红黑树通过旋转和重新着色来保持平衡。
队列和栈结构
队列（Queue）是一种先进先出（FIFO）的数据结构。队列的主要操作包括：
- 入队（enqueue）：在队列尾部添加一个元素。
- 出队（dequeue）：从队列头部移除一个元素。
栈（Stack）是一种后进先出（LIFO）的数据结构。栈的主要操作包括：
- 压栈（push）：在栈顶添加一个元素。
- 弹栈（pop）：从栈顶移除一个元素。
队列和栈都是常用的数据结构，广泛应用于各种算法和程序设计中。队列常用于需要按照先进先出顺序处理数据的场景，而栈则适用于需要后进先出顺序处理数据的情况。
Java的内存回收怎么做的
Java 的内存管理是通过垃圾收集器（Garbage Collector, GC）自动完成的。垃圾收集器的主要任务是在程序运行过程中自动识别并回收那些不再被引用的对象所占用的内存空间。Java 的内存管理分为几个主要部分：
内存区域划分：
- Eden：年轻代中的主要区域，用于存放新创建的对象。
- Survivor：年轻代中的两个小区域，用于存放每次 GC 后还存活的对象。
- Old：老年代，存放长期存活的对象。
- PermGen 或 Metaspace：存放类的元数据，Java 8 之前使用 PermGen，Java 8 开始使用 Metaspace。
垃圾回收算法：
- 标记-清除（Mark-Sweep）：标记所有需要回收的对象，然后清除这些标记的对象。这种算法可能导致内存碎片。
- 标记-整理（Mark-Compact）：除了标记和清除外，还会整理剩余的对象，避免内存碎片。
- 复制算法：年轻代中的 Eden 区和 Survivor 区采用复制算法，将存活的对象复制到另一个 Survivor 区。
- 分代收集：年轻代和老年代分别使用不同的算法进行垃圾回收。
垃圾收集器：
- Serial Collector：单线程的垃圾收集器，适合单 CPU 的环境。
- Parallel Collector：多线程的垃圾收集器，适合多核 CPU 的环境。
- CMS Collector：并行的垃圾收集器，注重响应时间，减少停顿时间。
- G1 Collector：面向服务器的垃圾收集器，目标是最小化停顿时间。
触发条件：
- Minor GC：当 Eden 区满时触发，回收年轻代。
- Major GC/Full GC：当老年代空间不足时触发，回收整个堆区。
hashmap和treemap的区别
HashMap 和 TreeMap 都是 Java 中实现 Map 接口的具体类，它们之间有几个关键的区别：
键的排序：
- HashMap：键是无序的，插入顺序不一定得到保持。
- TreeMap：键按照自然顺序或自定义的比较器进行排序。
性能：
- HashMap：提供 O(1) 的平均时间复杂度来执行基本操作（get 和 put）。
- TreeMap：提供 O(log n) 的时间复杂度来执行基本操作，其中 n 是键的数量。
线程安全性：
- HashMap：不是线程安全的。
- TreeMap：同样不是线程安全的，但 TreeMap 的性能通常比 HashMap 更慢，尤其是在并发环境下。
空间复杂度：
- HashMap：空间复杂度较低，因为它使用哈希表实现。
- TreeMap：空间复杂度略高，因为它使用红黑树实现。
实现细节：
- HashMap：使用哈希表实现，内部维护了一个数组和链表或红黑树（当链表过长时转换为红黑树）。
- TreeMap：使用红黑树实现，保证了键的有序性。
红黑树有什么特点
红黑树是一种自平衡的二叉查找树，它具有以下特点：
- 节点颜色：每个节点都有一个颜色属性，可以是红色或黑色。
- 根节点黑色：根节点的颜色总是黑色。
- 没有连续的红色节点：从任一节点到其每个叶子的所有路径上不能有两个连续的红色节点。
- 所有路径相同：从任一节点到其每个叶子的所有简单路径上都含有相同数目的黑色节点。
- 自平衡：在插入和删除操作之后，红黑树通过旋转和重新着色来保持平衡。
这些特性使得红黑树能够保持良好的平衡性，从而在最坏情况下提供 O(log n) 的时间复杂度。
队列和栈结构
队列（Queue）和 栈（Stack）是两种基本的数据结构，它们在计算机科学中扮演着重要角色。
队列：
- 先进先出（First In First Out, FIFO）：队列遵循先进先出的原则，即最先加入队列的元素最先被移除。
- 主要操作：入队（enqueue）和出队（dequeue）。
- 应用：队列常用于需要按照先进先出顺序处理数据的场景，例如任务调度、消息队列等。
栈：
- 后进先出（Last In First Out, LIFO）：栈遵循后进先出的原则，即最后加入栈的元素最先被移除。
- 主要操作：压栈（push）和弹栈（pop）。
- 应用：栈常用于需要后进先出顺序处理数据的情况，例如函数调用栈、表达式求值等。
你项目里的熔断器的原理？
熔断器（Circuit Breaker）是一种常见的容错模式，用于在系统中检测和隔离故障组件，以防止故障扩散。熔断器的基本原理是：
- 监控：监测某个服务或操作的健康状况，比如响应时间、失败率等。
- 故障检测：当检测到某个服务或操作频繁失败时，熔断器会打开，停止对该服务的调用。
- 降级：熔断器打开后，可以提供一个备选方案或默认值，以避免整个系统崩溃。
- 恢复：熔断器会在一定时间后尝试“半开”，即允许有限的流量通过，以测试服务是否已恢复正常。
- 关闭：如果服务恢复正常，熔断器会关闭，恢复正常的流量控制。
SQL调优怎么做的？
SQL 性能调优是一个涉及多个方面的过程，主要包括以下几个方面：
- 查询优化：优化 SQL 语句，避免不必要的全表扫描，使用索引等。
- 索引优化：合理地创建和使用索引，减少查询的时间。
- 统计信息更新：定期更新数据库统计信息，帮助优化器选择更好的执行计划。
- 数据库配置：调整数据库配置参数，比如缓存大小、并发级别等。
- 硬件优化：增加内存、使用更快的磁盘等。
- 分区：使用分区技术来分割大表，提高查询效率。
- 存储引擎选择：根据实际需求选择合适的存储引擎，如 InnoDB、MyISAM 等。
MVC架构里用到了什么设计模式？
MVC（Model-View-Controller）架构是一种广泛使用的软件架构模式，它将应用程序分为三个核心组件：
- Model：模型层负责管理应用程序的数据和业务逻辑。
- View：视图层负责展示数据给用户。
- Controller：控制器层负责接收用户的输入，并调用模型和视图来完成相应的业务逻辑和显示更新。
在 MVC 架构中，除了 MVC 本身的模式之外，还可以用到其他的设计模式，如：
- 工厂模式：用于创建控制器实例。
- 观察者模式：模型变化时通知视图更新。
- 策略模式：控制器中可以使用不同的策略来处理用户请求。
- 适配器模式：适配不同的数据源或外部服务。
那你讲讲Java里的设计模式
Java 设计模式是一组在 Java 编程中常用的解决方案，用于解决常见的设计问题。这里列出一些常见的设计模式及其简要介绍：
- 单例模式：确保一个类只有一个实例，并提供一个全局访问点。
- 工厂模式：定义一个创建对象的接口，让子类决定实例化哪一个类。
- 抽象工厂模式：提供一个创建一系列相关或相互依赖对象的接口，而无需指定它们具体的类。
- 建造者模式：将一个复杂对象的构建与它的表示分离，使得同样的构建过程可以创建不同的表示。
- 原型模式：用原型实例指定创建对象的种类，并通过复制这些原型创建新的对象。
- 适配器模式：将一个类的接口变换成客户端所期望的另一种接口。
- 装饰器模式：动态地给一个对象添加一些额外的职责。
- 代理模式：为其他对象提供一种代理以控制对这个对象的访问。
- 外观模式：为子系统中的一组接口提供一个一致的界面。
- 桥接模式：将抽象部分与它的实现部分分离，使它们都可以独立地变化。
- 组合模式：将对象组合成树形结构以表示“部分-整体”的层次结构。
- 享元模式：运用共享技术有效地支持大量细粒度的对象。
- 命令模式：将一个请求封装为一个对象，从而使你可用不同的请求对客户进行参数化。
- 迭代器模式：提供一种方法访问一个容器对象中各个元素，而又不需暴露该对象的内部细节。
- 中介者模式：定义一个中介对象来简化原有对象之间的交互。
- 备忘录模式：在不破坏封装性的前提下捕获一个对象的内部状态，并在该对象之外保存这个状态。
- 观察者模式：定义对象间的一种一对多的依赖关系，当一个对象的状态发生改变时，所有依赖于它的对象都得到通知并被自动更新。
- 策略模式：定义一系列的算法，把它们一个个封装起来，并且使它们可相互替换。
- 模板方法模式：定义一个操作中的算法的骨架，而将一些步骤延迟到子类中。
- 解释器模式：给定一个语言，定义它的文法的一种表示，并定义一个解释器，这个解释器使用该表示来解释语言中的句子。
给定一颗二叉树，按照从顶部到底部的顺序，返回从右侧能看到的节点值？
这个问题可以通过广度优先搜索（BFS）的方法来解决，每层记录最后一个节点的值即可。
示例代码
import java.util.ArrayList; import java.util.LinkedList; import java.util.List; import java.util.Queue; class TreeNode { int val; TreeNode left; TreeNode right; TreeNode(int x) { val = x; } } public List rightSideView(TreeNode root) { List result = new ArrayList<>(); if (root == null) { return result; } Queue queue = new LinkedList<>(); queue.offer(root); while (!queue.isEmpty()) { int size = queue.size(); for (int i = 0; i < size; i++) { TreeNode current = queue.poll(); if (i == size - 1) { result.add(current.val); } if (current.left != null) { queue.offer(current.left); } if (current.right != null) { queue.offer(current.right); } } } return result; } 写Java代码-搜索螺旋排序数组
螺旋排序数组指的是一个二维数组，按照螺旋顺序填充数值。给定一个这样的数组和一个目标值，我们需要找到目标值的位置。假设数组是一个正方形矩阵。
示例代码
public class SpiralSearch { public static int[] searchSpiral(int[][] matrix, int target) { int top = 0, bottom = matrix.length - 1; int left = 0, right = matrix[0].length - 1; int row = -1, col = -1; while (top <= bottom && left <= right) { // Traverse right for (int i = left; i <= right; i++) { if (matrix[top][i] == target) { row = top; col = i; break; } } if (row != -1) break; top++; // Traverse down for (int i = top; i <= bottom; i++) { if (matrix[i][right] == target) { row = i; col = right; break; } } if (row != -1) break; right--; // Traverse left for (int i = right; i >= left; i--) { if (matrix[bottom][i] == target) { row = bottom; col = i; break; } } if (row != -1) break; bottom--; // Traverse up for (int i = bottom; i >= top; i--) { if (matrix[i][left] == target) { row = i; col = left; break; } } if (row != -1) break; left++; } return new int[]{row, col}; } }这段代码实现了在一个螺旋排序的二维数组中搜索目标值的功能。你可以通过调用 searchSpiral 方法并传入矩阵和目标值来使用它。