BOB体育(中国)官方网站

配置impala自动同步HMS元数据

由于Impala 的 Automatic Invalidate/Refresh Metadata的功能在CDH6.3版本才有的功能，通过以上两个升级，已经具备的该功能，下面是需要配置该功能测试环境1.CM和CDH版本为6.1.1(hive的版本升级到了CDH6.3.2-2.1.1)2.操作官方版本为RedHat 7.63.impala3.4版本操作步骤进入CM界面 > Hive > 配

hive

hadoop

bc

置顶 BOB体育官方原创精选 10天前 319 阅读

cdh6.1.1的hive升级到CDH6.3.2的hive

1.在hive创建数据库的情况下，impala无法自动刷新元数据1.1 发现问题在CDH6.1版本下创建数据库，如在hive中create database test_db; 再在impala中 show databases;没有显示test_db，说明test_db并没有刷新到Impala的catalog中，通过查找Impala Catalog的role log，发现如下的异常日志:Unexp

java

hive

apache

置顶 BOB体育官方原创精选 10天前 338 阅读

CDH6.1.1 impala3.1.0升级到3.4.1

本地环境硬件要求CPU 必须至少支持 SSSE3最小内存：16GB （社区推荐64G）硬盘空间：120GB（用于测试数据）仅支持Linux的操作官方Ubuntu 14.04、16.04、18.04CentOS 7编译环境一套CDH6.1.1集群，部署在三台centos7.6机器上一台同样环境的centos机器用来编译Apache Impala 3.4编译impala CDH6.1.1对应

cloudera

bc

apache

置顶 BOB体育官方原创 10天前 92 阅读

CDH的Hive升级后，使用spark报kryo.KryoException: java.lang.IndexOutOfBoundsException: Index: 109, Size: 6

公司用的CDH是6.1.1版本的，但是因为这个版本的impala无法自动刷hive的catlog,所以我把hive升级到了6.3.2版本的hive2.1.1了，使用mr引擎没有问题，但是我使用spark的时候就报错了23/11/20 11:39:28 ERROR rpc.RpcDispatcher: [Remote Spark Driver to HiveServer2 Connection] R

java

hive

apache

置顶 BOB体育官方原创 10天前 85 阅读

Namenode报 failed； error=‘Cannot allocate memory‘ (errno=12)

因为我的CDH平台用的是虚拟机跑的，上面部署的服务太多了，在重启namenode以后出现down的状态，一直起不来，后来查看error日志，报以下错误：Namenode报 failed； error=‘Cannot allocate memory‘ (errno=12)一、解决办法：由于报错os::commit_memory(0x00000000fec00000, 20971520, 0)，但是经

内存分配策略

重启

内存空间

置顶 BOB体育官方原创精选 11天前 200 阅读 1点赞

ClouderaManager中Event Server报java.io.IOException: No sub-file with id .fnm found

晚上9点30:03.266分 ERROR EventCatcherService Error starting EventServer java.io.IOException: No sub-file with id .fnm found (fileName=_1f9.cfs files: [f474fa52c5c7e5cfdc49"resourcemanager (wyx-cdh-,

java

cloudera

lucene

置顶 BOB体育官方原创 14天前 89 阅读

编译impala3.4.1的时候在cdh服务器上出现namenode的进入安全模式的报错

原因：我在CDH的HDFS上编译的impala3.4成功以后，HDFS的Namenode的报错进入了安全模式，报错内容如下备注：如果不了解编译的内容，最好是在新的机器上编译，不然会破坏原官方的稳定性分析原因：在编译impala的时候，脚本中更改了服务器的hosts,重新安装了java环境以上是更改了原服务器的环境的配置解决方案：1.删除java的yum安装包2.清理hosts文件夹中用脚本生成的服

服务器

HDFS

yum安装

置顶 BOB体育官方原创 1月前 60 阅读

mysql数据库连通性测试并告警

#!/bin/bash # MySQL查询结果文件路径 result_file="/root/result.txt" # 微信告警信息 weixin_webhook="http://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=替换成自己的KEY" APPLICATION_JSON_TYPE="Content-Type

MySQL

微信

连接失败

置顶 BOB体育官方原创 1月前 124 阅读

Impala刷新hive的元数据

1.脚本#!/bin/bash # 设置Impala的连接属性 im_host="192.168.1.1" im_port="21050" im_user="hive" im_password="11111" # 刷新元数据 echo "刷新Impala元数据..." # 执行刷新元数据的Impala命令 cmd="refresh dc_dev

元数据

hive

bc

置顶 BOB体育官方原创 2月前 222 阅读

tar的详解

[root@linux ~]# tar [-cxtzjvfpPN] 文件与目录 .... 参数： -c ：建立一个压缩文件的参数指令(create 的意思)； -x ：解开一个压缩文件的参数指令！ -t ：查看 tarfile 里面的文件！特别注意，在参数的下达中， c/x/t 仅能存在一个！不可同时存在！因为不可能同时压缩与解压缩。 -z ：是否同时具有 gzip 的属性？亦即是否需要用 g

linux

绝对路径

压缩文件

置顶 BOB体育官方原创 3月前 73 阅读

Hadoop HDFS3.0的默认配置项

namevaluedescriptionhadoop.hdfs.configuration.version1version of this configuration filedfs.namenode.rpc-addressRPC address that handles all clients requests. In the case of HA/Federation where mul

ide

RPC

HTTPS

置顶 BOB体育官方原创 3月前 184 阅读

使用python监控HDFS文件的增量【优化中】

1.目录1、需求和步骤2、项目结构3、项目BOB官方 3.1建表语句 hdfs_Ctreate_table 3.2删除文件记录 hdfs_delete_file_record.py 3.3文件路径的小时监控 hdfs_path_Monitor.py

mysql

hdfs

sql

置顶 BOB体育官方原创精选 3月前 390 阅读 1点赞 1评论

Hbase 删除表数据

1.Hbase 清空整个表数据注意：清空表数据是否要保留预分区# truncate会把表分区也清除掉 truncate 'namespace:tableName' # truncate_preserve只清除数据 truncate_preserve 'namespace:tableName2.删除具体数据# 删除emp表中特定的单元格数据 delete 'emp','row','col

数据

表数据

表分区

置顶 BOB体育官方原创 3月前 254 阅读

Nebula图数据库网络监控无法显示的问题

背景：因公司使用的图数据是Nebula，在部署监控的过程发现无法获取网络监控的前端显示，原因是生产上有虚拟网络，而且不是以eth开头的，这个需要修改源码才能解决1.进入nebula-dashboard的前端修改界面cd /opt/nebula-dashboard/public2.打开main.1314ff9d9190129689ac.js修改device=~"(eth|en)[a-z0-9]*"

重启

虚拟网络

网络监控

置顶 BOB体育官方原创 4月前 107 阅读

Hbase跨集群同步数据

增量同步add_peer '5', CLUSTER_KEY => "192.168.1.1,192.168.1.2,192.168.1.3:2181:/hbase", STATE => "ENABLED" set_peer_tableCFs '5', { "jfrcs:graph" => ["e", "f", "g", "h", "i", "l", "m", "s", "t"]

apache

hadoop

hdfs

置顶 BOB体育官方原创 4月前 175 阅读

Hbase报Master is initializing

报错日志 Error running canary: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=2, exceptions: Tue Jul 18 11:04:15 CST 2023, RpcRetryingCaller{globalStartTime=1689649455392,

apache

hadoop

java

置顶 BOB体育官方原创 4月前 247 阅读

解决impala查询时提示内存不足的问题

提示如下,提示可用内存为0Admission result : QueuedLatest admission queue reason : Not enough aggregate memory available 8245f198ee96ec8:74134 max mem resources 150.00 GB. Needed 38.43 GB but only 0 was available.

服务器

sql

會員註冊人员

置顶 BOB体育官方原创 4月前 347 阅读

Hbase报 Above paralle1PutTostoreThreadLimit

HBaselnterClusterReplicationEndpoint Can't replicate because of an error on the remote cluster: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException:org.apache.hadoop.hbase.client.Retri

apache

hadoop

java

置顶 BOB体育官方原创 4月前 202 阅读

DataNode的FullGC的处理过程

背景：因公司每天中午11:08~11:40之间，DataNode所有的节点都会挂一会，主要是因为任务太过于集中的原因，在加上公司的HDFS的数据存储已经快达到了2P，DataNode的GC参数还是原来的4G，需要针对问题进行处理处理方案：先查看DataNode的GC情况 jps jstat -gcutil 55336查看FGC有1574次1.先把集群中的小文件删除掉#!/usr/bin/bas

hdfs

Java

4G

置顶 BOB体育官方原创 5月前 201 阅读

Apache Dolphinscheduler集群部署

集群部署(Cluster) 1、基础软件安装(必装项请自行安装) PostgreSQL (8.2.15+) or MySQL (5.7系列)：两者任选其一即可，如 MySQL 则需要 JDBC Driver 5.1.47+ JDK (1.8+)：必装，请安装好后在 /etc/profile 下配置 JAVA_HOME 及 PATH 变量 ZooKeeper (3.4.6+)：必装 Hadoop

调度

置顶 BOB体育官方原创 2021-08-05 11:45:08 2352 阅读

调度平台找不到CDH的Spark客户端

一.背景:因为公司使用的调度平台是没有加入到CDH集群,所以只复制了/opt/cdh下的所有文件到调度平台的work节点,公司的平台一直使用的是MR引擎为调度,上周接到一个项目,必须跑spark,调度平台执行了以后报错找不到hive on spark找不到spark的客户端.FAILED: Execution Error,return code 30041 from org.apache.hado

spark

客户端

hive

置顶 BOB体育官方原创 7月前 124 阅读

Starrocks在建查hive外表时报EOFException: End of file reached before reading fully

1.在Hive外表时没有报错,但是把hive外表的数据插入到Starrcoks内表时报错如下: [Err] 1064 - HdfsOrcScanner.:do open failed. reason = Failed to read 0.error=Error(255): Unknown error 255, root cause=EOFException: End of f

hive

数据

建表

置顶 BOB体育官方原创 7月前 815 阅读

HiveServer2加载UDF函数不释放的处理

一. 故障原因:同事晚上收到服务器告警,其中OS磁盘被占用到85%(500G),查找整个OS盘下的文件占用量也没有找到占用几十几百G的大文件,其中先找到了十几个5G多的文件清理掉后,解决磁盘告警的问题,第二天同事反馈到我这里,让我排查一下原因.二.排查思路1.inode小文件,查看存在的并不多2.查看删除未释放的文件,发现有非常多调度官方中的UDF函数调用的未释放(大约有6W多)losf | gr

hive

重启

解决方案

置顶 BOB体育官方原创精选 7月前 554 阅读

HDFS中的数据迁移到阿里云的OSS脚本

#!/bin/bash oss_size1=`hdfs dfs -du -s oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/test_dbjs_home_nav/${date_desc} | awk '{print $1}'` if [[ oss_size1 -gt 0 ]] then echo "${date_desc}数据已

数据

hive

hdfs

置顶 BOB体育官方原创 7月前 157 阅读

CDH集群之间迁移hive数据脚本

#!/bin/bash #set -x DB=$1 #获取hive表定义 ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo) for tem in $ret; do hive -e "use ${DB};show create table $tem" >> /t

hive

hadoop

hdfs

置顶 BOB体育官方原创 7月前 256 阅读

生产环境CDH集群主机加内存导致官方无法启动,重装官方后CDH数据修复的过程

原因:因为主机扩容内存重启以后发现有七台服务器无法进入官方,重启之前Centos7的启动项被修改过导致无法重启,只能重新安装操作官方,但是HDFS的数据是保存到data盘中.官方OS:CentOS Linux release 7.6.1810 (Core) CDH版本:6.2.1 重新安装操作官方的服务器 10.170.12.43 db-pro-datanode-12-43 10.170.12

hdfs

重启

服务器

置顶 BOB体育官方原创 7月前 461 阅读

Starrocks的知识

Starrocks是什么，它与其他OLAP数据库的区别是什么？Starrocks是一种分布式列式存储的MPP（Massively Parallel Processing）OLAP数据库，能够支持PB级别的数据存储和查询。与传统的基于Hadoop的OLAP官方相比，Starrocks具有以下几点优势：灵活的存储格式：Starrocks使用列式存储，可以根据数据特点和查询需求进行灵活的存储格式选择，从

数据

Hive

高可用性

置顶 BOB体育官方原创精选 7月前 3689 阅读

Kafka的问题导致Starrocksr报错

因Kafka消费太慢，导致StarrocksFE报错，报错信息如下ErrorReason{errCode = 104, msg='be 11024 abort task with reason: fetch failed due to requested offset not available on the broker: Broker: Offset out of range'}"解决方案：重

报错信息

重置

解决方案

置顶 BOB体育官方原创 8月前 1227 阅读

Starrcksr报错StarRocks planner use long time 3000 ms

背景：一个监控告警的项目，执行了一条非常复杂的sql，但是执行完6S后报错如下：1064 - StarRocks planner use long time 3000 ms, This probably because 1. FE Full GC, 2. Hive external table fetch metadata took a long time, 3. The SQL is very

JVM

SQL

Hive

置顶 BOB体育官方原创 8月前 1109 阅读

Starrocks出现Lost connection to MySQL server during query

背景:在调度中出现这个报错,但是在后台执行的时候是成功的,每次在调度上执行6分钟即360S的时候出现了这个报错,排查后发现使用的nginx代理中设置的timeout设置的是360s,所以才会出现这个报错ERROR 2013 (HY000) at line 3: Lost connection to MySQL server during query解决方案:nginx中的timeout的时间调整到

nginx

MySQL

后台执行

置顶 BOB体育官方原创 8月前 479 阅读

BOB体育(中国)官方网站	全部文章	热门标签	班级官方
		意见反馈