发表于 | 分类于 |
本页面为个人收藏的常用web访问 持续更新 ……
常用网站
web url web url web url
leso乐搜 Google Bing
搬瓦工 python coolbook 火币网
Shadowsocks github Shadowsocks sourceforge 虚拟货币走势
在线画图 processon 在线压缩(图片、PDF) 爱资料工资(在线小工具)
比价网 在线画图ProcessON 在线扣图、图片处理
写简历 google list yandex搜索
喜欢书签找网站资源 在线文档图片编辑转换 程序员导航
PDF转换工具 腾讯-帮小忙在线工具 TinyWow在线工具
阅读全文 »

发表于 | 分类于 |


有的时候我们需要执行hive的时候带一些参数，以便我们后期任务分析、排查等问题。所以这里我们说一下自定义参数的作用。

hive 命令指定参数

执行hive命令的时候指定参数

1
hive --hiveconf hive.job.submit.username=shining -e "select count(*) from temp.test_hive where pt='2019-03-21';"

也可以指定多个参数

阅读全文 »

发表于 | 分类于 |
elasticsearch导出、导入工具-elasticdumpelasticsearch 数据导入到本地，或本地数据导入到elasticsearch中，或集群间的数据迁移，可以用elasticsearch的工具—elasticdump elasticdump github 地址： https://github.com/taskrabbit/elasticsearch-dump?utm_source=dbweekly&utm_medium=email elasticdump 可以用用npm安装本地运行，也可以用docker容器运行。在这里我说一下npm安装本地运行、docker运行可以参考github文章。 npm 安装 elasticdump先下载安装npm 12345678910111213141516171819# 以下我尽量都用绝对路径吧。 发现好多文章里的路径写的不清晰......cd /home/shiningwget https://nodejs.org/dist/v8.11.2/node-v8.11.2-linux-x64.tar.xztar -xf node- ...
阅读全文 »

发表于 | 分类于 |

kafka 在 0.9 版本之后，kafka的消费者组和offset信息就不存zookeeper了。

0.9 之前版本查看所有消费组：

1
2
3
4
5
6
7
8
./kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --list

erro-info-group
console-consumer-64036
console-consumer-98298
logstash-new
console-consumer-89310
console-consumer-48800

新版本 0.9 版本之后查看所有消费组

阅读全文 »

发表于 | 分类于 |
python 3.5pip 18.1 更新之后，pycharm安装package出现报错：module ‘pip’ has no attribute ‘main’ 找到安装目录下 helpers/packaging_tool.py文件。 pycham报错信息里会有显示 packaging_tool.py 文件的配置。 找到下面代码： 第一部分 123456def do_install(pkgs): try: import pip except ImportError: error_no_pip() return pip.main(['install'] + pkgs) 替换为： 12345678910def do_install(pkgs): try: # import pip try: from pip._internal import main except Exception: from pip import main ...
阅读全文 »

发表于 | 分类于 |

nginx url跳转、rewrite实例

nginx 的 rewrite 语法
语法: rewrite regex replacement flag
默认: none
作用域: server, location, if
此指令根据表达式来更改URI，或修改字符串。
指令根据配置文件中的顺序来执行。
注意：
重写表达式只对相对路径有效。如果想配对主机名，应该使用if语句。
rewrite只是会改写路径部分的东东，不会改动用户的输入参数，因此这里的if规则里面，你无需关心用户在浏览器里输入的参数，rewrite后会自动添加的，因此，只是加上了一个？号和后面我们想要的一个小小的参数 ***https=1就可以了。
nginx的rewrite规则参考：

阅读全文 »

发表于 | 分类于 |
在创建一个topic时，kafka尽量将partition均分在所有的brokers上，并且将replicas也j均分在不同的broker上。 每个partitiion的所有replicas叫做”assigned replicas”，”assigned replicas”中的第一个replicas叫”preferred replica”，刚创建的topic一般”preferred replica”是leader。leader replica负责所有的读写。 但随着时间推移，broker可能会停机，会导致leader迁移，导致机群的负载不均衡。我们期望对topic的leader进行重新负载均衡，让partition选择”preferred replica”做为leader。 查看topic详情 123456789./kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic logdata-esTopic:logdata-es PartitionCount:6 ReplicationFactor ...
阅读全文 »

发表于 | 分类于 |
环境： hive 1.2.1 hive 中文注释为乱码， 首先我们修改一下hive源数据库里的编码连接到你环境的hive源数据中。 1show create COLUMNS_V2; 可以看到 我们将COLUMNS_V2表中的COMMENT修改为utf-8 1ALTER TABLE `COLUMNS_V2` CHANGE `COMMENT` `COMMENT` varchar(256) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL; 之后在看就可以了，可以显示中文啦。
阅读全文 »