pyCharm2019最新激活码，win, linux, mac 都可使用，亲测可用。激活步骤如下：

添加 hosts 解析

添加下面一行到hosts文件，目的是屏蔽掉Pycharm对激活码的验证

• windwos系统hosts文件路径为：C:\Windows\System32\drivers\etc
  如果遇到权限问题，可将hosts文件先复制出来修改后再覆盖原来的即可。
• Linux和mac的hosts文件路径为：/etc/hosts , 如有权限问题。可以用 sudo vim /etc/hosts

添加一条解析记录：

1

0.0.0.0	account.jetbrains.com

Marathon上的任务可能会因为其他原因，卡在那，不能被删除掉， 一直在deployment。这时候我们需要强制删除掉。

强制杀掉 deployment

删除deployment上的任务，需要知道deployment上的id

1
2
3
4

marathonAddr="http://192.168.0.11:8080";
deployment_id="14eed224-6f75-41fs-8339-ce6a758sdfr32";
apiPath="/v2/deployments/${deployment_id}"
curl -X DELETE ${marathonAddr}${apiPath}?force=true

这样就可以再命令行上删除deployment上的任务了，

rsync、wget本地拉取yum源

我们本地搭建yum源的时候，需要从官网拉取所有rrpm包到本地。再创建repo。这时候我们需要批量下载的方法。 有的镜像源提供了rsync接口，我们可以用rsync同步。没有的话我们可以用wget下载。

centos 官网提供了所有的镜像地址 list，https://www.centos.org/download/mirrors/
可以上着上选择可以用的镜像地址

后面有rsync的地址的镜像源，我们就可以使用rsync

rsync 方法

现在说一下rsync。 rsync同步还是比较简单的。 找到提供rsync接口的镜像源。之后再找到你要的系统相应的版本。

Hadoop日志按天分割和开启审计日志

日志按天分割

hadoop 各个组件默认日志是大小分割的，到一定大小就分割出 .1 .2 .3 .4这样的文件，这样我们在查找问题的时候不是好定位你要的那天日志在哪个文件中。要是一天一个文件，按照日志的话就很好定位了。

在这里介绍一下hadoop按天切分日志的方法。

方法一 修改变量

hbase

1
2
3

hbase-env.sh
添加：
export HBASE_ROOT_LOGGER=INFO,DRFA

hive 创建一个简单外联表

hdfs 创建目录

首先需要在hdfs上创建一个目录，用于存放hive表得数据。

1

hdfs dfs -mkdir /tmp/yarn-count-application

hive 创建表

这时候可以再hive上创建外联表了。

有时候shell脚本可以放在http页面上，不用download，可以直接执行。

通常我们可以用curl的方式执行http页面上的shell脚本。 一般方式是：

1

curl http://sukbeta.github.io/web/shell.sh | bash

这样脚本就可以再本地机器上执行了。

但是需要传入参数的脚本。我们可以用下面的方式传入shell参数

• -s方式

1

curl -s http://sukbeta.github.io/web/shell.sh | bash -s arg1 arg2

hadoop修改文件副本数

Hadoop上默认一个人间的副本数是3，这个也是可以再配置文件中<dfs.replication>参数修改的。

这里我们说一下，上传一个文件的时候更改文件的副本数。让他不用默认的副本数。

上传文件

命令上传文件，副本数为1

1

hadoop dfs -D dfs.replication=1 -put 123.lzo /temp/123.lzo

查看文件的副本数

查看整的dfs上的文件副本数

hadoop设置目录配额-setSpaceQuota

在多人共用HDFS的环境下，配置设置非常重要。特别是在Hadoop处理大量资料的环境，如果没有配额管理，很容易把所有的空间用完造成别人无法存取。Hdfs的配额设定是针对目标而不是针对账号，所有在管理上最好让每个账号仅操作某一个目录，然后对目录设置配置。

设定方法有两种：

• Name Quotas：设置某一个目录下文件总数
• Space Quotas：设置某一个目录下可使用空间大小

Hadoop可以通过该命令可以来限定某个hdfs目录的大小：

设置配额

设置100G的目录配额，

查看docker容器日志

通过docker logs命令可以查看容器的日志。

docker logs 日志说明

当我们输入docker logs的时候会转化为Docker Client向Docker Daemon发起请求,Docker Daemon 在运行容器时会去创建一个协程(goroutine)，绑定了整个容器内所有进程的标准输出文件描述符。因此容器内应用的所有只要是标准输出日志，都会被 goroutine 接收，Docker Daemon会根据容器id和日志类型读取日志内容，最终会输出到用户终端上并且通过json格式存放在/var/lib/docker/containers目录下。

docker logs是跟随容器而产生的，如果删除了某个容器，相应的日志文件也会随着被删除

命令说明

命令格式

hadoop上命令行查看lzo、gz、bz文件

HDFS上的文件可能是压缩的，所以用cat不能直接查看。hadoop上默认支持lzo、gz、bz2、snappy压缩格式。

我们用命令行查看HDFS上压缩文件，也是可以的。

lzo文件

• 查看 HDFS 上 lzo 文件的命令

1
2
3
4
5

hadoop fs -cat /Data/Logs/2018-08-22/2018-08-22_log.lzo | lzop -dc | head -1

或

hadoop fs -cat /Data/Logs/2018-08-22/2018-08-22_log.lzo | lzop -dc | head -1     lzop 会接受输入流然后解压输出流给head显示第一行

gzip 文件

• 查看 HDFS 上 gzip 文件的命令