Unix / Linux ssh-add Command Examples to Add SSH Key to Agentssh-add is a helper program for ssh-agent.ssh-add adds RSA or DSA identity files to the ssh agent. For ssh-add to work properly, the agent should be running, and have the SSH_AUTH_SOCK environment variable set. Fix “Could not Open” Error (and Add Default RSA/DSA identities)By default, when you try to execute the ssh-add command, you might get “Could not open a connection to your authentication agent.” error message as shown below. ...

CGroup 功能及组成 CGroup 是将任意进程进行分组化管理的 Linux 内核功能。CGroup 本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O 或内存的分配控制等具体的资源管理功能是通过这个功能来实现的。这些具体的资源管理功能称为 CGroup 子系统或控制器。CGroup 子系统有控制内存的 Memory 控制器、控制进程调度的 CPU 控制器等。运行中的内核可以使用的 Cgroup 子系统由/proc/cgroup 来确认。 CGroup 提供了一个 CGroup 虚拟文件系统，作为进行分组管理和各子系统设置的用户接口。要使用 CGroup，必须挂载 CGroup 文件系统。这时通过挂载选项指定使用哪个子系统。 安装cgroup服务12345centos 6yum install -y libcgroupcentos 7 yum install -y libcgroup libcgroup-tools 配置cgroup配置 这里需要是限制cpu 先创建一个组，把需要限制的进程，启动的时候放到这组下。 vim /etc/cgconfig.co ...

kafka修改分区和副本数查看现在副本分配情况123456../bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic test1Topic:test1 PartitionCount:3 ReplicationFactor:2 Configs: Topic: test1 Partition: 0 Leader: 2 Replicas: 2,4 Isr: 2,4 Topic: test1 Partition: 1 Leader: 3 Replicas: 3,5 Isr: 3,5 Topic: test1 Partition: 2 Leader: 4 Replicas: 4,1 Isr: 4,1 topic 分区扩容1./kafka-topics.sh --zookeeper 127.0.0.1:2181 -alter --partitions ...

docker 搭建macvlan 网络

简单说，macvlan就是在宿主的网卡设置多个vlan信息，根据走的网卡不同，并带有不行的vlan标记。

交换机需要支持

macvlan需要交换机上有几个设置：

• 连接宿主的交换机接口需要改为 Trunk 模式。（这样才能多vlan通过这个口通讯）
• 交换机上添加macvlan设置的相应vlan信息。
• 三层交换机上设置各个vlan的网关地址。并实现vlan间互联。

安装

环境介绍

linux 利用 inum 删除乱码文件 当系统中产生一些乱码文件的时候，rm直接是删除不掉的。如 “-，&”等一些特殊字符。 这时候我们可以利用linux 的inum 号来找到这个文件，并删除。 例如： 1234567[root@test00 ~]# ll -i总用量 4 213388 -rw-r--r--. 1 root root 0 6月 4 07:40 -c134938544 drwxr-xr-x. 2 root root 23 12月 18 05:12 123 213391 -rw-r--r--. 1 root root 0 6月 4 07:40 --poolmetadata 213390 -rw-r--r--. 1 root root 0 6月 4 07:40 --thinpool 213387 -rw-r--r--. 1 root root 0 6月 4 07:40 --zero 利用inum 号删除文件 1234删除文件或文件夹find ./ -inum 213388 -print -exec ...

logstash out file to HDFS

logstash 直接把文件内容写入 hdfs 中， 并支持 hdfs 压缩格式。
logstash 需要安装第三方插件，webhdfs插件，通过hdfs的web接口写入。
即 http://namenode00:50070/webhdfs/v1/ 接口

安装

可以在官网找到相应的版本， 我们用的是2.3.1，下载地址：

https://www.elastic.co/downloads/past-releases  

webhdfs插件地址

github地址：
  git clone  https://github.com/heqin5136/logstash-output-webhdfs-discontinued.git

官网地址及使用说明：
  https://www.elastic.co/guide/en/logstash/current/plugins-outputs-webhdfs.html

mesos 容器映射端口限制介绍 mesos 在启动容器的时候，理念是容器内的端都映射到宿主的随机端口。 在容器的时代，其实这样的理念是很好，当容器多的时候，固定端口肯定是有一定的局限性的。可以通过注册中心、mesos-dns、marathon-lb等服务来找到你要的服务地址和端口。 但是有时候有一些服务需要一些固定端口。比如cadvisor、还有我们自己写的容器，可能会映射一些其他端口。 默认端口限制 默认mesos的端口也是可以指定的，只是范围比较小。 131000 - 32000 marahotn 的json 文件中，你可以写。 12345678"portMappings": [ { "containerPort": 80, "hostPort": 31000, # 一般设置 0 为随机端口， "servicePort": 0, "protocol": "tcp" }] docker 启动时候就是 ...

marathon 使用仓库用户名和密码方式首先需要本地手动登入镜像仓库。123# docker login registry.inc-test.com Username: admin Password: Default@123 登入成功之后会在当前用户的家目录创建一个隐藏目录 ~/.docker ，打包这么目录，放在一个目录下， 并让marathon启动容器的时候引用这个文件即可。 1234# cd ~# tar czf docker.tar.gz .docker# cp docker.tar.gz /etc/ marathon json 启动容器引用验证文件123"uris": [ "file:///etc/docker.tar.gz"] 注释： 这样需要每台mesos slave机器都需要放置这个文件，实际操作很不灵活， 而且用户切换也不好做，每台机器需要放不不用户的验证文件。 如果用户密码修改，还需要批量修改每台slave机器上的验证文件。 结论： 把这个文件放在http页面上，只要网络通就可以访问，不需要每台机器都配 ...

mesos 解决sandbox日志切分问题mesos运行的docker容器，容器打印到前台console的日志会记录到mesos的work目录中容器沙箱中stdout和stderr文件中，容器不重启，日志会一直变大，这样会到只宿主空间变大。 另外这份日志还会日志到系统的/var/log/messages 文件中。 首先关于 mesos-slave 的 work-dir 中设置的目录，里面存放的docker容器的沙箱目录，会有 stderr\stdout等文件，其中这两个文件是记录容器console的日志，会一直保留，直到容器销毁，这样日志文件会持续增大。 为解决这个问题问题。mesos 没有明确的配置。 http://mesos.apache.org/documentation/latest/logging/ 文章中有提到沙箱大小的设置，但是没有测试成功。 我的解决办法：利用系统的 logrotate 模块做日志的切分和删除。 如：添加配置文件 12345678910111213cat > /etc/logrotate.d/mesos << EOF/home ...

marathon-lb配置

marathon-lb get images

Marathon-lb既是一个服务发现工具，也是负载均衡工具，它集成了haproxy，自动获取各个app的信息，为每一组app生成haproxy配置，通过servicePort或者web虚拟主机提供服务。

要使用marathonn-lb，每组app必须设置HAPROXY_GROUP标签。

Marathon-lb运行时绑定在各组app定义的服务端口（servicePort，如果app不定义servicePort，marathon会随机分配端口号）上，可以通过marathon-lb所在节点的相关服务端口访问各组app。

例如：marathon-lb部署在slave5，test-app 部署在slave1，test-app 的servicePort是10004，那么可以在slave5的 10004端口访问到test-app提供的服务。

由于servicePort 非80、443端口（80、443端口已被marathon-lb中的 haproxy独占），对于web服务来说不太方便，可以使用 haproxy虚拟主机解决这个问题：

在提供web服务的app配置里增加HAPROXY_{n}_VHOST（WEB虚拟主机）标签，marathon-lb会自动把这组app的WEB集群服务发布在marathon-lb所在节点的80和443端口上，用户设置DNS后通过虚拟主机名来访问。