draft

2021年5月28日
分类于 cloud-infra, draft
需要 1 分钟阅读时间

想做这个东西的背景也很简单，就是KVM虚拟化里配上国产还是VxWorks的实时操作系统，实时性都比物理机差好几倍，无法满足某些客户的需求，常规的一些优化手段抓破头也不行了。看过WindRiver的StarlingX觉得它们的无论延迟还是抖动的控制都相对好一些，但是VxWorks本身是个黑盒子（可能对于某些有源码的人不是。。），所以就只能跳出来看这个问题，为了满足客户的需求，批量管理运维、快速发布回收、状态实时监控，都21世纪了我为什么要用虚拟化呢？（后来事实证明大家也很少用虚拟化做这个事儿。。）

那就实时Linux系统配K8s，满足大规模、边缘、嵌入式场景，雷达、舰载、攻防。。。而且这个场景下想象空间比虚拟化大点。

准备

OS：RHEL 8.4 with rt kernel

测试

懒了，直接上测试结果以演示容器配RTLINUX是否值得投入，如果性能满足需求，那做这个市场还需要个牌照和资质，不过问题不大。

2017年7月15日
分类于 cloud-infra, draft
需要 7 分钟阅读时间

云计算笔记

"Use dhcp or dnsmasq as DHCP server in libvirt-based environment" "2015-08-26"

Default dhcp and dnsmasq are conflict in a OS. Just change to another if one failed.

1	`# yum install dhcp`

/etc/sysconfig/dhcpd is no longer needed in RHEL-7. However, it is still working in other distributions. Just assign an IP to the interface which in the subnet you want dhcp serve.

[root@localhost ~]# vi /etc/sysconfig/dhcpd
DHCPDARGS="eth0 eth1";

[root@localhost ~]# yum -y install dhcp
[root@localhost ~]# vi /etc/dhcp/dhcpd.conf
# create new
# specify domain name
option domain-name "example.com";
# specify name server's hostname or IP address
option domain-name-servers dhcp.example.com;
# default lease time
default-lease-time 600;
# max lease time
max-lease-time 7200;
# this DHCP server to be declared valid
authoritative;
# specify network address and subnet mask
subnet 10.0.0.0 netmask 255.255.255.0 {
    # specify the range of lease IP address
    range dynamic-bootp 10.0.0.200 10.0.0.254;
    # specify broadcast address
    option broadcast-address 10.0.0.255;
    # specify default gateway
    option routers 10.0.0.1;
    optiondomain-name-servers 192.168.188.11, 192.168.188.12
}
[root@localhost ~]# systemctl start dhcpd 
[root@localhost ~]# systemctl enable dhcpd 
ln -s '/usr/lib/systemd/system/dhcpd.service' '/etc/systemd/system/multi-user.target.wants/dhcpd.service'

Dnsmasq is very useful in libvirt/qemu/docker based environment. To bind 192.168.200.0/24 to interface br0(192.168.200.22-bridge2eth1):

#!/bin/bash
/usr/sbin/dnsmasq --strict-order --pid-file=/var/run/libvirt/network/br0--conf-file= --except-interface lo --bind-interfaces br0 --listen-address 192.168.200.22 --dhcp-range 192.168.200.2,192.168.200.254 --dhcp-leasefile=/var/lib/libvirt/dnsmasq/br0.leases --dhcp-lease-max=253 --dhcp-no-override --dhcp-hostsfile=/var/lib/libvirt/dnsmasq/br0.hostsfile --addn-hosts=/var/lib/libvirt/dnsmasq/br0.addnhosts

"《KVM私有云架构设计与实践》目录" "2015-09-18"

书籍目前已出版，购买链接在下文提供，也可直接联系作者购买，微信lofyer_org。

当当亚马逊京东

"OpenStack自动化部署与高可用虚拟控制节点设计" "2017-05-05"

为了大家的部署方便与维护着想，我决定把这俩东西再完善一下然后再把实现源码放出来，虽不能做到产品级但是也能对付很多场景了。

自动部署（类似mirantis但更友好） 0. livecd+独立配置分区 1. 环境配置 2. PXE安装 3. 自动化脚本

Hosted-crotroller（控制节点虚拟化） 1. etcd 2. 健康检查与评分 3. 脑裂防护 4. 使用Paxos写事务机制，如果时间差机制不工作的话。

下面给大家简单解释一Paxos和时间差机制的原理（解释的不够到位，有兴趣的看实现吧）：

Paxos，原文可参考https://www.quora.com/Distributed-Systems-What-is-a-simple-explanation-of-the-Paxos-algorithm

此场景实用于一写多。

两人结婚，牧师问他俩，“你们愿意吗？”，“我愿意”，“我愿意”。那么OK，就结了。

这时候假如有一对姐妹同时喜欢一个男的，牧师问他仨，“你们愿意吗”，“我愿意”，“我愿意”，“我愿意”。如果这样，那么男的就能娶俩，如果任何一个没回答，那抱歉了一个都娶不成。

在实现时，主节点问下面节点，我要给你们都写个东西，你们都准备好没？“好了”，“好了”，“好了”，“没好”。 75%（>50%）（Quorum）的人都准备好了，那么我就写了，没准备好的那个我记住你了。

Paxos时间差机制（sanlock变种） 这个机制我设计成只针对这个场景的，要求时间同步至数秒级别（这要求已经极低了。。），多写一，也可以扩展。

控制节点要你们去存储上填个表格，你们现在都能写，对吧？“对”，“对”，“对”，“不能”。。 OK，不能的那个我记住你了，其他人都来写吧。

控制节点看看表，再看看这个地方之前记的时间，嗯，过去2分钟了，写一下，我在A身上跑着；然后A看看表，再看看这个地方之前记的时间，嗯，还没过去2分钟，不写，之前体检合格，控制节点在我身上；然后B看看表，再看看这个地方之前记的时间，嗯，过去2分钟了，签个到留个时间，体检优秀；然后C看看表，再看看这个地方之前记的时间，嗯，过去2分钟了，签个到留个时间，体检合格；

然后控制节点每隔1分钟看一下，嗯，你们都很健康。又过了3分钟，哎？那个C你没写啊，去跟D站一起。

忽然，大家在填表的时候发现，控制节点都过了3分钟没写了，B就启动一下控制节点。 A发现自己与外界失去联系，就把自己身上都控制节点关了，等待救援。

基于etcd的时间差机制 上述的简化版，填的表格更少，时间差一致 大家一起写etcd的那个地方。“好”，“好”，“好”。哎？C你没写，再见。哎？控制节点呢？来A你检查一下启一下控制节点，B现在状态不佳。由于控制节点之前在你A上，它现在不行了，扣A个10分，现在分没B高啊。 A你清理下现场让B去启动吧。

试图设计一个任何场景都能应对的功能。

title: "Openstack 配置及其API的简单使用" date: 2013-07-18 categories: - "cloud-infra"

安装除Neutron（Quantum）以外所有东西

在开始之前，假设有三个NIC

禁用selinux，并修改网络配置/etc/sysconfig/network-scripts/ifcfg-ethX

Internal

DEVICE=eth0 TYPE=Ethernet BOOTPROTO=static IPADDR=192.168.1.11 NETMASK=255.255.255.0 GATEWAY=192.168.1.1 DNS1=192.168.1.1 DEFROUTE=yes ONBOOT=yes

External

DEVICE=eth1 TYPE=Ethernet BOOTPROTO=static IPADDR=192.168.1.12 NETMASK=255.255.255.0 DEFROUTE=yes ONBOOT=yes

Public Bridge

DEVICE=eth2 TYPE=Ethernet BOOTPROTO=static IPADDR=192.168.1.13 NETMASK=255.255.255.0 DEFROUTE=yes ONBOOT=yes

于Feodra18中安装Openstack，可参考文档，按照这个来的话对Openstack的设计理念将会有所了解 Getting started with OpenStack on Fedora 18 或者运行

/安装完成后管理员界面为http://localhost/dashboard用户名admin，密码secrete/

openstack-demo-install

以上两种方法把除了Neutron（quantum）其他的服务都配置好了，关于quantum的配置见文末

添加虚拟机实例

可参考文档 Getting started with OpenStack on Fedora 18 在终端操作之前需要设置环境变量，将它们两者之一写到一个文件，然后source一下

export OS_USERNAME=admin export OS_PASSWORD=secrete export OS_TENANT_NAME=admin export OS_AUTH_URL=http://127.0.0.1:5000/v2.0/

export ADMIN_TOKEN=$(openssl rand -hex 10) export SERVICE_ENDPOINT=http://127.0.0.1:35357/v2.0/ export SERVICE_TOKEN=$ADMIN_TOKEN

source FileA

这个libvirt支持kvm以及xen虚拟化，所以支持的镜像也比较多，这里下载一个已经安装好的f17的qcow2镜像

axel -n 5 http://berrange.fedorapeople.org//blog/images/2012-11-15/f17-x86_64-openstack-sda.qcow2

/注册镜像/

glance add name=f17-jeos is_public=true disk_format=qcow2 container_format=bare < f17-x86_64-openstack-sda.qcow2

然后以demo用户进入dashboard，会看到添加进来的image，根据image启动实例，打开vnc界面（非localhost访问要改ip）。

安装操蛋的Neutron（quantum）服务

这东西刚改名，nova自带的有network服务，可这个可以虚拟L2 L3 switch，那就比较有意思了

/注册quantum/

keystone service-create --name quantum --type network --description 'OpenStack Networking Service'

keystone endpoint-create --region myregion --service-id 26a55b340e254ad5bb78c0b14391e153 --publicurl "http://192.168.1.11:9696/" --adminurl "http://192.168.1.11:9696/" --internalurl "http://192.168.1.11:9696/"

/(可选)添加quantum服务用户/ get_id.sh:

$ function get_id () { echo "$@" | awk '/ id / { print $4 }' }

ADMIN_ROLE=$(get_id keystone role-create --name=admin)

QUANTUM_USER=$(get_id keystone user-create --name=quantum --pass="servicepass" [email protected] --tenant-id service)

keystone user-role-add --user_id $QUANTUM_USER --role_id $ADMIN_ROLE --tenant_id service

/服务插件二选一，linuxbrideg和openvswitch，这里使用后者，先安装插件/

yum install openstack-quantum-openvswitch

/启动并添加服务/

quantum-server-setup --plugin openvswitch

quantum-node-setup --plugin openvswitch

service quantum-server start

chkconfig quantum-server on

service openvswitch start

chkconfig openvswitch on

ovs-vsctl add-br br-int

chkconfig quantum-openvswitch-agent on

service quantum-openvswitch-agent start

quantum-dhcp-setup --plugin openvswitch

chkconfig quantum-dhcp-agent on

service quantum-dhcp-agent start

ovs-vsctl add-br br-ex

ovs-vsctl add-port br-ex eth1

quantum-l3-setup --plugin openvswitch

chkconfig quantum-l3-agent on

service quantum-l3-agent start

chkconfig quantum-metadata-agent on

service quantum-metadata-agent start

修改并配置网络 /etc/sysconf/network-scripts/ifcfg-eth1，/etc/sysconf/network-scripts/ifcfg-br-ex

External

DEVICE=eth1 TYPE=Ethernet BOOTPROTO=none NM_CONTROLLED=no BRIDGE=br-ex ONBOOT=yes

Public Bridge

DEVICE=br-ex TYPE=Bridge BOOTPROTO=static IPADDR=192.168.2.11 NETMASK=255.255.255.0 NM_CONTROLLED=no ONBOOT=yes

ip addr del 10.0.0.9/24 dev eth1

ip addr add 10.0.0.9/24 dev br-ex

这里类似VPN的重写HEADER

echo 1 > /proc/sys/net/ipv4/conf/all/forwarding sysctl -w net.ipv4.ip_forward=1 iptables -A FORWARD -i eth0 -o br-ex -s 10.10.10.0/24 -m conntrack --ctstate NEW -j ACCEPT iptables -A FORWARD -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT iptables -A POSTROUTING -s 10.10.10.0/24 -t nat -j MASQUERADE

最后重启机器即可

通过curl使用openstack api

参考这篇文章注意区分token和固定id

获取可用镜像

curl -s http://10.199.0.250:8774/v2/51ad87714b86442d9a74537d6f890060/images -X GET -H "X-Auth-Project-Id: admin" -H "Accept: application/json" -H "X-Auth-Token: 6083193874684f38865b086a8a5f4b7b" | python -mjson.tool

创建虚拟机

curl -i http://10.199.0.250:8774/v2/51ad87714b86442d9a74537d6f890060/servers -X POST -H "X-Auth-Project-Id: admin" -H "Content-Type: application/json" -H "Accept: application/json" -H "X-Auth-Token: 6083193874684f38865b086a8a5f4b7b" -d '{"server": {"name": "instance1", "imageRef": "992f5732-af50-40fc-987f-25951cbce943", "key_name": "damion-flybook", "flavorRef": "3", "max_count": 1, "min_count": 1}}'

title: "A design of user frontend for kinds of Cloud with accounting." date: 2015-05-06 categories: - "cloud-infra" tags: - "Cloud Computing" - "TBD"

I like Linode.com very much, so I'd like to make a frontend with something like that in functions.

Here's the draft.

更新一下，两年前的架构设计，终于在2017年的客户那用上了，而且上了人工干预的运行前调度器，哇哈哈。

title: "Cloud Init how to" date: 2015-03-10 categories: - "cloud-infra"

OS: CentOS 6

yum install -y cloud-init

title: "How to solve the 'boot storm' problem: BCACHE" date: 2013-05-27 categories: - "cloud-infra" - "linux-admin"

Some solutions Way 1. Add more cpus.(ABANDONED) Way 2. Add a SSD as "boot cache" Way 3. Sort the boot process

POC: Way 2: Sometimes we need cache the boot section of the OS into a SSD, since no SSD on hand, let's try to use a block device made in /dev/shm

Way 3: Considering that the parallelization of the "boot action", we have to predict the action in the near future

Experiment: Using BCACHE now...or flashcache

title: "A light-weighted VM webadmin" date: 2013-06-18 categories: - "cloud-infra" - "linux-admin"

The infrastructure of it: Management: Based on django, communicate with Agent Agent: A daemon, used for communicating with Management and managing the VMs

TO MAKE GREAT USE OF KVM. https://github.com/lofyer/webadmin

title: "MyIDC--Everything's traceable" date: 2013-12-11 categories: - "cloud-infra"

emerge =net-misc/openvswitch-1.11.0

title: "硬盘、RAID组与Ceph分布式存储IOPS计算公式" date: 2017-06-04 categories: - "linux-admin" tags: - "Storage" - "Performance"

防怼说明：本文用于速算，想把难以量化的环境变量以及各种组合拿来说事儿的请自行Google，或者问厂商和IDC要报告去。

机械硬盘

7200硬盘IOPS = 1000/(3 + 1000*(7200/60)/2) = 140
10k硬盘IOPS = 1000/(3 + 60000/10000/2) = 167
15k硬盘IOPS = 1000/(3 + 60000/15000/2) = 200

其中3为寻道延迟，7200/10k/15k为转速（rpm），1000*(7200/60)/2为旋转延迟（旋转延迟一般用转一圈所需时间的1/2表示），结果为理论峰值，实际还会有系统延迟导致测得IOPS一般低于此值。

RAID组 由于RAID组需要校验以提供恢复功能，所以会存在一定写惩罚，这个系数如下： RAID0: 1 RAID1: 2 RAID5: 4 RAID6: 6 RAID1-0: 2

所以RAID组IOPS = 硬盘写IOPS硬盘数量写操作百分比/写惩罚系数 + 硬盘读IOPS硬盘数量读操作百分比。

以4块IOPS为180的SAS硬盘组RAID 6然后百分百随机写操作为例：

IOPS = 180*4/6 = 120

Ceph的IOPS经验公式 由于Ceph存储结构不同于物理硬件，所以影响其IOPS的因素主要有网络、副本数量、日志、OSD（硬盘）数量、OSD服务器数量、OSD IOPS等，这里给出一个来自Mirantis的经验公式：

IOPS = 硬盘IOPS * 硬盘数量 * 0.88 / 副本数量，其中0.88为4-8k随机读操作占比（88%）。

关于Ceph的IOPS计算仅供参考，计算结果可能会跟物理环境实测有较大偏差。

2017年6月24日
分类于 cloud-infra, draft
需要 2 分钟阅读时间

在LinuxBridge/OVS中使用VxLAN组网以及创建VTEP

这是一篇入门文章，帮助初学者理清VxLAN的基本原理与使用，ovs只是工具，新版本内核也可使用ip命令直接创建。

本篇内容分为两篇，第一篇是使用简单VxLAN通道网络，第二篇会接入OVS模拟的VTEP设备。

一、使用VxLAN通道

原理是在网络命名空间上（仅测试环境），创建对端接口（peer/patch，虚拟化环境中即是虚拟机veth设备接口与OVS tun接口），以通过VxLAN通道与彼此通信。

host1拥有物理接口eth0（192.168.0.101），host2拥有物理接口eth0（192.168.0.102），两者在同一局域网中。

实验拓扑如下图。

在host1上创建veth与对端接口，对端接口会与ovs网桥相连，其中veth1代表虚拟机接口（地址为10.0.0.1），veth1p代表与ovs网桥相连的接口。

添加网络命名空间

ip netns add ns-host1

添加对端接口

ip link add name veth1 type veth peer name veth1p

将虚拟机接口放入命名空间

ip link set dev veth1 netns ns-host1

设置虚拟机接口IP

ip netns exec ns-host1 ifconfig veth1 10.0.0.1/24 up

添加ovs网桥

ovs-vsctl add-br ovs-vxlan

将虚拟机的对端接口放入命名空间

ovs-vsctl add-port ovs-vxlan veth1p

激活接口

ip link set ovs-vxlan up ip link set veth1p up

同样在host2上创建。

ip netns add ns-host2 ip link add name veth1 type veth peer name veth1p ip link set dev veth1 netns ns-host2 ip netns exec ns-host2 ifconfig veth1 10.0.0.2/24 up

ovs-vsctl add-br ovs-vxlan ovs-vsctl add-port ovs-vxlan veth1p ip link set ovs-vxlan up ip link set veth1p up

然后，分别在host1与host2上创建VxLAN通道。

host1，将VxLAN的对端指向host2的eth0，VNI（VXLAN Network Identifier）为123。

ovs-vsctl add-port ovs-vxlan vxlan0 -- set interface vxlan0 type=vxlan options:remote_ip=192.168.0.102 options:key=123

host2，将VxLAN的对端指向host2的eth0。

ovs-vsctl add-port ovs-vxlan vxlan0 -- set interface vxlan0 type=vxlan options:remote_ip=192.168.0.101 options:key=123

这样即可完成最简单的OVS VxLAN实验准备，在host2上的虚拟机尝试ping host1上的虚拟机。

ip netns exec ns-host2 ping 10.0.0.1 PING 10.0.0.1 (10.0.0.1) 56(84) bytes of data. 64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=1.74 ms 64 bytes from 10.0.0.1: icmp_seq=2 ttl=64 time=0.734 ms 64 bytes from 10.0.0.1: icmp_seq=3 ttl=64 time=0.669 ms

这里可以将主机上的物理接口，比如eth1加入到ovs-vxlan中，从而使得与其相连的主机或者网络设备能够接入此VxLAN网络；当添加第三台主机时，使用gre网络需要在每个gre0中设置remote_ip以两两相连，可以是星形或者环形（打开ovs生成树协议，ovs-vsctl set bridge ovs-gre stp_enable=true），而VxLAN网络

二、使用VxLAN通道连接虚拟机与物理机

三、接入OVS VTEP设备

参考： brctl与bridge命令对比在oVirt中使用ovs gre网络搭建基于Open vSwitch的VxLAN隧道实验 Connecting VMs Using Tunnels (Userspace)

2017年6月2日
分类于 cloud-infra, linux-admin, draft
需要 1 分钟阅读时间

虚拟化平台镜像去冗测试（opendedup）

OpenDedup，是一款开源去重文件系统，https://github.com/opendedup/sdfs，可以分布式，支持NFS、iSCSI等，感觉非常厉害，作者是Veritas的银堡（Sam Silverberg）。

Note

RedHat 7就开始带了VDO，但是还没测过。

可以去官网下载镜像，或者是笔者认为更加实用的NAS系统。

简单测试

目的是减少更多本地环境占用，使用opendedup测试。

首先测试我新闻服务器上的数据，以索引文件为主，经常变动，有大有小。
然后选择一款kvm软件平台。

安装：

wget http://www.opendedup.org/downloads/sdfs-latest.deb
sudo dpkg -i sdfs-latest.deb

sudo su
echo "* hardnofile 65535" >> /etc/security/limits.conf
echo "* soft nofile 65535" >> /etc/security/limits.conf
exit
sudo mkfs.sdfs --volume-name=pool0 --volume-capacity=256GB
sudo mkdir /media/pool0 
sudo mount.sdfs pool0 /media/pool0/

数据拷贝进去后，原9.3GB索引数据降为8.5GB，效果不如想象中好。

可能原因：

sdfs提供了丰富的命令行选项，我没有使用，使用后可能会达到预期，比如更小的block。