分类：操作系统

TCP Sendbuffer Size与RTT的问题

最近从A服务器下载数据时，发现如果走B服务器的VPN下载，速率只能跑到300KB左右，但是B从A直接下载却能跑到1MB+/s，B到本地的速度也远超过A到B的速度，其实一开始我以为是VPN实现的问题，有段时间在思考如何优化VPN，但是尝试了其它VPN实现，问题并没有解决。后来发现，走B的代理而不是VPN，速度正常。本地到B的RTT大约160ms，B到A大约50ms。 Wireshark抓包，对tcp sequence number统计了下：放大点看：大概每传输60KB，就要等大约200ms才能继续。200ms刚好差不多等于本地走VPN到A的RTT。传这60KB，只花了大概10ms，忽略这1 […]

Unix Like, 服务器

双路超线程物理服务器的QEMU CPU affinity调整

首先运行 virsh capabilities 查看物理机物理核心及其线程与逻辑处理器（线程）的关系：

...
    <topology>
      <cells num='1'>
        <cell id='0'>
          <memory unit='KiB'>24671680</memory>
          <pages unit='KiB' size='4'>6167920</pages>
          <pages unit='KiB' size='2048'>0</pages>
          <distances>
            <sibling id='0' value='10'/>
          </distances>
          <cpus num='16'>
            <cpu id='0' socket_id='0' core_id='0' siblings='0,8'/>
            <cpu id='1' socket_id='0' core_id='1' siblings='1,9'/>
            <cpu id='2' socket_id='0' core_id='2' siblings='2,10'/>
            <cpu id='3' socket_id='0' core_id='3' siblings='3,11'/>
            <cpu id='4' socket_id='1' core_id='0' siblings='4,12'/>
            <cpu id='5' socket_id='1' core_id='1' siblings='5,13'/>
            <cpu id='6' socket_id='1' core_id='2' siblings='6,14'/>
            <cpu id='7' socket_id='1' core_id='3' siblings='7,15'/>
            <cpu id='8' socket_id='0' core_id='0' siblings='0,8'/>
            <cpu id='9' socket_id='0' core_id='1' siblings='1,9'/>
            <cpu id='10' socket_id='0' core_id='2' siblings='2,10'/>
            <cpu id='11' socket_id='0' core_id='3' siblings='3,11'/>
            <cpu id='12' socket_id='1' core_id='0' siblings='4,12'/>
            <cpu id='13' socket_id='1' core_id='1' siblings='5,13'/>
            <cpu id='14' socket_id='1' core_id='2' siblings='6,14'/>
            <cpu id='15' socket_id='1' core_id='3' siblings='7,15'/>
          </cpus>
        </cell>
      </cells>
    </topology>
    <cache>
      <bank id='0' level='3' type='both' size='8' unit='MiB' cpus='0-3,8-11'/>
      <bank id='1' level='3' type='both' size='8' unit='MiB' cpus='4-7,12-15'/>
    </cache>
...

...

</distances>

</cpus>

</cell>

</cells>

</topology>

<cache>

</cache>

...

其中的socket_id代表CPU的槽位，core_id代表CPU物理核心，siblings表示哪些逻辑处理器（线程）是属于同一个物理核心的。例如id为0以及8的逻辑处理器，都属于同一个CPU槽位且属于同一个物理核心。在这台物理机上建立的虚拟机，想得到最佳的性能，首先不要跨CPU插槽，其次，不要让多个虚拟机CPU共享同一个物理核心。根据上面的信息，4核心8线程的虚拟机CPU亲和度配置如下： [crayon-60124a2 […]

Unix Like

mdadm RAID1转RAID10

mdadm支持missing两个硬盘的情况下组RAID10，因此可以先通过两个新硬盘+两个missing组RAID10，然后把现有RAID1中的数据拷贝到新的RAID10中，再把现有RAID1中的两个分区加入到新的RAID10中，让mdadm自动重建数据。下面假设现有的RAID1分区是/dev/sda5与/dev/sdb5，新的两个分区是/dev/sdc5与/dev/sdb5，最终目的是要使用/dev/sda5、/dev/sdb5、/dev/sdc5以级/dev/sdb5组RAID10。首先备份数据。如果操作的是系统分区，使用LiveCD操作即可。 [crayon-60124a28a56 […]

Unix Like, VPN

L2TPv3 MTU

L2TPv3支持自动拆包，封装后的数据包如果超出裸线路的MTU也能正常运作。拆包合包毕竟需要耗资源的，这种多余的操作，能避免的话当然最好。要避免，首先确定好L2TPv3隧道的MTU。图： UDP封装模式： L2TPv3隧道MTU = 裸线路MTU – IP头 – UDP头 – L2TPv3头 – 以太网头经测试L2TPv3头在这种模式下是12字节，如果裸线路MTU是1500，那么隧道MTU = 1500 – 20 – 8 – 12 – 14 = 1446，TCP MSS = 1446 &#8 […]

Windows, 操作系统

细数在Windows 10配置Software RAID1时所遇到的坑

Windows在日常应用外的场景，给我的印象一直都不太好，特别是排错方面，异常麻烦，遇到莫名奇妙的错误，要么没有日志，要么事件查看器中只有个错误代码，或者输出一个内容不仅又臭又长还根本看不出什么问题.log文件。像Windows更新突然无法安装，Visual Studio或者某个程序一直安装失败或者别的Windows组件的各种疑难问题，除了重装Windows还有什么解决办法？所以除了日常应用，其余的一直都在避免依赖Windows。最近给机子加了个4TB的机械硬盘，其实一开始是打算买两个4T组RAID1的，不过考虑到没那么多重要数据需要R1，而且目前也有一个1TB的，所以就只买了一个4T的，打 […]

Unix Like, 操作系统, 网络

Fix Ubuntu policy-based route with fwmark not work

近期发现Ubuntu基于ip rule add fwmark … lookup …所做的策略路由无法正常使用，而Debian正常。抓包的特征就是，出网数据包能应用到策略路由，也能抓到回应的数据包，但回应的数据包被内核丢弃，不会送达user space。而ip rule add from … lookup …则正常。查找资料得知是rp_filter的影响（见此：https://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt），继而发现Ubuntu的/etc/sysctl.d是有 […]

Unix Like, VPN, 操作系统, 网络

Linux Policy-based site-to-site IPsec VPN动态IP的配置及内网穿透的应用（StrongSwan）

上一篇文章提到了一点StrongSwan的配置。本文继续使用StrongSwan。 StrongSwan的left和right是支持使用域名的，利用此可以实现动态IP的支持；上一篇文章用了type=transport模式转发UDP端口构建L2TPv3，如果没有L2组网的需求，其实可以直接利用type=tunnel模式实现L3转发。网络拓扑：上图中的路由器lan-router1和lan-router2都是通过pppoe接入互联网的，域名lan-router1.router和lan-router2.router通过ddns分别解析到了各自pppoe0的IP地址上；server1和server […]

Unix Like, VPN, 网络

Linux L2TPv3以及ip-xfrm的配置

L2TPv3：http://man7.org/linux/man-pages/man8/ip-l2tp.8.html ip-xfrm：http://man7.org/linux/man-pages/man8/ip-xfrm.8.html 这两个都是kernel内置的功能，通过这两个可以直接构建加密的VPN。本文尝试使用ip-xfrm创建加密的隧道，并基于此隧道构建L2TPv3 VPN。 1. 生成密钥与ID 不使用StrongSwan，手动配置ip-xfrm时需要用到：

HASH_KEY=0x`dd if=/dev/urandom count=32 bs=1 2> /dev/null | xxd -p -c 64`
ENCRYPT_KEY=0x`dd if=/dev/urandom count=32 bs=1 2> /dev/null | xxd -p -c 64`
ID=0x`dd if=/dev/urandom count=4 bs=1 2> /dev/null | xxd -p -c 8`
echo -e "HASH_KEY=${HASH_KEY}\nENCRYPT_KEY=${ENCRYPT_KEY}\nID=${ID}"

HASH_KEY=0x`dd if=/dev/urandom count=32 bs=1 2> /dev/null | xxd -p -c 64`

ENCRYPT_KEY=0x`dd if=/dev/urandom count=32 bs=1 2> /dev/null | xxd -p -c 64`

ID=0x`dd if=/dev/urandom count=4 bs=1 2> /dev/null | xxd -p -c 8`

echo -e "HASH_KEY=${HASH_KEY}\nENCRYPT_KEY=${ENCRYPT_KEY}\nID=${ID}"

复制上面四行命令后输出的内容，粘贴到left和right […]

Unix Like

[Updated] libvirt & qemu change VNC password without restart

文章【libvirt & qemu无需重启（在线）更改VNC密码】已于2019-02-17更新。有两个方法，一个是通过libvirt的virDomainUpdateDeviceFlags接口，另一个是通过qemu-monitor。以下把“DOMAIN_NAME”替换为虚拟机的名称，“YOU_NEW_VNC_PASSWORD”替换为你的新密码。通过virDomainUpdateDeviceFlags接口使用libvirt管理虚拟机的情况下，这个方法是首选，libvirt官方是不推荐使用了libvirt的情况下操纵qemu-monitor的。首先编写VNC graphic的XML […]

Unix Like

qemu with pool/volume storage: Could not open ‘xxxxxxx’: Permission denied

volume信息：

# virsh vol-list test
 Name                 Path                                    
------------------------------------------------------------------------------
 test.qcow2           /virt/test.qcow2

# virsh vol-list test

Name Path

------------------------------------------------------------------------------

test.qcow2 /virt/test.qcow2

虚拟机disk配置：

# virsh dumpxml Test
...
    <disk type='volume' device='disk'>
      <driver name='qemu' type='qcow2'/>
      <source pool='test' volume='test.qcow2'/>
      <target dev='vda' bus='virtio'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
    </disk>
...

# virsh dumpxml Test

...

</disk>

...

启动虚拟机：

# virsh start Test
error: Failed to start domain Test
error: internal error: process exited while connecting to monitor: 2019-02-06T12:54:47.722297Z qemu-system-x86_64: -drive file=/virt/test.qcow2,format=qcow2,if=none,id=drive-virtio-disk0: Could not open '/virt/test.qcow2': Permission denied

# virsh start Test

error: Failed to start domain Test

error: internal error: process exited while connecting to monitor: 2019-02-06T12:54:47.722297Z qemu-system-x86_64: -drive file=/virt/test.qcow2,format=qcow2,if=none,id=drive-virtio-disk0: Could not open '/virt/test.qcow2': Permission denied

查看syslog：

# cat /var/log/syslog
...
kernel: [ 6551.331932] audit: type=1400 audit(1549457961.800:209): apparmor="DENIED" operation="open" profile="libvirt-5831a051-78ee-43b4-a15d-6e520b1b3ab7" name="/virt/test.qcow2" pid=27204 comm="qemu-system-x86" requested_mask="r" denied_mask="r" fsuid=0 ouid=0
...

# cat /var/log/syslog

...

kernel: [ 6551.331932] audit: type=1400 audit(1549457961.800:209): apparmor="DENIED" operation="open" profile="libvirt-5831a051-78ee-43b4-a15d-6e520b1b3ab7" name="/virt/test.qcow2" pid=27204 comm="qemu-system-x86" requested_mask="r" denied_mask="r" fsuid=0 ouid=0

...

似乎没找比较好的方法解决此问题。一个选择是弃用type=’volume’，改成type=’file’。另一种选择是关闭apparmor：

# vim /etc/libvirt/qemu.conf
...
security_driver = "none"
...
# systemctl restart libvirtd

# vim /etc/libvirt/qemu.conf

...

security_driver = "none"

...

# systemctl restart libvirtd

&n […]

分类： 操作系统

分类：操作系统