CLion调试Linux Kernel

1. 编译Kernel

先按照https://www.kernel.org/doc/html/latest/dev-tools/gdb-kernel-debugging.html说明的config设定编译内核并且安装到guest上。

menuconfig中按“/”是可以搜索的，例如要找“CONFIG_GDB_SCRIPTS”，按“/”输入“GDB_SCRIPTS”。

qemu启用了virtio的话，记得选上VIRTIO_BLK和VIRTIO_NET。

2. QEMU

2.1 关闭KVM

关闭KVM，关闭KVM，关闭KVM，重要的事情说三次！不然step by step的时候，会无限跳到arch/x86/kernel/apic/apic.c的sysvec_apic_timer_interrupt。要关闭KVM，运行qemu时去掉–enalbe-kvm参数，用libvirt的话，domain的type值置qemu：

<domain type='qemu' xmlns:qemu='http://libvirt.org/schemas/domain/qemu/1.0'>
  ...
</domain>

...

</domain>

2.2 启用gdbserver

运行QEMU时加上参数-s，或者通过“-gdb tcp::端口号”参数手动指定端口，libvirt xml的设定如下：

<domain type='qemu' xmlns:qemu='http://libvirt.org/schemas/domain/qemu/1.0'>
  ...
  <qemu:commandline>
    <qemu:arg value='-s'/>
  </qemu:commandline>
  ...
</domain>

...

<qemu:commandline>

<qemu:arg value='-s'/>

</qemu:commandline>

...

</domain>

或者：

<domain type='qemu' xmlns:qemu='http://libvirt.org/schemas/domain/qemu/1.0'>
  ...
  <qemu:commandline>
    <qemu:arg value='-gdb'/>
    <qemu:arg value='tcp::1235'/>
  </qemu:commandline>
  ...
</domain>

...

<qemu:commandline>

<qemu:arg value='-gdb'/>

<qemu:arg value='tcp::1235'/>

</qemu:commandline>

...

</domain>

3. CLion

点击右上角的“Select Run/Debug Configuration”，添加个GDB Remote Debug：

‘targer remote’ args填入qemu监听的gdbserver IP和端口，Symbol file选编译出的vmlinux（在源码根目录下）。

5. 调试

断点的设定跟平常无异。

启动qemu，按Debug按钮开始调试：

Debug标签页，pause后可以调用gdb console，如果kernel在运行，点左侧的“| |”即可：

栈、变量以及源码通过IDE浏览会直观许多：

6. <optimized out>

提醒下：通过-O0参数是无法成功编译Kernel的。

gdb console通过disassemble可以反汇编当前函数：

优化后的汇编其实不太好跟实际写的C代码联系起来，如果实在不行，就printk吧……

双路超线程物理服务器的QEMU CPU affinity调整

首先运行 virsh capabilities 查看物理机物理核心及其线程与逻辑处理器（线程）的关系：

...
    <topology>
      <cells num='1'>
        <cell id='0'>
          <memory unit='KiB'>24671680</memory>
          <pages unit='KiB' size='4'>6167920</pages>
          <pages unit='KiB' size='2048'>0</pages>
          <distances>
            <sibling id='0' value='10'/>
          </distances>
          <cpus num='16'>
            <cpu id='0' socket_id='0' core_id='0' siblings='0,8'/>
            <cpu id='1' socket_id='0' core_id='1' siblings='1,9'/>
            <cpu id='2' socket_id='0' core_id='2' siblings='2,10'/>
            <cpu id='3' socket_id='0' core_id='3' siblings='3,11'/>
            <cpu id='4' socket_id='1' core_id='0' siblings='4,12'/>
            <cpu id='5' socket_id='1' core_id='1' siblings='5,13'/>
            <cpu id='6' socket_id='1' core_id='2' siblings='6,14'/>
            <cpu id='7' socket_id='1' core_id='3' siblings='7,15'/>
            <cpu id='8' socket_id='0' core_id='0' siblings='0,8'/>
            <cpu id='9' socket_id='0' core_id='1' siblings='1,9'/>
            <cpu id='10' socket_id='0' core_id='2' siblings='2,10'/>
            <cpu id='11' socket_id='0' core_id='3' siblings='3,11'/>
            <cpu id='12' socket_id='1' core_id='0' siblings='4,12'/>
            <cpu id='13' socket_id='1' core_id='1' siblings='5,13'/>
            <cpu id='14' socket_id='1' core_id='2' siblings='6,14'/>
            <cpu id='15' socket_id='1' core_id='3' siblings='7,15'/>
          </cpus>
        </cell>
      </cells>
    </topology>
    <cache>
      <bank id='0' level='3' type='both' size='8' unit='MiB' cpus='0-3,8-11'/>
      <bank id='1' level='3' type='both' size='8' unit='MiB' cpus='4-7,12-15'/>
    </cache>
...

...

</distances>

</cpus>

</cell>

</cells>

</topology>

<cache>

</cache>

...

其中的socket_id代表CPU的槽位，core_id代表CPU物理核心，siblings表示哪些逻辑处理器（线程）是属于同一个物理核心的。

例如id为0以及8的逻辑处理器，都属于同一个CPU槽位且属于同一个物理核心。

在这台物理机上建立的虚拟机，想得到最佳的性能，首先不要跨CPU插槽，其次，不要让多个虚拟机CPU共享同一个物理核心。

根据上面的信息，4核心8线程的虚拟机CPU亲和度配置如下：

<domain>
...
  <vcpu placement='static'>8</vcpu>
  <cputune>
    <vcpupin vcpu='0' cpuset='0'/>
    <vcpupin vcpu='1' cpuset='8'/>
    <vcpupin vcpu='2' cpuset='1'/>
    <vcpupin vcpu='3' cpuset='9'/>
    <vcpupin vcpu='4' cpuset='2'/>
    <vcpupin vcpu='5' cpuset='10'/>
    <vcpupin vcpu='6' cpuset='3'/>
    <vcpupin vcpu='7' cpuset='11'/>
  </cputune>
...
  <cpu mode='host-passthrough' check='none'>
    <topology sockets='1' cores='4' threads='2'/>
  </cpu>
...
</domain>

...

</cputune>

...

</cpu>

...

</domain>

其中vcpu 0和1在虚拟机中对应一个物理核心的两个线程，将其亲和度设定到逻辑处理器0和8，后面vcpu 2-7，同理。

启动虚拟机，通过 virsh vcpupin 进行验证：

VCPU: CPU Affinity
----------------------------------
   0: 0
   1: 8
   2: 1
   3: 9
   4: 2
   5: 10
   6: 3
   7: 11

VCPU: CPU Affinity

----------------------------------

0: 0

1: 8

2: 1

3: 9

4: 2

5: 10

6: 3

7: 11

到虚拟机中查看/proc/cpuinfo：

# cat /proc/cpuinfo | grep "core id"
core id		: 0
core id		: 0
core id		: 1
core id		: 1
core id		: 2
core id		: 2
core id		: 3
core id		: 3

# cat /proc/cpuinfo | grep "core id"

core id : 0

core id : 1

core id : 2

core id : 3

上面输出的信息可以确定设定无误，因为第一、二个逻辑核心对应了第一个物理核心，后面第三到第八个也同理。如果输出的core id与cputune处设定时所期望的顺序不对，调整cputune中的参数即可。

[Updated] libvirt & qemu change VNC password without restart

文章【libvirt & qemu无需重启（在线）更改VNC密码】已于2019-02-17更新。

有两个方法，一个是通过libvirt的virDomainUpdateDeviceFlags接口，另一个是通过qemu-monitor。

以下把“DOMAIN_NAME”替换为虚拟机的名称，“YOU_NEW_VNC_PASSWORD”替换为你的新密码。

通过virDomainUpdateDeviceFlags接口

使用libvirt管理虚拟机的情况下，这个方法是首选，libvirt官方是不推荐使用了libvirt的情况下操纵qemu-monitor的。

首先编写VNC graphic的XML配置：

<graphics type="vnc" passwd="YOU_NEW_VNC_PASSWORD" port="-1" autoport="yes" websocket="-1">
  <listen type="address" address="0.0.0.0"/>
</graphics>

</graphics>

注意，使用了current及live标记的情况下，是不能更改监听地址与监听端口的，所以需要运行时修改密码请注意port与address与现配置一致。

virDomainUpdateDeviceFlags函数原型见此：https://libvirt.org/html/libvirt-libvirt-domain.html#virDomainUpdateDeviceFlags

这是PHP调用的例子：

// $VNCGraphicXML = ...
$domain->libvirt_domain_update_device($domainResource, $VNCGraphicXML, VIR_DOMAIN_DEVICE_MODIFY_LIVE | VIR_DOMAIN_DEVICE_MODIFY_CONFIG);

1 2	// $VNCGraphicXML = ... $domain->libvirt_domain_update_device($domainResource, $VNCGraphicXML, VIR_DOMAIN_DEVICE_MODIFY_LIVE \| VIR_DOMAIN_DEVICE_MODIFY_CONFIG);

使用virsh控制台的，可以通过update-device命令，把前面编写的XML内容保存为文件，例如domain-vnc-graphic.xml：

virsh update-device DOMAIN_NAME domain-vnc-graphic.xml --config --live

1	virsh update-device DOMAIN_NAME domain-vnc-graphic.xml --config --live

通过qemu-monitor

virsh qemu-monitor-command DOMAIN_NAME --hmp set_password vnc YOU_NEW_VNC_PASSWORD

1	virsh qemu-monitor-command DOMAIN_NAME --hmp set_password vnc YOU_NEW_VNC_PASSWORD

qemu with pool/volume storage: Could not open ‘xxxxxxx’: Permission denied

volume信息：

# virsh vol-list test
 Name                 Path                                    
------------------------------------------------------------------------------
 test.qcow2           /virt/test.qcow2

# virsh vol-list test

Name Path

------------------------------------------------------------------------------

test.qcow2 /virt/test.qcow2

虚拟机disk配置：

# virsh dumpxml Test
...
    <disk type='volume' device='disk'>
      <driver name='qemu' type='qcow2'/>
      <source pool='test' volume='test.qcow2'/>
      <target dev='vda' bus='virtio'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
    </disk>
...

# virsh dumpxml Test

...

</disk>

...

启动虚拟机：

# virsh start Test
error: Failed to start domain Test
error: internal error: process exited while connecting to monitor: 2019-02-06T12:54:47.722297Z qemu-system-x86_64: -drive file=/virt/test.qcow2,format=qcow2,if=none,id=drive-virtio-disk0: Could not open '/virt/test.qcow2': Permission denied

# virsh start Test

error: Failed to start domain Test

error: internal error: process exited while connecting to monitor: 2019-02-06T12:54:47.722297Z qemu-system-x86_64: -drive file=/virt/test.qcow2,format=qcow2,if=none,id=drive-virtio-disk0: Could not open '/virt/test.qcow2': Permission denied

查看syslog：

# cat /var/log/syslog
...
kernel: [ 6551.331932] audit: type=1400 audit(1549457961.800:209): apparmor="DENIED" operation="open" profile="libvirt-5831a051-78ee-43b4-a15d-6e520b1b3ab7" name="/virt/test.qcow2" pid=27204 comm="qemu-system-x86" requested_mask="r" denied_mask="r" fsuid=0 ouid=0
...

# cat /var/log/syslog

...

kernel: [ 6551.331932] audit: type=1400 audit(1549457961.800:209): apparmor="DENIED" operation="open" profile="libvirt-5831a051-78ee-43b4-a15d-6e520b1b3ab7" name="/virt/test.qcow2" pid=27204 comm="qemu-system-x86" requested_mask="r" denied_mask="r" fsuid=0 ouid=0

...

似乎没找比较好的方法解决此问题。

一个选择是弃用type=’volume’，改成type=’file’。

另一种选择是关闭apparmor：

# vim /etc/libvirt/qemu.conf
...
security_driver = "none"
...
# systemctl restart libvirtd

# vim /etc/libvirt/qemu.conf

...

security_driver = "none"

...

# systemctl restart libvirtd