Unix Like

CLion调试Linux Kernel

1. 编译Kernel

先按照https://www.kernel.org/doc/html/latest/dev-tools/gdb-kernel-debugging.html说明的config设定编译内核并且安装到guest上。

menuconfig中按“/”是可以搜索的，例如要找“CONFIG_GDB_SCRIPTS”，按“/”输入“GDB_SCRIPTS”。

qemu启用了virtio的话，记得选上VIRTIO_BLK和VIRTIO_NET。

2. QEMU

2.1 关闭KVM

关闭KVM，关闭KVM，关闭KVM，重要的事情说三次！不然step by step的时候，会无限跳到arch/x86/kernel/apic/apic.c的sysvec_apic_timer_interrupt。要关闭KVM，运行qemu时去掉–enalbe-kvm参数，用libvirt的话，domain的type值置qemu：

<domain type='qemu' xmlns:qemu='http://libvirt.org/schemas/domain/qemu/1.0'>
  ...
</domain>

...

</domain>

2.2 启用gdbserver

运行QEMU时加上参数-s，或者通过“-gdb tcp::端口号”参数手动指定端口，libvirt xml的设定如下：

<domain type='qemu' xmlns:qemu='http://libvirt.org/schemas/domain/qemu/1.0'>
  ...
  <qemu:commandline>
    <qemu:arg value='-s'/>
  </qemu:commandline>
  ...
</domain>

...

<qemu:commandline>

<qemu:arg value='-s'/>

</qemu:commandline>

...

</domain>

或者：

<domain type='qemu' xmlns:qemu='http://libvirt.org/schemas/domain/qemu/1.0'>
  ...
  <qemu:commandline>
    <qemu:arg value='-gdb'/>
    <qemu:arg value='tcp::1235'/>
  </qemu:commandline>
  ...
</domain>

...

<qemu:commandline>

<qemu:arg value='-gdb'/>

<qemu:arg value='tcp::1235'/>

</qemu:commandline>

...

</domain>

3. CLion

点击右上角的“Select Run/Debug Configuration”，添加个GDB Remote Debug：

‘targer remote’ args填入qemu监听的gdbserver IP和端口，Symbol file选编译出的vmlinux（在源码根目录下）。

5. 调试

断点的设定跟平常无异。

启动qemu，按Debug按钮开始调试：

Debug标签页，pause后可以调用gdb console，如果kernel在运行，点左侧的“| |”即可：

栈、变量以及源码通过IDE浏览会直观许多：

6. <optimized out>

提醒下：通过-O0参数是无法成功编译Kernel的。

gdb console通过disassemble可以反汇编当前函数：

优化后的汇编其实不太好跟实际写的C代码联系起来，如果实在不行，就printk吧……

Tags: CLion, DEBUG, GDB, Kernel, Linux, qemu

You might also like:

Unix Like

[Updated] libvirt & qemu change VNC password without restart

文章【libvirt & qemu无需重启（在线）更改VNC密码】已于2019-02-17更新。有两个方法，一个是通过libvirt的virDomainUpdateDeviceFlags接口，另一个是通过qemu-monitor。以下把“DOMAIN_NAME”替换为虚拟机的名称，“YOU_NEW_VNC_PASSWORD”替换为你的新密码。通过virDomainUpdateDeviceFlags接口使用libvirt管理虚拟机的情况下，这个方法是首选，libvirt官方是不推荐使用了libvirt的情况下操纵qemu-monitor的。首先编写VNC graphic的XML […]

Unix Like

qemu with pool/volume storage: Could not open ‘xxxxxxx’: Permission denied

volume信息：

# virsh vol-list test
 Name                 Path                                    
------------------------------------------------------------------------------
 test.qcow2           /virt/test.qcow2

# virsh vol-list test

Name Path

------------------------------------------------------------------------------

test.qcow2 /virt/test.qcow2

虚拟机disk配置：

# virsh dumpxml Test
...
    <disk type='volume' device='disk'>
      <driver name='qemu' type='qcow2'/>
      <source pool='test' volume='test.qcow2'/>
      <target dev='vda' bus='virtio'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
    </disk>
...

# virsh dumpxml Test

...

</disk>

...

启动虚拟机：

# virsh start Test
error: Failed to start domain Test
error: internal error: process exited while connecting to monitor: 2019-02-06T12:54:47.722297Z qemu-system-x86_64: -drive file=/virt/test.qcow2,format=qcow2,if=none,id=drive-virtio-disk0: Could not open '/virt/test.qcow2': Permission denied

# virsh start Test

error: Failed to start domain Test

error: internal error: process exited while connecting to monitor: 2019-02-06T12:54:47.722297Z qemu-system-x86_64: -drive file=/virt/test.qcow2,format=qcow2,if=none,id=drive-virtio-disk0: Could not open '/virt/test.qcow2': Permission denied

查看syslog：

# cat /var/log/syslog
...
kernel: [ 6551.331932] audit: type=1400 audit(1549457961.800:209): apparmor="DENIED" operation="open" profile="libvirt-5831a051-78ee-43b4-a15d-6e520b1b3ab7" name="/virt/test.qcow2" pid=27204 comm="qemu-system-x86" requested_mask="r" denied_mask="r" fsuid=0 ouid=0
...

# cat /var/log/syslog

...

kernel: [ 6551.331932] audit: type=1400 audit(1549457961.800:209): apparmor="DENIED" operation="open" profile="libvirt-5831a051-78ee-43b4-a15d-6e520b1b3ab7" name="/virt/test.qcow2" pid=27204 comm="qemu-system-x86" requested_mask="r" denied_mask="r" fsuid=0 ouid=0

...

似乎没找比较好的方法解决此问题。一个选择是弃用type=’volume’，改成type=’file’。另一种选择是关闭apparmor：

# vim /etc/libvirt/qemu.conf
...
security_driver = "none"
...
# systemctl restart libvirtd

# vim /etc/libvirt/qemu.conf

...

security_driver = "none"

...

# systemctl restart libvirtd

&n […]

C/CPP, Unix Like

解除clock_gettime@@GLIBC_2.17的依赖

在x86_64的Debian Jessie上交叉编译一个mipsel架构的程序，能静态链接的都静态链接了。程序编译好传送到mipsel架构的设备上时，ldd查看库的依赖，却提示

/lib/mipsel-linux-gnu/libc.so.6: version `GLIBC_2.17' not found

1	/lib/mipsel-linux-gnu/libc.so.6: version `GLIBC_2.17' not found

(⊙﹏⊙)b mipsel设备上运行着Debian Wheezy，使用的是glibc 2.13：

# /lib/mipsel-linux-gnu/libc.so.6 
GNU C Library (Debian EGLIBC 2.13-38+deb7u11) stable release version 2.13, by Roland McGrath et al.

1 2	# /lib/mipsel-linux-gnu/libc.so.6 GNU C Library (Debian EGLIBC 2.13-38+deb7u11) stable release version 2.13, by Roland McGrath et al.

尝试了更新到glibc 2.17，结果运行所有动态链接glibc的程序都提示Segmentation fault或Bus error，眼看要变砖!!!∑(ﾟДﾟノ)ノ，最后用一个静态链接版本 […]

Unix Like, 操作系统, 网络

Linux IPv4 forward自动丢弃源IP为系统已绑定的IP的问题

A是路由，其上做了策略，一部分符合特定条件的流量，是要转发到B进行封装处理，A和B之间做了数个VLAN，B根据VLAN应用不同的策略。不过这里的问题是，B的默认网关也是A（环路问题是不存在的，已经有对应规则处理），所以B自身发出的流量也会由A应用策略，转发回给B自己。而B收到src IP是local IP（系统已绑定的IP）的包时，kernel会直接丢弃数据包，所以除了B自己的数据包，B都能正常封装。解决这个问题的一个方法，是让A在把数据包转发给B前，做一次SNAT，这样B收到的数据包，src IP就是A的IP了。其实SNAT并没有什么影响，A对NAT也有hardware offload， […]