TCP Sendbuffer Size与RTT的问题

最近从A服务器下载数据时，发现如果走B服务器的VPN下载，速率只能跑到300KB左右，但是B从A直接下载却能跑到1MB+/s，B到本地的速度也远超过A到B的速度，其实一开始我以为是VPN实现的问题，有段时间在思考如何优化VPN，但是尝试了其它VPN实现，问题并没有解决。后来发现，走B的代理而不是VPN，速度正常。

本地到B的RTT大约160ms，B到A大约50ms。

Wireshark抓包，对tcp sequence number统计了下：

放大点看：

大概每传输60KB，就要等大约200ms才能继续。200ms刚好差不多等于本地走VPN到A的RTT。传这60KB，只花了大概10ms，忽略这10ms不算的话，每秒大概只能接收五次60KB，5*60KB=300KB，刚好接近走VPN的下载速度。

TCP要发送的数据包存放在send buffer中，send buffer已使用的空间，在收到ACK前是不能释放的，所以，如果这时send buffer满了而未收到ACK，那kernel就不会继续对外发送数据。

所以，走VPN慢的原因，是因为A设定的的send buffer太小，在本地发出的ACK送达A前，A的send buffer就满了。走B代理快，是因为B到A的RTT比较小，ACK是由B上的代理程序在接收到数据后发送给A的，所以A很快就能收到ACK而继续向B发送数据，B到本地没有send buffer过小的问题，所以B上的代理往本地发回数据的速率几乎与A到B的速率一致。

L2TPv3 MTU

L2TPv3支持自动拆包，封装后的数据包如果超出裸线路的MTU也能正常运作。

拆包合包毕竟需要耗资源的，这种多余的操作，能避免的话当然最好。

要避免，首先确定好L2TPv3隧道的MTU。

图：

UDP封装模式：

L2TPv3隧道MTU = 裸线路MTU – IP头 – UDP头 – L2TPv3头 – 以太网头

经测试L2TPv3头在这种模式下是12字节，如果裸线路MTU是1500，那么隧道MTU = 1500 – 20 – 8 – 12 – 14 = 1446，TCP MSS = 1446 – 20 – 20 = 1406

IP封装模式：

L2TPv3隧道MTU = 裸线路MTU – IP头 – L2TPv3头 – 以太网头

经测试L2TPv3头在这种模式下是8字节，如果裸线路MTU是1500，那么隧道MTU = 1500 – 20 – 8 – 14 = 1458，TCP MSS = 1458- 20 – 20 = 1418

以太网头不一定是14字节，根据实际使用情况自行调整。

Linux Policy-based site-to-site IPsec VPN动态IP的配置及内网穿透的应用（StrongSwan）

上一篇文章提到了一点StrongSwan的配置。

本文继续使用StrongSwan。

StrongSwan的left和right是支持使用域名的，利用此可以实现动态IP的支持；上一篇文章用了type=transport模式转发UDP端口构建L2TPv3，如果没有L2组网的需求，其实可以直接利用type=tunnel模式实现L3转发。

网络拓扑：

上图中的路由器lan-router1和lan-router2都是通过pppoe接入互联网的，域名lan-router1.router和lan-router2.router通过ddns分别解析到了各自pppoe0的IP地址上；server1和server2分别通过lan-router1和lan-router2接入互联网。

下面的操作将在server1与lan-router2之间构建site-to-site IPsec VPN，接通192.168.1.0/24与10.0.0.0/24这两个内网。

提醒：用StrongSwan构建site-to-site IPsec VPN的话，需要至少有一端的UDP 500和4500端口在公网可以访问。

1. 配置StrongSwan

安装StrongSwan就不再阐述了。

在IPsec的配置文件中，left指本地，right指对方。

2.1 server1的配置

编辑/etc/ipsec.conf，末尾加入：

conn peer-server2-tunnel-1
	left=0.0.0.0
	leftid="@server1-id"
	right=lan-router2.router
	rightid="@lan-router2-id"
	leftsubnet=192.168.1.0/24
	rightsubnet=10.0.0.0/24
	ike=aes128-sha1-modp2048!
	keyexchange=ikev2
	reauth=no
	ikelifetime=28800s
	dpddelay=30s
	dpdtimeout=120s
	dpdaction=restart
	esp=aes128-sha1-modp2048!
	keylife=3600s
	rekeymargin=540s
	type=tunnel
	compress=no
	authby=secret
	auto=route
	keyingtries=%forever

conn peer-server2-tunnel-1

left=0.0.0.0

leftid="@server1-id"

right=lan-router2.router

rightid="@lan-router2-id"

leftsubnet=192.168.1.0/24

rightsubnet=10.0.0.0/24

ike=aes128-sha1-modp2048!

keyexchange=ikev2

reauth=no

ikelifetime=28800s

dpddelay=30s

dpdtimeout=120s

dpdaction=restart

esp=aes128-sha1-modp2048!

keylife=3600s

rekeymargin=540s

type=tunnel

compress=no

authby=secret

auto=route

keyingtries=%forever

这里left直接用0.0.0.0表示任何IP都接受连接，right用lan-router2的ddns域名lan-router2.router。

其中left/rightsubnet分别定义了server1的内网IP段，server2的内网IP段，意思就是leftsubnet和rightsubnet之间的流量将走site-to-site IPsec VPN。left/rightsubnet支持定义多个子网的，用逗号分隔。

在server1的auto是route，意思是当内核遇到目的地为rightsubnet的流量，自动发起协商构建site-to-site IPsec VPN。

left/rightid是不建议省略的，另外记得在开头添加@阻止把字符串当成域名解析成IP。

其余的参数，大概就是使用aes-128加密，sha1签名，ikev2协议交换密钥，30秒发送一次心跳包（使用NAT的话尤其重要），心跳包超过120秒无回应重新构建连接（dpdaction=restart）。

编辑/etc/ipsec.secrets，在末尾加入（其中的pre-shared-key是密码，记得改成你自己定的值）：

0.0.0.0 lan-router2.router @server1-id @lan-router2-id : PSK "pre-shared-key"

1	0.0.0.0 lan-router2.router @server1-id @lan-router2-id : PSK "pre-shared-key"

ipsec.secrets的格式，上一篇文章也有提到，是：

left_ip right_ip left_id right_id : PSK "pre-shared-key"

1	left_ip right_ip left_id right_id : PSK "pre-shared-key"

2.2 server2的配置

server2需开放UDP端口500与4500。

编辑/etc/ipsec.conf，末尾加入：

conn peer-lan-router1.router-tunnel-1
	left=0.0.0.0
	leftid="@lan-router2-id"
	right=lan-router1.router
	rightid="@server1-id"
	leftsubnet=10.0.0.0/24
	rightsubnet=192.168.1.0/24
	ike=aes128-sha1-modp2048!
	keyexchange=ikev2
	reauth=no
	ikelifetime=28800s
	dpddelay=30s
	dpdtimeout=120s
	dpdaction=clear
	esp=aes128-sha1-modp2048!
	keylife=3600s
	rekeymargin=540s
	type=tunnel
	compress=no
	authby=secret
	auto=add
	keyingtries=%forever

conn peer-lan-router1.router-tunnel-1

left=0.0.0.0

leftid="@lan-router2-id"

right=lan-router1.router

rightid="@server1-id"

leftsubnet=10.0.0.0/24

rightsubnet=192.168.1.0/24

ike=aes128-sha1-modp2048!

keyexchange=ikev2

reauth=no

ikelifetime=28800s

dpddelay=30s

dpdtimeout=120s

dpdaction=clear

esp=aes128-sha1-modp2048!

keylife=3600s

rekeymargin=540s

type=tunnel

compress=no

authby=secret

auto=add

keyingtries=%forever

其实大体上就是把server1的配置中的left和right调换过来。

当然，这边的right用了域名lan-router1.router，这个域名是会解析到lan-router1 的pppoe0接口的IP的。

此外，这边的auto是add，dpdaction是clear，主要原因是server1处于内网，在server2是无法主动发起协商请求的，所以让StrongSwan启动时仅加载此配置，不作任何其它操作，并且心跳回应超时后，不重建连接。

编辑/etc/ipsec.secrets，在末尾加入（其中的pre-shared-key是密码，记得改成你自己定的值）：

0.0.0.0 lan-router1.router @lan-router2-id @server1-id : PSK "pre-shared-key"

1	0.0.0.0 lan-router1.router @lan-router2-id @server1-id : PSK "pre-shared-key"

2.3 重启StrongSwan并发起协商构建连接

server1和lan-router2执行下面的命令重启StrongSwan：

ipsec restart

1	ipsec restart

发起协商是仅能从server1发起的，原因上一篇文章和开头已提过：

root@server1:~# ipsec status
Routed Connections:
peer-server2-tunnel-1{1}:  ROUTED, TUNNEL, reqid 1
peer-server2-tunnel-1{1}:   192.168.1.0/24 === 10.0.0.0/24
Security Associations (0 up, 0 connecting):
  none

root@server1:~# ipsec up peer-server2-tunnel-1
initiating IKE_SA peer-server2-tunnel-1[6] to 5.3.2.1
generating IKE_SA_INIT request 0 [ SA KE No N(NATD_S_IP) N(NATD_D_IP) N(FRAG_SUP) N(HASH_ALG) N(REDIR_SUP) ]
sending packet: from 192.168.1.2[500] to 5.3.2.1[500] (464 bytes)
received packet: from 5.3.2.1[500] to 192.168.1.2[500] (462 bytes)
parsed IKE_SA_INIT response 0 [ SA KE No N(NATD_S_IP) N(NATD_D_IP) N(FRAG_SUP) N(HASH_ALG) N(MULT_AUTH) ]
local host is behind NAT, sending keep alives
authentication of 'server1-id' (myself) with pre-shared key
establishing CHILD_SA peer-server2-tunnel-1
generating IKE_AUTH request 1 [ IDi N(INIT_CONTACT) IDr AUTH SA TSi TSr N(MOBIKE_SUP) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(MULT_AUTH) N(EAP_ONLY) ]
sending packet: from 192.168.1.2[4500] to 5.3.2.1[4500] (364 bytes)
received packet: from 5.3.2.1[4500] to 192.168.1.2[4500] (316 bytes)
parsed IKE_AUTH response 1 [ IDr AUTH SA TSi TSr N(MOBIKE_SUP) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) ]
authentication of 'lan-router2-id' with pre-shared key successful
IKE_SA peer-server2-tunnel-1[6] established between 192.168.1.2[server1-id]...5.3.2.1[lan-router2-id]
scheduling rekeying in 28010s
maximum IKE_SA lifetime 28550s
received netlink error: Network is unreachable (101)
unable to install source route for 192.168.1.6
CHILD_SA peer-server2-tunnel-1{2} established with SPIs cc4adf80_i c367b3b2_o and TS 192.168.1.0/24 === 10.0.0.0/24
peer supports MOBIKE
connection 'peer-server2-tunnel-1' established successfully

root@server1:~# ping 10.0.0.1
PING 10.0.0.1 (10.0.0.1) 56(84) bytes of data.
64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=202 ms
64 bytes from 10.0.0.1: icmp_seq=2 ttl=64 time=207 ms
64 bytes from 10.0.0.1: icmp_seq=3 ttl=64 time=207 ms
64 bytes from 10.0.0.1: icmp_seq=4 ttl=64 time=202 ms
64 bytes from 10.0.0.1: icmp_seq=5 ttl=64 time=201 ms
^C
--- 10.0.0.1 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4004ms
rtt min/avg/max/mdev = 201.606/204.301/207.931/2.942 ms

root@server1:~# ipsec status

Routed Connections:

peer-server2-tunnel-1{1}: ROUTED, TUNNEL, reqid 1

peer-server2-tunnel-1{1}: 192.168.1.0/24 === 10.0.0.0/24

Security Associations (0 up, 0 connecting):

none

root@server1:~# ipsec up peer-server2-tunnel-1

initiating IKE_SA peer-server2-tunnel-1[6] to 5.3.2.1

generating IKE_SA_INIT request 0 [ SA KE No N(NATD_S_IP) N(NATD_D_IP) N(FRAG_SUP) N(HASH_ALG) N(REDIR_SUP) ]

sending packet: from 192.168.1.2[500] to 5.3.2.1[500] (464 bytes)

received packet: from 5.3.2.1[500] to 192.168.1.2[500] (462 bytes)

parsed IKE_SA_INIT response 0 [ SA KE No N(NATD_S_IP) N(NATD_D_IP) N(FRAG_SUP) N(HASH_ALG) N(MULT_AUTH) ]

local host is behind NAT, sending keep alives

authentication of 'server1-id' (myself) with pre-shared key

establishing CHILD_SA peer-server2-tunnel-1

generating IKE_AUTH request 1 [ IDi N(INIT_CONTACT) IDr AUTH SA TSi TSr N(MOBIKE_SUP) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(MULT_AUTH) N(EAP_ONLY) ]

sending packet: from 192.168.1.2[4500] to 5.3.2.1[4500] (364 bytes)

received packet: from 5.3.2.1[4500] to 192.168.1.2[4500] (316 bytes)

parsed IKE_AUTH response 1 [ IDr AUTH SA TSi TSr N(MOBIKE_SUP) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) ]

authentication of 'lan-router2-id' with pre-shared key successful

IKE_SA peer-server2-tunnel-1[6] established between 192.168.1.2[server1-id]...5.3.2.1[lan-router2-id]

scheduling rekeying in 28010s

maximum IKE_SA lifetime 28550s

received netlink error: Network is unreachable (101)

unable to install source route for 192.168.1.6

CHILD_SA peer-server2-tunnel-1{2} established with SPIs cc4adf80_i c367b3b2_o and TS 192.168.1.0/24 === 10.0.0.0/24

peer supports MOBIKE

connection 'peer-server2-tunnel-1' established successfully

root@server1:~# ping 10.0.0.1

PING 10.0.0.1 (10.0.0.1) 56(84) bytes of data.

64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=202 ms

64 bytes from 10.0.0.1: icmp_seq=2 ttl=64 time=207 ms

64 bytes from 10.0.0.1: icmp_seq=3 ttl=64 time=207 ms

64 bytes from 10.0.0.1: icmp_seq=4 ttl=64 time=202 ms

64 bytes from 10.0.0.1: icmp_seq=5 ttl=64 time=201 ms

--- 10.0.0.1 ping statistics ---

5 packets transmitted, 5 received, 0% packet loss, time 4004ms

rtt min/avg/max/mdev = 201.606/204.301/207.931/2.942 ms

如果up有提示successfully，但是ping不通的话，见本文2.3防火墙的配置。

在lan-router2上测试：

root@lan-router2:~# ping 192.168.1.2
PING 192.168.1.2 (192.168.1.2) 56(84) bytes of data.
64 bytes from 192.168.1.2: icmp_seq=1 ttl=64 time=205 ms
64 bytes from 192.168.1.2: icmp_seq=2 ttl=64 time=215 ms
64 bytes from 192.168.1.2: icmp_seq=3 ttl=64 time=221 ms
64 bytes from 192.168.1.2: icmp_seq=4 ttl=64 time=214 ms
64 bytes from 192.168.1.2: icmp_seq=5 ttl=64 time=215 ms
^C
--- 192.168.1.2 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4002ms
rtt min/avg/max/mdev = 205.575/214.439/221.194/5.054 ms

root@lan-router2:~# ping 192.168.1.2

PING 192.168.1.2 (192.168.1.2) 56(84) bytes of data.

64 bytes from 192.168.1.2: icmp_seq=1 ttl=64 time=205 ms

64 bytes from 192.168.1.2: icmp_seq=2 ttl=64 time=215 ms

64 bytes from 192.168.1.2: icmp_seq=3 ttl=64 time=221 ms

64 bytes from 192.168.1.2: icmp_seq=4 ttl=64 time=214 ms

64 bytes from 192.168.1.2: icmp_seq=5 ttl=64 time=215 ms

--- 192.168.1.2 ping statistics ---

5 packets transmitted, 5 received, 0% packet loss, time 4002ms

rtt min/avg/max/mdev = 205.575/214.439/221.194/5.054 ms

因为设置了心跳，所以无需担心路由器上的NAT记录超时，此外server1上设置了自动重连，所以更换IP或者其它原因导致VPN断开后，只要ddns更新的DNS记录生效了或者网络恢复正常，理论上server1是会自动重连的，当然，理论上。

2. 其它配置

2.1 L2TPv3、GRE等应用

通过上面构造的VPN，因为server1和lan-router2都是分别拥有一个固定的内网IP的，所以可以直接指定双方的内网IP构建L2TPv3（详见上一篇文章）或者GRE之类的。

2.2 启用IPv4转发以及设置SNAT规则

上面配置的都是/24的子网，如果两边都未启用IPv4转发，双方都仅能访问对方的IP。

本文的拓扑中，server1是需要启用IPv4转发并设置SNAT的，lan-router2上一般不需要进行这两项配置。

如何启用IPv4转发以及设置SNAT规则，网络上很多资料，这个各位自行按实际情况解决。

2.3 防火墙的配置

这里给个匹配IPsec流量的规则，自行按需应用吧：

-m policy --dir in|out --pol ipsec

1	-m policy --dir in\|out --pol ipsec

例如lan-router2上pppoe0接口可能配了防火墙对入网流量进行了较为严格的入网流量控制，会导致lan-router2可以主动访问server1但server1无法主动访问lan-router2，加入以下规则即可解决：

iptables -I INPUT -i pppoe0 -s 192.168.1.0/24 -m policy --dir in --pol ipsec -j ACCEPT

1	iptables -I INPUT -i pppoe0 -s 192.168.1.0/24 -m policy --dir in --pol ipsec -j ACCEPT

转发的类似，加入FORWARD链即可。

Linux L2TPv3以及ip-xfrm的配置

L2TPv3：http://man7.org/linux/man-pages/man8/ip-l2tp.8.html

ip-xfrm：http://man7.org/linux/man-pages/man8/ip-xfrm.8.html

这两个都是kernel内置的功能，通过这两个可以直接构建加密的VPN。

本文尝试使用ip-xfrm创建加密的隧道，并基于此隧道构建L2TPv3 VPN。

1. 生成密钥与ID

不使用StrongSwan，手动配置ip-xfrm时需要用到：

HASH_KEY=0x`dd if=/dev/urandom count=32 bs=1 2> /dev/null | xxd -p -c 64`
ENCRYPT_KEY=0x`dd if=/dev/urandom count=32 bs=1 2> /dev/null | xxd -p -c 64`
ID=0x`dd if=/dev/urandom count=4 bs=1 2> /dev/null | xxd -p -c 8`
echo -e "HASH_KEY=${HASH_KEY}\nENCRYPT_KEY=${ENCRYPT_KEY}\nID=${ID}"

HASH_KEY=0x`dd if=/dev/urandom count=32 bs=1 2> /dev/null | xxd -p -c 64`

ENCRYPT_KEY=0x`dd if=/dev/urandom count=32 bs=1 2> /dev/null | xxd -p -c 64`

ID=0x`dd if=/dev/urandom count=4 bs=1 2> /dev/null | xxd -p -c 8`

echo -e "HASH_KEY=${HASH_KEY}\nENCRYPT_KEY=${ENCRYPT_KEY}\nID=${ID}"

复制上面四行命令后输出的内容，粘贴到left和right上运行，用于设置变量

2. 配置ip-xfrm

这里得分两种情况，一种是left和right都不经过NAT直接持有公网IP，另一种是left或者right任何一端经过NAT。

为什么要这样区分？因为ip-xfrm传输加密报文使用的协议ESP是L3的，一般情况下无法NAT，需要使用L4封装才能正常使用；其次，L4被SNAT后的源端口（source port），可能会被改变。

下面以UDP端口1801作为L2TPv3的通讯端口，对ip-xfrm进行配置。

2.1 不经过NAT

拓扑如下：

首先在left配置ip-xfrm：

# 执行第一步所输出的
root@left:~# HASH_KEY=...
root@left:~# ENCRYPT_KEY=...
root@left:~# ID=...
# 设置IP地址变量
root@left:~# SOURCE_IP="192.168.1.1"
root@left:~# DESTINATION_IP="192.168.2.1"
root@left:~# L2TPV3_PORT="1801"

root@left:~# ip xfrm state add src ${SOURCE_IP} dst ${DESTINATION_IP} \
    proto esp spi ${ID} reqid ${ID} mode transport \
    replay-window 0 \
    auth sha1 ${HASH_KEY} \
    enc aes ${ENCRYPT_KEY}
root@left:~# ip xfrm state add src ${DESTINATION_IP} dst ${SOURCE_IP} \
    proto esp spi ${ID} reqid ${ID} mode transport \
    replay-window 32 \
    auth sha1 ${HASH_KEY} \
    enc aes ${ENCRYPT_KEY}

root@left:~# ip xfrm policy add src ${SOURCE_IP} dst ${DESTINATION_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \
    dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport
root@left:~# ip xfrm policy add src ${DESTINATION_IP} dst ${SOURCE_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \
    dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport

# 执行第一步所输出的

root@left:~# HASH_KEY=...

root@left:~# ENCRYPT_KEY=...

root@left:~# ID=...

# 设置IP地址变量

root@left:~# SOURCE_IP="192.168.1.1"

root@left:~# DESTINATION_IP="192.168.2.1"

root@left:~# L2TPV3_PORT="1801"

root@left:~# ip xfrm state add src ${SOURCE_IP} dst ${DESTINATION_IP} \

proto esp spi ${ID} reqid ${ID} mode transport \

replay-window 0 \

auth sha1 ${HASH_KEY} \

enc aes ${ENCRYPT_KEY}

root@left:~# ip xfrm state add src ${DESTINATION_IP} dst ${SOURCE_IP} \

proto esp spi ${ID} reqid ${ID} mode transport \

replay-window 32 \

auth sha1 ${HASH_KEY} \

enc aes ${ENCRYPT_KEY}

root@left:~# ip xfrm policy add src ${SOURCE_IP} dst ${DESTINATION_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \

dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport

root@left:~# ip xfrm policy add src ${DESTINATION_IP} dst ${SOURCE_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \

dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport

然后配置right：

# 执行第一步所输出的 
root@left:~# HASH_KEY=...
root@left:~# ENCRYPT_KEY=...
root@left:~# ID=...
# 设置IP地址变量
SOURCE_IP="192.168.2.1"
DESTINATION_IP="192.168.1.1"
L2TPV3_PORT="1801"

ip xfrm state add src ${SOURCE_IP} dst ${DESTINATION_IP} \
    proto esp spi ${ID} reqid ${ID} mode transport \
    replay-window 0 \
    auth sha1 ${HASH_KEY} \
    enc aes ${ENCRYPT_KEY}
ip xfrm state add src ${DESTINATION_IP} dst ${SOURCE_IP} \
    proto esp spi ${ID} reqid ${ID} mode transport \
    replay-window 32 \
    auth sha1 ${HASH_KEY} \
    enc aes ${ENCRYPT_KEY}

ip xfrm policy add src ${SOURCE_IP} dst ${DESTINATION_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \
    dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport
ip xfrm policy add src ${DESTINATION_IP} dst ${SOURCE_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \
    dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport

# 执行第一步所输出的

root@left:~# HASH_KEY=...

root@left:~# ENCRYPT_KEY=...

root@left:~# ID=...

# 设置IP地址变量

SOURCE_IP="192.168.2.1"

DESTINATION_IP="192.168.1.1"

L2TPV3_PORT="1801"

ip xfrm state add src ${SOURCE_IP} dst ${DESTINATION_IP} \

proto esp spi ${ID} reqid ${ID} mode transport \

replay-window 0 \

auth sha1 ${HASH_KEY} \

enc aes ${ENCRYPT_KEY}

ip xfrm state add src ${DESTINATION_IP} dst ${SOURCE_IP} \

proto esp spi ${ID} reqid ${ID} mode transport \

replay-window 32 \

auth sha1 ${HASH_KEY} \

enc aes ${ENCRYPT_KEY}

ip xfrm policy add src ${SOURCE_IP} dst ${DESTINATION_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \

dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport

ip xfrm policy add src ${DESTINATION_IP} dst ${SOURCE_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \

dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport

上面的配置命令，state是指定left到right的之间数据封装使用ESP协议，指定使用sha1算法进行签名，aes-128进行加密。policy指定当L2TPv3的UDP数据包在left和right之间传输时，使用刚刚在state里面配置的规则进行封装。

2.2 经过NAT

拓扑：

上图中left和right都被NAT过，这里需要注意：至少要保证left或者right的一个UDP端口能被对方访问，如果双方都被NAT，且路由器都没有映射端口到它们那，那这个VPN就无法构建。

这里假定right的路由把到2.3.5.6的流量都转发给了192.168.2.2。

NAT还有一个比较大的问题，就是SNAT后源端口可能会改变，假定left和right设定了ESP通过双方的UDP端口4500封装，如果left的kernel从源端口4500发送UDP封装的ESP数据包到2.3.5.6:4500，right收到的数据包的来源端口有可能不是4500，这样会内核就找不到对应的xfrm规则，不会对解除该ESP的封装。即使你通过抓包或者其它方法获取到了被SNAT后的端口，如果这个NAT记录一段时间后无任何流量，路由器会清理掉该记录，后面再SNAT的端口可能又是另一个了。所以，这就是为什么IPsec会有NAT-T。

不过，即使解决SNAT和NAT记录超时问题，也还不足，虽然可以直接手动配置espinudp的规则，但是还是得依赖外部程序，内核才会解除ESP的UDP封装。

2.2.1 方式一：使用StrongSwan配置ip-xfrm

StrongSwan的实现其实也是ip-xfrm，使用StrongSwan，需要开放UDP端口500和4500，这里假设right的路由已把这两个端口转发到right。

在left和right安装StrongSwan：

apt install strongswan

1	apt install strongswan

在left的/etc/ipsec.conf加入记录：

conn peer-2.3.5.6-1801
        left=192.168.1.2
        leftid="@left-id"
        right=2.3.5.6
        rightid="@right-id"
        leftprotoport=udp/1801
        rightprotoport=udp/1801
        ike=aes128-sha1-modp2048!
        keyexchange=ikev2
        reauth=no
        ikelifetime=28800s
        dpddelay=30s
        dpdtimeout=120s
        dpdaction=restart
        esp=aes128-sha1-modp2048!
        keylife=3600s
        rekeymargin=540s
        type=transport
        compress=no
        authby=secret
        auto=route
        keyingtries=%forever

conn peer-2.3.5.6-1801

left=192.168.1.2

leftid="@left-id"

right=2.3.5.6

rightid="@right-id"

leftprotoport=udp/1801

rightprotoport=udp/1801

ike=aes128-sha1-modp2048!

keyexchange=ikev2

reauth=no

ikelifetime=28800s

dpddelay=30s

dpdtimeout=120s

dpdaction=restart

esp=aes128-sha1-modp2048!

keylife=3600s

rekeymargin=540s

type=transport

compress=no

authby=secret

auto=route

keyingtries=%forever

在left的/etc/ipsec.secrets加入记录（把pre-shared-key改成你自己指定的密钥）：

192.168.1.2 2.3.5.6 @left-id @right-id : PSK "pre-shared-key"

1	192.168.1.2 2.3.5.6 @left-id @right-id : PSK "pre-shared-key"

在right的/etc/ipsec.conf加入记录（这里的auto是add不是route，因为只有right的路由器是为right映射了端口的，left没有，right是无法主动向left发起协商请求的）：

conn peer-1.2.3.2-1801
        left=192.168.2.2
        leftid="@right-id"
        right=1.2.3.2
        rightid="@left-id"
        leftprotoport=udp/1801
        rightprotoport=udp/1801
        ike=aes128-sha1-modp2048!
        keyexchange=ikev2
        reauth=no
        ikelifetime=28800s
        dpddelay=30s
        dpdtimeout=120s
        dpdaction=clear
        esp=aes128-sha1-modp2048!
        keylife=3600s
        rekeymargin=540s
        type=transport
        compress=no
        authby=secret
        auto=add
        keyingtries=%forever

conn peer-1.2.3.2-1801

left=192.168.2.2

leftid="@right-id"

right=1.2.3.2

rightid="@left-id"

leftprotoport=udp/1801

rightprotoport=udp/1801

ike=aes128-sha1-modp2048!

keyexchange=ikev2

reauth=no

ikelifetime=28800s

dpddelay=30s

dpdtimeout=120s

dpdaction=clear

esp=aes128-sha1-modp2048!

keylife=3600s

rekeymargin=540s

type=transport

compress=no

authby=secret

auto=add

keyingtries=%forever

在right的/etc/ipsec.secrets加入记录（left和right的PSK要一致）：

192.168.2.2 1.2.3.2 @right-id @left-id : PSK "pre-shared-key"

1	192.168.2.2 1.2.3.2 @right-id @left-id : PSK "pre-shared-key"

注意，在StrongSwan的配置文件中的left和right并不代表拓扑图中的left和right，left是本机，right是对方；另外，ipsec.secrets的格式是：

left_ip right_ip left_id right_id : PSK "pre-shared-key"

1	left_ip right_ip left_id right_id : PSK "pre-shared-key"

上面StrongSwan加入的记录，大概意思就是该规则应用于left和right的udp端口1801之间的通讯，并且让内核在遇到匹配left和right 1801端口的通讯时自动配置ip-xfrm，此外，30秒进行一次心跳，120秒无回应则重建连接。

在两边都重启StrongSwan：

ipsec restart

1	ipsec restart

正常来说，后面构建L2TPv3后，1801端口有流量，StrongSwan会自动配置ip-xfrm，不过可以手动up试试是否成功（这里只能在left上进行，前面已提过right是无法主动向left发起协商请求的）：

root@left:~# ipsec up peer-2.3.5.6-1801
initiating IKE_SA peer-192.168.1.2-1801[4] to 2.3.5.6
generating IKE_SA_INIT request 0 [ SA KE No N(NATD_S_IP) N(NATD_D_IP) N(FRAG_SUP) N(HASH_ALG) N(REDIR_SUP) ]
sending packet: from 192.168.1.2[500] to 2.3.5.6[500] (464 bytes)
received packet: from 2.3.5.6[500] to 192.168.1.2[500] (462 bytes)
parsed IKE_SA_INIT response 0 [ SA KE No N(NATD_S_IP) N(NATD_D_IP) N(FRAG_SUP) N(HASH_ALG) N(MULT_AUTH) ]
local host is behind NAT, sending keep alives
remote host is behind NAT
authentication of 'left' (myself) with pre-shared key
establishing CHILD_SA peer-2.3.5.6-1801
generating IKE_AUTH request 1 [ IDi N(INIT_CONTACT) IDr AUTH N(USE_TRANSP) SA TSi TSr N(MOBIKE_SUP) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(MULT_AUTH) N(EAP_ONLY) ]
sending packet: from 192.168.1.2[4500] to 2.3.5.6[4500] (364 bytes)
received packet: from 2.3.5.6[4500] to 192.168.1.2[4500] (284 bytes)
parsed IKE_AUTH response 1 [ IDr AUTH N(USE_TRANSP) SA TSi TSr N(MOBIKE_SUP) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_6_ADDR) ]
authentication of 'right-id' with pre-shared key successful
IKE_SA peer-2.3.5.6-1801[4] established between 192.168.1.2[left]...2.3.5.6[right-id]
scheduling rekeying in 27781s
maximum IKE_SA lifetime 28321s
CHILD_SA peer-2.3.5.6-1801{2} established with SPIs c903d293_i cbbfce0b_o and TS 192.168.1.2/32[udp/1801] === 2.3.5.6/32[udp/1801]
connection 'peer-2.3.5.6-1801' established successfully

root@left:~# ipsec up peer-2.3.5.6-1801

initiating IKE_SA peer-192.168.1.2-1801[4] to 2.3.5.6

generating IKE_SA_INIT request 0 [ SA KE No N(NATD_S_IP) N(NATD_D_IP) N(FRAG_SUP) N(HASH_ALG) N(REDIR_SUP) ]

sending packet: from 192.168.1.2[500] to 2.3.5.6[500] (464 bytes)

received packet: from 2.3.5.6[500] to 192.168.1.2[500] (462 bytes)

parsed IKE_SA_INIT response 0 [ SA KE No N(NATD_S_IP) N(NATD_D_IP) N(FRAG_SUP) N(HASH_ALG) N(MULT_AUTH) ]

local host is behind NAT, sending keep alives

remote host is behind NAT

authentication of 'left' (myself) with pre-shared key

establishing CHILD_SA peer-2.3.5.6-1801

generating IKE_AUTH request 1 [ IDi N(INIT_CONTACT) IDr AUTH N(USE_TRANSP) SA TSi TSr N(MOBIKE_SUP) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(MULT_AUTH) N(EAP_ONLY) ]

sending packet: from 192.168.1.2[4500] to 2.3.5.6[4500] (364 bytes)

received packet: from 2.3.5.6[4500] to 192.168.1.2[4500] (284 bytes)

parsed IKE_AUTH response 1 [ IDr AUTH N(USE_TRANSP) SA TSi TSr N(MOBIKE_SUP) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_4_ADDR) N(ADD_6_ADDR) ]

authentication of 'right-id' with pre-shared key successful

IKE_SA peer-2.3.5.6-1801[4] established between 192.168.1.2[left]...2.3.5.6[right-id]

scheduling rekeying in 27781s

maximum IKE_SA lifetime 28321s

CHILD_SA peer-2.3.5.6-1801{2} established with SPIs c903d293_i cbbfce0b_o and TS 192.168.1.2/32[udp/1801] === 2.3.5.6/32[udp/1801]

connection 'peer-2.3.5.6-1801' established successfully

2.2.2 方式二：手动配置ip-xfrm

下面的配置步骤，即使全部对了，应该也是无法通的，抓包可以看到封装为UDP的ESP数据包，但是内核不会解除封装，不过如果你left和right两边都运行StrongSwan（不需要进行任何配置），监听着4500端口，就可以通。

left：

# 执行第一步所输出的
root@left:~# HASH_KEY=...
root@left:~# ENCRYPT_KEY=...
root@left:~# ID=...
# 设置IP地址变量
root@left:~# SOURCE_IP="192.168.1.2"
root@left:~# DESTINATION_IP="2.3.5.6"
root@left:~# L2TPV3_PORT="1801"

root@left:~# ip xfrm state add src ${SOURCE_IP} dst ${DESTINATION_IP} proto esp spi ${ID} reqid ${ID} mode transport \
    replay-window 0 \
    encap espinudp 4500 4500 0.0.0.0 \
    auth sha1 ${HASH_KEY} enc aes ${ENCRYPT_KEY}
root@left:~# ip xfrm state add src ${DESTINATION_IP} dst ${SOURCE_IP} proto esp spi ${ID} reqid ${ID} mode transport \
    replay-window 32 \
    encap espinudp 4500 4500 0.0.0.0 \
    auth sha1 ${HASH_KEY} enc aes ${ENCRYPT_KEY}

root@left:~# ip xfrm policy add src ${SOURCE_IP} dst ${DESTINATION_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \
    dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport
root@left:~# ip xfrm policy add src ${DESTINATION_IP} dst ${SOURCE_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \
    dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport

# 执行第一步所输出的

root@left:~# HASH_KEY=...

root@left:~# ENCRYPT_KEY=...

root@left:~# ID=...

# 设置IP地址变量

root@left:~# SOURCE_IP="192.168.1.2"

root@left:~# DESTINATION_IP="2.3.5.6"

root@left:~# L2TPV3_PORT="1801"

root@left:~# ip xfrm state add src ${SOURCE_IP} dst ${DESTINATION_IP} proto esp spi ${ID} reqid ${ID} mode transport \

replay-window 0 \

encap espinudp 4500 4500 0.0.0.0 \

auth sha1 ${HASH_KEY} enc aes ${ENCRYPT_KEY}

root@left:~# ip xfrm state add src ${DESTINATION_IP} dst ${SOURCE_IP} proto esp spi ${ID} reqid ${ID} mode transport \

replay-window 32 \

encap espinudp 4500 4500 0.0.0.0 \

auth sha1 ${HASH_KEY} enc aes ${ENCRYPT_KEY}

root@left:~# ip xfrm policy add src ${SOURCE_IP} dst ${DESTINATION_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \

dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport

root@left:~# ip xfrm policy add src ${DESTINATION_IP} dst ${SOURCE_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \

dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport

right：

root@right:~# LEFT_ESPINUDP_PORT="4500" # 这里是left的4500端口被路由器SNAT后的端口，不一定是4500，可以先跳到第三步在left配置好L2TPv3并配置IP，产生流量并抓包查看SNAT后的端口，或者自己想办法获取吧

# 执行第一步所输出的
root@right:~# HASH_KEY=...
root@right:~# ENCRYPT_KEY=...
root@right:~# ID=...
# 设置IP地址变量
root@right:~# SOURCE_IP="192.168.2.2"
root@right:~# DESTINATION_IP="1.2.3.2"
root@right:~# L2TPV3_PORT="1801"

root@right:~# ip xfrm state add src ${SOURCE_IP} dst ${DESTINATION_IP} proto esp spi ${ID} reqid ${ID} mode transport \
    replay-window 0 \
    encap espinudp 4500 ${LEFT_ESPINUDP_PORT} 0.0.0.0 \
    auth sha1 ${HASH_KEY} enc aes ${ENCRYPT_KEY}
root@right:~# ip xfrm state add src ${DESTINATION_IP} dst ${SOURCE_IP} proto esp spi ${ID} reqid ${ID} mode transport \
    replay-window 32 \
    encap espinudp ${LEFT_ESPINUDP_PORT} 4500 0.0.0.0 \
    auth sha1 ${HASH_KEY} enc aes ${ENCRYPT_KEY}

root@right:~# ip xfrm policy add src ${SOURCE_IP} dst ${DESTINATION_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \
    dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport
root@right:~# ip xfrm policy add src ${DESTINATION_IP} dst ${SOURCE_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \
    dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport

root@right:~# LEFT_ESPINUDP_PORT="4500" # 这里是left的4500端口被路由器SNAT后的端口，不一定是4500，可以先跳到第三步在left配置好L2TPv3并配置IP，产生流量并抓包查看SNAT后的端口，或者自己想办法获取吧

# 执行第一步所输出的

root@right:~# HASH_KEY=...

root@right:~# ENCRYPT_KEY=...

root@right:~# ID=...

# 设置IP地址变量

root@right:~# SOURCE_IP="192.168.2.2"

root@right:~# DESTINATION_IP="1.2.3.2"

root@right:~# L2TPV3_PORT="1801"

root@right:~# ip xfrm state add src ${SOURCE_IP} dst ${DESTINATION_IP} proto esp spi ${ID} reqid ${ID} mode transport \

replay-window 0 \

encap espinudp 4500 ${LEFT_ESPINUDP_PORT} 0.0.0.0 \

auth sha1 ${HASH_KEY} enc aes ${ENCRYPT_KEY}

root@right:~# ip xfrm state add src ${DESTINATION_IP} dst ${SOURCE_IP} proto esp spi ${ID} reqid ${ID} mode transport \

replay-window 32 \

encap espinudp ${LEFT_ESPINUDP_PORT} 4500 0.0.0.0 \

auth sha1 ${HASH_KEY} enc aes ${ENCRYPT_KEY}

root@right:~# ip xfrm policy add src ${SOURCE_IP} dst ${DESTINATION_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \

dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport

root@right:~# ip xfrm policy add src ${DESTINATION_IP} dst ${SOURCE_IP} proto udp sport ${L2TPV3_PORT} dport ${L2TPV3_PORT} \

dir out tmpl src 0.0.0.0 dst 0.0.0.0 proto esp reqid ${ID} mode transport

3. 配置L2TPv3

在left和right上都执行一样的命令配置L2TPv3：

L2TP_ID="1000" # 如果有多个，就换成不同的ID

# 下面的三行变量设置，如果前面使用了StrongSwan，未设置的话这里再设置一次，否则直接跳过
SOURCE_IP="本地的IP" # 本地经NAT，是内网IP就填内网IP，无NAT就是公网IP
DESTINATION_IP="对方的IP" # 对方的公网IP
L2TPV3_PORT="1801"
ip l2tp add tunnel tunnel_id ${L2TP_ID} peer_tunnel_id ${L2TP_ID} \
    encap udp local ${SOURCE_IP} remote ${DESTINATION_IP} \
    udp_sport ${L2TPV3_PORT} udp_dport ${L2TPV3_PORT}
ip l2tp add session name l2tpeth100 tunnel_id ${L2TP_ID} session_id ${L2TP_ID} \
    peer_session_id ${L2TP_ID} # name后面的l2tpeth100是虚拟网卡的名称

L2TP_ID="1000" # 如果有多个，就换成不同的ID

# 下面的三行变量设置，如果前面使用了StrongSwan，未设置的话这里再设置一次，否则直接跳过

SOURCE_IP="本地的IP" # 本地经NAT，是内网IP就填内网IP，无NAT就是公网IP

DESTINATION_IP="对方的IP" # 对方的公网IP

L2TPV3_PORT="1801"

ip l2tp add tunnel tunnel_id ${L2TP_ID} peer_tunnel_id ${L2TP_ID} \

encap udp local ${SOURCE_IP} remote ${DESTINATION_IP} \

udp_sport ${L2TPV3_PORT} udp_dport ${L2TPV3_PORT}

ip l2tp add session name l2tpeth100 tunnel_id ${L2TP_ID} session_id ${L2TP_ID} \

peer_session_id ${L2TP_ID} # name后面的l2tpeth100是虚拟网卡的名称

无误的话，在left和right上执行ip link show会看到一个名为l2tpeth100的虚拟网卡：

root@left:~# ip link show
1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
...
9: l2tpeth100: &lt;BROADCAST,MULTICAST&gt; mtu 1404 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 86:d4:ea:0c:6a:dc brd ff:ff:ff:ff:ff:ff
root@left:~# ip link set l2tpeth100 up
root@left:~# ip addr add 192.168.200.1/24 dev l2tpeth100

root@right:~# ip link show
1: lo: &lt;LOOPBACK,UP,LOWER_UP&gt; mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
...
24: l2tpeth100: &lt;BROADCAST,MULTICAST&gt; mtu 1404 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 92:85:53:77:f1:b6 brd ff:ff:ff:ff:ff:ff
root@right:~# ip link set l2tpeth100 up
root@right:~# ip addr add 192.168.200.2/24 dev l2tpeth100
root@right:~# ping 192.168.200.1
PING 192.168.200.1 (192.168.200.1) 56(84) bytes of data.
64 bytes from 192.168.200.1: icmp_seq=1 ttl=64 time=1.54 ms
64 bytes from 192.168.200.1: icmp_seq=2 ttl=64 time=0.940 ms
64 bytes from 192.168.200.1: icmp_seq=3 ttl=64 time=1.00 ms
64 bytes from 192.168.200.1: icmp_seq=4 ttl=64 time=0.982 ms
64 bytes from 192.168.200.1: icmp_seq=5 ttl=64 time=1.22 ms
64 bytes from 192.168.200.1: icmp_seq=6 ttl=64 time=1.22 ms
^C
--- 192.168.200.1 ping statistics ---
6 packets transmitted, 6 received, 0% packet loss, time 5002ms
rtt min/avg/max/mdev = 0.940/1.153/1.548/0.211 ms
root@right:~# arp -an | grep l2tpeth100
? (192.168.200.1) at 86:d4:ea:0c:6a:dc [ether] on l2tpeth100

root@left:~# ip link show

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

...

9: l2tpeth100: <BROADCAST,MULTICAST> mtu 1404 qdisc noop state DOWN mode DEFAULT group default qlen 1000

link/ether 86:d4:ea:0c:6a:dc brd ff:ff:ff:ff:ff:ff

root@left:~# ip link set l2tpeth100 up

root@left:~# ip addr add 192.168.200.1/24 dev l2tpeth100

root@right:~# ip link show

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

...

24: l2tpeth100: <BROADCAST,MULTICAST> mtu 1404 qdisc noop state DOWN mode DEFAULT group default qlen 1000

link/ether 92:85:53:77:f1:b6 brd ff:ff:ff:ff:ff:ff

root@right:~# ip link set l2tpeth100 up

root@right:~# ip addr add 192.168.200.2/24 dev l2tpeth100

root@right:~# ping 192.168.200.1

PING 192.168.200.1 (192.168.200.1) 56(84) bytes of data.

64 bytes from 192.168.200.1: icmp_seq=1 ttl=64 time=1.54 ms

64 bytes from 192.168.200.1: icmp_seq=2 ttl=64 time=0.940 ms

64 bytes from 192.168.200.1: icmp_seq=3 ttl=64 time=1.00 ms

64 bytes from 192.168.200.1: icmp_seq=4 ttl=64 time=0.982 ms

64 bytes from 192.168.200.1: icmp_seq=5 ttl=64 time=1.22 ms

64 bytes from 192.168.200.1: icmp_seq=6 ttl=64 time=1.22 ms

--- 192.168.200.1 ping statistics ---

6 packets transmitted, 6 received, 0% packet loss, time 5002ms

rtt min/avg/max/mdev = 0.940/1.153/1.548/0.211 ms

root@right:~# arp -an | grep l2tpeth100

? (192.168.200.1) at 86:d4:ea:0c:6a:dc [ether] on l2tpeth100

L2TPv3是附带以太网头的，所以还可以桥接组网。

一款鲜为人知的杰出VPN方案 —— ACCEL-PPP

因PPTP简单、方便，无特别需要，平时需要用到VPN时一般都会首选PPTP。

数月前使用PPTP的过程中发现，Linux下的PoPToP方案极限速率仅有20 Mbps左右，而Windows下“网络策略和访问服务”提供的PPTP上限速率则高些，能达到70 – 80 Mbps。

当时了解到一款名为ACCEL-PPP的方案，尝试了一番，效果不负其名——ACCEL。

但今天发现，此方案的中文介绍、资料近乎无（英文介绍也不多），遂撰写此文，欲让更多人了解到此杰作。

服务器配置：

CPU: Intel Xeon L5520 *2
RAM: 48GB
网络适配器: Intel 千兆网络适配器
硬盘: 256GB SSD

网络环境：

ISP: 中国电信
公网速率: 100 Mbps
路由器: EdgeRouter X SFP (with hwnat, ipsec offload enable)

本文部分词语定义：

极限速率 —— 当数据传输速率在30秒内不能稳定提升，则视当前已达极限速率

PoPToP

PoPToP就是Linux更新源所提供的的pptpd。

达到极限速率后，使用top看到服务器上pptpd进程的CPU使用率仅有25-30%：

速率已达极限，而资源使用却未达极限，明显问题在于PoPToP方案的资源利用率底下。

ACCEL-PPP PPTP

ACCEL-PPP的PPTP极限速率能达到50 Mbps多，使用top查看CPU使用率，可以发现大部分都被ksoftirqd占用，且使用率几乎可达一个核心的极限。

虽然未能达到我公网带宽的极限速率，但能充分利用资源达到如此高的速率已经很不错了。

ACCEL-PPP的文档没对其工作原理作出介绍，我也未深究其源码，暂不能解释其“高效”、以及受限于其“极限”的原因。

ACCEL-PPP L2TP与xl2tpd的性能对比

使用StrongSwan，IPSec PSK

xl2tpd

ACCEL-PPP L2TP

孰优孰劣，明显至极。

ACCEL-PPP的安装

本节以Debian 9为例，安装ACCEL-PPP。

安装编译器，cmake：

apt-get install build-essential cmake

1	apt-get install build-essential cmake

取得ACCEL-PPP源码（编写本文时，SourceForge的ACCEL-PPP 1.11.2的源码扩展名虽为.tar.bz2，但实际上只由tar打包，并无使用bzip压缩）：

ACCEL_PPP_VERSION="1.11.2"
wget -O- "https://sourceforge.net/projects/accel-ppp/files/accel-ppp-${ACCEL_PPP_VERSION}.tar.bz2/download" | tar -xvf-

1 2	ACCEL_PPP_VERSION="1.11.2" wget -O- "https://sourceforge.net/projects/accel-ppp/files/accel-ppp-${ACCEL_PPP_VERSION}.tar.bz2/download" \| tar -xvf-

编译ACCEL-PPP：

ACCEL-PPP编译前需要使用cmake对所需的功能进行设置，支持的选项有以下：

-DBUILD_PPTP_DRIVER=TRUE —— 本选项用于编译PPTP内核模块，内核版本>= 2.6.37已内置PPTP模块，无需启用该选项。
-DBUILD_IPOE_DRIVER=TRUE —— 本选项用于编译IPoE内核模块。IPoE共享接口模式或VLAN监控下需要此模块。
-DBUILD_VLAN_MON_DRIVER=TRUE —— 编译VLAN监控模块。
-DKDIR=/usr/src/linux —— 若需要构建PPTP内核模块，则需要使用本选项指定内核源码目录。
-DCMAKE_INSTALL_PREFIX=/some/location —— 指定ACCEL-PPP安装目录，默认为/usr/local。
-DCMAKE_BUILD_TYPE=Debug —— 选择编译为DEBUG版本以用于调试抑或为RELEASE版本。
-DLOG_PGSQL=TRUE —— 编译log_pgsql模块用于使用PostreSQL数据库记录日志。
-DRADIUS=FALSE —— 关闭radius模块。
-DNETSNMP=TRUE —— 启用SNMP模块。
-DLUA=TRUE —— 启用LUA支持（仅用于IPoE）。
-DSHAPE=TRUE —— 启用流量控制功能。

本文编译为Release版本，关闭Radius，PGSQL，流量控制等功能。

mkdir accel-ppp-${ACCEL_PPP_VERSION}/build
pushd accel-ppp-${ACCEL_PPP_VERSION}/build

BUILD_JOBS=8
cmake \
-DBUILD_DRIVER=false \
-DCMAKE_INSTALL_PREFIX=/usr/local \
-DCMAKE_BUILD_TYPE=Release \
-DLOG_PGSQL=FALSE \
-DSHAPER=FALSE \
-DRADIUS=false \
-DNETSNMP=FALSE \
..
make -j${BUILD_JOBS}
make -j${BUILD_JOBS} install

popd

mkdir accel-ppp-${ACCEL_PPP_VERSION}/build

pushd accel-ppp-${ACCEL_PPP_VERSION}/build

BUILD_JOBS=8

cmake \

-DBUILD_DRIVER=false \

-DCMAKE_INSTALL_PREFIX=/usr/local \

-DCMAKE_BUILD_TYPE=Release \

-DLOG_PGSQL=FALSE \

-DSHAPER=FALSE \

-DRADIUS=false \

-DNETSNMP=FALSE \

make -j${BUILD_JOBS}

make -j${BUILD_JOBS} install

popd

重命名配置文件：

mv /etc/accel-ppp.conf.dist /etc/accel-ppp.conf

1	mv /etc/accel-ppp.conf.dist /etc/accel-ppp.conf

ACCEL-PPP的配置

从man可获取到accel-ppp配置文件的完整文档：

man accel-ppp.conf

1	man accel-ppp.conf

本小节仅对部分配置项进行说明。

[modules]

本部分定义了ACCEL-PPP需要启用的功能。

例如

log_file

pptp
l2tp

auth_mschap_v2
auth_mschap_v1
auth_chap_md5
auth_pap

chap-secrets

ippool

pppd_compat

log_file

pptp

l2tp

auth_mschap_v2

auth_mschap_v1

auth_chap_md5

auth_pap

chap-secrets

ippool

pppd_compat

则表示启用文件日志，pptp，l2tp等功能。

[core]

用于配置核心模块的参数。

当前版本支持的有以下两项：

       log-error=path
              错误日志文件路径

       thread-count=n
              工作线程数

log-error=path

错误日志文件路径

thread-count=n

工作线程数

[ppp]

ACCEL-PPP内置的ppp模块参数配置。

具体略。

[dns]

dns1=x.x.x.x
    首选DNS服务器
dns2=x.x.x.x
    备选DNS服务器

dns1=x.x.x.x

首选DNS服务器

dns2=x.x.x.x

备选DNS服务器

[client-ip-range]

设置允许连接本服务器的客户IP，格式：
    x.x.x.x/mask (如：10.0.0.0/8)
    x.x.x.x-y (如：10.0.0.1-254)

设置允许连接本服务器的客户IP，格式：

x.x.x.x/mask (如：10.0.0.0/8)

x.x.x.x-y (如：10.0.0.1-254)

[pptp]

       配置PPTP模块参数

       bind=x.x.x.x
              PPTP服务器所监听的IP地址

       port=n
              指定PPTP服务器端口

       verbose=n
              如果n大于0，PPTP模块将会启用日志

       echo-interval=n
              如果n大于0，PPTP模块会每n秒发送一个echo-request

       echo-failure=n
              n个echo-request请求未收到echo-reply后，中断连接

       timeout=n
              等待客户端回应，n秒后无回应视为超时（默认为5秒）

       mppe=deny|allow|prefer|require

配置PPTP模块参数

bind=x.x.x.x

PPTP服务器所监听的IP地址

port=n

指定PPTP服务器端口

verbose=n

如果n大于0，PPTP模块将会启用日志

echo-interval=n

如果n大于0，PPTP模块会每n秒发送一个echo-request

echo-failure=n

n个echo-request请求未收到echo-reply后，中断连接

timeout=n

等待客户端回应，n秒后无回应视为超时（默认为5秒）

mppe=deny|allow|prefer|require

[l2tp]

       配置L2TP模块

       bind=x.x.x.x

       port=n

       host-name=string
              给客户端发送的Host-Name属性

       hello-interval=n
              指定发送Hello控制消息的周期。用于keep alive连接，如果peer无回应，中断连接。

       recv-window=n
              设置本地receive window的大小。只有sequence number在[last-Nr + 1, last-Nr + recv-window]范围内才会被接收（last-Nr是最后一次消息的sequence number）。最小值为1，最大值为32768，默认为16。

       timeout=n
              指定等待客户端completes tunnel and session negotiation的超时时间（单位：秒）

       rtimeout=n
              指定等待确认收到消息的时间（单位秒），丢包后将会重发。每次重发，超时值都会x2.
              如果rtimeout被设为1，第一次重发将会在1秒后，第二次重发将会在2秒后，以此类推，直到收到回应或到达retransmit值。
              n默认为1。

       rtimeout-cap=n
              最长重发时间，rtimeout的增长不会超过此值。
              必须大于rtimeout，根据RFC 2661，一定不能小于8（accel-ppp没有此限制）。
              默认为16。

       retransmit=n
              指定最大的重发次数

       verbose=n
              n >= 0，将会启用日志

       mppe=deny|allow|prefer|require

       secret=string
              设置密钥

       hide-avps=n
              n >= 0，接收到的L2TP数据包属性将会隐藏（AVPs支持）

配置L2TP模块

bind=x.x.x.x

port=n

host-name=string

给客户端发送的Host-Name属性

hello-interval=n

指定发送Hello控制消息的周期。用于keep alive连接，如果peer无回应，中断连接。

recv-window=n

设置本地receive window的大小。只有sequence number在[last-Nr + 1, last-Nr + recv-window]范围内才会被接收（last-Nr是最后一次消息的sequence number）。最小值为1，最大值为32768，默认为16。

timeout=n

指定等待客户端completes tunnel and session negotiation的超时时间（单位：秒）

rtimeout=n

指定等待确认收到消息的时间（单位秒），丢包后将会重发。每次重发，超时值都会x2.

如果rtimeout被设为1，第一次重发将会在1秒后，第二次重发将会在2秒后，以此类推，直到收到回应或到达retransmit值。

n默认为1。

rtimeout-cap=n

最长重发时间，rtimeout的增长不会超过此值。

必须大于rtimeout，根据RFC 2661，一定不能小于8（accel-ppp没有此限制）。

默认为16。

retransmit=n

指定最大的重发次数

verbose=n

n >= 0，将会启用日志

mppe=deny|allow|prefer|require

secret=string

设置密钥

hide-avps=n

n >= 0，接收到的L2TP数据包属性将会隐藏（AVPs支持）

[chap-secrets]

       配置chap-secrets模块

       gw-ip-address=x.x.x.x[/mask]
              当启用chap-secrets分配IP时，指定ppp接口使用的本地IP。Mask用于IPoE。

       chap-secrets=file
              设置chap-secrets文件路径（默认为/etc/ppp/chap-secrets）

       encrypted=0|1
              chap-secrets是否已加密（见README）

       username-hash=hash1[,hash2]
              指定计算用户名hash值的hash链。
              hash1，hash2是openssl所支持的hash算法（如md5，sha1等）。

配置chap-secrets模块

gw-ip-address=x.x.x.x[/mask]

当启用chap-secrets分配IP时，指定ppp接口使用的本地IP。Mask用于IPoE。

chap-secrets=file

设置chap-secrets文件路径（默认为/etc/ppp/chap-secrets）

encrypted=0|1

chap-secrets是否已加密（见README）

username-hash=hash1[,hash2]

指定计算用户名hash值的hash链。

hash1，hash2是openssl所支持的hash算法（如md5，sha1等）。

[ip-pool]

       配置ippool模块

       gw-ip-address=x.x.x.x
              指定ppp接口所使用的本地地址

       shuffle=1|0
              Specifies whether to shuffle initial address list. # 我不太了解本选项的功能，可能是不按顺序给客户端分配IP。

       gw=range
              设置本地ppp接口的IP范围，格式：
              x.x.x.x/mask[,name=pool_name] (如：10.0.0.0/8)
              x.x.x.x-y[,name=pool_name] (如：10.0.0.1-254)

       tunnel=range
              指定ppp接口的远程地址范围，格式：
              x.x.x.x/mask[,name=pool_name]
              x.x.x.x-y[,name=pool_name]

       x.x.x.x/mask[,name=pool_name] or x.x.x.x-y[,name=pool_name]
              同样用于指定ppp接口远程地址范围.

配置ippool模块

gw-ip-address=x.x.x.x

指定ppp接口所使用的本地地址

shuffle=1|0

Specifies whether to shuffle initial address list. # 我不太了解本选项的功能，可能是不按顺序给客户端分配IP。

gw=range

设置本地ppp接口的IP范围，格式：

x.x.x.x/mask[,name=pool_name] (如：10.0.0.0/8)

x.x.x.x-y[,name=pool_name] (如：10.0.0.1-254)

tunnel=range

指定ppp接口的远程地址范围，格式：

x.x.x.x/mask[,name=pool_name]

x.x.x.x-y[,name=pool_name]

x.x.x.x/mask[,name=pool_name] or x.x.x.x-y[,name=pool_name]

同样用于指定ppp接口远程地址范围.

示例配置文件

[modules]
log_file
pptp
auth_mschap_v2
auth_mschap_v1
auth_chap_md5
auth_pap
chap-secrets
ippool
pppd_compat

[core]
log-error=/var/log/accel-ppp/core.log
thread-count=4

[ppp]
verbose=1
min-mtu=1280
mtu=1400
mru=1400
mppe=require
ipv4=require
ipv6=deny
ipv6-intf-id=0:0:0:1
ipv6-peer-intf-id=0:0:0:2
ipv6-accept-peer-intf-id=1
lcp-echo-interval=20
lcp-echo-timeout=120
unit-cache=1

[pptp]
verbose=1
ip-pool=pool1

[l2tp]
verbose=1
dictionary=/usr/local/share/accel-ppp/l2tp/dictionary
hello-interval=60
ip-pool=pool2

[dns]
dns1=8.8.8.8
dns2=8.8.4.4

[client-ip-range]
0.0.0.0/0

[ip-pool]
gw-ip-address=10.1.1.1
10.10.2.2-254,name=pool1
10.1.1.2-254,name=pool2

[log]
log-file=/var/log/accel-ppp/accel-ppp.log
log-emerg=/var/log/accel-ppp/emerg.log
log-fail-file=/var/log/accel-ppp/auth-fail.log
copy=1
level=3

[pppd-compat]
ip-up=/etc/ppp/ip-up
ip-down=/etc/ppp/ip-down
ip-change=/etc/ppp/ip-change
radattr-prefix=/var/run/radattr
verbose=1

[chap-secrets]
chap-secrets=/etc/ppp/chap-secrets

[cli]
verbose=1
telnet=127.0.0.1:2000
tcp=127.0.0.1:2001

[accel-dp]
socket=/var/run/accel-dp.sock

[modules]

log_file

pptp

auth_mschap_v2

auth_mschap_v1

auth_chap_md5

auth_pap

chap-secrets

ippool

pppd_compat

[core]

log-error=/var/log/accel-ppp/core.log

thread-count=4

[ppp]

verbose=1

min-mtu=1280

mtu=1400

mru=1400

mppe=require

ipv4=require

ipv6=deny

ipv6-intf-id=0:0:0:1

ipv6-peer-intf-id=0:0:0:2

ipv6-accept-peer-intf-id=1

lcp-echo-interval=20

lcp-echo-timeout=120

unit-cache=1

[pptp]

verbose=1

ip-pool=pool1

[l2tp]

verbose=1

dictionary=/usr/local/share/accel-ppp/l2tp/dictionary

hello-interval=60

ip-pool=pool2

[dns]

dns1=8.8.8.8

dns2=8.8.4.4

[client-ip-range]

0.0.0.0/0

[ip-pool]

gw-ip-address=10.1.1.1

10.10.2.2-254,name=pool1

10.1.1.2-254,name=pool2

[log]

log-file=/var/log/accel-ppp/accel-ppp.log

log-emerg=/var/log/accel-ppp/emerg.log

log-fail-file=/var/log/accel-ppp/auth-fail.log

copy=1

level=3

[pppd-compat]

ip-up=/etc/ppp/ip-up

ip-down=/etc/ppp/ip-down

ip-change=/etc/ppp/ip-change

radattr-prefix=/var/run/radattr

verbose=1

[chap-secrets]

chap-secrets=/etc/ppp/chap-secrets

[cli]

verbose=1

telnet=127.0.0.1:2000

tcp=127.0.0.1:2001

[accel-dp]

socket=/var/run/accel-dp.sock

运行并使用ACCEL-PPP

# -d参数用于运行为Daemon模式
# -c参数指定配置文件路径
/usr/local/sbin/accel-pppd -d -c /etc/accel-ppp.conf

# -d参数用于运行为Daemon模式

# -c参数指定配置文件路径

/usr/local/sbin/accel-pppd -d -c /etc/accel-ppp.conf

客户端的使用方式与平常无差异，使用IPSec的，按照正常方式对IPSec进行配置即可。

总结

ACCEL-PPP网站有有言：

ACCEL-PPP是一个高性能的Linux VPN服务器应用。

致力于聚合各种热门的VPN技术。

单VPN上，对比如今广泛使用的PoPToP与xl2tp，ACCEL-PPP的优势非常明显，但如此杰作却鲜为人知，实为作者感到不平。

若你尝试ACCEL-PPP后，觉得好用，记得推荐给你身边的朋友！

ACCEL-PPP官网：http://accel-ppp.org/

SourceForge项目：https://sourceforge.net/projects/accel-ppp/

社区：http://accel-ppp.org/forum/