TCP Sendbuffer Size与RTT的问题

最近从A服务器下载数据时,发现如果走B服务器的VPN下载,速率只能跑到300KB左右,但是B从A直接下载却能跑到1MB+/s,B到本地的速度也远超过A到B的速度,其实一开始我以为是VPN实现的问题,有段时间在思考如何优化VPN,但是尝试了其它VPN实现,问题并没有解决。后来发现,走B的代理而不是VPN,速度正常。

本地到B的RTT大约160ms,B到A大约50ms。

Wireshark抓包,对tcp sequence number统计了下:

放大点看:

大概每传输60KB,就要等大约200ms才能继续。200ms刚好差不多等于本地走VPN到A的RTT。传这60KB,只花了大概10ms,忽略这10ms不算的话,每秒大概只能接收五次60KB,5*60KB=300KB,刚好接近走VPN的下载速度。

TCP要发送的数据包存放在send buffer中,send buffer已使用的空间,在收到ACK前是不能释放的,所以,如果这时send buffer满了而未收到ACK,那kernel就不会继续对外发送数据。

所以,走VPN慢的原因,是因为A设定的的send buffer太小,在本地发出的ACK送达A前,A的send buffer就满了。走B代理快,是因为B到A的RTT比较小,ACK是由B上的代理程序在接收到数据后发送给A的,所以A很快就能收到ACK而继续向B发送数据,B到本地没有send buffer过小的问题,所以B上的代理往本地发回数据的速率几乎与A到B的速率一致。

L2TPv3 MTU

L2TPv3支持自动拆包,封装后的数据包如果超出裸线路的MTU也能正常运作。

拆包合包毕竟需要耗资源的,这种多余的操作,能避免的话当然最好。

要避免,首先确定好L2TPv3隧道的MTU。

图:

UDP封装模式:

L2TPv3隧道MTU = 裸线路MTU – IP头 – UDP头 – L2TPv3头 – 以太网头

经测试L2TPv3头在这种模式下是12字节,如果裸线路MTU是1500,那么隧道MTU = 1500 – 20 – 8 – 12 – 14 = 1446,TCP MSS = 1446 – 20 – 20 = 1406

IP封装模式:

L2TPv3隧道MTU = 裸线路MTU – IP头 –  L2TPv3头 – 以太网头

经测试L2TPv3头在这种模式下是8字节,如果裸线路MTU是1500,那么隧道MTU = 1500 – 20 – 8 – 14 = 1458,TCP MSS = 1458- 20 – 20 = 1418

 

以太网头不一定是14字节,根据实际使用情况自行调整。

Linux Policy-based site-to-site IPsec VPN动态IP的配置及内网穿透的应用(StrongSwan)

上一篇文章提到了一点StrongSwan的配置。

本文继续使用StrongSwan。

StrongSwan的left和right是支持使用域名的,利用此可以实现动态IP的支持;上一篇文章用了type=transport模式转发UDP端口构建L2TPv3,如果没有L2组网的需求,其实可以直接利用type=tunnel模式实现L3转发。

网络拓扑:

上图中的路由器lan-router1和lan-router2都是通过pppoe接入互联网的,域名lan-router1.router和lan-router2.router通过ddns分别解析到了各自pppoe0的IP地址上;server1和server2分别通过lan-router1和lan-router2接入互联网。

下面的操作将在server1与lan-router2之间构建site-to-site IPsec VPN,接通192.168.1.0/24与10.0.0.0/24这两个内网。

提醒:用StrongSwan构建site-to-site IPsec VPN的话,需要至少有一端的UDP 500和4500端口在公网可以访问。

1. 配置StrongSwan

安装StrongSwan就不再阐述了。

在IPsec的配置文件中,left指本地,right指对方。

2.1 server1的配置

编辑/etc/ipsec.conf,末尾加入:

这里left直接用0.0.0.0表示任何IP都接受连接,right用lan-router2的ddns域名lan-router2.router。

其中left/rightsubnet分别定义了server1的内网IP段,server2的内网IP段,意思就是leftsubnet和rightsubnet之间的流量将走site-to-site IPsec VPN。left/rightsubnet支持定义多个子网的,用逗号分隔。

在server1的auto是route,意思是当内核遇到目的地为rightsubnet的流量,自动发起协商构建site-to-site IPsec VPN。

left/rightid是不建议省略的,另外记得在开头添加@阻止把字符串当成域名解析成IP。

其余的参数,大概就是使用aes-128加密,sha1签名,ikev2协议交换密钥,30秒发送一次心跳包(使用NAT的话尤其重要),心跳包超过120秒无回应重新构建连接(dpdaction=restart)。

编辑/etc/ipsec.secrets,在末尾加入(其中的pre-shared-key是密码,记得改成你自己定的值)

ipsec.secrets的格式,上一篇文章也有提到,是:

2.2 server2的配置

server2需开放UDP端口500与4500。

编辑/etc/ipsec.conf,末尾加入:

其实大体上就是把server1的配置中的left和right调换过来。

当然,这边的right用了域名lan-router1.router,这个域名是会解析到lan-router1 的pppoe0接口的IP的。

此外,这边的auto是add,dpdaction是clear,主要原因是server1处于内网,在server2是无法主动发起协商请求的,所以让StrongSwan启动时仅加载此配置,不作任何其它操作,并且心跳回应超时后,不重建连接。

编辑/etc/ipsec.secrets,在末尾加入(其中的pre-shared-key是密码,记得改成你自己定的值)

2.3 重启StrongSwan并发起协商构建连接

server1和lan-router2执行下面的命令重启StrongSwan:

发起协商是仅能从server1发起的,原因上一篇文章和开头已提过:

如果up有提示successfully,但是ping不通的话,见本文2.3防火墙的配置。

在lan-router2上测试:

因为设置了心跳,所以无需担心路由器上的NAT记录超时,此外server1上设置了自动重连,所以更换IP或者其它原因导致VPN断开后,只要ddns更新的DNS记录生效了或者网络恢复正常,理论上server1是会自动重连的,当然,理论上。

2. 其它配置

2.1 L2TPv3、GRE等应用

通过上面构造的VPN,因为server1和lan-router2都是分别拥有一个固定的内网IP的,所以可以直接指定双方的内网IP构建L2TPv3(详见上一篇文章)或者GRE之类的。

2.2 启用IPv4转发以及设置SNAT规则

上面配置的都是/24的子网,如果两边都未启用IPv4转发,双方都仅能访问对方的IP。

本文的拓扑中,server1是需要启用IPv4转发并设置SNAT的,lan-router2上一般不需要进行这两项配置。

如何启用IPv4转发以及设置SNAT规则,网络上很多资料,这个各位自行按实际情况解决。

2.3 防火墙的配置

这里给个匹配IPsec流量的规则,自行按需应用吧:

例如lan-router2上pppoe0接口可能配了防火墙对入网流量进行了较为严格的入网流量控制,会导致lan-router2可以主动访问server1但server1无法主动访问lan-router2,加入以下规则即可解决:

转发的类似,加入FORWARD链即可。

Linux L2TPv3以及ip-xfrm的配置

L2TPv3:http://man7.org/linux/man-pages/man8/ip-l2tp.8.html

ip-xfrm:http://man7.org/linux/man-pages/man8/ip-xfrm.8.html

这两个都是kernel内置的功能,通过这两个可以直接构建加密的VPN。

本文尝试使用ip-xfrm创建加密的隧道,并基于此隧道构建L2TPv3 VPN。

1. 生成密钥与ID

不使用StrongSwan,手动配置ip-xfrm时需要用到:

复制上面四行命令后输出的内容,粘贴到left和right上运行,用于设置变量

2. 配置ip-xfrm

这里得分两种情况,一种是left和right都不经过NAT直接持有公网IP,另一种是left或者right任何一端经过NAT。

为什么要这样区分?因为ip-xfrm传输加密报文使用的协议ESP是L3的,一般情况下无法NAT,需要使用L4封装才能正常使用;其次,L4被SNAT后的源端口(source port),可能会被改变。

下面以UDP端口1801作为L2TPv3的通讯端口,对ip-xfrm进行配置。

2.1 不经过NAT

拓扑如下:

首先在left配置ip-xfrm:

然后配置right:

上面的配置命令,state是指定left到right的之间数据封装使用ESP协议,指定使用sha1算法进行签名,aes-128进行加密。policy指定当L2TPv3的UDP数据包在left和right之间传输时,使用刚刚在state里面配置的规则进行封装。

2.2 经过NAT

拓扑:

上图中left和right都被NAT过,这里需要注意:至少要保证left或者right的一个UDP端口能被对方访问,如果双方都被NAT,且路由器都没有映射端口到它们那,那这个VPN就无法构建。

这里假定right的路由把到2.3.5.6的流量都转发给了192.168.2.2。

NAT还有一个比较大的问题,就是SNAT后源端口可能会改变,假定left和right设定了ESP通过双方的UDP端口4500封装,如果left的kernel从源端口4500发送UDP封装的ESP数据包到2.3.5.6:4500,right收到的数据包的来源端口有可能不是4500,这样会内核就找不到对应的xfrm规则,不会对解除该ESP的封装。即使你通过抓包或者其它方法获取到了被SNAT后的端口,如果这个NAT记录一段时间后无任何流量,路由器会清理掉该记录,后面再SNAT的端口可能又是另一个了。所以,这就是为什么IPsec会有NAT-T。

不过,即使解决SNAT和NAT记录超时问题,也还不足,虽然可以直接手动配置espinudp的规则,但是还是得依赖外部程序,内核才会解除ESP的UDP封装。

2.2.1 方式一:使用StrongSwan配置ip-xfrm

StrongSwan的实现其实也是ip-xfrm,使用StrongSwan,需要开放UDP端口500和4500,这里假设right的路由已把这两个端口转发到right。

在left和right安装StrongSwan:

在left的/etc/ipsec.conf加入记录:

在left的/etc/ipsec.secrets加入记录(把pre-shared-key改成你自己指定的密钥)

在right的/etc/ipsec.conf加入记录(这里的auto是add不是route,因为只有right的路由器是为right映射了端口的,left没有,right是无法主动向left发起协商请求的):

在right的/etc/ipsec.secrets加入记录(left和right的PSK要一致):

 

注意,在StrongSwan的配置文件中的left和right并不代表拓扑图中的left和right,left是本机,right是对方;另外,ipsec.secrets的格式是:

上面StrongSwan加入的记录,大概意思就是该规则应用于left和right的udp端口1801之间的通讯,并且让内核在遇到匹配left和right 1801端口的通讯时自动配置ip-xfrm,此外,30秒进行一次心跳,120秒无回应则重建连接。

在两边都重启StrongSwan:

正常来说,后面构建L2TPv3后,1801端口有流量,StrongSwan会自动配置ip-xfrm,不过可以手动up试试是否成功(这里只能在left上进行,前面已提过right是无法主动向left发起协商请求的):

2.2.2 方式二:手动配置ip-xfrm

下面的配置步骤,即使全部对了,应该也是无法通的,抓包可以看到封装为UDP的ESP数据包,但是内核不会解除封装,不过如果你left和right两边都运行StrongSwan(不需要进行任何配置),监听着4500端口,就可以通。

left:

right:

3. 配置L2TPv3

在left和right上都执行一样的命令配置L2TPv3:

无误的话,在left和right上执行ip link show会看到一个名为l2tpeth100的虚拟网卡:

L2TPv3是附带以太网头的,所以还可以桥接组网。

一款鲜为人知的杰出VPN方案 —— ACCEL-PPP

因PPTP简单、方便,无特别需要,平时需要用到VPN时一般都会首选PPTP。

数月前使用PPTP的过程中发现,Linux下的PoPToP方案极限速率仅有20 Mbps左右,而Windows下“网络策略和访问服务”提供的PPTP上限速率则高些,能达到70 – 80 Mbps。

当时了解到一款名为ACCEL-PPP的方案,尝试了一番,效果不负其名——ACCEL。

但今天发现,此方案的中文介绍、资料近乎无(英文介绍也不多),遂撰写此文,欲让更多人了解到此杰作。

 

服务器配置:

  • CPU: Intel Xeon L5520 *2
  • RAM: 48GB
  • 网络适配器: Intel 千兆网络适配器
  • 硬盘: 256GB SSD

 

网络环境:

  • ISP: 中国电信
  • 公网速率: 100 Mbps
  • 路由器: EdgeRouter X SFP (with hwnat, ipsec offload enable)

 

本文部分词语定义:

极限速率 —— 当数据传输速率在30秒内不能稳定提升,则视当前已达极限速率

 

PoPToP

PoPToP就是Linux更新源所提供的的pptpd。

达到极限速率后,使用top看到服务器上pptpd进程的CPU使用率仅有25-30%:

图1 —— PoPToP极限速率
图2 —— pptpd进程CPU使用率1
图3 —— pptpd进程CPU使用率2

速率已达极限,而资源使用却未达极限,明显问题在于PoPToP方案的资源利用率底下。

ACCEL-PPP PPTP

图4 —— ACCEL-PPP PPTP极限速率
图5 —— ACCEL-PPP PPTP CPU使用率

ACCEL-PPP的PPTP极限速率能达到50 Mbps多,使用top查看CPU使用率,可以发现大部分都被ksoftirqd占用,且使用率几乎可达一个核心的极限。

虽然未能达到我公网带宽的极限速率,但能充分利用资源达到如此高的速率已经很不错了。

ACCEL-PPP的文档没对其工作原理作出介绍,我也未深究其源码,暂不能解释其“高效”、以及受限于其“极限”的原因。

ACCEL-PPP L2TP与xl2tpd的性能对比

使用StrongSwan,IPSec PSK

xl2tpd

图6 —— xl2tpd效率1
图7 —— xl2tpd效率2

ACCEL-PPP L2TP

图8 —— ACCEL-PPP L2TP效率1
图9 —— ACCEL-PPP效率2

孰优孰劣,明显至极。

ACCEL-PPP的安装

本节以Debian 9为例,安装ACCEL-PPP。

安装编译器,cmake:

取得ACCEL-PPP源码(编写本文时,SourceForge的ACCEL-PPP 1.11.2的源码扩展名虽为.tar.bz2,但实际上只由tar打包,并无使用bzip压缩)

编译ACCEL-PPP:

ACCEL-PPP编译前需要使用cmake对所需的功能进行设置,支持的选项有以下:

  • -DBUILD_PPTP_DRIVER=TRUE —— 本选项用于编译PPTP内核模块,内核版本>= 2.6.37已内置PPTP模块,无需启用该选项。
  • -DBUILD_IPOE_DRIVER=TRUE —— 本选项用于编译IPoE内核模块。IPoE共享接口模式或VLAN监控下需要此模块。
  • -DBUILD_VLAN_MON_DRIVER=TRUE —— 编译VLAN监控模块。
  • -DKDIR=/usr/src/linux —— 若需要构建PPTP内核模块,则需要使用本选项指定内核源码目录。
  • -DCMAKE_INSTALL_PREFIX=/some/location —— 指定ACCEL-PPP安装目录,默认为/usr/local。
  • -DCMAKE_BUILD_TYPE=Debug —— 选择编译为DEBUG版本以用于调试抑或为RELEASE版本。
  • -DLOG_PGSQL=TRUE —— 编译log_pgsql模块用于使用PostreSQL数据库记录日志。
  • -DRADIUS=FALSE —— 关闭radius模块。
  • -DNETSNMP=TRUE —— 启用SNMP模块。
  • -DLUA=TRUE —— 启用LUA支持(仅用于IPoE)。
  • -DSHAPE=TRUE —— 启用流量控制功能。

本文编译为Release版本,关闭Radius,PGSQL,流量控制等功能。

重命名配置文件:

ACCEL-PPP的配置

从man可获取到accel-ppp配置文件的完整文档:

本小节仅对部分配置项进行说明。

[modules]

本部分定义了ACCEL-PPP需要启用的功能。

例如

则表示启用文件日志,pptp,l2tp等功能。

[core]

用于配置核心模块的参数。

当前版本支持的有以下两项:

[ppp]

ACCEL-PPP内置的ppp模块参数配置。

具体略。

[dns]

[client-ip-range]

[pptp]

[l2tp]

[chap-secrets]

[ip-pool]

示例配置文件

运行并使用ACCEL-PPP

客户端的使用方式与平常无差异,使用IPSec的,按照正常方式对IPSec进行配置即可。

总结

ACCEL-PPP网站有有言:

ACCEL-PPP是一个高性能的Linux VPN服务器应用。

致力于聚合各种热门的VPN技术。

单VPN上,对比如今广泛使用的PoPToP与xl2tp,ACCEL-PPP的优势非常明显,但如此杰作却鲜为人知,实为作者感到不平。

若你尝试ACCEL-PPP后,觉得好用,记得推荐给你身边的朋友!

ACCEL-PPP官网:http://accel-ppp.org/

SourceForge项目:https://sourceforge.net/projects/accel-ppp/

社区:http://accel-ppp.org/forum/