这种需求，一般来说，会在应用层加个标记标明客户端的IP，例如说HTTP，就是添加个请求头的事情。但并不是所有服务器程序、协议你都能这样下手。所以能不能在不对协议和服务器程序本身做任何改动的情况下，传递客户端的IP呢？ 最直接的方法应该就是，把L3的源IP改掉，没对协议进行任何改动，对上层完全透明。先来看看改了L3的source IP会出现什么问题： 上图中的A是个L4负载均衡，Router会把来自Internet的客户端请求转发给A，A再根据策略转发到B、C或D。 假设这时A选择了B，A把请求转发给B时，把L3的源IP改成了客户端的IP，那B收到数据包后，根据B系统上的路由表，回复的包会直接经 […]
Category: 网络
Linux IPv4 forward自动丢弃源IP为系统已绑定的IP的问题
A是路由，其上做了策略，一部分符合特定条件的流量，是要转发到B进行封装处理，A和B之间做了数个VLAN，B根据VLAN应用不同的策略。 不过这里的问题是，B的默认网关也是A（环路问题是不存在的，已经有对应规则处理），所以B自身发出的流量也会由A应用策略，转发回给B自己。而B收到src IP是local IP（系统已绑定的IP）的包时，kernel会直接丢弃数据包，所以除了B自己的数据包，B都能正常封装。 解决这个问题的一个方法，是让A在把数据包转发给B前，做一次SNAT，这样B收到的数据包，src IP就是A的IP了。其实SNAT并没有什么影响，A对NAT也有hardware offload， […]
TCP Sendbuffer Size与RTT的问题
最近从A服务器下载数据时，发现如果走B服务器的VPN下载，速率只能跑到300KB左右，但是B从A直接下载却能跑到1MB+/s，B到本地的速度也远超过A到B的速度，其实一开始我以为是VPN实现的问题，有段时间在思考如何优化VPN，但是尝试了其它VPN实现，问题并没有解决。后来发现，走B的代理而不是VPN，速度正常。 本地到B的RTT大约160ms，B到A大约50ms。 Wireshark抓包，对tcp sequence number统计了下： 放大点看： 大概每传输60KB，就要等大约200ms才能继续。200ms刚好差不多等于本地走VPN到A的RTT。传这60KB，只花了大概10ms，忽略这1 […]
L2TPv3 MTU
L2TPv3支持自动拆包，封装后的数据包如果超出裸线路的MTU也能正常运作。 拆包合包毕竟需要耗资源的，这种多余的操作，能避免的话当然最好。 要避免，首先确定好L2TPv3隧道的MTU。 图： UDP封装模式： L2TPv3隧道MTU = 裸线路MTU – IP头 – UDP头 – L2TPv3头 – 以太网头 经测试L2TPv3头在这种模式下是12字节，如果裸线路MTU是1500，那么隧道MTU = 1500 – 20 – 8 – 12 – 14 = 1446，TCP MSS = 1446  […]
Fix Ubuntu policy-based route with fwmark not work
近期发现Ubuntu基于ip rule add fwmark … lookup …所做的策略路由无法正常使用，而Debian正常。抓包的特征就是，出网数据包能应用到策略路由，也能抓到回应的数据包，但回应的数据包被内核丢弃，不会送达user space。 而ip rule add from … lookup …则正常。 查找资料得知是rp_filter的影响（见此：https://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt），继而发现Ubuntu的/etc/sysctl.d是有 […]