数据分析

分析了东莞 城市学院的用与购电记录共一百二十万余条后,我有何发现?

前言 学校在今年年初启用了“智能电表”,带来了以下几个features: 智能欠费停电,智能超功率停电,智能圈存机不定期故障…… 还有一个比较重要的feature,那就是提供了一个线上“用电信息查询系统”,可以在线查询每天的用电情况、电量余额以及充值历史。嗯,不能在线充值…… 用电信息查询系统的使用很简单,查询不需要验证身份,更不需要填写验证码,直接选择区域、楼层以及宿舍号就行了: 记录查询页面:   这系统,好像有点方便批量爬取数据,嘿嘿…… 数据的获取 程序使用PHP编写,已托管在我的GITHUB上,难登大雅之堂的代码,就不放链接啦。 花了两三个小时,成功遍历了所有宿舍从2017 […]

Read more
Unix Like, 操作系统, 网络

QoS —— 交互式应用最低延迟,HTTP(S)、IMAP等常用服务优先,迅雷、P2P受限

前言 使用迅雷全速下载时,其余网络应用的体验几乎约等于断网状态。 全速下载时,迅雷并没有占用太多上行带宽,于路由器上观察上行速率,同样正常: 可见全速下载时出现的现象,问题在于下行。 迅雷全网搜索资源,这意味着会有许多来自不同地方的计算机,以高速率往我的计算机发来大量数据包。ISP处的队列早已被这些P2P数据包塞满,而SSH、网页等服务的数据包速率不高,根本不够P2P数据包竞争,这些数据包到达ISP处时,只能由于队列已满而被丢弃。   其实这个问题,并没有什么好的解决办法,因为ISP处的队列我们没有权限控制。 我们所能做的,只是控制P2P的速率,避免因ISP处队列满而使得数据包被丢弃 […]

Read more
Unix Like, 操作系统, 网络

使用策略路由实现涉及getsockopt(…, SO_ORIGINAL_DST, …)程序的远程调用(Redsocks, ss-redir之类的远程调用)

Redsocks/ss-redir的实现 DNAT与REDIRECT模块在iptables target extension之列。 这两个模块都能根据参数,修改数据包的header中的目的IP和端口。 既然修改,那就不是附加,毕竟网络层传输层header的内容怎么可能随随便便增删呢,这意味着,数据包的真实目的地会被完完全全地抹掉! Redsocks/ss-redir收到这样的数据包后,不做特殊处理,何以知道这数据包原来想发给谁呢? 这些程序之所以能正常工作,得益于NAT的透明性,被NAT处理的数据包,在内核中均有所记录,NAT后的正常通讯由NAT发起者维持,Redsocks/ss-redir这 […]

Read more
Unix Like, VPN, 操作系统, 服务器

一款鲜为人知的杰出VPN方案 —— ACCEL-PPP

因PPTP简单、方便,无特别需要,平时需要用到VPN时一般都会首选PPTP。 数月前使用PPTP的过程中发现,Linux下的PoPToP方案极限速率仅有20 Mbps左右,而Windows下“网络策略和访问服务”提供的PPTP上限速率则高些,能达到70 – 80 Mbps。 当时了解到一款名为ACCEL-PPP的方案,尝试了一番,效果不负其名——ACCEL。 但今天发现,此方案的中文介绍、资料近乎无(英文介绍也不多),遂撰写此文,欲让更多人了解到此杰作。   服务器配置: CPU: Intel Xeon L5520 *2 RAM: 48GB 网络适配器: Intel 千兆 […]

Read more
Unix Like, 操作系统, 网络

[翻译]Linux网络栈之队列

原文信息 标题: Queueing in the Linux Network Stack 链接: https://www.coverfire.com/articles/queueing-in-the-linux-network-stack/ 作者: Joseph Prem   警告 除特别声明或获得许可,否则本站文章一律禁止转载。   以下为译文 数据包队列是任何一个网络栈的核心组件,数据包队列实现了异步模块之间的通讯,提升了网络性能,并且拥有影响延迟的副作用。本文的目标,是解释Linux的网络栈中IP数据包在何处排队,新的延迟降低技术如BQL是多么的有趣,以及如何控制缓冲 […]

Read more