用Python爬虫抓取PHP探针提供的实时信息,比如网速、负载、内存信息等等,然后显示在1602显示屏上。让你随时监控服务器
关键词:PHP探针、服务器监控、VPS监控、Python、树莓派、Raspberry Pi、1602。
本项目隶属于趴会儿Project项目组,详见[企划]趴会儿Project–宿舍床上趴到底&解放双腿计划
项目编号004,分类为信息/监控。
Table of Contents
0.序言
我的ipv6代理服务器很受欢迎,因此按需求来讲,我需要一个能实时监控流量的工具。PHP探针作为一个很方便的工具,成为了我的选择。但是自带的web界面对我来说不是很方便。
玩了一假期的树莓派,之前做项目剩了很多1602屏幕。它们之间的组合,就有了今天的作品。
服务器监控助手,基于PHP探针和Raspberry Pi。用Python爬虫抓取PHP探针提供的实时信息,比如网速、负载、内存信息等等,然后经过处理,显示在1602显示屏上。让你随时监控服务器网速。服务器down掉了也能一秒发现。
又到了激动人心的命名环节了。不用考虑那么多,名字我早想好了
《洞察秋毫的观测者》——基于PHP探针和树莓派的服务器监控助手
1.PHP探针
使用PHP探针是有理由的,不光是因为MJJ最喜欢以针会友,也是因为对于一个有LNMP环境的服务器,上一个探针并不会带来多少性能损失。因此,准备PHP探针既方便,又合适。
我也做了一个提前预备,探索了一下雅黑PHP探针的结构,尝试用爬虫抓取了一下。
详细笔记参见:
[学习笔记]利用PHP探针和Python爬虫监控服务器状态--https://steinslab.io/archives/1144
这里调出一些骨架内容。
1.1 关于PHP探针
关于PHP探针,给不知道的读者说道说道。
【雅黑PHP探针】
雅黑PHP探针最大的优点:每秒更新,不用刷网页。有一个负责的站长,会对探针进行长期支持和更新。
用于Linux系统(不推荐使用于Windows系统)。
可以实时查看服务器硬盘资源、内存占用、网卡流量、系统负载、服务器时间等信息,1秒钟刷新一次。
以及包括服务器IP地址,Web服务器环境监测,php等信息。
php探针对于经常购买VPS折腾的人肯定不陌生,简单地老说就是一个可以获取系统信息并在网页上显示的php程序。雅黑PHP探针的界面如下:
我一个Digitalocean服务器上挂的演示探针: http://sfo01.misaka.cc:888/tz.php
因此,经常有人买各种廉价小内存的VPS,只能挂个探针,却因此获得巨大快感,并从bbs上交流。叫做以针会友。
1.2 分析
具体的分析方法请参见笔记:
[学习笔记]利用PHP探针和Python爬虫监控服务器状态--https://steinslab.io/archives/1144
1.3 服务器返回json
这个探针,在前端使用ajax每秒向服务器请求数据,请求的url为:
http://sfo01.misaka.cc:888/tz.php?act=rt
服务器会返回一个json数据,用于解析计算,在前端显示服务器负载网速信息等。返回的json其实多了小括号,示例如下:
({"useSpace":"3.986","freeSpace":"15.576","hdPercent":"20.38","barhdPercent":"20.38%","TotalMemory":"490.23 M","UsedMemory":"414.94 M","FreeMemory":"75.29 M","CachedMemory":"84.82 M","Buffers":"105.35 M","TotalSwap":"0 M","swapUsed":"0 M","swapFree":"0 M","loadAvg":"0.05 0.01 0.00 1\/117","uptime":"3\u59293\u5c0f\u65f644\u5206\u949f","freetime":"","bjtime":"","stime":"2017-02-18 15:35:36","memRealPercent":"45.85","memRealUsed":"224.77 M","memRealFree":"265.46 M","memPercent":"84.64%","memCachedPercent":"17.3","barmemCachedPercent":"17.3%","swapPercent":"0","barmemRealPercent":"45.85%","barswapPercent":"0%","NetOut2":"44 K 505 B ","NetOut3":"2 G 826 M 560 K 68 B ","NetOut4":"","NetOut5":"","NetOut6":"","NetOut7":"","NetOut8":"","NetOut9":"","NetOut10":"","NetInput2":"44 K 505 B ","NetInput3":"3 G 146 M 334 K 784 B ","NetInput4":"","NetInput5":"","NetInput6":"","NetInput7":"","NetInput8":"","NetInput9":"","NetInput10":"","NetOutSpeed2":"45561","NetOutSpeed3":"3014180932","NetOutSpeed4":"0","NetOutSpeed5":"","NetInputSpeed2":"45561","NetInputSpeed3":"3374660368","NetInputSpeed4":"0","NetInputSpeed5":""})
爬虫的思路也清晰了。
2 Python爬虫
Python爬虫的简易教程我参考了:
文章简洁精悍。没多少字,简单带过后,了解了爬虫运用的一些思想。
我的探索笔记见:
[学习笔记]利用PHP探针和Python爬虫监控服务器状态--https://steinslab.io/archives/1144
最后的爬虫代码(Python3):
# -*- coding:utf-8 -*- from urllib import request import json #探针爬虫类 class PHPTZ: #初始化方法,定义一些变量 def __init__(self): self.url = 'http://138.197.193.89:888/tz.php?act=rt' def getData(self): try: f = request.urlopen(self.url) data = f.read() data2 = str(data.decode('utf-8')).strip('(').strip(')') dataj = json.loads(data2) print(dataj) print(type(dataj)) except print('Error') return None myserver = PHPTZ() myserver.getData()
运行一下:
pi@raspberrypi:~ $ sudo python3 tz.py {'NetInput7': '', 'NetInput5': '', 'NetOut2': '44 K 505 B ', 'uptime': '3天4小时48分钟', 'loadAvg': '0.00 0.00 0.00 1/115', 'NetInput10': '', 'stime': '2017-02-18 16:39:49', 'NetInput4': '', 'NetOutSpeed2': '45561', 'NetInputSpeed3': '3379146879', 'freetime': '', 'NetOut9': '', 'UsedMemory': '418.66 M', 'hdPercent': '20.39', 'swapFree': '0 M', 'NetOut7': '', 'CachedMemory': '87.81 M', 'NetInput3': '3 G 150 M 620 K 127 B ', 'NetOut3': '2 G 830 M 296 K 887 B ', 'NetInputSpeed4': '0', 'NetOut6': '', 'NetInput2': '44 K 505 B ', 'memRealPercent': '45.61', 'FreeMemory': '71.57 M', 'NetInput8': '', 'NetOut8': '', 'memRealFree': '266.66 M', 'freeSpace': '15.573', 'swapPercent': '0', 'barmemRealPercent': '45.61%', 'memCachedPercent': '17.91', 'TotalMemory': '490.23 M', 'NetInputSpeed2': '45561', 'barmemCachedPercent': '17.91%', 'NetInputSpeed5': '', 'TotalSwap': '0 M', 'NetOut4': '', 'barhdPercent': '20.39%', 'Buffers': '107.28 M', 'useSpace': '3.989', 'memPercent': '85.4%', 'bjtime': '', 'NetOutSpeed4': '0', 'NetInput6': '', 'memRealUsed': '223.57 M', 'barswapPercent': '0%', 'swapUsed': '0 M', 'NetOut5': '', 'NetInput9': '', 'NetOutSpeed5': '', 'NetOutSpeed3': '3018105719', 'NetOut10': ''} <class 'dict'>
确实得到了一个包含数据的字典。
这里注意一下。字典中"speed"的值为一累计数,在后来的数据处理用,需要算出差值,在本机估算网速。
3.使用1602液晶屏
3.1 1602及接口定义
16是指一行显示16个字符,02表示2行。1602是一种非常常见的、在DIY和工业中广泛使用的显示期间。价格低,可以选用各种颜色的背光,字符颜色也是可选的。
这里不是i2c接口的1602显示屏。
1602的引脚定义如下:
- VSS,接地
- VDD,接5V电源
- VO,液晶对比度调节,接电位器中间的引脚
- RS,寄存器选择
- RW,读写选择
- EN,使能信号
- D0,数据位0,4位工作模式下不用,不接
- D1,数据位1,4位工作模式下不用,不接
- D2,数据位2,4位工作模式下不用,不接
- D3,数据位3,4位工作模式下不用,不接
- D4,数据位4
- D5,数据位5
- D6,数据位6
- D7,数据位7
- A,液晶屏背光+,接5V
- K,液晶屏背光-,接地
3.2 Raspberry Pi 3B 的引脚定义
该图是型号3b的引脚定义图。之前也是图不对被坑了好久。注意在以下Python代码中,接口号码指的是“GPIO”代号。
3.3 Adafruit的charLCD库
Adafruit系列的库是我比较喜欢的库,好用,简洁易懂!
https://github.com/adafruit/Adafruit_Python_CharLCD
下载后在树莓派上安装时,注意:
需要注意python命令默认代表的Python版本号。我的树莓派,“python”这条命令默认指的是Python2。因此,我需要运行
sudo python3 setup.py install
3.4 点亮1602和运行示例代码
来看一下charLCD库的示例代码:
#!/usr/bin/python # Example using a character LCD connected to a Raspberry Pi or BeagleBone Black. import time import Adafruit_CharLCD as LCD # Raspberry Pi pin configuration: lcd_rs = 27 # Note this might need to be changed to 21 for older revision Pi's. lcd_en = 22 lcd_d4 = 25 lcd_d5 = 24 lcd_d6 = 23 lcd_d7 = 18 lcd_backlight = 4 # BeagleBone Black configuration: # lcd_rs = 'P8_8' # lcd_en = 'P8_10' # lcd_d4 = 'P8_18' # lcd_d5 = 'P8_16' # lcd_d6 = 'P8_14' # lcd_d7 = 'P8_12' # lcd_backlight = 'P8_7' # Define LCD column and row size for 16x2 LCD. lcd_columns = 16 lcd_rows = 2 # Alternatively specify a 20x4 LCD. # lcd_columns = 20 # lcd_rows = 4 # Initialize the LCD using the pins above. lcd = LCD.Adafruit_CharLCD(lcd_rs, lcd_en, lcd_d4, lcd_d5, lcd_d6, lcd_d7, lcd_columns, lcd_rows, lcd_backlight) # Print a two line message lcd.message('Hello\nworld!') # Wait 5 seconds time.sleep(5.0) # Demo showing the cursor. lcd.clear() lcd.show_cursor(True) lcd.message('Show cursor') time.sleep(5.0) # Demo showing the blinking cursor. lcd.clear() lcd.blink(True) lcd.message('Blink cursor') time.sleep(5.0) # Stop blinking and showing cursor. lcd.show_cursor(False) lcd.blink(False) # Demo scrolling message right/left. lcd.clear() message = 'Scroll' lcd.message(message) for i in range(lcd_columns-len(message)): time.sleep(0.5) lcd.move_right() for i in range(lcd_columns-len(message)): time.sleep(0.5) lcd.move_left() # Demo turning backlight off and on. lcd.clear() lcd.message('Flash backlight\nin 5 seconds...') time.sleep(5.0) # Turn backlight off. lcd.set_backlight(0) time.sleep(2.0) # Change message. lcd.clear() lcd.message('Goodbye!') # Turn backlight on. lcd.set_backlight(1)
用起来感觉和Arduino一样。
已经很清楚了,主要是注意,数字代表GPIO接口。
ok,我找到正确的GPIO参照图后,成功点亮。
4.最终组合
先贴出来完整代码
from urllib import request import json import time import Adafruit_CharLCD as LCD import math class PHPTZ: def __init__(self): self.url = 'http://150.95.151.229:8888/tz.php?act=rt' self.dataj = [] def getData(self): try: f = request.urlopen(self.url) data = f.read() data2 = str(data.decode('utf-8')).strip('(').strip(')') self.dataj = json.loads(data2) return self.dataj except : print('Error') return None def getSpeed(self): return self.dataj['NetOutSpeed3'] class my1602: def __init__(self,a): self.lcd_rs = 27 self.lcd_en = 22 self.lcd_d4 = 25 self.lcd_d5 = 24 self.lcd_d6 = 23 self.lcd_d7 = 18 self.lcd_backlight = 4 self.lcd_columns = 16 self.lcd_rows = 2 self.lcd = LCD.Adafruit_CharLCD(self.lcd_rs, self.lcd_en, self.lcd_d4, self.lcd_d5, self.lcd_d6, self.lcd_d7,self.lcd_columns, self.lcd_rows, self.lcd_backlight) self.dataj = a def display(self,b,d,t): self.dataj = b self.lcd.clear() self.lcd.message(self.dataj['NetOut3']+'\n'+str("%.3f"%(d/1024/t))+' KB/s') #主函数开始,前四行类似于setup myserver = PHPTZ() mylcd = my1602(data) time1 = time.time() speed2=speed1=myserver.getSpeed() #大循环 while(1): data=myserver.getData() speed2=speed1 data1=myserver.getSpeed() time2=time1 time1=time.time() mylcd.display(data,float(speed1)-float(speed2),float(time1)-float(time2))
- 主函数,前四行类似于Arduino中的setup(),只运行一次初始化。然后进入大循环。
- myserver.getSpeed()返回值为字符串,需要转化成float。
- 计算网速,用了两次time.time获取时间戳,然后再相除换算得到具体网速。鉴于本地和服务器延迟基本稳定,此方法比较准确。
"%.3f"%(d/1024/t)
保留3位小数- 面向对象的设计模式意识浅薄,多多包涵
运行,成功!
5.包装及最终效果
包装见:
残念系手工艺人:手把手教你用湿巾盒DIY树莓派外壳 -- https://steinslab.io/archives/1151
最终效果:
6.结语
假期学了一点点Python,玩了树莓派。在学期初真真正正用树莓派做出了一个符合自己需求的东西。
树莓派真的好玩,我突然发现我对Linux的理解更深了,一些日常操作也不在话下了。
树莓派真好玩儿,您得来一个。
可以告诉我你是直接接线LCD 1602的么,一级萌新表示按照example里面接无法点亮。
@largercode 抱歉这么长时间忙,没有上博客,没有及时回复。我是直接接的LCD1602,但是线已经拆了。不过之前我曾因为Adafruit的Python库版本问题无法点亮,可以考虑下库的版本,希望能帮到你
[…] [趴会儿Project]No.004 洞察秋毫的观测者 – 服务器监控助手(基于PHP探针和… […]
[…] [趴会儿Project]No.004 洞察秋毫的观测者 – 服务器监控助手(基于PHP探针和… […]
膜!
@Gaby 最近怎么多了一堆魔法师
:sad:
大神,收下膝盖
@萝莉 使不得,使不得
团长狠
@Sang 使不得