登录
深度学习 AI推荐系统

只需一台电脑,用 Python 实时追踪新冠病毒分布

011

更多
牛金凤
124
0
2020-04-14

目前,随着新型冠状病毒(COVID-19)在全球范围内蔓延,海外地区现有确诊已经上升至 293683(注:数据更新至 2020.03.25 16:54)。为了更好保证自身健康,我们必须了解正在影响⽣活所在地区的实际统计数据。

如何利用现有工具来实时追踪病情分布?近日,一个有趣的开源项目正好解决了这一问题。只需一台电脑,谁都可按照步骤利用 Python 获得专属个人的疫情信息。作者发布了文章介绍该操作过程,我们将其编译如下。




Web 爬虫计划

我们将使⽤ Web 爬虫的⽅法,以及 Selenium(Web 爬虫的一个库)和 Python⼯具来完成这一计划。
首先,我们需要找到从中获取数据的网站,在本次教程中,使⽤到的是 Worldometers(https://www.worldometers.info/ ),因为作者觉得这上面的数据⾮常准确,并且⽹站看起来不错。

下面开始进入计划:


在 Worldometers 上的表格中,显示了每个受影响国家/地区的相关数据,包括:累计确诊病例、新增病例、累计死亡人数、累计治愈人数,以及病危程度的人数统计等。


我们要做的,就是将以上的各个详细数据,通过一系列方法的转化,使其能够自动发到我们的电子邮箱中。当然,选择其它包含这些数据的网站,也不是不可以。

搭建环境

首先,我们需要安装 ChromeDriver,并进行环境搭建。

ChromeDriver 将帮助我们能够控制浏览器并向其发送命令,从而进⾏测试和之后的其它操作,可以通过链接( https://chromedriver.chromium.org/ )下载与你电脑系统相匹配的安装包。

Ps:如果你不是很熟悉 ChromeDriver,建议尽可能使用最新稳定版本。

下载之后,接下来将需要解压所下载的文件,建议右键单击「文件」,然后选择「Extract Here」,手动进行解压操作。






之后你会发现在该⽂件夹内,有⼀个名为「chromedriver」的⽂件,我们需要按照下面的步骤将其移⾄计算机上的特定⽂件夹。

  • 第一步,打开终端并输⼊以下命令:


sudo su#进⼊root 模式 cd

#从当前位置返回到基础 mv / home / *your_pc_name * / Downloads / chromedriver / usr / local / bin

#将⽂件移动到正确的位置


注意:其中的「*your_pc_name *」部分,需要替换为所用计算机的实际名称。



  • 第二步,打开编辑器,作者选择的是 Visual Studio Code(https://code.visualstudio.com/ )。

  • 第三步,新建一个项⽬,并创建两个新⽂件。可参考下面作者的设置:


Visual Studio Code—项目设置


并且可以发现,在 VS Code 中有⼀个「Terminal」选项,可以⽤它在 VS Code 中打开内部终端。

第四步,安装虚拟环境和⽤于 Web 爬虫驱动程序的 selenium 工具,并在终端中键⼊下面这些命令:


pip3 install virtualenv

source venv / bin / activate

pip3 install selenium



最后激活虚拟环境,我们的准备工作就完成了。



开始编码

现在,我们完成对环境的搭建以及掌握所需信息获取地址后,就要开始做「编码实现」部分了。

我们将为其创建为⼀个类以及函数,使⽤任何名称创建即可,然后启动 Chrome 驱动程序:



class Coronaviru():  
 def __init __(self): self.driver = webdriver.Chrome() 
然后,转到 VS Code 内部终端并输⼊下面的代码,此命令使我们可以将⽂件作为交互式场所:
python -i coronavirus.py

之后,将浏览器的新标签页打开,我们开始向其发出命令。(如果想进⾏实验,可以使⽤命令⾏代替在源⽂件中键⼊命令⾏)

对于终端,命令为:



bot = Coronavirus() bot.driver.get( https://www.worldometers.info/coronavirus/ )
 现在,使其获取源代码:


self.driver.get( https://www.worldometers.info/coronavirus/ )


当我们进⼊⽹站时,我们需要提取所选网页中的表格。因此,我们将以这种⽅式进⾏操作,将表格作为 Web 元素并将其保存在「表」下。

为了在⽹页上找到该元素,我们使⽤ find_element_by_xpath()并使⽤其定义的 ID 对其进⾏过滤。


table = self.driver.find_element_by_xpath( //*

[@id="main_table_countries"]/tbody[1] )

在该表中,通过对应的名称,确保要找到我们最初需要获取国家或地区。

country_element = table.find_element_by_xpath(「// td
[contains(text(), China )]」))

再次使⽤XPath,我们尝试使用「China」的数据。由于我们需要「China」旁边的数据,因此我们必须确保它属于该⾏,这就是为什么要从 country_element 中获取父节点:

row = country_element.find_element_by_xpath("./..")

在该⾏内,我们获取了所需的所有数据,我们将该字符串拆分为每⼀列,并将其保存为变量:


 data = row.text.split(" ")
total_cases = data[1]
new_cases = data[2]
total_deaths = data[3]
new_deaths = data[4]
active_cases = data[5]
total_recovered = data[6]
serious_critical = data[7]

其中,「data」是⼀个来⾃字符串拆分的列表,然后我们将其分散到不同的变量中以备后⽤。


发送电子邮件

在完成编码部分之后,我们就要进入电子邮件发送部分了。



首先,需要设置电⼦邮件发送服务器。作者用到了 Google 帐户服务,然后进⼊「应⽤程序密码」,在那⾥⽣成⼀个新密码并在所写脚本程序中使⽤它。

然后,我们将通过以下代码,为我们将收到的电⼦邮件制作模板:



def send_mail(country_element, total_cases, new_cases, total_deaths, new_deaths, active_cases, total_recovered, serious_critical):
server = smtplib.SMTP( smtp.gmail.com , 587)
server.ehlo()
server.starttls()
server.ehlo()
server.login( email ,  password )
subject =  Coronavirus stats in your country today!
body =  Today in   + country_element +  
Total cases:   + total_cases +
New cases:   + new_cases +  
Total deaths:   + total_deaths +
New deaths:   + new_deaths +  
Active cases:   + active_cases +
Total recovered:   + total_recovered +  
Serious, critical cases:   + serious_critical +
Check the link: https://www.worldometers.info/coronavirus/  
msg = f"Subject: {subject}{body}"
server.sendmail(
 Coronavirus ,
 email ,
msg
)
print( Hey Email has been sent! )
server.quit()



这样,就能够实现单次的最新疫情信息获取了。如果你希望每天重复执⾏此脚本,可以通过下面链接中的编码实现:

https://stackoverflow.com/questions/15088037/python-script-to-do-something-at-the-same-time-every-day 

成功订阅!

最后,我们就得到了自制的邮件订阅啦(如下所示)。




当然,除了可以将我们所在地区的新冠病毒最新情况发到个人邮箱外,通过这样的方法,举一反三,你想订阅的其它资讯也可以自定义发送,而且还没有任何广告。

而在此,也再次提醒所有朋友,在目前疫情持续情况下,一定要勤洗手、戴口罩;同时,尽可能避免与他⼈进⾏过多的⾝体接触。

原文地址:

https://towardsdatascience.com/how-to-track-coronavirus-with-python-a5320b778c8e 

完整开源代码 Github 地址:

https://github.com/lazargugleta/coronavirusStats/blob/master/coronavirus.py





相关推荐