完美假期第一步：用Python寻找最便宜的航班！

大数文摘出品

编译：高延、熊琰、胡笳、蒋宝尚

“你喜欢旅游吗?”

这个简单的问题经常会得到一个积极的回复甚至还会额外收到一个或两个冒险的故事。通常来讲，旅行是一种体验新文化和拓宽自己视野的好方法。

但如果把问题换成“你喜欢查机票的过程吗?”，我敢肯定大家的反应一定会不那么热情......

那么，用Python解决你的难点吧!本文作者Fábio Neves，一位资深的商业数据分析师将会带你建立一个网络爬虫项目，帮助我们找到最优惠的价格!

具体做法是对特定目的地以及灵活的日期范围(根据你选择的日期前后最多3天)进行航班价格搜索。

搜索结果保存到一个excel中并为你发送一封展示快速统计信息的电子邮件。显然，最终的目的是帮助我们找到最优惠的价格!

如果你真的想试试，你可以在服务器上执行这个脚本(一个简单的Raspberry Pi就可以(注：Raspberry Pi树莓派又称卡片式电脑，外形只有信用卡大小，运算性能和智能手机相仿。So大家在自己笔记本电脑上折腾就足够了。。))，并且每天运行一次或两次。它会将检索结果以邮件的形式发给你，我建议将excel文件保存到Dropbox云端，这样你就可以随时随地访问它。

注：Dropbox是一个类似于百度云的云端服务

我还是没找到任何错误低价票，但我想还是有可能的!

它会根据“弹性日期范围”进行检索，以便查找你首选日期的前后最多3天的所有航班。尽管该脚本一次只适用于一组from/to目的地，但你可以轻松地调整它在每个循环内运行多组行程目的地。你甚至可能最终找到一些错误低价票......简直棒极了!

爬虫脚本

当我第一次开始做网络爬虫时，我对这块并不特别感兴趣。我本想用预测建模，财务分析和一些情绪分析来做更多的项目，但事实证明，弄明白如何构建第一个网络爬虫是很有趣的。随着我不断学习，我意识到网络抓取是互联网运转的精髓。

是的......就像Larry 和 Sergey一样，在启动爬虫程序后去尽情享受按摩浴缸吧!

你可能认为这是一个非常大胆的想法，但如果我告诉你谷歌就诞生于Larry 和 Sergey通过Java和Python写的爬虫程序呢?谷歌通过爬取整个互联网来试图为你的问题提供最佳答案。有非常多关于网络爬虫的应用程序，即便你更喜欢数据科学中的其他主题，你仍然需要一些爬虫技能来获取想要的数据。

Python可以来拯救你

第一个挑战是选择从哪个平台抓取信息。这其实并不容易，但我最终选择了Kayak。决定之前我尝试了Momondo，Skyscanner，Expedia等等，但这些网站上的验证码部分真的是让人抓狂。经过几次尝试选择交通信号灯，人行横道和自行车的这种“你是真人吗”的检查后，我的结论是Kayak是目前最好的选择，即使它在短时间内加载太多页面时也会抛出安全性校验。

我设置机器人以4到6小时的间隔来查询网站，这样就不会有问题了。在这里和那里偶尔可能会出现卡壳中断现象，但是如果你遇到验证码校验，那么你需要手动进行验证码认证，确认完毕后再启动机器人程序，然后等待几个小时它就会重置。你也可以随意将这些代码应用到其他平台，欢迎你在评论部分分享你的应用!

如果你是个爬虫新手，或者还不了解为什么有一些网站总会设置各种障碍来阻止网络抓取，那么在写第一行爬虫代码之前，请你先阅读了解一下谷歌“ 网络抓取礼仪 ”。如果你像疯子一样准备好了开始网络抓取，你获得努力成果可能会比你想象的要快得多。

网络抓取礼仪 ：?q=web+scraping+etiquette

请系好安全带……

打开chrome标签页后，我们将定义一些在循环内使用的函数。关于整体结构的大致想法是这样的：

一个函数将启动机器人，声明我们想要搜索的城市和日期。

此功能获取第一批搜索结果并按“最佳”航班进行排序，随后点击“加载更多结果”。

另一个函数将抓取整个页面，并会返回一个dataframe数据集

重复步骤2和3获取“最便宜”和“最快”的排序结果。

电子邮件将价格的最终结果(最便宜和平均值)发送给你，并且将三个排序(价格、时间、整体最佳)的数据集保存为一个excel文件

前面的所有步骤循环重复，每隔X小时运行一次。