今天,领导找到我,说到这么一个事情
领导:“哎呀,小王,我们之前找其他公司做的爬虫,出来的数据老是乱啊,你有什么办法可以把加工厂一些数据过滤出来然后提取出来吗?”
我:“好吧,我试试”

----------------------------------------------------------------------------------------------------
这个“困难”的开始,就从此诞生了...
在拿到我们的python爬虫时,我发现这个爬虫是人工输入一些字符串来判定爬取范围的,并且会根据命名规则,创建不同的表格
而且我们的数据还有实时性,每次使用时,必须“现场爬取、现场使用”。
所以催生出了这个需求,当然,这难倒不了我!

----------------------------------------------------------------------------------------------------
首先,我们魔改python爬虫,将里面的固定字段进行修改,通过执行日期算出我们想要的确切时间范围,并修改部分代码,将固定时间的数据取出。
修改前 ↓


修改后 ↓

然后,我们打开影刀,将python逻辑直接写入我们的影刀python执行中!

接下来,我们通过计算时间,找到对应路径下的excel文件

通过影刀代码判断,筛选出我们需要的数据

再打开我们的目标文件,将我们的数据写入对应的单元格中

完成!成功用影刀做好了一个数据筛选!So Easy~
领导终于可以查看到直观的数据了~
领导:“哎呀,小王,我们之前找其他公司做的爬虫,出来的数据老是乱啊,你有什么办法可以把加工厂一些数据过滤出来然后提取出来吗?”
我:“好吧,我试试”

----------------------------------------------------------------------------------------------------
这个“困难”的开始,就从此诞生了...
在拿到我们的python爬虫时,我发现这个爬虫是人工输入一些字符串来判定爬取范围的,并且会根据命名规则,创建不同的表格
而且我们的数据还有实时性,每次使用时,必须“现场爬取、现场使用”。
所以催生出了这个需求,当然,这难倒不了我!

----------------------------------------------------------------------------------------------------
首先,我们魔改python爬虫,将里面的固定字段进行修改,通过执行日期算出我们想要的确切时间范围,并修改部分代码,将固定时间的数据取出。
修改前 ↓


修改后 ↓

然后,我们打开影刀,将python逻辑直接写入我们的影刀python执行中!

接下来,我们通过计算时间,找到对应路径下的excel文件

通过影刀代码判断,筛选出我们需要的数据

再打开我们的目标文件,将我们的数据写入对应的单元格中

完成!成功用影刀做好了一个数据筛选!So Easy~
领导终于可以查看到直观的数据了~