乔恩立刻点了点头:“好的boss,我这就去吩咐!”
技术总监得到命令后,也非常的小心谨慎。
上次的转链接事件,让他在业内也被笑掉了大牙。
这次绝对不能再出任何纰漏了!
大约上午10点,乐掏开启了第二次对淘宝页面的数据采集。
这次采集速度特别的慢,为的就是防止陈默这边察觉。
然而贝索斯这边不知道的是,陈默回到公司之后,直接就让马福报开启了加水印logo功能。
这个功能所采用的技术手段并不是给服务器上所有的图片都加上水印,而是直接在代码里增加一个功能——任何访问网站的用户,甭管你是谁,只要采集我的产品详情页数据,一律把你能采集到的图片加上水印logo!
所以乐掏花了半个月改爬虫脚本又小心翼翼,刻意放缓几十倍的速度进行数据采集,陈默却大大方方去掉了冗余的反作弊代码,仅仅只弄了个加水印logo的功能。
当乐掏的爬虫脚本工作的正起劲时,乔恩过来询问:“这次没有脏数据了吧?”
技术总监自信满满道:“没了!刚刚一个小时采集的数据,我让人反复测试了几十次,一条转链接都没有!”
乔恩松了口气:“那就好,让所有人都保持警惕!在采集数据的这几天时间里,千万不能松懈!如果发现对方进行了反作弊代码,及时修改脚本,绝对不允许再出现脏数据了!”
“好!”
技术总监得到命令后,主动继续进行数据监测,并亲自充当qa,跑了一整套的qa流程。
万幸,没有出现任何的问题。
接着他就继续去重点监督采集的数量以及速度。
然而,在不经意间,技术总监点开了一个乐掏页面却赫然发现了不对劲!
怎么采集到的商品页面信息里,所有的图片全都多了一个两行的半透明logo?!
logo的第一行写的是:掏宝网。
第二行写的是掏宝的网址。
这一瞬间,技术总监如坠冰窟一般,原本还激动高昂的情绪,瞬间跌入了谷底!
“所有技术人员,全给我检查你们手里采集到的数据,看看商品页面上的图片有没有出现掏宝的logo!”
技术总监群发了消息。
然后很快在群里得到了反馈:
“报告,我这边发现了!”
“报告总监,我这边也有!”
“总监,我们这边所有人手里的数据全有淘宝logo!”
技术总监知道大事不妙,刚刚点燃的烟被他生生用手指给掐灭,然后赶紧带着笔记本去找到了乔恩汇报。
乔恩紧绷了一天的神经,在得到了技术总监的好消息后,本来终于能得到一丝放松了。
他就等着几天后,所有正常数据采集成功的好消息了。
结果技术总监这个时候抱着笔记本冲进了他的办公室。
“经理,大事不妙,您快看这个!”