Web Development

需求场景 最近发现一直爬取的网站升级了,无法通过request模块简单获取了。考虑到其实自己爬取的数据访问量并不大,实际也就我一个人偶尔访问一下,不会是因为我的爬取而去更新反爬虫机制,猜测是其他原因导致了网站升级了反爬虫...

发布 0 条评论

需求场景 现在越来越多的前端项目是基于vue,react,angular做的单页应用,可是单页应用的一大痛点就是seo不友好,虽然百度统计支持单页应用,但是seo不行呀。 可行解决方案 目前有三种解决方案。方案一预渲染,方案二服务端...

发布 0 条评论

需求场景 由于墙的原因,采用npm i puppeteer -S安装puppeteer非常的慢。博主就深受折磨,搜遍了全网,在没有梯子的情况下采用淘宝镜像安装是最快的方式,快的飞起的那种。 解决方法 PUPPETEER_DOWNLOAD_HOST=https://npm.taobao.org/...

发布 0 条评论