0519

工作

• 后台开发：联调和改bug 阶段。
• 感受：
  • 集成环境是可以用，总体联调感觉还是很棒的。前后端联调在群里新建一个 excel 文档记录问题，什么问题，描述，发现人，解决状态。这样效率很高开发体验也很棒。

学习

• 今天干了啥：

  • 前端进阶博客 推荐优秀博客
  • 同事推荐了个好的博客网站，里面很多面试题，但是查看全部需要关注公众号。不过网站有 bug，通过改 css 样式可以破解。
  • 顺便，我就写了个简单的爬虫，把所有的内容爬下来，然后转换成 markdown 格式，俨然就是一本【面试大全】呀，为女朋友后面面试复习提供好的学习资料。
  • 代码学习地址：github/craw

• 自己写的爬虫总结：

  • 使用技术：rquest + cheerio + html-to-md 实现将页面数据拉下来，同时将我们需要的内容转换成 markdown 文档，此时使用 Typora 导出为 PDF 即可拥有左侧导航栏进行阅读。
  • 项目配置：nodemon 配置下开发。

• 好文阅读：

  • canvas 实现泡泡龙 近期遇到比较多 canvas 的需求，这方面也看看
  • canvas 实现烟花效果 实现烟花的效果。
  • Nodejs的学习Ⅲ（cheerio、Puppeteer、网络协议、简单服务器搭建） 使用到了无头浏览器 puppeteer
  • nodejs爬虫笔记(五)---利用nightmare模拟点击下一页
  • nodejs爬虫笔记(一)---request与cheerio等模块的应用
  • 用node写个爬虫

小结：

关于爬虫，主要有这几种需求：

• 静态页面爬虫：最简单也最常见的页面，就是简单的静态页面即可获取我们要的数据。此方式只需要简单的 request + cheerio 即可实现我们的需求
• 动态页面爬虫：需要模拟用户点击才能看到的数据，例如弹框内的列表数据，此时，需要模拟浏览器操作，使用 puppeteer 结合

反思

• 做的不好的
• 做的好的

明日计划