数字旗手

资料 52讲轻松搞定网络爬虫 App爬虫是怎么着情况 前面我们介绍的都是爬取 Web 网页的内容。随着移动互联网的发展，越来越多的企业并没有提供 Web 网页端的服务，而是直接开发了 App，更多更全的信息都是通过 App 来展示的。那么针对 App 我们可以爬取吗？当然可以。 我们知道 Web 站点有多种渲染和反爬方式，渲染分为服务端渲染和客户端渲染；反爬也是多种多样，如请求头验证、WebDriver 限制、验证码、字体反爬、封禁 IP、账号验证等等，综合来看 Web 端的反爬虫方案也是多种多样。 但 App 的情况略有不同，一般来说，App 的数据通信大都需要依赖独立的服务器，比如请

资料 52讲轻松搞定网络爬虫 Ajax的原理和解析 当我们在用 requests 抓取页面的时候，得到的结果可能会和在浏览器中看到的不一样：在浏览器中正常显示的页面数据，使用 requests 却没有得到结果。这是因为 requests 获取的都是原始 HTML 文档，而浏览器中的页面则是经过 JavaScript 数据处理后生成的结果。这些数据的来源有多种，可能是通过 Ajax 加载的，可能是包含在 HTML 文档中的，也可能是经过 JavaScript 和特定算法计算后生成的。 对于第 1 种情况，数据加载是一种异步加载方式，原始页面不会包含某些数据，只有在加载完后，才会向服务器请求某

资料 52讲轻松搞定网络爬虫 代理的基本原理和用法 我们在做爬虫的过程中经常会遇到这样的情况，最初爬虫正常运行，正常抓取数据，一切看起来都是那么的美好，然而一杯茶的功夫可能就会出现错误，比如 403 Forbidden，这时候打开网页一看，可能会看到 “您的 IP 访问频率太高” 这样的提示，或者跳出一个验证码让我们输入，输入之后才可能解封，但是输入之后过一会儿就又这样了。 出现这种现象的原因是网站采取了一些反爬虫的措施，比如服务器会检测某个 IP 在单位时间内的请求次数，如果超过了这个阈值，那么会直接拒绝服务，返回一些错误信息，这种情况可以称之为封 IP，于是乎就成功把我们的爬虫禁掉了。

资料 52讲轻松搞定网络爬虫 异步爬虫的原理和解析 我们知道爬虫是 IO 密集型任务，比如如果我们使用 requests 库来爬取某个站点的话，发出一个请求之后，程序必须要等待网站返回响应之后才能接着运行，而在等待响应的过程中，整个爬虫程序是一直在等待的，实际上没有做任何的事情。对于这种情况我们有没有优化方案呢？ 实例引入 比如在这里我们看这么一个示例网站：https://static4.scrape.center/，如图所示。 这个网站在内部实现返回响应的逻辑的时候特意加了 5 秒的延迟，也就是说如果我们用 requests 来爬取其中某个页面的话，至少需要 5 秒才能得到响应。

资料 52讲轻松搞定网络爬虫 你有权限吗？解析模拟登录基本原理 在很多情况下，一些网站的页面或资源我们通常需要登录才能看到。比如访问 GitHub 的个人设置页面，如果不登录是无法查看的；比如 12306 买票提交订单的页面，如果不登录是无法提交订单的；再比如要发一条微博，如果不登录是无法发送的。 我们之前学习的案例都是爬取的无需登录即可访问的站点，但是诸如上面例子的情况非常非常多，那假如我们想要用爬虫来访问这些页面，比如用爬虫修改 GitHub 的个人设置，用爬虫提交购票订单，用爬虫发微博，能做到吗？ 答案是可以，这里就需要用到一些模拟登录相关的技术了。那么本课时我们就先来了解模拟登录

资料 52讲轻松搞定网络爬虫 Requests库的基本使用 学习爬虫，最基础的便是模拟浏览器向服务器发出请求，那么我们需要从什么地方做起呢？请求需要我们自己来构造吗？需要关心请求这个数据结构的实现吗？需要了解 HTTP、TCP、IP 层的网络传输通信吗？需要知道服务器的响应和应答原理吗？ 可能你无从下手，不过不用担心，Python 的强大之处就是提供了功能齐全的类库来帮助我们完成这些请求。利用 Python 现有的库我们可以非常方便地实现网络请求的模拟，常见的库有 urllib、requests 等。 拿 requests 这个库来说，有了它，我们只需要关心请求的链接是什么，需要传的参数

资料 52讲轻松搞定网络爬虫 HTTP基本原理 URI 和 URL 首先，我们来了解一下 URI 和 URL，URI 的全称为 Uniform Resource Identifier，即统一资源标志符，URL 的全称为 Universal Resource Locator，即统一资源定位符。 举例来说，https://github.com/favicon.ico，它是一个 URL，也是一个 URI。即有这样的一个图标资源，我们用 URL/URI 来唯一指定了它的访问方式，这其中包括了访问协议 HTTPS、访问路径（即根目录）和资源名称 favicon.ico。通过这样一个链接

简介 最近在狂补数据分析方面的知识，有一个趁手的“兵器”非常重要（就像在图像处理领域，我一直使用ImagePy，能够快速处理图像和测试算法）。经过搜索，在数据分析领域，发现了一个非常强大的工具——‘D-Tale’。 直接看一下官方简介（下面这段翻译来自最近大火的ChatGPT，对比了一下DeepL的翻译，发现ChatGPT效果更好，DeepL把Pandas直接翻译成了潘达斯）： D-Tale是一个Flask后端和React前端的结合，为您提供了一种简单的方法来查看和分析Pandas数据结构。它与ipython笔记本和python / ipython终端无缝集成。目前，该工具支持DataFra

参考资料： TorchMetrics Docs TorchMetrics — PyTorch Metrics Built to Scale Improve Your Model Validation With TorchMetrics 什么是指标 弄清楚需要评估哪些指标（metrics）是深度学习的关键。有各种指标，我们就可以评估ML算法的性能。 一般来说，指标（metrics）的目的是监控和量化训练过程。在一些技术中，如学习率调度learning-rate scheduling或提前停止early stopping，指标是用来调度和控制的关键。虽然也可以在这里使用损失loss，但指标是首选

——————更新日志—————— 2022.10.5 更新：简化了plugin 简介 vim是一个非常强大的文本编辑器，而Neovim是对原vim的一个分叉，不过最简单的Neovim显得太过朴素，只提供了基本的编辑器功能；然而有赖于它提供了强大的插件系统，可以通过各种插件将其由一个简约的文本编辑器转化为强大的代码开发IDE。 NvChad就是一个Neovim的预配置库，可以使得Neovim开箱即获得各种强大的功能： * NvChad是一个用lua编写的neovim配置，旨在提供一个具有非常漂亮的用户界面和极快的启动时间的基本配置（在基础硬件上约0.02秒至0.07秒）； * 懒加载的机