数字旗手

资料 52讲轻松搞定网络爬虫 Requests库的基本使用 学习爬虫，最基础的便是模拟浏览器向服务器发出请求，那么我们需要从什么地方做起呢？请求需要我们自己来构造吗？需要关心请求这个数据结构的实现吗？需要了解 HTTP、TCP、IP 层的网络传输通信吗？需要知道服务器的响应和应答原理吗？ 可能你无从下手，不过不用担心，Python 的强大之处就是提供了功能齐全的类库来帮助我们完成这些请求。利用 Python 现有的库我们可以非常方便地实现网络请求的模拟，常见的库有 urllib、requests 等。 拿 requests 这个库来说，有了它，我们只需要关心请求的链接是什么，需要传的参数

资料 52讲轻松搞定网络爬虫 HTTP基本原理 URI 和 URL 首先，我们来了解一下 URI 和 URL，URI 的全称为 Uniform Resource Identifier，即统一资源标志符，URL 的全称为 Universal Resource Locator，即统一资源定位符。 举例来说，https://github.com/favicon.ico，它是一个 URL，也是一个 URI。即有这样的一个图标资源，我们用 URL/URI 来唯一指定了它的访问方式，这其中包括了访问协议 HTTPS、访问路径（即根目录）和资源名称 favicon.ico。通过这样一个链接

简介 最近在狂补数据分析方面的知识，有一个趁手的“兵器”非常重要（就像在图像处理领域，我一直使用ImagePy，能够快速处理图像和测试算法）。经过搜索，在数据分析领域，发现了一个非常强大的工具——‘D-Tale’。 直接看一下官方简介（下面这段翻译来自最近大火的ChatGPT，对比了一下DeepL的翻译，发现ChatGPT效果更好，DeepL把Pandas直接翻译成了潘达斯）： D-Tale是一个Flask后端和React前端的结合，为您提供了一种简单的方法来查看和分析Pandas数据结构。它与ipython笔记本和python / ipython终端无缝集成。目前，该工具支持DataFra

参考资料： TorchMetrics Docs TorchMetrics — PyTorch Metrics Built to Scale Improve Your Model Validation With TorchMetrics 什么是指标 弄清楚需要评估哪些指标（metrics）是深度学习的关键。有各种指标，我们就可以评估ML算法的性能。 一般来说，指标（metrics）的目的是监控和量化训练过程。在一些技术中，如学习率调度learning-rate scheduling或提前停止early stopping，指标是用来调度和控制的关键。虽然也可以在这里使用损失loss，但指标是首选

——————更新日志—————— 2022.10.5 更新：简化了plugin 简介 vim是一个非常强大的文本编辑器，而Neovim是对原vim的一个分叉，不过最简单的Neovim显得太过朴素，只提供了基本的编辑器功能；然而有赖于它提供了强大的插件系统，可以通过各种插件将其由一个简约的文本编辑器转化为强大的代码开发IDE。 NvChad就是一个Neovim的预配置库，可以使得Neovim开箱即获得各种强大的功能： * NvChad是一个用lua编写的neovim配置，旨在提供一个具有非常漂亮的用户界面和极快的启动时间的基本配置（在基础硬件上约0.02秒至0.07秒）； * 懒加载的机

简介 一般来说，购买云服务器的用途是将其作为服务，比如构建web网站、博客、小程序、API服务等。这些场景都不需要服务器操作系统的图形界面，直接将相应的服务部署在云服务器上即可；而当前遇到的一个问题是：仍然需要通过云服务器来提供服务（即提供API接口），但背后的算法却依赖一个图形界面的桌面端软件。 默认的云服务器只有终端命令行操作，这是为了轻便和资源的高利用率，因此需要在购买的云服务器上安装操作系统的图形界面，以可运行具有图形界面的桌面端软件。 本文就记录通过VNC安装并连接云服务器的图形界面的过程。 配置和价格 配置1（轻量应用服务器）： * 地域和可用性：华北2（北京） * 镜像：

简介 这一篇看看如何将使用FastAPI编写的程序打包成docker镜像。 参考教程见这里。 安装依赖包 一般是使用requirements.txt来管理所依赖的包的名字及版本。 该文件的内容形如： 1 2 3 fastapi>=0.68.0,<0.69.0 pydantic>=1.8.0,<2.0.0 uvicorn>=0.15.0,<0.16.0 可以在程序编写过程中手动指定以上内容。 也可以在代码完成后，使用如下命令自动生成： 1 pip freeze > requirements.txt 有了上述requirements.txt文件后，则可以进行安装： 1 p

简介 首先对pytorch-accelerated的核心类Trainer进行逐行代码的注释理解，然后再以官方的几个例子进行注解说明。 Trainer逐行代码注解 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76

参考文档：0、1、2 简介 PyTorch Image Models (timm)是Ross Wightman创建的深度学习库，是一个大型集合，包括了SOTA计算机视觉模型、神经网络层、实用函数、优化器、调度器、数据加载器、数据增强器以及训练/验证脚本等。 安装 1 pip install timm 示例数据集（可选） 在演示之前，先下载一些流行的数据集作为示范。在这里，Chris Hughes使用了两个数据集： * 牛津大学IIIT宠物数据集，该数据集有37个类别，每个类别大约有200张图片 * Imagenette，这是Imagenet中10个容易分类的类别的一个子集。

简介 Node-RED是一种低代码的将各种硬件设备、API和在线服务连接起来的编程工具，比如将各种传感器（如树莓派上的传感器）、工业控制器（如MQTT、OPC-UA协议）、在线API（比如获取天气情况、发送邮件等）等以图形化拖拽编程的形式进行高效组态。因此，Node-RED广泛地应用在物联网流程和程序开发中。 安装和运行 Node-RED可以运行在多种设备上，比如本地计算机运行、设备上运行（如树莓派、Arduino和Android等），以及在云端运行（比如IBM云、AWS云和微软Azure云等）。 具体可以查看这里。 下面将以本地计算机运行为例，同时最简单的就是使用docker方式进行安装、