数字旗手

引言：从图像到视频，分割技术的演进与挑战 初代Segment Anything Model (SAM)的问世，标志着图像分割领域进入了一个新纪元。它所展现的“万物可分割”能力，为计算机视觉的众多应用奠定了坚实的基础。然而，真实世界是动态的，静态图像仅仅是其瞬时快照。随着多媒体内容的爆炸式增长，将分割技术从静态图像扩展到动态视频，已成为业界迫切的需求。 这一扩展并非简单的技术延伸，而是面临着一系列独特的、严峻的挑战。首先，视频中的实体在运动、形变和遮挡过程中，其外观会发生剧烈变化，对模型的鲁棒性提出了极高要求。其次，由于拍摄条件和压缩等因素，视频数据通常质量较低，存在运动模糊、分辨率不高等问题

引言 在自然语言处理（NLP）领域，基于网络规模数据预训练的大型语言模型（LLM）正以其强大的零样本和少样本泛化能力掀起一场技术革命。这些被称为“基础模型”的技术，能够处理训练阶段未曾见过的新任务和数据分布。然而，将这一成功范式迁移至计算机视觉领域却面临着独特的挑战，尤其是许多视觉任务缺乏类似NLP中海量的、现成的训练数据。在此背景下，为核心视觉任务构建基础模型已成为推动领域发展的战略性需求。 Segment Anything (SA)项目应运而生，其核心目标正是为图像分割这一基础视觉任务构建一个强大的基础模型。该项目的实现依赖于三个盘根错节、相互依赖的核心支柱，它们共同构成了一个无法分割的

如果说大模型（LLM）是“大脑”，智能体（Agent）是“手脚”，那么大数据（Big Data）就是“环境”与“土壤”。 过去十年，大数据解决的核心问题是“存储与计算”；未来十年，智能体与大数据结合解决的核心问题将是“理解与行动”。 结合行业的前沿实践，我认为智能体与大数据的深度结合点主要体现在以下四个维度： 一、 交互层结合：从“人找数”到“数找人”的范式革命 这是最直观，但也是最颠覆的结合点。 1. 智能体作为大数据的“超级接口” (The Agentic Interface) 传统大数据的使用门槛极高（SQL、Python、BI 拖拽）。 * 现状：业务人员看 Dashboa

介绍 之前写过一篇使用NvChad来配置Neovim的博客，今天试试使用LazyVim来将Neovim打造成IDE。 教程： * LazyVim for Ambitious Developers * Zero to IDE with LazyVim 前置条件 LazyVim需要的前置条件（软件及其版本号）要满足要求，可参见官方文档。 Neovim 1 brew install neovim 如果遇到问题，可以参考这一篇。 安装LazyVim Starter 备份当前配置 1 2 3 4 5 6 7 # required mv ~/.config/nvim{,.bak}

资料 52讲轻松搞定网络爬虫 遇到动态页面怎么办，详解渲染页面提取 前面我们已经介绍了 Scrapy 的一些常见用法，包括服务端渲染页面的抓取和 API 的抓取，Scrapy 发起 Request 之后，返回的 Response 里面就包含了想要的结果。 但是现在越来越多的网页都已经演变为 SPA 页面，其页面在浏览器中呈现的结果是经过 JavaScript 渲染得到的，如果我们使用 Scrapy 直接对其进行抓取的话，其结果和使用 requests 没有什么区别。 那我们真的要使用 Scrapy 完成对 JavaScript 渲染页面的抓取应该怎么办呢？ 之前我们介绍了 Seleni

资料 52讲轻松搞定网络爬虫 无所不知的Scrapy爬虫框架的介绍 在前面编写爬虫的时候，如果我们使用 requests、aiohttp 等库，需要从头至尾把爬虫完整地实现一遍，比如说异常处理、爬取调度等，如果写的多了，的确会比较麻烦。 那么有没有什么办法可以提升我们编写爬虫的效率呢？当然是有的，那就是利用现有的爬虫框架。 说到 Python 的爬虫框架，Scrapy 当之无愧是最流行最强大的框架了。本节我们就来初步认识一下 Scrapy，后面的课时我们会对 Scrapy 的功能模块进行详细介绍。 Scrapy 介绍 Scrapy 是一个基于 Twisted 的异步处理框架，是纯 Py

资料 52讲轻松搞定网络爬虫 智能化解析是怎样的技术 我们知道，爬虫是帮助我们快速获取有效信息的。然而在做爬虫的过程中，我们会发现解析是件麻烦事。 比如一篇新闻吧，链接是：https://news.ifeng.com/c/7kQcQG2peWU，页面预览图如下： 我们需要从页面中提取出标题、发布人、发布时间、发布内容、图片等内容。一般情况下我们需要怎么办？答案是写规则。 那么规则都有什么呢？比如正则、CSS 选择器、XPath。我们需要对标题、发布时间、来源等内容做规则匹配，更有甚者需要正则表达式来辅助。我们可能需要用 re、BeautifulSoup、PyQuery 等库来实现内

资料 52讲轻松搞定网络爬虫 App爬虫是怎么着情况 前面我们介绍的都是爬取 Web 网页的内容。随着移动互联网的发展，越来越多的企业并没有提供 Web 网页端的服务，而是直接开发了 App，更多更全的信息都是通过 App 来展示的。那么针对 App 我们可以爬取吗？当然可以。 我们知道 Web 站点有多种渲染和反爬方式，渲染分为服务端渲染和客户端渲染；反爬也是多种多样，如请求头验证、WebDriver 限制、验证码、字体反爬、封禁 IP、账号验证等等，综合来看 Web 端的反爬虫方案也是多种多样。 但 App 的情况略有不同，一般来说，App 的数据通信大都需要依赖独立的服务器，比如请

资料 52讲轻松搞定网络爬虫 Ajax的原理和解析 当我们在用 requests 抓取页面的时候，得到的结果可能会和在浏览器中看到的不一样：在浏览器中正常显示的页面数据，使用 requests 却没有得到结果。这是因为 requests 获取的都是原始 HTML 文档，而浏览器中的页面则是经过 JavaScript 数据处理后生成的结果。这些数据的来源有多种，可能是通过 Ajax 加载的，可能是包含在 HTML 文档中的，也可能是经过 JavaScript 和特定算法计算后生成的。 对于第 1 种情况，数据加载是一种异步加载方式，原始页面不会包含某些数据，只有在加载完后，才会向服务器请求某

资料 52讲轻松搞定网络爬虫 代理的基本原理和用法 我们在做爬虫的过程中经常会遇到这样的情况，最初爬虫正常运行，正常抓取数据，一切看起来都是那么的美好，然而一杯茶的功夫可能就会出现错误，比如 403 Forbidden，这时候打开网页一看，可能会看到 “您的 IP 访问频率太高” 这样的提示，或者跳出一个验证码让我们输入，输入之后才可能解封，但是输入之后过一会儿就又这样了。 出现这种现象的原因是网站采取了一些反爬虫的措施，比如服务器会检测某个 IP 在单位时间内的请求次数，如果超过了这个阈值，那么会直接拒绝服务，返回一些错误信息，这种情况可以称之为封 IP，于是乎就成功把我们的爬虫禁掉了。