elastic 分页与遍历:from,size,search after & scroll api
xsobi 2024-11-26 10:13 1 浏览
分布式系统深度分页问题：
页数越深，就会占用越多的内存。就类似mysql 分页一样，越到后面页码性能越差。
search after
怎么解决呢，使用search after 参数就类似于mysql: id>xxx limit 10
1.先获取一个文档id
第一次搜索需要指定sort，并且保证值是唯一的。（可通过把_id加入排序保证唯一性）
2.传入文档id，获取后面文档数据，把sort里的值传到下面这个search_after参数里：
scroll api
scroll 查询 可以用来对 Elasticsearch 有效地执行大批量的文档查询，而又不用付出深度分页那种代价。游标查询允许我们 先做查询初始化，然后再批量地拉取结果。 这有点儿像传统数据库中的 cursor
游标查询会取某个时间点的快照数据。 查询初始化之后索引上的任何变化会被它忽略。 它通过保存旧的数据文件来实现这个特性，结果就像保留初始化时的索引 视图 一样。
每次查询后输入上一次的scroll id，当你想导出es数据使用scroll api比较合适。
插入数据：
创建快照：
使用scroll_id查询：
游标查询的过期时间会在每次做查询的时候刷新，所以这个时间只需要足够处理当前批的结果就可以了，而不是处理查询结果的所有文档的所需时间。 这个过期时间的参数很重要，因为保持这个游标查询窗口需要消耗资源，所以我们期望如果不再需要维护这种资源就该早点儿释放掉。 设置这个超时能够让 Elasticsearch 在稍后空闲的时候自动释放这部分资源。
1??注意再次设置游标查询过期时间为一分钟。
这个游标查询返回的下一批结果。 尽管我们指定字段 size 的值为1，我们有可能取到超过这个值数量的文档。 当查询的时候， 字段 size 作用于单个分片，所以每个批次实际返回的文档数量最大为 size * number_of_primary_shards 。
注：注意游标查询每次返回一个新字段_scroll_id。每次我们做下一次游标查询， 我们必须把前一次查询返回的字段_scroll_id 传递进去。 当没有更多的结果返回的时候，我们就处理完所有匹配的文档了
异常：SearchContextMissingException
SearchContextMissingException[No search context found for id [568]]
原因：scroll设置的时间太短已经超时了，或者上次的请求返回结果中没有_scroll_id字段。
相关推荐
- 好用的云函数!后端低代码接口开发，零基础编写API接口
-
前言在开发项目过程中，经常需要用到API接口，实现对数据库的CURD等操作。不管你是专业的PHP开发工程师，还是客户端开发工程师，或者是不懂编程但懂得数据库SQL查询，又或者是完全不太懂技术的人，通过...
- 快速上手:Windows 平台上 cURL 命令的使用方法
-
在工作流程中，为了快速验证API接口有效性，团队成员经常转向直接执行cURL命令的方法。这种做法不仅节省时间，而且促进了团队效率的提升。对于使用Windows系统的用户来说，这里有一套详细...
- 使用 Golang net/http 包:基础入门与实战
-
简介Go的net/http包是构建HTTP服务的核心库，功能强大且易于使用。它提供了基本的HTTP客户端和服务端支持，可以快速构建RESTAPI、Web应用等服务。本文将介绍ne...
- #小白接口# 使用云函数，人人都能编写和发布自己的API接口
-
你只需编写简单的云函数，就可以实现自己的业务逻辑，发布后就可以生成自己的接口给客户端调用。果创云支持对云函数进行在线接口编程，进入开放平台我的接口-在线接口编程，设计一个新接口，设计和配置好接口参...
- 极度精神分裂:我家没有墙面开关，但我虚拟出来了一系列开关
-
本内容来源于@什么值得买APP，观点仅代表作者本人｜作者：iN在之前和大家说过，在iN的家里是没有墙面开关的。...
- window使用curl命令的注意事项 curl命令用法
-
cmd-使用curl命令的注意点前言最近在cmd中使用curl命令来测试restapi,发现有不少问题,这里记录一下。在cmd中使用curl命令的注意事项json不能由单引号包括起来json...
- Linux 系统curl命令使用详解 linuxctrl
-
curl是一个强大的命令行工具，用于在Linux系统中进行数据传输。它支持多种协议，包括HTTP、HTTPS、FTP等，用于下载或上传数据，执行Web请求等。curl命令的常见用法和解...
- Tornado 入门:初学者指南 tornados
-
Tornado是一个功能强大的PythonWeb框架和异步网络库。它最初是为了处理实时Web服务中的数千个同时连接而开发的。它独特的Web服务器和框架功能组合使其成为开发高性能Web...
- PHP Curl的简单使用 php curl formdata
-
本文写给刚入PHP坑不久的新手们，作为工具文档，方便用时查阅。CURL是一个非常强大的开源库，它支持很多种协议，例如，HTTP、HTTPS、FTP、TELENT等。日常开发中，我们经常会需要用到cur...
- Rust 服务器、服务和应用程序:7 Rust 中的服务器端 Web 应用简介
-
本章涵盖使用Actix提供静态网页...
- 我给 Apache 顶级项目提了个 Bug apache顶级项目有哪些
-
这篇文章记录了给Apache顶级项目-分库分表中间件ShardingSphere提交Bug的历程。说实话，这是一次比较曲折的Bug跟踪之旅。10月28日，我们在GitHub上提...
- linux文件下载、服务器交互(curl)
-
基础环境curl命令描述...
- curl简单使用 curl sh
-
1.curl--help#查看关键字2.curl-A“（添加user-agent<name>SendUser-Agent<name>toserver）”...
- 常用linux命令:curl 常用linux命令大全
-
//获取网页内容//不加任何选项使用curl时，默认会发送GET请求来获取内容到标准输出$curlhttp://www.baidu.com//输出<!DOCTYPEh...
- 三十七，Web渗透提高班之hack the box在线靶场注册及入门知识
-
一.注册hacktheboxHackTheBox是一个在线平台，允许测试您的渗透技能和代码，并与其他类似兴趣的成员交流想法和方法。它包含一些不断更新的挑战，并且模拟真实场景，其风格更倾向于CT...
- 一周热门
- 最近发表
-
- 好用的云函数!后端低代码接口开发，零基础编写API接口
- 快速上手:Windows 平台上 cURL 命令的使用方法
- 使用 Golang net/http 包:基础入门与实战
- #小白接口# 使用云函数，人人都能编写和发布自己的API接口
- 极度精神分裂:我家没有墙面开关，但我虚拟出来了一系列开关
- window使用curl命令的注意事项 curl命令用法
- Linux 系统curl命令使用详解 linuxctrl
- Tornado 入门:初学者指南 tornados
- PHP Curl的简单使用 php curl formdata
- Rust 服务器、服务和应用程序:7 Rust 中的服务器端 Web 应用简介
- 标签列表
-
- grid 设置 (58)
- 移位运算 (48)
- not specified (45)
- patch补丁 (31)
- strcat (25)
- 导航栏 (58)
- context xml (46)
- scroll (43)
- element style (30)
- dedecms模版 (53)
- vs打不开 (29)
- nmap (30)
- webgl开发 (24)
- parse (24)
- c 视频教程下载 (33)
- paddleocr (28)
- listview排序 (33)
- firebug 使用 (31)
- transactionmanager (30)
- characterencodingfilter (33)
- getmonth (34)
- commandtimeout (30)
- hibernate教程 (31)
- label换行 (33)
- curlpost (31)