- 浏览: 665774 次
- 性别:
- 来自: 长沙
文章分类
- 全部博客 (364)
- quick start (57)
- bboss aop (43)
- bboss mvc (48)
- bboss persistent (96)
- bboss taglib (30)
- bboss event (10)
- bbossgroups (52)
- bboss (32)
- bboss会话共享 (17)
- bboss rpc (7)
- bboss 国际化 (5)
- bboss 序列化 (9)
- bboss cxf webservice (8)
- bboss hessian (3)
- bboss 安全认证SSO (15)
- bboss 工作流 (6)
- 平台 (18)
- bboss quartz (3)
- 杂谈 (5)
- 大数据 (1)
- bboss elastic (24)
- bboss http (1)
- bboss kafka (1)
- Elasticsearch Scroll和Slice Scroll查询API使用案例 (1)
最新评论
-
qianhao123:
...
采用gradle构建和发布bboss方法介绍 -
qianhao123:
[img][/img]
采用gradle构建和发布bboss方法介绍 -
yin_bp:
欢迎大家参与working
高性能elasticsearch ORM开发库使用介绍 -
qq641879434:
万分感谢
bboss 持久层sql xml配置文件编写和加载方法介绍 -
yin_bp:
qq641879434 写道怎么设置配置文件 可以查看执行的S ...
bboss 持久层sql xml配置文件编写和加载方法介绍
Elasticsearch聚合查询案例分享
1.案例介绍
统计特定时间范围内每个应用的总访问量、访问成功数、访问失败数,每个应用请求响应时间分段统计(1秒内,1-3秒,3-5秒,5秒以上
2.准备工作
参考文档《高性能elasticsearch ORM开发库使用介绍》中的第1章节和第2章节,在自己的工程中导入bboss es依赖包和配置es参数
3.定义统计dsl
在源码目录下新建文件esmapper/estrace/ESTracesMapper.xml,内容如下
4.编写统计dao及统计方法
5.执行测试用例
6.获取元数据信息的测试方法
7.相关资料
高性能elasticsearch ORM开发库使用介绍
https://my.oschina.net/bboss/blog/1556866
bboss elasticsearch交流群:166471282
1.案例介绍
统计特定时间范围内每个应用的总访问量、访问成功数、访问失败数,每个应用请求响应时间分段统计(1秒内,1-3秒,3-5秒,5秒以上
2.准备工作
参考文档《高性能elasticsearch ORM开发库使用介绍》中的第1章节和第2章节,在自己的工程中导入bboss es依赖包和配置es参数
3.定义统计dsl
在源码目录下新建文件esmapper/estrace/ESTracesMapper.xml,内容如下
<properties> <!-- 应用汇总统计:总访问量,成功数,失败数 bboss es dao通过名称applicationSumStatic引用脚本 --> <property name="applicationSumStatic"> <![CDATA[ { "query": { "bool": { "filter": [ #if($channelApplications && $channelApplications.size() > 0) { "terms": { "applicationName.keyword": [ #foreach($application in $channelApplications) #if($velocityCount > 0),#end $application.applicationName #end ] } }, #end {"range": { "startTime": { "gte": #[startTime],##统计开始时间 "lt": #[endTime] ##统计截止时间 } } } ] } }, "size":0, "aggs": { "applicationsums": { "terms": { "field": "applicationName.keyword",##按应用名称进行统计计数 "size":10000 }, "aggs":{ "successsums" : { "terms" : { "field" : "err" ##按err标识统计每个应用的成功数和失败数,0标识成功,1标识失败 } }, "elapsed_ranges" : { "range" : { "field" : "elapsed", ##按响应时间分段统计 "keyed" : true, "ranges" : [ { "key" : "1秒", "to" : 1000 }, { "key" : "3秒", "from" : 1000, "to" : 3000 }, { "key" : "5秒", "from" : 3000, "to" : 5000 }, { "key" : "5秒以上", "from" : 5000 } ] } } } } } } ]]> </property> </properties>
4.编写统计dao及统计方法
public class TraceESDao { public List<ApplicationStatic> getApplicationSumStatic(TraceExtraCriteria traceExtraCriteria){ init(); //返回json统计报文,调试用,一遍根据json报文组装统计结果列表 // String response = clientUtil.executeRequest("trace-*/_search", // "applicationSumStatic",traceExtraCriteria); //根据条件进行统计,在对象traceExtraCriteria中指定开始时间和结束时间 MapRestResponse restResponse = clientUtil.search("trace-*/_search", "applicationSumStatic",traceExtraCriteria); //组装统计结果 //获取应用统计列表,包含每个应用的名称、总访问量以及成功数和失败数 List<Map<String,Object>> appstatics = (List<Map<String,Object>>)restResponse.getAggBuckets("applicationsums"); if(appstatics != null && appstatics.size() > 0) { List<ApplicationStatic> applicationStatics = new ArrayList<ApplicationStatic>(appstatics.size()); ApplicationStatic applicationStatic = null; for (int i = 0; i < appstatics.size(); i++) { applicationStatic = new ApplicationStatic(); Map<String, Object> map = appstatics.get(i); //应用名称 String appName = (String) map.get("key"); applicationStatic.setApplicationName(appName); //应用总访问量 Long totalsize = ResultUtil.longValue( map.get("doc_count"),0l); applicationStatic.setTotalSize(totalsize); //获取成功数和失败数 List<Map<String, Object>> appstatic = (List<Map<String, Object>>)ResultUtil.getAggBuckets(map, "successsums"); /** "buckets": [ { "key": 0, "doc_count": 30 } ] */ //key 0 Long success = 0l;//成功数 Long failed = 0l;//失败数 for (int j = 0; j < appstatic.size(); j++) { Map<String, Object> stats = appstatic.get(j); Integer key = (Integer) stats.get("key");//成功和错误标识 if (key == 0)//成功 success = ResultUtil.longValue( stats.get("doc_count"),0l); else if (key == 1)//失败 failed = ResultUtil.longValue( stats.get("doc_count"),0l); } applicationStatic.setSuccessCount(success); applicationStatic.setFailCount(failed); List<ApplicationPeriodStatic> applicationPeriodStatics = new ArrayList<ApplicationPeriodStatic>(4); ApplicationPeriodStatic applicationPeriodStatic = null; //获取响应时间分段统计信息 Map<String, Map<String, Object>> appPeriodstatic = (Map<String, Map<String, Object>>)ResultUtil.getAggBuckets(map, "elapsed_ranges"); //1秒 Map<String, Object> period = appPeriodstatic.get("1秒"); applicationPeriodStatic = new ApplicationPeriodStatic(); applicationPeriodStatic.setPeriod("1秒"); applicationPeriodStatic.setDocCount(ResultUtil.longValue(period.get("doc_count"),0l)); applicationPeriodStatic.setTo(ResultUtil.intValue(period.get("to"),1000)); applicationPeriodStatics.add(applicationPeriodStatic); //3秒 period = appPeriodstatic.get("3秒"); applicationPeriodStatic = new ApplicationPeriodStatic(); applicationPeriodStatic.setPeriod("3秒"); applicationPeriodStatic.setDocCount(ResultUtil.longValue(period.get("doc_count"),0l)); applicationPeriodStatic.setFrom(ResultUtil.intValue(period.get("from"),1000)); applicationPeriodStatic.setTo(ResultUtil.intValue(period.get("to"),3000)); applicationPeriodStatics.add(applicationPeriodStatic); //5秒 period = appPeriodstatic.get("5秒"); applicationPeriodStatic = new ApplicationPeriodStatic(); applicationPeriodStatic.setPeriod("5秒"); applicationPeriodStatic.setDocCount(ResultUtil.longValue(period.get("doc_count"),0l)); applicationPeriodStatic.setFrom(ResultUtil.intValue(period.get("from"),3000)); applicationPeriodStatic.setTo(ResultUtil.intValue(period.get("to"),5000)); applicationPeriodStatics.add(applicationPeriodStatic); //5秒以上 period = appPeriodstatic.get("5秒以上"); applicationPeriodStatic = new ApplicationPeriodStatic(); applicationPeriodStatic.setPeriod("5秒以上"); applicationPeriodStatic.setDocCount(ResultUtil.longValue(period.get("doc_count"),0l)); applicationPeriodStatic.setFrom(ResultUtil.intValue(period.get("from"),5000)); applicationPeriodStatics.add(applicationPeriodStatic); applicationStatic.setApplicationPeriodStatics(applicationPeriodStatics); applicationStatics.add(applicationStatic); } //返回统计结果 return applicationStatics; } return null; } }
5.执行测试用例
@Test public void testAppliationstaticList(){ TraceExtraCriteria traceExtraCriteria = new TraceExtraCriteria(); traceExtraCriteria.setStartTime(1516304868072l);//以long方式设置统计开始时间,Date的getTime方法获取 traceExtraCriteria.setEndTime(1516349516377l);//以long方式设置统计截止时间,Date的getTime方法获取 TraceESDao traceESDao = new TraceESDao();//定义dao组件 List<ApplicationStatic> applicationStatics = traceESDao.getApplicationSumStatic(traceExtraCriteria); System.out.println(applicationStatics.size()); }
6.获取元数据信息的测试方法
@Test public void testAppStatic(){ TraceExtraCriteria traceExtraCriteria = new TraceExtraCriteria(); traceExtraCriteria.setStartTime(1516304868072l); traceExtraCriteria.setEndTime(1516349516377l); ClientInterface clientUtil = ElasticSearchHelper.getConfigRestClientUtil("esmapper/estrace/ESTracesMapper.xml"); //通过下面的方法先得到查询的json报文,然后再通过MapRestResponse查询遍历结果,调试的时候打开String response的注释 //String response = clientUtil.executeRequest("trace-*/_search","applicationSumStatic",traceExtraCriteria); //System.out.println(response); MapRestResponse restResponse = clientUtil.search("trace-*/_search","applicationSumStatic",traceExtraCriteria); List<Map<String,Object>> appstatics = restResponse.getAggBuckets("applicationsums",new ESTypeReference<List<Map<String,Object>>>(){}); int doc_count_error_upper_bound = restResponse.getAggAttribute("applicationsums","doc_count_error_upper_bound",int.class); int sum_other_doc_count = restResponse.getAggAttribute("applicationsums","sum_other_doc_count",int.class); System.out.println("doc_count_error_upper_bound:"+doc_count_error_upper_bound); System.out.println("sum_other_doc_count:"+sum_other_doc_count); for(int i = 0; i < appstatics.size(); i ++){ Map<String,Object> map = appstatics.get(i); //应用名称 String appName = (String)map.get("key"); //应用总访问量 int totalsize = (int)map.get("doc_count"); //获取成功数和失败数 List<Map<String,Object>> appstatic = ResultUtil.getAggBuckets(map ,"successsums",new ESTypeReference<List<Map<String,Object>>>(){}); doc_count_error_upper_bound = ResultUtil.getAggAttribute(map ,"successsums","doc_count_error_upper_bound",int.class); sum_other_doc_count = ResultUtil.getAggAttribute(map ,"successsums","sum_other_doc_count",int.class); System.out.println("doc_count_error_upper_bound:"+doc_count_error_upper_bound); System.out.println("sum_other_doc_count:"+sum_other_doc_count); /** "buckets": [ { "key": 0, "doc_count": 30 } ] */ //key 0 int success = 0;//成功数 int failed = 0;//失败数 for(int j = 0; j < appstatic.size(); i ++){ Map<String,Object> stats = appstatic.get(i); int key = (int) stats.get("key");//成功和错误标识 if(key == 0) success = (int)stats.get("doc_count"); else if(key == 1) failed = (int)stats.get("doc_count"); } } }
7.相关资料
高性能elasticsearch ORM开发库使用介绍
https://my.oschina.net/bboss/blog/1556866
bboss elasticsearch交流群:166471282
发表评论
-
一组获取Elasticsearch 索引表所有文档API使用案例
2018-11-18 16:02 2991The best elasticsearch highle ... -
Elasticsearch Scroll和Slice Scroll查询API使用案例
2018-09-16 18:49 3814Elasticsearch Scroll和Slice Scro ... -
数据库数据导入Elasticsearch案例分享
2018-09-16 18:42 6237The best elasticsearch highleve ... -
Spring Boot整合ElasticSearch单/多集群案例
2018-07-07 20:12 9753Spring Boot整合ElasticSearch单个集群和 ... -
ElasticSearch DSL Script使用案例分享
2018-06-28 23:52 6159the best elasticsearch highleve ... -
Elasticsearch 6.3.0 SQL功能使用案例分享
2018-06-25 19:12 3261The best elasticsearch highleve ... -
数据库数据导入Elasticsearch案例分享
2018-06-21 22:56 433The best elasticsearch highleve ... -
ElasticSearch From-Size分页案例
2018-06-14 00:17 3366ElasticSearch From-Size分页案例 1. ... -
ElasticSearch客户端注解使用介绍
2018-05-30 00:19 2350The best elasticsearch highleve ... -
基于自定义配置文件初始化ElasticSearch客户端方法介绍
2018-05-24 18:56 1470基于自定义配置文件初始化ElasticSearch客户端方法介 ... -
Elasticsearch关键词高亮检索案例分享
2018-05-10 22:18 62081.准备工作 参考文档《集成Elasticsearch Res ... -
判断ElasticSearch索引Indice和索引类型是否存在
2018-05-05 23:54 8478The best elasticsearch highleve ... -
快速集成Elasticsearch Restful API案例
2018-04-26 14:27 3157The best elasticsearch highleve ... -
Elasticsearch source filter检索案例
2018-04-24 13:00 2198摘要: the best elasticsearch high ... -
Elasticsearch search after分页检索案例
2018-04-21 10:36 3030Elasticsearch search after分页检索案 ... -
Elasticsearch Delete/UpdateByQuery案例
2018-04-16 11:09 7302Elasticsearch Delete/UpdateByQu ... -
Elasticsearch返回父子数据关联查询案例
2018-04-13 12:36 4663在《Elasticsearch 父子关 ... -
Elasticsearch Sliced Scroll分页检索案例分享
2018-04-02 18:28 3729Elasticsearch Sliced Scroll分页检索 ... -
Elasticsearch地理位置维护及检索案例分享
2018-03-31 21:36 1678Elasticsearch地理位置信息维护及检索案例分享 1 ... -
Elasticsearch Scroll分页检索案例分享
2018-03-28 20:40 4047Elasticsearch Scroll分页检索案例分享 1 ...
相关推荐
elasticsearch 的学习案例练习 包括原理的讲解: 结构化搜索 深度探秘搜索技术 深入聚合数据分析
Elasticsearch是一个开源的分布式搜索和分析引擎,构建在Apache Lucene之上。它提供了一套强大的API和工具,可以实现分布式全文搜索、结构化和非结构化数据分析、日志存储和实时数据可视化等功能。 以下是一些...
(2)包含市面上几乎没有的所有Elasticsearch高级知识点:包含地理位置搜索与聚合分析,term vector,suggester search,搜索模板定制,query执行剖析,数十种最全面的聚合分析,span query,shard分配定制,es插件...
本项目主要是学习利用全文检索引擎框架ElasticSearch实现一个中文旅游网站搜索设计,通过建立一个hotel的索引库关联对应的mysql表数据,实现高效率的查询,解决了传统关系型数据因为数据量大导致的查询瓶颈问题。...
logstash6.2.2多管道输出es聚合配置案例,共3个管道,文章,论坛,产品管道。其中:文章和论坛是简单配置,产品使用聚合配置,用ruby语法写了聚合逻辑。
引入ElasticSearch 和 Solr 作为全文检索服务,并支持可插拔配置 采用 Nacos 作为服务发现和配置中心,轻松完成项目的配置的维护 引入 Zipkin 链路追踪,聚合各业务系统调用延迟数据,可以一眼看出延迟高的服务 ...
Elasticsearch实时高效聚合计算应用实践 腾讯Elasticsearch大规模实践 阿里云Elasticsearch架构解析与性能优化实践 Go在区块链的发展和演进 Aliyun ApasaDB Go 微服务架构 罗辑思维Go语言微服务改造实践 Golang打造...
也可以自己搭建 Elasticsearch 并通过配置进行集成 后续会对搜索功能进行加强,实现条件过滤,结果高亮等,敬请期待。 计划中的特性 信任系统 通过历史数据对用户进行分级提权,让用户从浏览者逐步变为参与者...
使用 Flink 完成数据清洗和聚合后,再使用 Elasticsearch + Kibana 的的技术路线,完成了客流信息,地铁收入、乘客车费、乘车区间和乘车时间的查询和可视化。在此基础上,还使用 Flink 实现了计算各线路、站点和乘车...
交易“算法”将实施状态作为DDD聚合实体通过基于Stream的计算保存在内存中KeyValueStore :跟踪由key标识的value随时间的演变这是CQRS/ES ,可用于复制/还原应用程序或会话状态通过重播事件流并丢弃效果,可以重新...