Lucene的分组（Grouping/GroupBy）功能 << 克己服人，礼智谦让！

Lucene的分组（Grouping/GroupBy）功能 « 克己服人，礼智谦让！
topN分组的主要原理：
两次检索
1) 执行第一次检索，应用FirstPassGroupingCollector，对组进行排序并截取(offset, offset+topn)范围内的组
2) 执行第二次检索，应用SecondPassGroupingCollector，为每个组提取前n条记录
为提高第二次检索的效率，引入CacheCollector，执行第一次检索时缓存匹配的记录，并在第二次检索读取缓存的记录
为记录总的组的数量，另外还引入了AllGroupsCollector
注意，如果需要对Lucene的的score进行修正，则需要重载TermFirstPassGroupingCollector和 TermSecondPassGroupingCollector

1. public void groupBy(IndexSearcher searcher, Query query, Sort groupSort) throws IOException {  
2.   int topNGroups = 10; // 每页需要多少个组  
3.   int groupOffset = 0; // 起始的组  
4.   boolean fillFields = true;  
5.   Sort docSort = groupSort; // groupSort用于对组进行排序，docSort用于对组内记录进行排序，多数情况下两者是相同的，但也可不同  
6.   // Sort docSort = new Sort(new SortField[] { new SortField("page", SortField.INT, true) });  
7.   int docOffset = 0;   // 用于组内分页，起始的记录  
8.   int docsPerGroup = 2;// 每组返回多少条结果  
9.   boolean requiredTotalGroupCount = true; // 是否需要计算总的组的数量  
10.   
11.   // 如果需要对Lucene的score进行修正，则需要重载TermFirstPassGroupingCollector  
12.   TermFirstPassGroupingCollector c1 = new TermFirstPassGroupingCollector(searcher.getIndexReader(), "author", groupSort, groupOffset + topNGroups);  
13.   
14.   boolean cacheScores = true;  
15.   double maxCacheRAMMB = 16.0;  
16.   CachingCollector cachedCollector = CachingCollector.create(c1, cacheScores, maxCacheRAMMB);  
17.   searcher.search(query, cachedCollector);  
18.   
19.   Collection<searchgroup<string>> topGroups = c1.getTopGroups(groupOffset, fillFields);  
20.   
21.   if (topGroups == null) {  
22.     // No groups matched  
23.     return;  
24.   }  
25.   
26.   HitCollector secondPassCollector = null;  
27.   
28.   boolean getScores = true;  
29.   boolean getMaxScores = true;  
30.   // 如果需要对Lucene的score进行修正，则需要重载TermSecondPassGroupingCollector  
31.   TermSecondPassGroupingCollector c2 = new TermSecondPassGroupingCollector(searcher.getIndexReader(), "author", topGroups, groupSort, docSort, docOffset + docsPerGroup, getScores, getMaxScores, fillFields);  
32.   
33.   // Optionally compute total group count  
34.   TermAllGroupsCollector allGroupsCollector = null;  
35.   if (requiredTotalGroupCount) {  
36.     allGroupsCollector = new TermAllGroupsCollector(searcher.getIndexReader(), "author");  
37.     secondPassCollector = MultiCollector.wrap(c2, allGroupsCollector);  
38.   } else {  
39.     secondPassCollector = c2;  
40.   }  
41.   
42.   if (cachedCollector.isCached()) {  
43.     // Cache fit within maxCacheRAMMB, so we can replay it:  
44.     cachedCollector.replay(secondPassCollector);  
45.   } else {  
46.     // Cache was too large; must re-execute query:  
47.     searcher.search(query, secondPassCollector);  
48.   }  
49.   
50.   int totalGroupCount = -1; // 所有组的数量  
51.   int totalHitCount = -1; // 所有满足条件的记录数  
52.   int totalGroupedHitCount = -1; // 所有组内的满足条件的记录数(通常该值与totalHitCount是一致的)  
53.   if (requiredTotalGroupCount) {  
54.     totalGroupCount = allGroupsCollector.getGroupCount();  
55.   }  
56.   System.out.println("groupCount: " + totalGroupCount);  
57.   
58.   TopGroups<string> groupsResult = c2.getTopGroups(docOffset);  
59.   totalHitCount = groupsResult.totalHitCount;  
60.   totalGroupedHitCount = groupsResult.totalGroupedHitCount;  
61.   System.out.println("groupsResult.totalHitCount:" + totalHitCount);  
62.   System.out.println("groupsResult.totalGroupedHitCount:" + totalGroupedHitCount);  
63.   
64.   int groupIdx = 0;  
65.   // 迭代组  
66.   for (GroupDocs<string> groupDocs : groupsResult.groups) {  
67.     groupIdx++;  
68.     System.out.println("group[" + groupIdx + "]:" + groupDocs.groupValue); // 组的标识  
69.     System.out.println("group[" + groupIdx + "]:" + groupDocs.totalHits);  // 组内的记录数  
70.     int docIdx = 0;  
71.     // 迭代组内的记录  
72.     for (ScoreDoc scoreDoc : groupDocs.scoreDocs) {  
73.       docIdx++;  
74.       System.out.println("group[" + groupIdx + "][" + docIdx + "]:" + scoreDoc.doc + "/" + scoreDoc.score);  
75.       Document doc = searcher.doc(scoreDoc.doc);  
76.       System.out.println("group[" + groupIdx + "][" + docIdx + "]:" + doc);  
77.     }  
78.   }  
79. } 

Read full article from Lucene的分组（Grouping/GroupBy）功能 « 克己服人，礼智谦让！