Lucene4.3进阶开发之神游北冥（十八）

Lucene4.3进阶开发之神游北冥（十八）
Lucene作为一款优秀的全文检索工具包，自然附带了一些其他比较有用的功能，例如在文本挖掘领域，常常需要统计一些词或短语的TF信息，或者IDF的信息，用来加权某个词条，从而找出某篇新闻，或文献中比较重要的一些关键词或短语，或者我们想得到这些词库的位置信息等等。 

首先，第一个我们来看下如何获取分词后的短语的位置信息，这个功能，主要跟我们的分词器有关系，在分词过程中记录的位置信息，增量信息，载荷等等，我们重点来看下，如何获取位置信息，代码如下： 

1. public void postion(String word)throws Exception{      
2.     Analyzer analyzer=new IKAnalyzer();//IK分词  
3.     TokenStream token=analyzer.tokenStream("a", new StringReader(word));  
4.     token.reset();  
5.     CharTermAttribute term=token.addAttribute(CharTermAttribute.class);//term信息  
6.     OffsetAttribute offset=token.addAttribute(OffsetAttribute.class);//位置数据  
7.     while(token.incrementToken()){  
8.       System.out.println(term+"   "+offset.startOffset()+"   "+offset.endOffset());  
9.     }  
10.     token.end();  
11.     token.close();  
12. } 

第二，我们来看下，如何使用Lucene来获取一片文章中所有短语的词频，这个首先我们的数据是需要索引起来的，并且要开启向量存储的功能，然后我们在去索引里面获取词频，然后，稍作加工，按词频降序输出，由此来直观显示.

1. FieldType ft=new FieldType();  
2.         ft.setIndexed(true);//存储  
3.         ft.setStored(true);//索引  
4.         ft.setStoreTermVectors(true);  
5.         ft.setTokenized(true);  
6.         ft.setStoreTermVectorPositions(true);//存储位置  
7.         ft.setStoreTermVectorOffsets(true);//存储偏移量  
8.         Document doc=new Document();  
9.         doc.add(new Field("name", word, ft));  
10.         writer.addDocument(doc);  

1.         Directory directroy=FSDirectory.open(new File("D:\\lucene测试索引\\2014311测试"));  
2.         IndexReader   reader= DirectoryReader.open(directroy);  
3.          for (int i = 0; i < reader.numDocs(); i++) {  
4.                 int docId = i;  
5.                  System.out.println("第"+(i+1)+"篇文档：");  
6.                 Terms terms = reader.getTermVector(docId, "name");  
7.                 if (terms == null)  
8.                     continue;            
9.                 TermsEnum termsEnum = terms.iterator(null);  
10.                 BytesRef thisTerm = null;  
11.                 while ((thisTerm = termsEnum.next()) != null) {  
12.                     String termText = thisTerm.utf8ToString();  
13.                     DocsEnum docsEnum = termsEnum.docs(null, null);  
14.                     while ((docsEnum.nextDoc()) != DocIdSetIterator.NO_MORE_DOCS) {                    
15.                          System.out.println("termText:"+termText+" TF:  "+docsEnum.freq());   
16.                     }  
17.   
18.                     }  
19.                 }  

最后，我们来看下，如何获取IDF，

1.            Directory directroy=FSDirectory.open(new File("D:\\lucene测试索引\\2014311测试"));  
2.             IndexReader   reader= DirectoryReader.open(directroy);  
3.             List<AtomicReaderContext>  list=reader.leaves();  
4.             for(AtomicReaderContext ar:list){  
5.                 String field="name";  
6.                 AtomicReader areader=ar.reader();  
7.                 Terms term=areader.terms("name");  
8.                 TermsEnum tn=term.iterator(null);  
9.                     
10.                 BytesRef text;  
11.                 while((text = tn.next()) != null) {  
12.                  
13.                   System.out.println("field=" + field + "; text=" + text.utf8ToString()+"   IDF : "+tn.docFreq()  
14.                      // +" 全局词频 :  "+tn.totalTermFreq()  
15.                           );  
16.                     
17.                      
18.                     
19.               }  
20.             }  

Please read full article from Lucene4.3进阶开发之神游北冥（十八）