【第六节】Lucene5 中文分词器标准分词器

javazx · 发表于 2016-6-20 14:51:33

1、中文分词（smartcn）
<dependency>
      <groupId>org.apache.lucene</groupId>
      <artifactId>lucene-analyzers-smartcn</artifactId>
      <version>5.3.1</version>
</dependency>

2、高亮显示
<dependency>
      <groupId>org.apache.lucene</groupId>
      <artifactId>lucene-highlighter</artifactId>
      <version>5.3.1</version>
</dependency>

源码：
（1）
import java.nio.file.Paths;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.IntField;
import org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class Indexer {

private Integer ids[]={1,2,3};
private String citys[]={"青岛","南京","上海"};
private String descs[]={
         "青岛是一个美丽的城市。",
         "南京是一个有文化的城市。南京是一个文化的城市南京，简称宁，是江苏省会，地处中国东部地区，长江下游，濒江近海。全市下辖11个区，总面积6597平方公里，2013年建成区面积752.83平方公里，常住人口818.78万，其中城镇人口659.1万人。[1-4] “江南佳丽地，金陵帝王州”，南京拥有着6000多年文明史、近2600年建城史和近500年的建都史，是中国四大古都之一，有“六朝古都”、“十朝都会”之称，是中华文明的重要发祥地，历史上曾数次庇佑华夏之正朔，长期是中国南方的政治、经济、文化中心，拥有厚重的文化底蕴和丰富的历史遗存。[5-7] 南京是国家重要的科教中心，自古以来就是一座崇文重教的城市，有“天下文枢”、“东南第一学”的美誉。截至2013年，南京有高等院校75所，其中211高校8所，仅次于北京上海；国家重点实验室25所、国家重点学科169个、两院院士83人，均居中国第三。[8-10] 。",
         "上海是一个繁华的城市。"
};

private Directory dir;

/**
   * 获取IndexWriter实例
   * @return
   * @throws Exception
   */
private IndexWriter getWriter()throws Exception{
      //Analyzer analyzer=new StandardAnalyzer(); // 标准分词器
      SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
      IndexWriterConfig iwc=new IndexWriterConfig(analyzer);
      IndexWriter writer=new IndexWriter(dir, iwc);
      return writer;
}

/**
   * 生成索引
   * @param indexDir
   * @throws Exception
   */
private void index(String indexDir)throws Exception{
      dir=FSDirectory.open(Paths.get(indexDir));
      IndexWriter writer=getWriter();
      for(int i=0;i<ids.length;i++){
         Document doc=new Document();
         doc.add(new IntField("id", ids, Field.Store.YES));
2 c; R; J; i0 D: t/ c1 j6 O          doc.add(new StringField("city",citys,Field.Store.YES));9 [2 e( H" m: F  m% m/ g9 ^  [
         doc.add(new TextField("desc", descs, Field.Store.YES));
& `5 Y  A* M/ p/ `          writer.addDocument(doc); // 添加文档
& P9 @: h* c* \: I       }' h0 J: W- x' |1 o! N9 a. _! f( V' g
      writer.close();
% G: S& T9 J7 W) o& K0 Z }! F7 n. u4 v* \6 ?! t

5 c% L' C2 g7 ~' H9 r+ H, ~6 K
& ^+ l) I& o0 u' T: B3 G public static void main(String[] args) throws Exception {
  ]- Q! @5 N' m) ]5 L) f9 p' K% d       new Indexer().index("D:\\lucene6");
+ [8 d3 f% ~+ t* v4 x! D$ R }
9 l, g' m( [) [% c, ^* t* T$ E5 X$ P  L- ?; B# c
}
8 ?$ p/ A  p0 ^) ?  E) f* \9 L- b) J) g  V: z# Y

4 k/ I) P9 m3 B, X
6 L8 [( q- ?) Y' B（2）9 Z5 |2 r$ \: E/ v
import java.io.StringReader;' b/ x: z# b+ }: V8 u
import java.nio.file.Paths;
3 k$ E% u$ h  B
7 i2 B$ `' k; y# t4 oimport org.apache.lucene.analysis.Analyzer;
* ]" R" k$ |8 j( y6 b; Eimport org.apache.lucene.analysis.TokenStream;
6 E# C4 c. |8 `) M0 q7 m. [4 J' Mimport org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
$ h3 n+ O8 S9 K; m2 limport org.apache.lucene.analysis.standard.StandardAnalyzer;
& d0 P0 }- |- n9 T  D) Ximport org.apache.lucene.document.Document;, g- ?$ u4 O9 O8 v
import org.apache.lucene.index.DirectoryReader;
$ r# y7 L$ A3 ?" q, Yimport org.apache.lucene.index.IndexReader;' J  v/ N4 j1 L/ m# l* y4 R
import org.apache.lucene.queryparser.classic.QueryParser;) ^8 A: R2 l) L( @" K( S) I
import org.apache.lucene.search.IndexSearcher;: h; ^8 I8 p% ^) ?
import org.apache.lucene.search.Query;8 A4 Y8 J( z, ^, {: B
import org.apache.lucene.search.ScoreDoc;
: b; r2 A& C1 S+ L" k" Jimport org.apache.lucene.search.TopDocs;
+ ^7 L$ @' J# Iimport org.apache.lucene.search.highlight.Fragmenter;
& b+ _. `5 J4 ?% D: q! ^import org.apache.lucene.search.highlight.Highlighter;9 R6 `7 N2 B, `0 g3 P/ D
import org.apache.lucene.search.highlight.QueryScorer;2 R& A, ]1 Q8 ^! P8 Z& ]
import org.apache.lucene.search.highlight.SimpleHTMLFormatter;& ~8 X7 [6 m" l7 r, ]7 B3 ]
import org.apache.lucene.search.highlight.SimpleSpanFragmenter;* D0 i- L+ ?0 v" F) @# G
import org.apache.lucene.store.Directory;
- Y$ H  Z/ X% S: C7 [- x4 h  D/ pimport org.apache.lucene.store.FSDirectory;/ s2 R$ l( E5 w1 G# m, r5 e8 l

' c! X( B  E* c7 B" W0 E+ Y" |, Epublic class Searcher {0 O. |. l. I& }3 V2 x- a( L

/ f1 W/ Z" N% }3 p# e$ M2 Y public static void search(String indexDir,String q)throws Exception{
6 i5 d  J. o8 g       Directory dir=FSDirectory.open(Paths.get(indexDir));
& D  D2 B' I% R; J0 Q7 N) C8 S       IndexReader reader=DirectoryReader.open(dir);$ U4 x4 ?; n" k: j8 M
      IndexSearcher is=new IndexSearcher(reader);
% x+ ]7 N. F% R+ ^2 B* }! I       // Analyzer analyzer=new StandardAnalyzer(); // 标准分词器6 y4 ]  ]* F7 h: a
      SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
4 l8 u! |6 a& P5 ^9 Q. U       QueryParser parser=new QueryParser("desc", analyzer);
; s! E& |% Z- w4 d       Query query=parser.parse(q);( w4 t9 L+ |% F: T
      long start=System.currentTimeMillis();2 F  S3 u0 r$ _' w( F# y+ ?
      TopDocs hits=is.search(query, 10);
      long end=System.currentTimeMillis();
& j2 Z, [' z( S( O, C0 f       System.out.println("匹配 "+q+" ，总共花费"+(end-start)+"毫秒"+"查询到"+hits.totalHits+"个记录");4 N& L; i! @. U, l  T5 s3 |; I/ b

( j$ \& E3 l) R" i( V% j       QueryScorer scorer=new QueryScorer(query);( P5 _; D+ C4 W, Y
      Fragmenter fragmenter=new SimpleSpanFragmenter(scorer);: S& p9 d2 p% m3 T
      SimpleHTMLFormatter simpleHTMLFormatter=new SimpleHTMLFormatter("<b><font color='red'>","</font></b>");; r( E6 n" z# C8 K; M
      Highlighter highlighter=new Highlighter(simpleHTMLFormatter, scorer);8 `( q/ p' ^/ \% [( y* z4 M. m
      highlighter.setTextFragmenter(fragmenter);
! r9 j- Y$ }, S- B& M+ ?0 r% v       for(ScoreDoc scoreDoc:hits.scoreDocs){
. q, K1 S" X( k8 D( `1 f  H          Document doc=is.doc(scoreDoc.doc);4 z' e) X6 i+ c% V8 N$ i- |
         System.out.println(doc.get("city"));
9 y" Y5 _  R  B1 B          System.out.println(doc.get("desc"));0 v' W. H# X2 z, q! W0 W
         String desc=doc.get("desc");6 ^1 C) K- j: g  K; @! l* M
         if(desc!=null){
$ T4 U( j, C7 v             TokenStream tokenStream=analyzer.tokenStream("desc", new StringReader(desc));" W: @5 m) B4 \- @$ k6 O
            System.out.println(highlighter.getBestFragment(tokenStream, desc));
9 S% ~3 S- m/ G& N8 t          }6 u, r$ B  j/ Z1 g
      }
- }4 ?9 V3 r( y6 V       reader.close();
2 ]* b6 _. C( q }5 c, `& j: |; k8 Y( l

9 D( S" F7 q- v/ Z public static void main(String[] args) {, O5 p5 y0 P7 P% L% D9 k
      String indexDir="D:\\lucene6";
2 v, f5 w) M) P1 A& V# u# V  X       String q="南京文明";
+ ?9 W# p& q3 C: f- o6 \( x       try {
6 t9 u2 E( c1 t) \$ d9 ?          search(indexDir,q);2 n9 E% `( z! x; o! U2 |( c
      } catch (Exception e) {
* E$ }9 c9 {  J  z. P3 z, U$ A' O          // TODO Auto-generated catch block$ H$ _3 Z5 ]& U5 h
         e.printStackTrace();' x% j; s/ m  z3 f9 ?# K9 I
      }
( D- P5 ?% Y- p) q, @1 r }
}
! Z" n+ |7 m' d& m- b9 f5 K1 v& v
' u1 u; \$ j! z: w. W% M
  `6 A7 d; ^. ?" q
/ E- e; n: V  T$ J- f& U$ H; t9 q$ y8 I7 T8 I& i7 k( X

: C& e1 A+ j. ~; z6 x

学java来尚学堂 · 发表于 2016-10-29 14:13:44

看了那么多，还是觉得我参加的北京尚学堂的教的好。包教包会，而且毕业就有1W的工资在手。一起来学习吧

		自动登录	找回密码
密码			立即注册

【第六节】Lucene5 中文分词器标准分词器

相关帖子

宣传达人

突出贡献

优秀版主

荣誉管理

论坛元老

【第六节】Lucene5 中文分词器 标准分词器

相关帖子

宣传达人

突出贡献

优秀版主

荣誉管理

论坛元老

【第六节】Lucene5 中文分词器标准分词器