【第六节】Lucene5 中文分词器 标准分词器

javazx

1、中文分词（smartcn）
# s9 `( j! f; Q' a# r    <dependency>
        <groupId>org.apache.lucene</groupId>
4 J# ?8 ?# R5 }  ]  x3 ]4 F4 ?        <artifactId>lucene-analyzers-smartcn</artifactId>
5 w% }. M' M; }) q! _        <version>5.3.1</version>
: r" w0 |1 x/ o$ @4 J* H    </dependency>



2、高亮显示
    <dependency>
        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-highlighter</artifactId>
2 }* Z& |% Z. F+ L        <version>5.3.1</version>
    </dependency>

3 j1 H; y, S4 d; {; {源码：
- A: g, P0 Z8 n8 ^6 P2 s（1）
import java.nio.file.Paths;
3 Q. e" Y' z  V' V
import org.apache.lucene.analysis.Analyzer;
2 _- |  z! a$ k" q' Simport org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
  Z  l; `; e( [; Aimport org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
% N  N& K( x5 @8 f! }6 kimport org.apache.lucene.document.IntField;
import org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
2 d7 |; |: b; t0 S9 P: Wimport org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
1 I& A  p0 M, X( A3 N4 \import org.apache.lucene.store.FSDirectory;
2 r" {. L  d  Q2 p* _
public class Indexer {

    private Integer ids[]={1,2,3};
    private String citys[]={"青岛","南京","上海"};
    private String descs[]={
            "青岛是一个美丽的城市。",
5 U9 ^* m: k9 I+ @" d" d/ d            "南京是一个有文化的城市。南京是一个文化的城市南京，简称宁，是江苏省会，地处中国东部地区，长江下游，濒江近海。全市下辖11个区，总面积6597平方公里，2013年建成区面积752.83平方公里，常住人口818.78万，其中城镇人口659.1万人。[1-4] “江南佳丽地，金陵帝王州”，南京拥有着6000多年文明史、近2600年建城史和近500年的建都史，是中国四大古都之一，有“六朝古都”、“十朝都会”之称，是中华文明的重要发祥地，历史上曾数次庇佑华夏之正朔，长期是中国南方的政治、经济、文化中心，拥有厚重的文化底蕴和丰富的历史遗存。[5-7] 南京是国家重要的科教中心，自古以来就是一座崇文重教的城市，有“天下文枢”、“东南第一学”的美誉。截至2013年，南京有高等院校75所，其中211高校8所，仅次于北京上海；国家重点实验室25所、国家重点学科169个、两院院士83人，均居中国第三。[8-10] 。",
' |6 F5 ^" C, D0 d3 z+ @+ U* [, G            "上海是一个繁华的城市。"
9 w" J5 v$ Z; M0 Y# _% h    };

9 f0 G4 g, S6 B  F9 Q2 M1 P% t    private Directory dir;
$ M6 w1 _$ Z) e* g; w5 D
- E/ K- W" i4 P    /**
  M% ^$ M9 n: [7 f/ F1 j     * 获取IndexWriter实例
     * @return
3 d! {, W! V  O5 j  g/ v' o0 {     * @throws Exception
     */
. U/ ?: p' |8 V$ i( k    private IndexWriter getWriter()throws Exception{
' s! X# H0 j+ a! ^) J! }& \        //Analyzer analyzer=new StandardAnalyzer(); // 标准分词器
        SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
        IndexWriterConfig iwc=new IndexWriterConfig(analyzer);
        IndexWriter writer=new IndexWriter(dir, iwc);
        return writer;
    }
6 f& C" x$ s8 N4 c2 z! V
    /**
" S6 X4 |' N2 t$ @6 f6 \     * 生成索引
2 V. j; q  Y3 ?     * @param indexDir
$ V- `+ j- h2 n8 Z     * @throws Exception
: u( ?5 R; U, _( g9 m9 O     */
. X2 b6 ?3 H: S2 Z    private void index(String indexDir)throws Exception{
2 m9 }3 E1 d! z3 M$ a& ~        dir=FSDirectory.open(Paths.get(indexDir));
4 a1 i+ w3 S/ h        IndexWriter writer=getWriter();
        for(int i=0;i<ids.length;i++){
            Document doc=new Document();
0 [; |. {8 a- D( W& h/ R            doc.add(new IntField("id", ids, Field.Store.YES));
* H  v0 o6 }, }# ~# M4 e6 K            doc.add(new StringField("city",citys,Field.Store.YES));
            doc.add(new TextField("desc", descs, Field.Store.YES));
            writer.addDocument(doc); // 添加文档
        }
. x5 r% _' S  A* Q+ z! h5 K, ~        writer.close();
    }
/ j* g% b7 M2 ?1 e

% k+ Q( M) M3 o/ `& }    public static void main(String[] args) throws Exception {
        new Indexer().index("D:\\lucene6");
! m% A% J( B$ x( O, x7 C    }

; ]' N3 A$ r  K* A, W}
+ f- a! i+ C/ ~


1 s3 N1 X, R; ^+ q; j. \) ~. O（2）
import java.io.StringReader;
  i2 b8 M/ T/ oimport java.nio.file.Paths;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.DirectoryReader;
1 b3 g1 L$ A& Dimport org.apache.lucene.index.IndexReader;
( H* u- \8 }( |4 ]! eimport org.apache.lucene.queryparser.classic.QueryParser;
9 R$ D' m9 w" |* @, x/ k# Ximport org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
: P7 C  P8 O$ q4 c, }import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.search.highlight.Fragmenter;
import org.apache.lucene.search.highlight.Highlighter;
: l# Q  n' |( h4 T( Y7 w7 uimport org.apache.lucene.search.highlight.QueryScorer;
import org.apache.lucene.search.highlight.SimpleHTMLFormatter;
import org.apache.lucene.search.highlight.SimpleSpanFragmenter;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

; Q  ]2 |7 O5 y7 h: xpublic class Searcher {

    public static void search(String indexDir,String q)throws Exception{
7 p! \5 j& o* c3 k        Directory dir=FSDirectory.open(Paths.get(indexDir));
        IndexReader reader=DirectoryReader.open(dir);
        IndexSearcher is=new IndexSearcher(reader);
9 u/ k8 M5 f9 ~, q1 `: _4 {1 W        // Analyzer analyzer=new StandardAnalyzer(); // 标准分词器
        SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
        QueryParser parser=new QueryParser("desc", analyzer);
        Query query=parser.parse(q);
! \- a/ Y8 a* V7 v        long start=System.currentTimeMillis();
+ Y- l( ^% O6 e7 B1 l/ W3 m        TopDocs hits=is.search(query, 10);
        long end=System.currentTimeMillis();
/ s: K. F$ S$ r% m        System.out.println("匹配 "+q+" ，总共花费"+(end-start)+"毫秒"+"查询到"+hits.totalHits+"个记录");
& ~, i7 }5 \5 t7 ^
% Z2 U6 [7 e3 q# t0 X, v* \) \        QueryScorer scorer=new QueryScorer(query);
        Fragmenter fragmenter=new SimpleSpanFragmenter(scorer);
4 o7 @8 P' U# G  t- u% H3 y        SimpleHTMLFormatter simpleHTMLFormatter=new SimpleHTMLFormatter("<b><font color='red'>","</font></b>");
2 g3 }: }# [! |        Highlighter highlighter=new Highlighter(simpleHTMLFormatter, scorer);
# T5 |) a! c3 G' N. ~+ m/ U. k        highlighter.setTextFragmenter(fragmenter);
        for(ScoreDoc scoreDoc:hits.scoreDocs){
: n: v- c# N8 q/ N2 h- a% w4 x! p            Document doc=is.doc(scoreDoc.doc);
            System.out.println(doc.get("city"));
            System.out.println(doc.get("desc"));
            String desc=doc.get("desc");
1 U2 \% @6 [2 [" s4 G            if(desc!=null){
" s1 [; Z1 t  d1 j: k% F                TokenStream tokenStream=analyzer.tokenStream("desc", new StringReader(desc));
                System.out.println(highlighter.getBestFragment(tokenStream, desc));
            }
        }
5 m& S5 i4 d# W; ?; ~% A        reader.close();
  i  g  h: B& S    }

9 c# i( I3 a! D. p  m  P    public static void main(String[] args) {
        String indexDir="D:\\lucene6";
        String q="南京文明";
7 J6 P; k- p0 S# F3 J% E! p        try {
            search(indexDir,q);
. O  P" E- i8 }* w0 `9 E        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
) E7 @) k! [  t4 b        }
    }
7 i. d2 k7 ]5 K; r  w- X/ d}


  F- R% a2 b* l. N8 R% P, p* |, ^
& X0 v5 m' e' y$ K
0 ~6 I7 b1 ]$ X! k, S9 R

学java来尚学堂

看了那么多，还是觉得我参加的北京尚学堂的教的好。包教包会，而且毕业就有1W的工资在手。一起来学习吧