【第六节】Lucene5 中文分词器 标准分词器

javazx

1、中文分词（smartcn）
, L+ g% g3 A. ~/ @- @+ c1 {# U3 r    <dependency>
        <groupId>org.apache.lucene</groupId>
+ m. n6 A7 N* ~# }        <artifactId>lucene-analyzers-smartcn</artifactId>
' e7 S# B9 \( p9 a% E, X3 u        <version>5.3.1</version>
" a& c" M3 V% B+ w9 `. D    </dependency>

5 P+ W$ d4 A8 u
/ t: S2 e8 @2 |2 W! X$ T: A
% c6 X2 V  X) D. g2、高亮显示
    <dependency>
1 [+ o# L6 \$ j. g& t        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-highlighter</artifactId>
6 x# b" P/ r0 y* o+ r        <version>5.3.1</version>
    </dependency>
4 ^3 {4 {5 T$ z" N3 G& B+ P
! s7 b$ h" c1 ~6 P源码：
6 `3 h3 V' Y9 e* z（1）
import java.nio.file.Paths;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
" S' y! L( X% s. x9 P& m4 k) \# himport org.apache.lucene.document.Field;
import org.apache.lucene.document.IntField;
1 ?7 s9 t" X* C0 n" Dimport org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
# N4 o4 B' e7 F' C$ s7 ^1 Nimport org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class Indexer {

9 ^& k5 a& ^9 O) b' a) m    private Integer ids[]={1,2,3};
    private String citys[]={"青岛","南京","上海"};
( d; O& i. K# ^    private String descs[]={
( e& ~! Z; I1 z5 h% z/ d* v- d# w            "青岛是一个美丽的城市。",
9 E7 I9 K4 ~* t, T, ~4 L0 F1 R$ K            "南京是一个有文化的城市。南京是一个文化的城市南京，简称宁，是江苏省会，地处中国东部地区，长江下游，濒江近海。全市下辖11个区，总面积6597平方公里，2013年建成区面积752.83平方公里，常住人口818.78万，其中城镇人口659.1万人。[1-4] “江南佳丽地，金陵帝王州”，南京拥有着6000多年文明史、近2600年建城史和近500年的建都史，是中国四大古都之一，有“六朝古都”、“十朝都会”之称，是中华文明的重要发祥地，历史上曾数次庇佑华夏之正朔，长期是中国南方的政治、经济、文化中心，拥有厚重的文化底蕴和丰富的历史遗存。[5-7] 南京是国家重要的科教中心，自古以来就是一座崇文重教的城市，有“天下文枢”、“东南第一学”的美誉。截至2013年，南京有高等院校75所，其中211高校8所，仅次于北京上海；国家重点实验室25所、国家重点学科169个、两院院士83人，均居中国第三。[8-10] 。",
            "上海是一个繁华的城市。"
    };

    private Directory dir;

    /**
     * 获取IndexWriter实例
     * @return
     * @throws Exception
% _1 }: D1 R7 d( X+ a# G     */
* T$ u: R9 `- b8 B) p  x7 m& [    private IndexWriter getWriter()throws Exception{
; x. a  F; B, G! T        //Analyzer analyzer=new StandardAnalyzer(); // 标准分词器
        SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
        IndexWriterConfig iwc=new IndexWriterConfig(analyzer);
        IndexWriter writer=new IndexWriter(dir, iwc);
' J5 s8 |5 u9 m% c: u3 `        return writer;
7 K9 u( A/ N2 `6 i6 X    }

4 ?7 D. k5 |+ E  K" {    /**
1 }: f' M4 [/ v8 g     * 生成索引
, D. v3 }# r% X2 T% w2 I0 Y     * @param indexDir
     * @throws Exception
. o  d/ @- l7 t2 N: J: t! o     */
; x% J) @' G. ?    private void index(String indexDir)throws Exception{
0 V8 m0 T1 ?, i& n1 j  G        dir=FSDirectory.open(Paths.get(indexDir));
        IndexWriter writer=getWriter();
        for(int i=0;i<ids.length;i++){
: {8 A, A! Q; I5 S. W4 m( s7 o0 L            Document doc=new Document();
# f+ C+ Z- o0 {            doc.add(new IntField("id", ids, Field.Store.YES));
  v% G5 V$ Z! r* Q% Q( O4 S            doc.add(new StringField("city",citys,Field.Store.YES));
  V3 a" q* J6 `% M% X7 M: o            doc.add(new TextField("desc", descs, Field.Store.YES));
( v, ~. i+ s" E* _            writer.addDocument(doc); // 添加文档
5 k4 P  l/ ]1 l% E+ H/ N9 z        }
- ]1 Y  G0 Y. z        writer.close();
  @" [* @% N6 D3 Q! P4 H" I# m    }
1 d. H( h' P1 ?/ T5 v3 i+ I! U0 u

' t8 F$ n8 ~' W9 @  @9 x1 Z  Q4 R    public static void main(String[] args) throws Exception {
        new Indexer().index("D:\\lucene6");
    }
0 W. k# e* X" j! _2 _% D% r) b
}
! s2 g: z/ _# c& d6 n) g
/ b% v8 V5 ]+ ]2 P3 X6 _* P
" |9 p- F# ^/ U$ ~
（2）
import java.io.StringReader;
import java.nio.file.Paths;

) `6 w6 S7 X, `7 ]" H2 ?1 \4 R0 f) Kimport org.apache.lucene.analysis.Analyzer;
8 I' {, T. H9 R7 y# Z9 gimport org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
: ]6 r/ u* h) f) O5 S  @import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
! `! U! e+ ]  X* e0 Simport org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
0 D& u9 v; s" B2 T* Oimport org.apache.lucene.search.highlight.Fragmenter;
import org.apache.lucene.search.highlight.Highlighter;
& W. T$ h$ `, N( z' i- Limport org.apache.lucene.search.highlight.QueryScorer;
import org.apache.lucene.search.highlight.SimpleHTMLFormatter;
import org.apache.lucene.search.highlight.SimpleSpanFragmenter;
import org.apache.lucene.store.Directory;
0 G/ D+ `( F, @- D* Z, p1 fimport org.apache.lucene.store.FSDirectory;
5 {; o4 J# @( O  i! N5 |( ?
, b7 m# c! p$ \; [8 ]  Ppublic class Searcher {
* i2 d* \& c3 z
% e# h" _% y0 C* `    public static void search(String indexDir,String q)throws Exception{
' y/ `& T0 H* m) N( ~( @        Directory dir=FSDirectory.open(Paths.get(indexDir));
. t( q0 s5 [, t, w6 }5 P        IndexReader reader=DirectoryReader.open(dir);
, V& P. N% k6 x2 `! ^+ l        IndexSearcher is=new IndexSearcher(reader);
; @% ~9 T) p) I& P2 D/ V        // Analyzer analyzer=new StandardAnalyzer(); // 标准分词器
        SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
        QueryParser parser=new QueryParser("desc", analyzer);
        Query query=parser.parse(q);
        long start=System.currentTimeMillis();
1 s' X* y6 }3 M: }4 b) K        TopDocs hits=is.search(query, 10);
        long end=System.currentTimeMillis();
* H2 p5 y/ ]# A. k0 D        System.out.println("匹配 "+q+" ，总共花费"+(end-start)+"毫秒"+"查询到"+hits.totalHits+"个记录");

        QueryScorer scorer=new QueryScorer(query);
        Fragmenter fragmenter=new SimpleSpanFragmenter(scorer);
        SimpleHTMLFormatter simpleHTMLFormatter=new SimpleHTMLFormatter("<b><font color='red'>","</font></b>");
( Y5 W  M! L% [4 E$ [4 z$ t4 U        Highlighter highlighter=new Highlighter(simpleHTMLFormatter, scorer);
        highlighter.setTextFragmenter(fragmenter);
5 c- E- e- U2 _! X        for(ScoreDoc scoreDoc:hits.scoreDocs){
            Document doc=is.doc(scoreDoc.doc);
            System.out.println(doc.get("city"));
% ]+ R4 f" W+ w6 ^: s, R            System.out.println(doc.get("desc"));
5 q) K9 \  ~( d3 e0 s" D3 d- M            String desc=doc.get("desc");
            if(desc!=null){
4 [+ k: K* Z6 L* ^                TokenStream tokenStream=analyzer.tokenStream("desc", new StringReader(desc));
                System.out.println(highlighter.getBestFragment(tokenStream, desc));
1 Z# {* h3 H1 a            }
        }
        reader.close();
    }
- G8 e, ~6 R- d  E
# ?3 L) Z# O$ ^) [3 F, A" N, O    public static void main(String[] args) {
        String indexDir="D:\\lucene6";
# f# h$ N" a  _1 Z: n( f& e        String q="南京文明";
        try {
- E& h# y+ c  p, F. ^            search(indexDir,q);
5 _5 X* @/ S5 V, y2 B& B' z' z        } catch (Exception e) {
            // TODO Auto-generated catch block
* n  a# e9 P3 J; q$ ~            e.printStackTrace();
- d6 H+ d, P8 I; C        }
    }
$ R2 s" d: p* h}


5 ~0 ?! e; I& ~4 l

学java来尚学堂

看了那么多，还是觉得我参加的北京尚学堂的教的好。包教包会，而且毕业就有1W的工资在手。一起来学习吧