首页 > > 程序设计 > Java技术 >

Lucene的基本使用

2018-12-04 07:04:53来源：博客园 阅读 ()

新老客户大回馈,云服务器低至5折

1、了解搜索技术

2、搜索引擎的原理

索引：类似于书的目录

3、实现搜索技术的方式

方式1：数据库搜索

         利用SQL语句进行模糊搜索：

         select * from items where title like “%上海%”;

         select * from items where title like “上海%”;----走索引

         问题：

                   在数据量很大的情况下，模糊搜索不一定走索引，因此效率就会很低。

方式2：Lucene技术

         解决在海量数据的情况下，利用倒排索引技术，实现快速的搜索、打分、排序等功能

4、倒排索引技术

创建倒排索引，分为以下几步：

1）创建文档列表：

l  lucene首先对原始文档数据进行编号（DocID），形成列表，就是一个文档列表

2）创建倒排索引列表

l  然后对文档中数据进行分词，得到词条（Term）。对词条进行编号，以词条创建索引。然后记录下包含该词条的所有文档编号（及其它信息）。

拉斯跳槽 ---》拉斯、跳槽 –》0234

l  倒排索引创建索引的流程：

1）  首先把所有的原始数据进行编号，形成文档列表

2）  把文档数据进行分词，得到很多的词条，以词条为索引。保存包含这些词条的文档的编号信息。

l  搜索的过程：

1）  当用户输入任意的内容时，首先对用户输入的内容进行分词，得到用户要搜索的所有词条

2）  然后拿着这些词条去倒排索引列表中进行匹配。找到这些词条就能找到包含这些词条的所有文档的编号。

3）  然后根据这些编号去文档列表中找到文档

5、Lucene技术的增、删、改、查

1）导入依赖和插件

<dependencies>
    <!-- Junit单元测试 -->
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
    </dependency>
    <!-- lucene核心库 -->
    <dependency>
        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-core</artifactId>
        <version>4.10.2</version>
    </dependency>
    <!-- Lucene的查询解析器 -->
    <dependency>
        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-queryparser</artifactId>
        <version>4.10.2</version>
    </dependency>
    <!-- lucene的默认分词器库 -->
    <dependency>
        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-analyzers-common</artifactId>
        <version>4.10.2</version>
    </dependency>
    <!-- lucene的高亮显示 -->
    <dependency>
        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-highlighter</artifactId>
        <version>4.10.2</version>
    </dependency>
    <!--IK分词器-->
    <dependency>
        <groupId>com.janeluo</groupId>
        <artifactId>ikanalyzer</artifactId>
        <version>2012_u6</version>
    </dependency>
</dependencies>

 

<build>
<plugins>
    <!-- java编译插件 -->
    <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.2</version>
        <configuration>
            <source>1.8</source>
            <target>1.8</target>
        </configuration>
    </plugin>
</plugins>
</build>

2）创建索引
public class LuceneCreateTest {
    @Test
    public void testCreate() throws IOException {
        //创建文档对象
        Document document = new Document();

        //创建并添加字段信息，参数：字段的名称、字段的值、是否储存，这里选用Store.YES代表存储到文档列表
        //Store.NO代表不存储
        document.add(new StringField("id","1", Field.Store.YES));
        //这里的title字段需要用TextField，即创建索引又会被分词，StringField会创建索引，但是不会被分词
        document.add(new TextField("title","谷歌之父跳槽facebook,屌爆了", Field.Store.YES));

        //索引目录类，指定索引在硬盘中的位置
        Directory directory = FSDirectory.open(new File("indexDir"));

        //创建分词器对象
        // Analyzer analyzer = new StandardAnalyzer();
        //引用IK分词器
        Analyzer analyzer = new IKAnalyzer();

        //索引写出工具的配置对象
        IndexWriterConfig conf = new IndexWriterConfig(Version.LATEST,analyzer);
        //创建索引的写出工具类，参数：索引的目录和配置信息
        IndexWriter indexWriter = new IndexWriter(directory,conf);

        //把文档交给IndexWriter
        indexWriter.addDocument(document);

        //提交
        indexWriter.commit();
        //关闭
        indexWriter.close();
    }
3）批量创建索引
@Test
public void testCreate2() throws IOException {
    //创建文档的集合
    Collection<Document> docs = new ArrayList<>();

    //创建文档对象
    Document document1 = new Document();
    document1.add(new StringField("id","1", Field.Store.YES));
    document1.add(new TextField("title","谷歌地图之父跳槽facebook", Field.Store.YES));
    docs.add(document1);

    //创建文档对象
    Document document2 = new Document();
    document2.add(new StringField("id","2", Field.Store.YES));
    document2.add(new TextField("title","谷歌地图创始人拉斯离开谷歌加盟Facebook", Field.Store.YES));
    docs.add(document2);


    // 创建文档对象
    Document document3 = new Document();
    document3.add(new StringField("id", "3", Field.Store.YES));
    document3.add(new TextField("title", "谷歌地图创始人拉斯离开谷歌加盟Facebook", Field.Store.YES));
    docs.add(document3);

    // 创建文档对象
    Document document4 = new Document();
    document4.add(new StringField("id", "4", Field.Store.YES));
    //document4.add(new TextField("title", "谷歌地图之父跳槽Facebook与Wave项目取消有关", Field.Store.YES));
    Field field = new TextField("title","谷歌地图之父跳槽Facebook与Wave项目取消有关", Field.Store.YES);
    //设置激励因子，作弊
    field.setBoost(10.0f);
    document4.add(field);
    docs.add(document4);

    // 创建文档对象
    Document document5 = new Document();
    document5.add(new StringField("id", "5", Field.Store.YES));
    document5.add(new TextField("title", "谷歌地图之父拉斯加盟社交网站Facebook", Field.Store.YES));
    docs.add(document5);

    //索引目录类，指定索引在硬盘的位置
    Directory directory = FSDirectory.open(new File("indexDir"));

    //引入IK分词器
    Analyzer analyzer = new IKAnalyzer();
    //索引写出工具的配置对象
    IndexWriterConfig config = new IndexWriterConfig(Version.LATEST,analyzer);

    //设置打开方式：openMode.APPEND会在索引的基础上追加新索引
    config.setOpenMode(IndexWriterConfig.OpenMode.CREATE);
    //创建索引的写出工具类，参数：索引的目录和配置信息
    IndexWriter indexWriter = new IndexWriter(directory,config);

    //把文档集合交给IndexWriter
    indexWriter.addDocuments(docs);
    //提交
    indexWriter.commit();
    //关闭
    indexWriter.close();
}
4）删除索引
/*
    * 删除索引
    * 注意事项：
    *   1、一般，为了进行精确删除，我们会根据唯一字段来删除，比如ID
    *   2、如果是用Term删除，要求ID也必须是字符串类型
    * */
    @Test
    public void testDelete() throws IOException {
        //创建目录对象
        Directory directory = FSDirectory.open(new File("indexDir"));
        //创建配置对象
        IndexWriterConfig config = new IndexWriterConfig(Version.LATEST,new IKAnalyzer());
        //创建索引写出工具
        IndexWriter writer = new IndexWriter(directory,config);
        //根据词条进行删除
        // writer.deleteDocuments(new Term("id","2"));
        //根据query对象删除，如果ID是数值类型，那么我们可以用数值范围查询锁定一个具体的ID
//        Query query = NumericRangeQuery.newLongRange("2d",2L,2L,true,true);
////        writer.deleteDocuments(query);

        //删除所有
        writer.deleteAll();
        //提交
        writer.commit();
        //关闭
        writer.close();
    }
5）查询索引
@Test
public void testSearch() throws IOException, ParseException {
    //索引目录对象
    Directory directory = FSDirectory.open(new File("indexDir"));

    //索引读取工具
    IndexReader reader = DirectoryReader.open(directory);
    //索引搜索工具
    IndexSearcher indexSearcher = new IndexSearcher(reader);

    //索引查询解析器，两个参数：默认要查询字段的名称、分词器
   // QueryParser parser = new QueryParser("title",new IKAnalyzer());

    //多字段查询解析器
    QueryParser parser = new MultiFieldQueryParser(new String[]{"id","title"},new IKAnalyzer());
    //创建查询对象
    Query query = parser.parse("硅谷地图之父拉斯");

    //搜索数据，两个参数：查询条件对象，要查询的最大结果条数（总共就5个文档，如果不知道文档数据数据，也可以
    //使用Integer.MAX_VALUE）
    //返回的结果是 按照匹配度排名得分前N名的文档信息（包括查询到的总条数信息、所有符合条件的文档的编号信息）
    //topDocs:两个属性：总记录数、文档数组
    TopDocs topDocs = indexSearcher.search(query,10);

    //获取总条数
    System.out.println("本次搜索共找到" + topDocs.totalHits + "条数据");
    //获取得分文档对象（ScoreDoc）数组 ScoreDao中包含：文档的编号、文档的得分
    ScoreDoc[] scoreDocs = topDocs.scoreDocs;
    for (ScoreDoc scoreDoc : scoreDocs) {
        //取出文档编号
        int docID = scoreDoc.doc;
        //根据编号去找文档
        Document document = reader.document(docID);

        System.out.println("id" + document.get("id"));
        System.out.println("title" + document.get("title"));

        //取出文档得分
        System.out.println("得分：" + scoreDoc.score);
    }
6）为了查询的方便，可以把上边的公共的部分代码抽取出来
//抽取公共的方法,提取一个查询数据的通用方法
public void search(Query query) throws IOException {
    //索引目录对象
    Directory directory = FSDirectory.open(new File("indexDir"));

    //索引读取对象
    IndexReader reader = DirectoryReader.open(directory);
    //索引搜索工具
    IndexSearcher searcher = new IndexSearcher(reader);

    //搜索数据，两个参数：查询条件对象，要查询的最大结果条数
    //返回的结果是 按照匹配度排名得分前N名的文档信息（包括查询到的总条数信息、所有符合条件的文档的编号信息）
    //topDocs:两个属性：总记录数、文档数组

    TopDocs topDocs = searcher.search(query,10);
    //获取总条数
    System.out.println("本次搜索共找到" + topDocs.totalHits + "条数据");
    //获取得分文档对象
    ScoreDoc[] scoreDocs = topDocs.scoreDocs;
    for (ScoreDoc scoreDoc : scoreDocs) {
        //取出文档编号
        int docID = scoreDoc.doc;
        //根据编号去找文档
        Document doc = reader.document(docID);
        System.out.println("id: " + doc.get("id"));
        System.out.println("title: " + doc.get("title"));
        //取出文档得分
        System.out.println("得分：" + scoreDoc.score);
    }
}
/**
 * 测试普通词条查询
 * 注意：Term（词条）是搜索的最小单位，不可在分词，值必须是字符串
 * 一般用来搜索唯一字段，比如ID（对不需要分词的关键字进行查询）
 * @throws IOException
 */
@Test
public void testTermQuery() throws IOException {
    //创建词条查询对象
    Query query = new TermQuery(new Term("title","谷歌地图"));
    search(query);
}

/*
* 通配符查询
* ? 可以代表任意一个字符
* * 可以任意多个任意字符
* */
@Test
public void testWildCardQuery() throws IOException {
    //创建查询对象
    Query query = new WildcardQuery(new Term("title","*歌*"));
    search(query);
}

/*
* 模糊查询
*
* */
@Test
public void testFuzzyQuery() throws IOException {
    //创建模糊查询对象：允许用户输错，但是要求错误的最大编辑距离不能超过2
    //编辑距离：一个单词到另一个单词最少修改的次数
    //可以手动指定编辑距离，但是参数必须在0~2之间
    Query query = new FuzzyQuery(new Term("title","facevool"),2);
    search(query);
}


/*
* 数值范围查询
* 注意:数值范围查询，可以用来对非String类型的ID进行精确的查找
* */
@Test
public void testNumericRangeQuery() throws IOException {
    //数值范围查询对象，参数：字段名称，最小值、最大值、是否包含最小值、是否包含最大值
    Query query = NumericRangeQuery.newLongRange("id",2L,2L,true,true);
    search(query);
}

/*
* 布尔查询
* 布尔查询本身没有查询条件，可以把查询通过逻辑运算进行组合！
* 交集：Occur.MUST + Occur.MUST
* 并集：Occur.SHOULD + Occur.SHOULD
* 非：Occur.MUST
* */
@Test
public void testBooleanQuery() throws IOException {
    Query query1 = NumericRangeQuery.newLongRange("id",1L,3L,true,true);
    Query query2 = NumericRangeQuery.newLongRange("id",2L,4L,true,true);

    // 创建布尔查询的对象
    BooleanQuery query = new BooleanQuery();
    // 组合其它查询
    query.add(query1, BooleanClause.Occur.MUST_NOT);
    query.add(query2, BooleanClause.Occur.SHOULD);

    search(query);

}

7）修改索引
public class LuceneUpdate {
    /*
    * 修改索引
    * 注意事项：
    *   1、Lucene修改功能底层会先删除，再把新的文档添加
    *   2、修改功能会根据Term进行匹配，所有匹配到的都会被删除，这样不好
    *   3、因此，一般我们修改时，都会根据一个唯一不重复字段进行匹配修改，例如ID
    *   4、但是词条搜索，要求ID必须是字符串，如果不是，这个方法就不能用
    *
    *   如果ID是数值类型，我们不能直接去修改，可以先手动删除deleteDocument（数值范围查询锁定ID）。再添加
    * */

    @Test
    public void testUpdate() throws IOException {
        //创建目录对象
        Directory directory = FSDirectory.open(new File("indexDir"));

        //创建配置对象
        IndexWriterConfig config = new IndexWriterConfig(Version.LATEST,new IKAnalyzer());

        //创建索引写出工具
        IndexWriter writer = new IndexWriter(directory,config);
        //创建新的文档数据
        Document doc = new Document();
        doc.add(new StringField("id","1", Field.Store.YES));
        doc.add(new TextField("title","谷歌地图之父跳槽facebook为了加入传智播客 屌爆了呀", Field.Store.YES));


        /*
        * 修改索引，参数
        * 词条：根据这个词条匹配到的所有的文档都会被修改
        * 文档信息：要修改的新的文档数据
        * */

        writer.updateDocument(new Term("id","1"),doc);
        //提交
        writer.commit();
        //关闭
        writer.close();
    }



标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有

上一篇：1.0 高并发之线程和进程

下一篇：Spring整合struts的配置文件存放问题

相关文章

IDC资讯： 主机资讯 注册资讯 托管资讯 vps资讯 网站建设

网站运营： 建站经验 策划盈利 搜索优化 网站推广 免费资源

网站联盟： 联盟新闻 联盟介绍 联盟点评 网赚技巧

行业资讯： 搜索引擎 网络游戏 电子商务 广告传媒

网络编程： Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它

服务器技术： Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护

软件技巧： 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷

网页制作： FrontPages Dreamweaver Javascript css photoshop fireworks Flash

程序设计： Java技术 C/C++ VB delphi

网络知识： 网络协议 网络安全 网络管理 组网方案 Cisco技术

操作系统： Win2000 WinXP Win2003 Mac OS Linux FreeBSD

热门词条
最新资讯
热门关注
热门标签