首页 > > 网络编程 > Php编程 >

coreseek (sphinx)+ Mysql + Thinkphp搭建中文搜…

2018-06-22 04:57:36来源：未知 阅读 ()

新老客户大回馈,云服务器低至5折

  一， 前言   

1,研究coreseek的动机

　　　我有一个自己的笔记博客，经常在上面做一些技术文章分析。在查询一些文章的时候，以前只能将要查询的内容去mysql中用like模糊匹配。在文章多了的情况下，这样做法效率肯定不行。于是我把目标投向了中文搜索插件coreseek，并成功的把它使用到了我的项目当中。

效果图：

希望通过这篇分析，让有兴趣的同学少走些弯路。

2,概念介绍

　　sphinx是开源的搜索引擎，它支持英文的全文检索。但英文的天然分词符是空格，而中文则有比较复杂的分词要求。中国人提供了一个可供企业使用的，基于Sphinx的中文全文检索引擎。也就是说Coreseek实际上的内核还是Sphinx。但其最大的不同是coreseek有一个中文分词利器mmseg。

3,环境介绍

　　系统：Ubuntu

　　http服务：Apache/2.2.22

　　Mysql:　　Ver 14.14 Distrib 5.5.41

　　PHP：　　PHP 5.3.10

  二， 下载并安装Coreseek   

安装步骤

下载coreseek-3.2.14.tar.gz，并放置在/usr/local/src

首先，为了避免安装中出现依赖包缺失，你需要补一下血

apt-get install make gcc g++ automake libtool mysql-client libmysqlclient15-dev libxml2-dev libexpat1-dev

上面那个命令你执行就行，不然可能会因为软件包不够新出现各种奇葩问题。比如我就更新了159M的软件包。（我在遇到各种坑后才回头补的血）

 

1,安装mmseg分词模块

cd /usr/local/src

tar zxvf coreseek-3.2.14.tar.gz #解压

cd coreseek-3.2.14

cd mmseg-3.2.14

./bootstrap #输出的warning信息可以忽略，如果出现error则需要解决

./configure --prefix=/usr/local/mmseg3 #配置

make #编译

make install #安装

1.1）可能遇到的问题和解决办法：
在执行./bootstrap时出现./bootstrap: 27: ./bootstrap: autoconf: not found 的错误，

原因：因为没有安装automake 工具, (ubuntu 10.04)用下面的命令安装好就可以了。

sudo apt-get install autoconf automake libtool

1.2）可能遇到的问题：在安装分词模块 mmseg ,编译安装到最后，出现annot find input file: src/Makefile.in      的错误
然后查了一下，只找到解决办法，如下：

aclocal //是一个perl 脚本程序，它的定义是：“aclocal - create aclocal.m4 by scanning configure.ac”

libtoolize --force //运行后有一个错误，不用管它。

automake --add-missing

autoconf

autoheader

make clean

然后在重新编译
./configure --prefix=/usr/local/mmseg3
make && make install
编译安装成功

总结：其实这个报错原因我也没查出来。反正按照解决办法就成功了，谁若知道拜托请留言，谢谢。

2、安装CoreSeek

cd /usr/local/src

cd coreseek-3.2.14

cd csft-3.2.14

sh buildconf.sh    #输出的warning信息可以忽略，如果出现error则需要解决

./configure --prefix=/usr/local/coreseek  --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql  #配置

make  #编译
make install  #安装

3，测试mmseg分词、coreseek搜索、MySQL数据源

cd /usr/local/src

cd coreseek-3.2.14

cd testpack

cat /usr/local/src/coreseek-3.2.14/testpack/var/test/test.xml    #此时应该正确显示中文，如下图所示

/usr/local/mmseg3/bin/mmseg  -d  /usr/local/mmseg3/etc  /usr/local/src/coreseek-3.2.14/testpack/var/test/test.xml

/usr/local/coreseek/bin/indexer -c /usr/local/src/coreseek-3.2.14/testpack/etc/csft.conf --all

/usr/local/coreseek/bin/search -c /usr/local/src/coreseek-3.2.14/testpack/etc/csft.conf 网络搜索

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx-min.conf.dist

/usr/local/coreseek/bin/indexer -c /usr/local/src/coreseek-3.2.14/testpack/etc/csft.conf --all --rotate  #启动服务，更新索引

如图，且无报错。则说明你的coreseek已经能够正常运行了。

3.1）可能遇到的问题与解决办法：

在输入/usr/local/coreseek/bin/indexer -c etc/csft.conf --all，报xmlpipe2 support NOT compiled in. To use xmlpipe2, install missing错误

 原因：

缺少xmlpipe2库，解决：

apt-get install expat-* 

然后重新编译coreseek，记得make clean

 

4，coreseek配置和使用

cp  /usr/local/src/coreseek-3.2.14/testpack/etc/csft_mysql.conf  /usr/local/coreseek/etc/csft_mysql.conf  #拷贝MySQL数据源配置文件

ln -s  /usr/local/coreseek/etc/csft_mysql.conf  /etc/csft_mysql.conf  #添加软连接

vim  /etc/csft_mysql.conf  #编辑，修改

 三， 修改Coreseek配置文件   

以我自己的配置文件为例：

/usr/local/coreseek/etc/csft_mysql.conf

#索引源定义
source mysql
{
    type                    = mysql
    sql_host                = localhost
    sql_user                =xxxx
    sql_pass                =xxxx
    sql_db                    =xxxx
    sql_port                = 3306
    sql_query_pre            = SET NAMES utf8
    sql_query                = SELECT id,id,uid,title,data FROM notebook_notepad
                                                              #sql_query第一列id需为整数
                                                              #title、data作为字符串/文本字段，被全文索引
    sql_attr_uint            = id           #从SQL读取到的值必须为整数
    #sql_attr_timestamp        = time  #从SQL读取到的值必须为整数，作为时间属性
    sql_attr_uint   = uid

    sql_query_info_pre      = SET NAMES utf8                                        #命令行查询时，设置正确的字符集
    sql_query_info            = SELECT * FROM notebook_notepad WHERE id=$id #命令行查询时，从数据库读取原始数据信息
}

#index定义
index mysql
{
    source            = mysql             #对应的source名称
    path            =/usr/local/coreseek/var/data/mysql #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...
    docinfo            = extern
    mlock            = 0
    morphology        = none
    min_word_len        = 1
    html_strip                = 0

    #中文分词配置，详情请查看：http://www.coreseek.cn/products-install/coreseek_mmseg/
    charset_dictpath = /usr/local/mmseg3/etc/ #BSD、Linux环境下设置，/符号结尾
    #charset_dictpath = etc/                             #Windows环境下设置，/符号结尾，最好给出绝对路径，例如：C:/usr/local/coreseek/etc/...
    charset_type        = zh_cn.utf-8
}

#全局index定义
indexer
{
    mem_limit            = 128M
}

#searchd服务定义
searchd
{
    listen                  =   9312
    read_timeout        = 5
    max_children        = 30
    max_matches            = 1000
    seamless_rotate        = 0
    preopen_indexes        = 0
    unlink_old            = 1
    pid_file =/usr/local/coreseek/var/log/searchd_mysql.pid  #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...
    log =/usr/local/coreseek/var/log/searchd_mysql.log        #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...
    query_log =/usr/local/coreseek/var/log/query_mysql.log #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...
}

这样搜索的话就会从索引文件中查出id,uid,title,data字段。

OK，配置完成以后，重启Coreseek 服务就能从生产你想要的查询索引，以后你就可以摆脱mysql的桎梏，什么中文，英文都可以，还自带分词。怎么样，是不是打开了新世界的大门。

下面讲一下重建索引可能出错的地方，以及解决办法。有兴趣的同学看一下，否则可以跳到下一节：PHP测试Coreseek 。

重建索引时报错误：WARNING: failed to open pid_file '/usr/local/coreseek/var/log/searchd_mysql.pid'.

解决方法：
试着停止一下coreseek服务
/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --stop 停止服务

然后重启
/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf 启动服务

再次建立索引
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all 建立索引

如果提示:FATAL: failed to lock /usr/local/coreseek/var/data/xxxx.spl: Resource temporarily unavailable, will not index. Try --rotate option.

则尝试重建索引
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate 重建索引

 

 四， PHP测试Coreseek   

 1，将sphinxapi.php放到测试目录下

cp  /usr/local/src/coreseek-3.2.14/testpack/api/sphinxapi.php ./

vim test.php

    header("Content-type: text/html; charset=utf-8");
    //require("./    ");
    $s = new SphinxClient;
    $s->setServer("127.0.0.1", 9312);
    //SPH_MATCH_ALL, 匹配所有查询词(默认模式); SPH_MATCH_ANY, 匹配查询词中的任意一个; SPH_MATCH_EXTENDED2, 支持特殊运算符查询
    $s->setMatchMode(SPH_MATCH_ALL);
    $s->setMaxQueryTime(30);                                        //设置最大搜索时间
    $s->SetArrayResult(false);                                        //是否将Matches的key用ID代替
    $s->SetSelect ( "*" );                                            //设置返回信息的内容,等同于SQL
    $s->SetRankingMode(SPH_RANK_BM25);
    $s->SetLimits ( 0, 30, 1000, 0 );                                //设置结果集偏移量  SetLimits 
    $res = $s->query('coreseek','mysql','--single-0-query--');         #[coreseek]关键字，[mysql]数据源source
    
    $err = $s->GetLastError();
    echo '<pre>';
    var_dump($res);
    var_dump($res['matches']);
    var_export($err);
    echo '</pre>';

php5 test.php

运行结果：matches为匹配后的结果集

 

 五， Coreseek在Thinkphp中的使用   

 1，Sphinx扩展安装安装

Coreseek官方教程中建议php使用直接include一个php文件进行操作，事实上php有独立的sphinx模块可以直接操作coreseek(coreseek就是sphinx！)已经进入了php的官方函数库，而且效率更高！但php模块依赖于libsphinxclient包。我是按照以下这篇文章的步骤安装了Sphinx扩展。

感谢：http://blog.csdn.net/e421083458/article/details/21529969

[第一步] 安装依赖libsphinxclient

# cd /var/install/coreseek-4.1-beta/csft-4.1/api/libsphinxclient/
# ./configure  --prefix=/usr/local/sphinxclient

configure: creating ./config.status
config.status: creating Makefile
config.status: error: cannot find input file: Makefile.in   #报错configure失败    

//处理configure报错
编译过程中报了一个config.status: error: cannot find input file: src/Makefile.in这个的错误，然后运行下列指令再次编译就能通过了：
# aclocal
# libtoolize --force
# automake --add-missing
# autoconf
# autoheader
# make clean

//从新configure编译
# ./configure

# make && make install

[第二步] 安装sphinx的PHP扩展

http://pecl.php.net/package/sphinx
# wget http://pecl.php.net/get/sphinx-1.3.0.tgz
# tar zxvf sphinx-1.3.0.tgz
# cd sphinx-1.3.0
# phpize
# ./configure --with-php-config=/usr/bin/php-config --with-sphinx=/usr/local/sphinxclient
# make && make install
# cd /etc/php.d/
# cp gd.ini  sphinx.ini
# vi sphinx.ini

extension=sphinx.so

# service php-fpm restart

 安装完PHP的Sphinx扩展后，就可以直接使用$coreseek = new SphinxClient();而无需引入源文件了。

简单说一下我在TP里使用coreseek查询，并高亮关键词的思路：

1,通过sphinx查出id，uid的集合
2，然后$sql = "select * from post where id in($ids)";$res = mysql_query($sql);获取到数据库的真实数据
3，用BuildExcerpts将title和data的关键字高亮，然后分页展示

关键代码：

　　　　 $where = array();
        $where['uid']=$uid;
        if(!empty($search)){    //有需要查找的内容，则去 coreseek 忠查出对应的id
            $coreseek = new \SphinxClient();
            $coreseek->setServer("127.0.0.1", 9312);
            //SPH_MATCH_ALL, 匹配所有查询词(默认模式); SPH_MATCH_ANY, 匹配查询词中的任意一个; SPH_MATCH_EXTENDED2, 支持特殊运算符查询
            $coreseek->setMatchMode(SPH_MATCH_ALL);
            $coreseek->setMaxQueryTime(30);                        //设置最大搜索时间
            $coreseek->SetArrayResult(false);                    //是否将Matches的key用ID代替
            $coreseek->SetSelect ( "*" );                        //设置返回信息的内容,等同于SQL
            $coreseek->SetLimits ( 0, 30, 1000, 0 );            //设置结果集偏移量  SetLimits
            $res = $coreseek->query($search,'mysql','--single-0-query--');
            $key = array_keys($res['matches']);
            $where['id']=array('in',$key);
            $coreseek->close();
        }else{
            
        }
        //获取总数据条数
        $total=$mod->where($where)->count();

高亮的关键代码：

　　　　 if(!empty($search)){
            $page->parameter['search']=$search;
            //代码高亮
            $opt = array("before_match"=>"<font style='font-weight:bold;color:#f00'>","after_match"=>"</font>");
            $coreseek1 = new \SphinxClient();
            $coreseek1->setServer("127.0.0.1", 9312);
            $coreseek1->SetMatchMode(SPH_MATCH_ALL);
            $i=0;
            $tags_title=array();
            foreach($info as $key=>$row){
                $tags_title[]=$row['title'];
            }
            $replace_title=$coreseek1->BuildExcerpts($tags_title,'mysql',$search,$opt);
            foreach($info as $key=>&$row){
                $info[$key]['title']=$replace_title[$key];
            }
            $coreseek1->close();
        }

OK，至此，coreseek已经能够在TP里完美运行了。这篇分享的文章也可以画上句号了。以上是我一步步安装时的细节，记录下怕以后自己忘记，也希望能给感兴趣的同学一些帮助。文章信息量偏大，如果有哪些疏漏，万望指正！

 

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有

上一篇：PHP流程控制结构之分支结构

下一篇：PHP学习笔记：keditor的使用

相关文章

IDC资讯： 主机资讯 注册资讯 托管资讯 vps资讯 网站建设

网站运营： 建站经验 策划盈利 搜索优化 网站推广 免费资源

网站联盟： 联盟新闻 联盟介绍 联盟点评 网赚技巧

行业资讯： 搜索引擎 网络游戏 电子商务 广告传媒

网络编程： Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它

服务器技术： Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护

软件技巧： 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷

网页制作： FrontPages Dreamweaver Javascript css photoshop fireworks Flash

程序设计： Java技术 C/C++ VB delphi

网络知识： 网络协议 网络安全 网络管理 组网方案 Cisco技术

操作系统： Win2000 WinXP Win2003 Mac OS Linux FreeBSD

热门词条
最新资讯
热门关注
热门标签