elasticsearch基础(一)
创始人
2024-05-05 22:32:23

一、初识elasticsearch

1. 了解ES

1.1 什么是elasticsearch

elasticsearch是一款非常强大的开源搜索引擎,可以帮助我们从海量数据中快速找到需要的内容。

elasticsearch结合kibana、Logstash、Beats,也就是elastic stack(ELK)。被广泛应用在日志数据分析、实时监控等领域。

elasticsearch是elastic stack的核心,负责存储、搜索、分析数据。

1.2 elasticsearch的发展

Lucene是一个Java语言的搜索引擎类库,是Apache公司的顶级项目,由DougCutting于1999年研发。

官网地址:https://lucene.apache.org/ 。

Lucene的优势:

(1)易扩展

(2)高性能(基于倒排索引)

Lucene的缺点:

(1)只限于Java语言开发

(2)学习曲线陡峭

(3)不支持水平扩展

2004年Shay Banon 基于Lucene开发了Compass

2010年Shay Banon 重写了Compass,取名为Elasticsearch。

官网地址: https://www.elastic.co/cn/

相比与lucene,elasticsearch具备下列优势

(1)支持分布式,可水平扩展

(2)提供Restful接口,可被任何语言调用

2. 倒排索引

2.1 正向索引和倒排索引

传统数据库(如MySQL)采用正向索引,例如给下表(tb_goods)中的id创建索引:

elasticsearch采用倒排索引:

(1)文档(document):每条数据就是一个文档

(2)词条(term):文档按照语义分成的词语

 

(1)什么是正向索引?

基于文档id创建索引。查询词条时必须先找到文档,而后判断是否包含词条

(2)什么是倒排索引?

对文档内容分词,对词条创建索引,并记录词条所在文档的信息。查询时先根据词条查询到文档id,而后获取到文档

3. es的一些概念

3.1 文档

elasticsearch是面向文档存储的,可以是数据库中的一条商品数据,一个订单信息。

文档数据会被序列化为json格式后存储在elasticsearch中。

3.2 索引(Index)

索引(index):相同类型的文档的集合

映射(mapping):索引中文档的字段约束信息,类似表的结构约束

3.3 概念对比

MySQL

Elasticsearch

说明

Table

Index

索引(index),就是文档的集合,类似数据库的表(table)

Row

Document

文档(Document),就是一条条的数据,类似数据库中的行(Row),文档都是JSON格式

Column

Field

字段(Field),就是JSON文档中的字段,类似数据库中的列(Column)

Schema

Mapping

Mapping(映射)是索引中文档的约束,例如字段类型约束。类似数据库的表结构(Schema)

SQL

DSL

DSL是elasticsearch提供的JSON风格的请求语句,用来操作elasticsearch,实现CRUD

(1)Mysql:擅长事务类型操作,可以确保数据的安全和一致性

(2)Elasticsearch:擅长海量数据的搜索、分析、计算

3.4 分词器

es在创建倒排索引时需要对文档分词;在搜索时,需要对用户输入内容分词。但默认的分词规则对中文处理并不友好。

我们在kibana的DevTools中测试:

语法说明:

(1)POST:请求方式

(2)/_analyze:请求路径,这里省略了http://192.168.150.101:9200,有kibana帮我们补充 (3)请求参数,json风格:

1️⃣analyzer:分词器类型,这里是默认的standard分词器

2️⃣text:要分词的内容 

处理中文分词,一般会使用IK分词器。https://github.com/medcl/elasticsearch-analysis-ik

ik分词器包含两种模式:

(1)ik_smart:最少切分,粗粒度

(2)ik_max_word:最细切分,细粒度

3.5 ik分词器-拓展词库

要拓展ik分词器的词库,只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfg.xml文件:

然后在名为ext.dic的文件中,添加想要拓展的词语即可:

 

3.6 ik分词器-停用词库

要禁用某些敏感词条,只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfg.xml文件:

然后在名为stopword.dic的文件中,添加想要拓展的词语即可:

  

4. 安装es、kibana

二、索引库操作

1. mapping映射属性

mapping是对索引库中文档的约束,常见的mapping属性包括:

(1)type:字段数据类型,常见的简单类型有: 字符串:text(可分词的文本)、keyword(精确值,例如:品牌、国家、ip地址) 数值:long、integer、short、byte、double、float、 布尔:boolean 日期:date 对象:object index:是否创建索引,默认为true analyzer:使用哪种分词器 properties:该字段的子字段

2. 索引库的CRUD

三、文档操作

四、RestAPI

相关内容

热门资讯

阿西吧是什么意思 阿西吧相当于... 即使你没有受到过任何外语培训,你也懂四国语言。汉语:你好英语:Shit韩语:阿西吧(아,씨발! )日...
世界上最漂亮的人 世界上最漂亮... 此前在某网上,选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中,人们投票选出了心目中最美...
猫咪吃了塑料袋怎么办 猫咪误食... 你知道吗?塑料袋放久了会长猫哦!要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...
demo什么意思 demo版本... 618快到了,各位的小金库大概也在准备开闸放水了吧。没有小金库的,也该向老婆撒娇卖萌服个软了,一切只...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...