ES从0到1——Mapping介绍
迪丽瓦拉
2024-06-02 21:11:17
0

 

1.Mapping是什么?

mapping是映射,对比MySQL而言,他相当于MySQL的表结构定义。

包括:设置元数据、定义存储字段的类型、分区、副本等设置

稍后我们逐一介绍下mapping的具体结构都是指什么。

先来两个例子:

{"order": 1,"index_patterns": ["task-unit*"],"settings": {"index.max_result_window": 10000000,"number_of_shards": 3,"number_of_replicas": 0},"mappings": {"_doc": {"dynamic_templates": [{"string2keyword": {"match_mapping_type": "string","mapping": {"type": "keyword"}}},{"string2long": {"match_mapping_type": "string","mapping": {"type": "long"}}},{"match2string": {"match": "*string","mapping": {"type": "string"}}}],"properties": {"@timestamp": {"type": "date"},"category": {"type": "integer"},"metric": {"type": "object"},"taskInstanceId": {"type": "long"},"taskId": {"type": "keyword"},"inspectionItemId": {"type": "long"},"type": {"type": "integer"}}}}
}

ES真实存储的一条记录

{"_index" : "risk-task-20221223","_type" : "_doc","_id" : "yABJP4UBiGUELNHVfn70","_version" : 1,"_seq_no" : 1872,"_primary_term" : 1,"found" : true,"_source" : {"riskName" : "","calculateRuleId" : 16,"fetchDataRuleCategory" : 6,"inspectionItemId" : 48,"taskTriggerTag" : "手动执行","errorCode" : 5002,"inspectionValue" : 0.0,"taskTemplateId" : 33,"taskCalculateType" : 0,"algoParams" : {"currentEndTime" : 1671087600000,"currentStartTime" : 1671087000000,"latestPeriodRequired" : true,"minPeriodDataRaito" : 0.6,"periodLength" : 30,"k" : 3,"weightForPeriod" : [{"weight" : 0.1,"order" : 0}]},"metricInstantiateRuleType" : "ap","taskId" : 146}
}

那我们接着展开说说具体的知识点

动态映射

类比MySQL来说明:

我们创建数据库时,需要通过create语句来指定字段名称,字段类型等,预先设置好表结构,然后再往里面插入数据存储,而在ES中,也可以不指定这些设置,直接把数据添加到ES中存储,ES会动态的根据填入的文档字段自动识别其类型。

也就是说

我们可以直接向ES中添加一个内容,可以不提前设置他的字段类型等映射

也可以再一个指定好的ES映射中,添加另外一个之前不存在的类型字段

ES与传统的关系型数据库相比,这点是个明显的差异。

在ES中,主要是通过:dynamic字段来控制的。

true:允许动态添加

false:忽略新添加的不存在的字段

strict:遇到新字段,抛出异常

注意,这个字段很灵活,可以再任意一层做设置,可以自定义设置在哪个对象里动态

PUT /my_index
{"mappings": {"_doc": {"dynamic":      "strict", "properties": {"name":  { "type": "string"},"address":  {"type":     "object","dynamic":  true }}}}
}这里说明:在_doc这整个类型里,不允许添加新的字段。但是在内部对象address中可以动态创建新的字段

注意:

当动态添加一个字段的时候,ES会根据第一次插入的新字段的类型去自动识别绑定此新字段的类型,如果后面,再插入这个字段的其他类型的数据,则会报错。(因为前后类型不一致)----由于这个问题,ES提供了动态模板——《dynamic_templates》,这可以让我们完全控制生成字段的映射。

举例示例,见文章上方的第一个示例。

解释:

sting2long中,使用:match_mapping_type来转化类型,这个意思是说,当遇到string类型的新映射,可以使用这个模板,被映射成long存储到ES中。(手动转化一下类型,去适配存储)

match2string中,使用match来转化新字段名称符合*string结尾的字段,将此字段转化成string类型。

这两个字段同时使用,则两个条件都符合,才做转化!如果同时符合多个模板,位置约靠前的,越优先使用。

2 mapping结构解释

好了,这部分到此基础部分结束,上面有一个隐藏的技术点:index_patterns,索引模板,后续深入了解的时候,再展开讲解。

3 字段类型

下面介绍下ES中,都可以存储哪些数据类型

类型

备注

字符串

string、keyword/text

ELasticsearch 5.X 之后的字段类型不再支持 string,由 text 或 keyword 取代。

text

当一个字段要被全文搜索,比如商品描述,则应该使用此字段

因为此字段内容会被分析器分成一个个词项。

text类型不用于排序,很少用于聚合

keyword

当前Field不会被分词

数值类型

long

取值范围为-9223372036854774808~922337203685477480(-2的63次方到2的63次方-1),占用8个字节

integer

取值范围为-2147483648~2147483647(-2的31次方到2的31次方-1),占用4个字节

short

取值范围为-32768~32767(-2的15次方到2的15次方-1),占用2个字节

byte

取值范围为-128~127(-2的7次方到2的7次方-1),占用1个字节

double

1.797693e+308~ 4.9000000e-324 (e+308表示是乘以10的308次方,e-324表示乘以10的负324次方)占用8个字节

float

3.402823e+38 ~ 1.401298e-45(e+38表示是乘以10的38次方,e-45表示乘以10的负45次方),占用4个字节

half_float

精度比float小一半。

scaled_float

根据一个long和scaled来表达一个浮点型,long-345,scaled-100 -> 3.45

时间类型

date

针对时间类型指定具体的格式

布尔类型

boolean

二进制类型

binary

类型暂时支持Base64 encode string

范围类型

long_range

赋值时,无需指定具体的内容,只需要存储一个范围即可,指定gt,lt,gte,lte

integer_range

double_range

float_range

date_range

ip_range

经纬度类型

geo_point

用来存储经纬度的

ip类型

ip

可以存储IPV4或者IPV6

参考文章:

Elasticsearch学习-ES中动态映射有什么用_es mapping 显示映射的优点_wind_huise的博客-CSDN博客

https://www.cnblogs.com/forever226/p/16504085.html

 其他的数据类型参考官网:Field datatypes | Elasticsearch Guide [6.5] | Elastic

相关内容