1、题记
想到删除，基础认知是 delete，细分为删除文档（document）和删除索引；要删除历史数据，基础认知是：删除了给定条件的数据，用 delete_by_query。
实际操作发现：

删除文档后，磁盘空间并没有立即减少，反而增加了？
除了定时任务+delete_by_query，有没有更好的方式呢？

2、常见的删除操作
2.1 删除单个文档
DELETE /twitter/_doc/1
1
2.2 删除满足给定条件的文档
POST twitter/_delete_by_query
{
“query”: {
“match”: {
“message”: “some message”
}
}
}
1
2
3
4
5
6
7
8
注意：执行批量删除的时候，可能会发生版本冲突。强制执行删除的方式如下：

POST twitter/_doc/_delete_by_query?conflicts=proceed
{
“query”: {
“match_all”: {}
}
}
1
2
3
4
5
6
2.3 删除单个索引
DELETE /twitter
1
2.4 删除所有索引
DELETE /_all
1
或者

DELETE /*
1
删除所有索引是非常危险的操作，要注意谨慎操作。

3、删除文档后台做了什么？
执行删除后的返回结果：

{
“_index”: “test_index”,
“_type”: “test_type”,
“_id”: “22”,
“_version”: 2,
“result”: “deleted”,
“_shards”: {
“total”: 2,
“successful”: 1,
“failed”: 0
},
“_seq_no”: 2,
“_primary_term”: 17
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
解读：

索引的每个文档都是版本化的。
删除文档时，可以指定版本以确保我们试图删除的相关文档实际上被删除，并且在此期间没有更改。

每个在文档上执行的写操作，包括删除，都会使其版本增加。

真正的删除时机：

deleting a document doesn’t immediately remove the document from disk; it just marks it as deleted. Elasticsearch will clean up deleted documents in the background as you continue to index more data.

4、删除索引和删除文档的区别？
1）删除索引是会立即释放空间的，不存在所谓的“标记”逻辑。

2）删除文档的时候，是将新文档写入，同时将旧文档标记为已删除。磁盘空间是否释放取决于新旧文档是否在同一个 segment file 里面，因此 ES 后台的 segment merge 在合并 segment file 的过程中有可能触发旧文档的物理删除。

但因为一个 shard 可能会有上百个 segment file，还是有很大几率新旧文档存在于不同的 segment 里而无法物理删除。想要手动释放空间，只能是定期做一下 force merge，并且将 max_num_segments 设置为 1。

POST /_forcemerge
1
5、如何仅保存最近 100 天的数据？
有了上面的认知，仅保存近 100 天的数据任务分解为：

1）delete_by_query 设置检索近 100 天数据；
2）执行 forcemerge 操作，手动释放磁盘空间。

删除脚本如下：

!/bin/sh

curl -H’Content-Type:application/json’ -d'{
“query”: {
“range”: {
“pt”: {
“lt”: “now-100d”,
“format”: “epoch_millis”
}
}
}
}
‘ -XPOST “http://192.168.1.101:9200/logstash_*/
_delete_by_query?conflicts=proceed”
1
2
3
4
5
6
7
8
9
10
11
12
13
merge 脚本如下：

!/bin/sh

curl -XPOST ‘http://192.168.1.101:9200/_forcemerge?
only_expunge_deletes=true&max_num_segments=1′
1
2
3
6、有没有更通用的方法？
有，使用 ES 官网工具——curator 工具。

6.1 curator 简介
主要目的：规划和管理 ES 的索引。支持常见操作：创建、删除、合并、reindex、快照等操作。

6.2 curator 官网地址
http://t.cn/RuwN0oM

Git 地址：https://github.com/elastic/curator

6.3 curator 安装向导
地址：http://t.cn/RuwCkBD

注意：
curator 各种博客教程层出不穷，但 curator 旧版本和新版本有较大差异，建议参考官网最新手册部署。
旧版本命令行方式新版本已不支持。

6.4 curator 命令行操作
$ curator –help
Usage: curator [OPTIONS] ACTION_FILE

Curator for Elasticsearch indices.

See http://elastic.co/guide/en/elasticsearch/client/curator/current

Options:
–config PATH Path to configuration file. Default: ~/.curator/curator.yml
–dry-run Do not perform any changes.
–version Show the version and exit.
–help Show this message and exit.
1
2
3
4
5
6
7
8
9
10
11
12
核心：