来自：博客园

时间：2024-01-28

阅读：

背景

来了个需求，需要从某个线上es库查询一些数据出来并进行大屏展示。问需求方有没有开发环境的es库，答：没有，说要不直连他们的线上库。

后面想想也行吧，业务方都这么说了，结果开网络的流程被打回了，理由是网络隔离。

于是，只能采用从线上es库导出文件，然后在开发环境原样搭建这么一个es库并导入的办法。

了解到线上es库，版本是5.4.3，准备在开发环境恢复的那个索引的数据量大概是有20来个g。

我们是使用elasticdump来进行数据导入导出的，数据量小的时候用这个还是可以，但20 来个g这种，导入的过程还是有一些坑的，当时一开始没加一些参数，搞了一晚上都没弄完，后面研究了下，速度才快了，所以简单记录下。

开发环境es搭建

简单搭建

先找到了官方的5.4.3版本的文档。

https://www.elastic.co/guide/en/elasticsearch/reference/5.4/getting-started.html

首先是搭建，参考官方：https://www.elastic.co/guide/en/elasticsearch/reference/5.4/zip-targz.html

我是用tar包这种方式：

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.3.tar.gz
sha1sum elasticsearch-5.4.3.tar.gz 
tar -xzf elasticsearch-5.4.3.tar.gz
cd elasticsearch-5.4.3/ 

./bin/elasticsearch

结果启动报错：

[root@VM-0-6-centos elasticsearch-5.4.3]# ./bin/elasticsearch
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N

网上查了下，把内存改了下，我的云主机内存小，大家看着改吧：

[root@VM-0-6-centos elasticsearch-5.4.3]# vim config/jvm.options 
-Xms256m
-Xmx256m

再启动，再报错：

Caused by: java.lang.RuntimeException: can not run elasticsearch as root

创建个用户、用户组吧：

// --先看看有没有es的相关用户存在
cat /etc/passwd

groupadd elasticsearch
useradd elasticsearch -g elasticsearch
chown -R elasticsearch:elasticsearch /opt/upload/elasticsearch-5.4.3

然后可以单开个shell
su elasticsearch
cd /opt/upload/elasticsearch-5.4.3
bin/elasticsearch

这样就前台启动起来了。默认的日志就在es安装目录下:

/opt/upload/elasticsearch-5.4.3/logs/elasticsearch.log

curl -X GET "localhost:9200/?pretty"

后台运行：

后台运行并记录pid到pid file：
./bin/elasticsearch -d -p pid

停止：

kill `cat pid`

关于配置

网上很多安装教程会涉及把这两个配置相关的目录，改成es用户，如这种：

chown elasticsearch:elasticsearch -R /var/log/elasticsearch

但这个路径还是要根据实际来，这个path.logs/path.data在config/elasticsearch.yml 中配置，我们这里没配置，所以就在安装目录下，所以不需要单独去chown修改权限。

除了这个之外，还有很多配置项，开发环境可以无所谓，线上还是得每个参数好好斟酌。

这些参数配置的文档：

https://www.elastic.co/guide/en/elasticsearch/reference/5.4/important-settings.html#path-settings

还有很多重要的配置：

https://www.elastic.co/guide/en/elasticsearch/reference/5.4/setting-system-settings.html

样例数据导入

在看官网时，发现还有样例数据辅助学习，试了下，还是不错的。

原地址已经404了，在网上找了下：

https://blog.csdn.net/QQ_20667511/article/detAIls/109614359

https://github.com/elastic/elasticsearch/blob/7.5/docs/src/test/resources/accounts.json

https://github.com/elastic/elasticsearch/issues/88146

数据导入：

https://www.elastic.co/guide/en/elasticsearch/reference/5.4/gs-exploring-data.html

curl -H "Content-Type: application/json" -XPOST 'localhost:9200/bank/account/_bulk?pretty&refresh' --data-binary "@accounts.json"
curl 'localhost:9200/_cat/indices?v'

esdump导入数据

elasticsearch-dump安装

https://github.com/elasticsearch-dump/elasticsearch-dump

这个是用js写的，我这边是先在本地虚拟机用npm安装这个module（有网络），然后把这个模块拷贝到内网es服务器上去跑导入本地文件的；当然它也支持从一个es/文件导出，直接导入到另一个es/文件。

反正就是目标和源都可以是文件和es服务。

npm install elasticdump -g
or 安装指定版本的module
npm i elasticdump@6.104.1
https://www.npmjs.com/package/elasticdump/v/6.104.1?activeTab=readme

找到elasticdump这个node，打tar包，拷贝到无网络的服务器上

ll /root/upload/node-v12.3.0-linux-x64/lib/node_modules
tar -cvf elasticdump.tar elasticdump

目标服务器上解压：

/root/upload/node-v16.20.2-linux-x64/lib/node_modules
此时，执行elasticdump不生效，找不到，所以要在path下建立软连接：
cd /root/upload/node-v16.20.2-linux-x64/bin
ln -s ../lib/node_modules/elasticdump/bin/elasticdump elasticdump
ln -s ../lib/node_modules/elasticdump/bin/multielasticdump multielasticdump

导入(慢)

我是从文件导入新搭建的es服务。根据导出语句写导入语句即可：

注意，数据量大的时候，下面语句比较慢，看完全文再操作。

elasticdump   --input=/root/upload/root/esbackup/20231204/base20231204/common_mapping.json    --output=http://localhost:9200/base20231204  --type=mapping

elasticdump   --input=/root/upload/root/esbackup/20231204/base20231204/common_data.json    --output=http://localhost:9200/base20231204  --type=data

elasticdump   --input=/root/upload/root/esbackup/20231204/base20231204/data_mapping.json    --output=http://localhost:9200/data  --type=mapping

后台导入：

nohup elasticdump   --input=/root/upload/root/esbackup/20231204/base20231204/data_data.json    --output=http://localhost:9200/data  --type=data 2>&1 &

导入（快）

后面的语句：

nohup elasticdump --input=/root/upload/root/esbackup/20231204/history20231204/common_data.json --output=http://localhost:9200/data20231204 --type=data --noRefresh --limit 10000 --support-big-int --fileSize 1gb 2>&1 &

主要是增加了--noRefresh，这个才是主要的。

参数的解释：

开了这个选项后，导入快多了，之前是一晚上都搞不完。

kibana

顺便记录下kibana的安装。

https://www.elastic.co/guide/en/kibana/5.4/targz.html

wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.3-linux-x86_64.tar.gz
sha1sum kibana-5.4.3-linux-x86_64.tar.gz 
tar -xzf kibana-5.4.3-linux-x86_64.tar.gz
cd kibana/

启动前改下配置：

 cd config/
 vim kibana.yml
 elasticsearch.url: "http://localhost:9200"
 server.host: 0.0.0.0

其他

本来一开始规划是后端对接es，给前端提供接口；后来计划是前端直接对接es（前端为了避免跨域，还是通过后端Nginx转发es请求到es服务器）。

当时本来还研究了下java client的版本兼容，后面就没弄了。

https://www.elastic.co/guide/en/elasticsearch/client/index.html

客户端这块，Java Client只支持7.0后版本的服务端；

Java Rest Client这块，5.6版本的高级客户端，不支持es服务端5.4.3版本，所以，如果要用的话，都只能使用5.4或5.5或5.6的低级客户端。

https://www.elastic.co/guide/en/elasticsearch/client/java-rest/5.6/java-rest-high-compatibility.html

参考链接

https://www.elastic.co/guide/en/elastic-stack/5.4/index.html
https://www.elastic.co/guide/en/elastic-stack/5.4/elastic-stack.html
https://www.elastic.co/guide/en/elasticsearch/reference/5.4/getting-started.html
https://www.elastic.co/guide/en/kibana/5.4/introduction.html

MySQL大小写敏感的处理方式及代码示例MySQL是一种常用的关系型数据库管理系统，它在处理大小写敏感的问题时需要特别注意。在MySQL中，默认情况下是大小写不敏感的，即不区分大小

2024-03-15 21:10:08

MySQL触发器的定义与使用方法详解MySQL触发器是一种特殊的存储过程，可以在表发生特定事件时自动执行。触发器可以用于实现数据的自动化处理、数据一致性维护等功能。本文将

2024-03-15 21:09:41

MySQL数据库中外键的作用及用法详解在MySQL数据库中，外键是用来建立表与表之间关联的重要工具，它能够确保数据完整性，并且提供了一种方式来维护表与表之间的关系。本文将详细介

2024-03-15 21:09:25

MySQL UPDATE语句是否会导致表被锁定？MySQL 是一个流行的关系型数据库管理系统，广泛用于各种应用程序中。在数据库操作中，UPDATE 语句用于更新表中的数据。但是，一个常见的问题

2024-03-15 21:09:08

MySQL中的布尔类型是一种非常实用的数据类型，它用于存储逻辑值，只能取两种值：TRUE或FALSE。在MySQL中，布尔类型也被称为BOOL或BOOLEAN，可以用TINYINT(1)来表示。在本文中，我们将深

2024-03-15 21:08:53

如何设计合理的 MySQL 复合主键？在数据库设计中，主键是一项非常重要的概念，它可以帮助我们唯一地标识每一行数据。在 MySQL 中，我们可以选择使用单一主键或者复合主键。复合主键

2024-03-15 21:08:36

MySQL数据库中unique索引的优势及应用场景在MySQL数据库中，unique索引是一种特殊的索引，它可以保证列中的值是唯一的。在实际应用中，unique索引具有许多优势，并且适用于多种场景

2024-03-15 21:08:22

MySQL 时间戳是一个十分重要的数据类型，它可以存储日期、时间或者日期加时间。在实际的开发过程中，合理地使用时间戳可以提高数据库操作的效率，并且方便进行时间相关的查询和计

2024-03-15 21:08:05

MySQL数据库中的unique索引：用法与注意事项MySQL是一种非常流行的开源关系型数据库管理系统，可以用于存储和管理大量的数据。在MySQL中，我们经常会使用索引来提高数据的检索和

2024-03-15 21:07:48

MySQL.proc表是MySQL数据库中存储存储过程和函数信息的系统表，通过深入了解其结构及用途，可以更好地理解存储过程和函数在MySQL中的运行机制，并进行相关的管理和优化。下面将详

2024-03-15 21:07:32

在数据库管理中，触发器是一种强大的工具，能够帮助我们实现数据库操作的自动化。MySQL作为一款广泛应用的开源数据库管理系统，也提供了触发器功能，我们可以利用MySQL触发器来实现

2024-03-15 21:07:14

MYSQL 一个事务在提交的时候能够保证binlog和redo log是同时提交的，并且能在宕机恢复后保持binlog 和redo log的一致性。先来看看什么是redo log 和binlog，以及为什么要保持它

2024-03-15 00:54:55

转载至我的博客 https://www.infrastack.cn ，公众号：架构成长指南在并发一致性控制场景中，我们常常用for update悲观锁来进行一致性的保证，但是如果不了解它的机制，就进行使用，很

2024-03-13 00:03:43

1 介绍AOF（Append Only File）持久化：以独立日志的方式存储了 Redis 服务器的顺序指令序列，并只记录对内存进行修改的指令。
当Redis服务发生雪崩等故障时，可以重启服务并重新执行

2024-03-12 12:07:28

大家好，我是小康，今天我们来聊下 Redis 的几种架构模式，包括主从复制、哨兵和集群模式。前言：设想一下，你的咖啡馆在城市中太受欢迎，导致每天都人满为患。为了缓解这种压力，你决定

2024-03-11 00:01:36

前言:每次你在游戏中看到玩家排行榜，或者在音乐应用中浏览热门歌单，有没有想过这个排行榜是如何做到实时更新的？当然，依靠 Redis 即可做到。在技术领域，我们经常听到「键值存储」

2024-03-11 00:00:34

2024-03-10 23:58:29

Oracle数据库中修改系统日期方法详解在Oracle数据库中，修改系统日期的方法主要涉及到修改NLS_DATE_FORMAT参数和使用SYSDATE函数。本文将详细介绍这两种方法及其具体的代码示

2024-03-09 23:16:03

解决Oracle错误3114的有效方法分享，需要具体代码示例Oracle数据库是常用的企业级关系型数据库管理系统，但在使用过程中经常会遇到各种错误。其中，错误3114是一个比较常见的错误

2024-03-09 23:15:49

解决Oracle中空表无法成功导出的技巧在Oracle数据库中，有时候在导出数据时会遇到空表无法成功导出的问题。这种情况可能会给数据库管理员带来一定的困扰，因为即使表中没有数据

2024-03-09 23:15:34

如何提升Oracle DBA的权限管理技巧在Oracle数据库管理中，权限管理是至关重要的一项工作。作为一名Oracle DBA，掌握权限管理技巧能够有效地保护数据库的安全性，保障数据的完整性

2024-03-09 23:15:18

在Oracle数据库开发中，编写存储过程来判断表是否存在是一项常见的任务。在数据库开发中，存储过程是一段预先编译的代码块，用于实现特定的功能或逻辑。通过编写存储过程来判断表

2024-03-09 23:15:03

在Oracle数据库中，Blob和Clob是两种用于存储大数据类型的数据字段。Blob代表二进制大对象（Binary Large Object），通常用于存储二进制数据，例如图片、音频、视频等；而Clob代表字符

2024-03-09 23:14:46

Sybase和Oracle都是在企业级数据库领域备受青睐的两大数据库管理系统。它们在功能、性能、可靠性等方面都有各自的优势，并且在实际应用中常常被广泛使用。本文将从不同角度来

2024-03-09 23:14:27

Oracle中的LPAD函数是用来在字符串左侧填充特定字符，使字符串达到指定长度的函数。在实际应用中，LPAD函数常用于处理字符串对齐的需求，尤其是在数据库查询结果展示或报表生成过

2024-03-09 23:14:11

Oracle数据库中存储过程是一种特定类型的存储过程，用于在数据库中执行一系列的SQL语句和数据操作。在实际的数据库开发工作中，有时候我们需要判断某个表是否存在于数据库中，这

2024-03-09 23:13:57

Blob和Clob是Oracle数据库中两种常见的数据类型，用于存储大量的二进制数据和字符数据。本文将分析Blob和Clob数据类型的差异，并从各自的优势和劣势进行比较。一、Blob数据类型

2024-03-09 23:13:42

空表导出是数据库管理中常见的操作，但有时候遇到空表导出却遇到了困难，这时候我们需要使用一些特定的策略和技巧来解决问题。在Oracle数据库中，空表导出的困难通常出现在导出后

2024-03-09 23:13:28

Oracle数据库中的LPAD函数是一种用于在字符串左侧填充指定字符的函数，可以帮助我们对字符串进行格式化处理。LPAD函数的语法为：LPAD(要填充的字符串,总长度,填充字符)。接下来

2024-03-09 23:13:13

2018-08-19

2020-03-22

2020-12-17

2020-03-22

2020-10-15

2021-01-28

2020-03-22

2021-01-21

2020-10-28

es从线上库导出数据并导入开发环境

背景

开发环境es搭建

简单搭建

关于配置

样例数据导入

esdump导入数据

elasticsearch-dump安装

导入(慢)

导入（快）

kibana

其他

参考链接

热点内容

免费资源网

在线工具

扫一扫随时看

本站下载频道