Pgsql同步到ES|极客教程

Pgsql同步到ES

1. 介绍

在许多应用程序中，需要将关系型数据库中的数据同步到Elasticsearch（简称ES）中，以实现数据的全文搜索和实时查询等功能。本文将介绍如何将PostgreSQL（简称pgsql）数据库中的数据同步到ES中，以提高数据查询的效率和性能。

2. 环境准备

在进行pgsql同步到ES之前，需要准备好以下环境和工具：

PostgreSQL数据库
Elasticsearch
Logstash
JDBC驱动
数据同步配置文件

3. 安装配置

3.1 PostgreSQL

首先，确保已经安装了PostgreSQL数据库，并创建了相应的表和数据。如果还没有安装，可以按照如下步骤进行：

sudo apt update
sudo apt install postgresql postgresql-contrib

安装完成后，登录到pgsql数据库并创建一个测试表和一些数据：

sudo -u postgres psql
CREATE DATABASE testdb;
\c testdb

CREATE TABLE users (
    id SERIAL PRIMARY KEY,
    name VARCHAR(50),
    age INT
);

INSERT INTO users (name, age) VALUES ('Alice', 25);
INSERT INTO users (name, age) VALUES ('Bob', 30);

3.2 Elasticsearch

接下来，安装Elasticsearch并启动Elasticsearch服务：

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.15.1-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.15.1-linux-x86_64.tar.gz
cd elasticsearch-7.15.1/bin
./elasticsearch

3.3 Logstash

下载并安装Logstash，并创建一个用于pgsql同步到ES的配置文件 pgsql.conf，示例配置如下：

input {
  jdbc {
    jdbc_driver_library => "path/to/postgresql.jar"
    jdbc_driver_class => "org.postgresql.Driver"
    jdbc_connection_string => "jdbc:postgresql://localhost:5432/testdb"
    jdbc_user => "username"
    jdbc_password => "password"
    statement => "SELECT * FROM users"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "users"
  }
}

4. 数据同步

4.1 启动Logstash

通过以下命令启动Logstash，并指定刚刚创建的配置文件：

./logstash -f pgsql.conf

Logstash将会连接到pgsql数据库，将数据同步到Elasticsearch的index为 users 中。

4.2 验证数据同步

使用curl命令或浏览器访问Elasticsearch的 users index，可以查看已经同步的数据：

curl -X GET "localhost:9200/users/_search?pretty"

结果如下所示：

{
  "took": 3,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 2,
      "relation": "eq"
    },
    "max_score": 1.0,
    "hits": [
      {
        "_index": "users",
        "_type": "_doc",
        "_id": "1",
        "_score": 1.0,
        "_source": {
          "id": 1,
          "name": "Alice",
          "age": 25
        }
      },
      {
        "_index": "users",
        "_type": "_doc",
        "_id": "2",
        "_score": 1.0,
        "_source": {
          "id": 2,
          "name": "Bob",
          "age": 30
        }
      }
    ]
  }
}