튜토리얼 ElasticSearch - CSV 파일 가져오기 [ 단계별 단계 ]

CSV 파일을 ElasticSearch로 가져오는 방법을 알고 싶습니까? 이 자습서에서는 Logstash 또는 Kibana를 사용하여 ElasticSearch 서버로 CSV 파일을 가져오는 방법을 보여 드리겠습니다.

• 우분투 20
• 우분투 19
• 우분투 18
• 탄성 검색 7.6.2
• 로그스테시 7.6.2

이 예제에서 ElastiSearch 서버 IP 주소는 192.168.100.9입니다.

이 예제에서는 Logstash를 설치하고 CSV 파일을 가져올 것입니다.

ElasticSearch 관련 자습서:

이 페이지에서는 ElasticSearch 설치와 관련된 자습서 목록에 빠르게 액세스할 수 있습니다.

튜토리얼 로그스테시 - 설치

apt-get을 사용하여 필요한 패키지를 설치합니다.

Copy to Clipboard

Java 설치 디렉토리를 찾습니다.

Copy to Clipboard

이 예제에서는 Java가 다음 디렉토리에 설치됩니다: /usr/lib/jvm/java-11-openjdk-amd64

필요한 Java 변수를 구성하는 파일을 만듭니다.

Copy to Clipboard

다음은 파일 내용입니다.

Copy to Clipboard

컴퓨터를 재부팅합니다.

Copy to Clipboard

시스템이 자동으로 생성된 환경 변수인 JAVA_HOME 있는지 확인합니다.

Copy to Clipboard

다음은 명령 출력입니다.

Copy to Clipboard

ElasticSearch 리포지토리 키를 다운로드하여 설치합니다.

Copy to Clipboard

APT 데이터베이스에 공식 ElasticSearch 리포지토리 추가

Copy to Clipboard

APT-GET 데이터베이스를 업데이트하고 Logstash 패키지를 설치합니다.

Copy to Clipboard

Logstash 서비스가 자동으로 시작하도록 구성합니다.

Copy to Clipboard

축! 당신은 우분투 리눅스에서 Logstash 설치를 완료했습니다.

튜토리얼 ElasticSearch - CSV 파일 가져오기

CSV 파일을 만듭니다.

Copy to Clipboard

여기에 우리의 파일 내용입니다.

Copy to Clipboard

이 예에서는 비트코인 일일 가격을 보여주는 CSV 파일이 있습니다.

Logstash 구성 파일을 만듭니다.

Copy to Clipboard

여기에 우리의 파일 내용입니다.

Copy to Clipboard

Logstash 서비스를 중지합니다.

Copy to Clipboard

새 구성 파일을 사용하여 Logstash 서비스를 스타우징합니다.

Copy to Clipboard

다음은 명령 출력입니다.

Copy to Clipboard

{
    "market-price" => 0.0,
        "@version" => "1",
        "datetime" => "datetime",
            "tags" => [
        [0] "_dateparsefailure"
    ],
            "path" => "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
         "message" => "datetime,market-price",
      "@timestamp" => 2020-05-11T01:03:13.387Z,
            "host" => "elasticsearch-01.local"
}
{
    "market-price" => 5657.14,
        "@version" => "1",
        "datetime" => "2019-05-04 00:00:00",
            "path" => "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
         "message" => "2019-05-04 00:00:00,5657.14",
      "@timestamp" => 2019-05-04T03:00:00.000Z,
            "host" => "elasticsearch-01.local"
}
{
    "market-price" => 5771.08,
        "@version" => "1",
        "datetime" => "2019-05-05 00:00:00",
            "path" => "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
         "message" => "2019-05-05 00:00:00,5771.08",
      "@timestamp" => 2019-05-05T03:00:00.000Z,
            "host" => "elasticsearch-01.local"
}
{
    "market-price" => 5717.66,
        "@version" => "1",
        "datetime" => "2019-05-06 00:00:00",
            "path" => "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
         "message" => "2019-05-06 00:00:00,5717.66",
      "@timestamp" => 2019-05-06T03:00:00.000Z,
            "host" => "elasticsearch-01.local"
}
{
    "market-price" => 5684.47,
        "@version" => "1",
        "datetime" => "2019-05-07 00:00:00",
            "path" => "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
         "message" => "2019-05-07 00:00:00,5684.47",
      "@timestamp" => 2019-05-07T03:00:00.000Z,
            "host" => "elasticsearch-01.local"
}

이 예제에서는 Logstash를 사용하여 ElasticSearch에 2개의 필드가 포함된 CSV 파일을 가져왔습니다.

이 예제에서는 비트코인 가격이 포함된 필드를 숫자 플로트 유형으로 변환했습니다.

이 예제에서는 DATETIME이라는 필드를 기본 타임스탬프로 설정합니다.

ElasticSearch 서버에서 인덱스가 만들어졌는지 확인합니다.

Copy to Clipboard

다음은 명령 출력입니다.

Copy to Clipboard

비트코인 가격이 숫자 값으로 매핑되었는지 확인합니다.

Copy to Clipboard

다음은 명령 출력입니다.

Copy to Clipboard

{
  "bitcoin" : {
    "mappings" : {
      "properties" : {
        "@timestamp" : {
          "type" : "date"
        },
        "@version" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "datetime" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "host" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "market-price" : {
          "type" : "float"
        },
        "message" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "path" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "tags" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        }
      }
    }
  }
}

이 예제에서는 MARKET-PRICE라는 필드가 float 번호로 설정되었습니다.

비트코인이라는 인덱스의 내용을 나열합니다.

Copy to Clipboard

다음은 명령 출력입니다.

Copy to Clipboard

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 11,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "18eP1nEBeI5DkG2uuA6v",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "market-price",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "Timestamp,market-price",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "Timestamp",
          "@timestamp" : "2020-05-02T18:04:33.224Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "2MeP1nEBeI5DkG2uuA6v",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5657.14",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-04 00:00:00,5657.14",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-04 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.290Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "2ceP1nEBeI5DkG2uuA6v",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5771.08",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-05 00:00:00,5771.08",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-05 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.292Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "2seP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5717.66",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-06 00:00:00,5717.66",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-06 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.298Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "28eP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5684.47",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-07 00:00:00,5684.47",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-07 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.298Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "3MeP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5755.72",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-08 00:00:00,5755.72",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-08 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.299Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "3ceP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5936.72",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-09 00:00:00,5936.72",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-09 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.301Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "3seP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "6146.91",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-10 00:00:00,6146.91",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-10 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.301Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "38eP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "6348.02",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-11 00:00:00,6348.02",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-11 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.302Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "4MeP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "7248.31",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-12 00:00:00,7248.31",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-12 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.302Z"
        }
      }
    ]
  }
}

축! CSV 파일을 ElasticSearch로 가져왔습니다.

탄력적 검색 - CSV 파일 가져오기

탄력적 검색 - CSV 파일 가져오기

ElasticSearch 관련 자습서:

튜토리얼 로그스테시 - 설치

튜토리얼 ElasticSearch - CSV 파일 가져오기

탄력적 검색 - CSV 파일 가져오기

탄력적 검색 - CSV 파일 가져오기

ElasticSearch 관련 자습서:

튜토리얼 로그스테시 - 설치

튜토리얼 ElasticSearch - CSV 파일 가져오기

Related Posts