Tutorial ElasticSearch - CSV-tiedoston tuominen [ Askel askeleelta ]

Haluatko oppia tuomaan CSV-tiedoston ElasticSearchiin? Tässä opetusohjelmassa näytämme sinulle, miten CSV-tiedosto tuodaan ElasticSearch-palvelimelle Logstashin tai Kibanan avulla.

• Ubuntu 20
• Ubuntu 19
• Ubuntu 18
• ElasticSearch 7.6.2
• Logstash 7.6.2

Esimerkissämme ElastiSearch palvelimen IP-osoite on 192.168.100.9.

Esimerkissämme asennamme Logstashin ja tuomme CSV-tiedoston.

ElasticSearch liittyvä opetusohjelma:

Tällä sivulla tarjoamme nopean pääsyn elasticsearch-asennukseen liittyvien opetusohjelmien luetteloon.

Opetusohjelma Logstash – Asennus

Asenna tarvittavat paketit apt-get-näädän avulla.

Copy to Clipboard

Etsi Javan asennuskansio.

Copy to Clipboard

Esimerkissämme Java on asennettu seuraavaan hakemistoon: /usr/lib/jvm/java-11-openjdk-amd64

Luo tiedosto, joka määrittää tarvittavat Java-muuttujat.

Copy to Clipboard

Tässä on tiedoston sisältö.

Copy to Clipboard

Käynnistä tietokone uudelleen.

Copy to Clipboard

Tarkista, loiko järjestelmä automaattisesti ympäristömuuttujan nimeltä: JAVA_HOME.

Copy to Clipboard

Tässä on komentotulostin.

Copy to Clipboard

Lataa ja asenna ElasticSearch-arkistoavain.

Copy to Clipboard

Virallisen ElasticSearch-tietovaraston lisääminen APT-tietokantaan

Copy to Clipboard

Päivitä APT-GET-tietokanta ja asenna Logstash-paketti.

Copy to Clipboard

Määritä Logstash-palvelu käynnistymään automaattisesti.

Copy to Clipboard

Onnittelen! Olet lopettanut Logstash-asennuksen Ubuntu Linuxiin.

Opetusohjelma ElasticSearch – CSV-tiedoston tuominen

Luo CSV-tiedosto.

Copy to Clipboard

Tässä on tiedostosisältömme.

Copy to Clipboard

Esimerkissämme on CSV-tiedosto, joka näyttää Bitcoinin päivittäisen hinnan.

Luo Logstash-määritystiedosto.

Copy to Clipboard

Tässä on tiedostosisältömme.

Copy to Clipboard

Pysäytä Logstash-palvelu.

Copy to Clipboard

Star logstash-palvelu käyttäen uutta määritystiedostoa.

Copy to Clipboard

Tässä on komentotulostin.

Copy to Clipboard

{
    "market-price" => 0.0,
        "@version" => "1",
        "datetime" => "datetime",
            "tags" => [
        [0] "_dateparsefailure"
    ],
            "path" => "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
         "message" => "datetime,market-price",
      "@timestamp" => 2020-05-11T01:03:13.387Z,
            "host" => "elasticsearch-01.local"
}
{
    "market-price" => 5657.14,
        "@version" => "1",
        "datetime" => "2019-05-04 00:00:00",
            "path" => "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
         "message" => "2019-05-04 00:00:00,5657.14",
      "@timestamp" => 2019-05-04T03:00:00.000Z,
            "host" => "elasticsearch-01.local"
}
{
    "market-price" => 5771.08,
        "@version" => "1",
        "datetime" => "2019-05-05 00:00:00",
            "path" => "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
         "message" => "2019-05-05 00:00:00,5771.08",
      "@timestamp" => 2019-05-05T03:00:00.000Z,
            "host" => "elasticsearch-01.local"
}
{
    "market-price" => 5717.66,
        "@version" => "1",
        "datetime" => "2019-05-06 00:00:00",
            "path" => "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
         "message" => "2019-05-06 00:00:00,5717.66",
      "@timestamp" => 2019-05-06T03:00:00.000Z,
            "host" => "elasticsearch-01.local"
}
{
    "market-price" => 5684.47,
        "@version" => "1",
        "datetime" => "2019-05-07 00:00:00",
            "path" => "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
         "message" => "2019-05-07 00:00:00,5684.47",
      "@timestamp" => 2019-05-07T03:00:00.000Z,
            "host" => "elasticsearch-01.local"
}

Esimerkissämme toimme 2 kenttää sisältävän CSV-tiedoston ElasticSearchiin Logstashin avulla.

Esimerkissämme muunsimme Bitcoin-hinnan sisältävän kentän numeerisen kellukkeen tyypiksi.

Esimerkissämme asetamme DATETIME-nimisen kentän oletusaikaleimaksi.

Tarkista, onko indeksi luotu ElasticSearch-palvelimessa.

Copy to Clipboard

Tässä on komentotulostin.

Copy to Clipboard

Tarkista, onko Bitcoinin hinta yhdistetty numeeriseen arvoon.

Copy to Clipboard

Tässä on komentotulostin.

Copy to Clipboard

{
  "bitcoin" : {
    "mappings" : {
      "properties" : {
        "@timestamp" : {
          "type" : "date"
        },
        "@version" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "datetime" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "host" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "market-price" : {
          "type" : "float"
        },
        "message" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "path" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "tags" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        }
      }
    }
  }
}

Esimerkissämme markkinahinta-niminen kenttä asetettiin kelluvaksi numeroksi.

Luettele Bitcoin-nimisen indeksin sisältö.

Copy to Clipboard

Tässä on komentotulostin.

Copy to Clipboard

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 11,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "18eP1nEBeI5DkG2uuA6v",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "market-price",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "Timestamp,market-price",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "Timestamp",
          "@timestamp" : "2020-05-02T18:04:33.224Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "2MeP1nEBeI5DkG2uuA6v",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5657.14",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-04 00:00:00,5657.14",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-04 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.290Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "2ceP1nEBeI5DkG2uuA6v",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5771.08",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-05 00:00:00,5771.08",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-05 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.292Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "2seP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5717.66",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-06 00:00:00,5717.66",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-06 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.298Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "28eP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5684.47",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-07 00:00:00,5684.47",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-07 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.298Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "3MeP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5755.72",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-08 00:00:00,5755.72",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-08 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.299Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "3ceP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5936.72",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-09 00:00:00,5936.72",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-09 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.301Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "3seP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "6146.91",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-10 00:00:00,6146.91",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-10 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.301Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "38eP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "6348.02",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-11 00:00:00,6348.02",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-11 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.302Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "4MeP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "7248.31",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-12 00:00:00,7248.31",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-12 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.302Z"
        }
      }
    ]
  }
}

Onnittelen! Toit CSV-tiedoston ElasticSearchiin.

ElasticSearch – CSV-tiedoston tuominen

ElasticSearch – CSV-tiedoston tuominen

ElasticSearch liittyvä opetusohjelma:

Opetusohjelma Logstash – Asennus

Opetusohjelma ElasticSearch – CSV-tiedoston tuominen

Related Posts