البرنامج التعليمي ElasticSearch - استيراد ملف CSV [ خطوة بخطوة ]

هل ترغب في معرفة كيفية استيراد ملف CSV إلى ElasticSearch؟ في هذا البرنامج التعليمي، ونحن نذهب لتظهر لك كيفية استيراد ملف CSV إلى خادم ElasticSearch باستخدام Logstash أو كيبانا.

• أوبونتو 20
• أوبونتو 19
• أوبونتو 18
• ElasticSearch 7.6.2
• سجل 7.6.2

في مثالنا، عنوان IP لخادم ElastiSearch هو 192.168.100.9.

في مثالنا، نحن ذاهبون لتثبيت Logstash واستيراد ملف CSV.

ElasticSearch البرنامج التعليمي ذات الصلة:

في هذه الصفحة، ونحن نقدم الوصول السريع إلى قائمة من الدروس المتعلقة تركيب ElasticSearch.

البرنامج التعليمي Logstash – التثبيت

استخدم apt-get لتثبيت الحزم المطلوبة.

Copy to Clipboard

العثور على دليل تثبيت جافا.

Copy to Clipboard

في مثالنا ، يتم تثبيت جافا على الدليل التالي: / usr / lib / jvm / جافا – 11 – openjdk – amd64

إنشاء ملف لتكوين متغيرات جافا المطلوبة.

Copy to Clipboard

هنا هو محتوى الملف.

Copy to Clipboard

إعادة تشغيل الكمبيوتر.

Copy to Clipboard

تحقق مما إذا كان النظام قد أنشأ متغير البيئة المسمى تلقائيًا: JAVA_HOME.

Copy to Clipboard

هنا هو إخراج الأمر.

Copy to Clipboard

قم بتنزيل مفتاح مستودع ElasticSearch وتثبيته.

Copy to Clipboard

إضافة مستودع ElasticSearch الرسمي إلى قاعدة بيانات APT

Copy to Clipboard

تحديث قاعدة بيانات APT-GET وتثبيت حزمة Logstash.

Copy to Clipboard

تكوين خدمة Logstash للبدء تلقائياً.

Copy to Clipboard

تهانينا! كنت قد انتهيت من تثبيت Logstash على أوبونتو لينكس.

البرنامج التعليمي ElasticSearch – استيراد ملف CSV

إنشاء ملف CSV.

Copy to Clipboard

هنا هو محتوى الملف لدينا.

Copy to Clipboard

في مثالنا، لدينا ملف CSV يظهر سعر البيتكوين اليومي.

إنشاء ملف تكوين Logstash.

Copy to Clipboard

هنا هو محتوى الملف لدينا.

Copy to Clipboard

إيقاف خدمة Logstash.

Copy to Clipboard

نجمة خدمة Logstash باستخدام ملف التكوين الجديد.

Copy to Clipboard

هنا هو إخراج الأمر.

Copy to Clipboard

{
    "market-price" => 0.0,
        "@version" => "1",
        "datetime" => "datetime",
            "tags" => [
        [0] "_dateparsefailure"
    ],
            "path" => "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
         "message" => "datetime,market-price",
      "@timestamp" => 2020-05-11T01:03:13.387Z,
            "host" => "elasticsearch-01.local"
}
{
    "market-price" => 5657.14,
        "@version" => "1",
        "datetime" => "2019-05-04 00:00:00",
            "path" => "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
         "message" => "2019-05-04 00:00:00,5657.14",
      "@timestamp" => 2019-05-04T03:00:00.000Z,
            "host" => "elasticsearch-01.local"
}
{
    "market-price" => 5771.08,
        "@version" => "1",
        "datetime" => "2019-05-05 00:00:00",
            "path" => "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
         "message" => "2019-05-05 00:00:00,5771.08",
      "@timestamp" => 2019-05-05T03:00:00.000Z,
            "host" => "elasticsearch-01.local"
}
{
    "market-price" => 5717.66,
        "@version" => "1",
        "datetime" => "2019-05-06 00:00:00",
            "path" => "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
         "message" => "2019-05-06 00:00:00,5717.66",
      "@timestamp" => 2019-05-06T03:00:00.000Z,
            "host" => "elasticsearch-01.local"
}
{
    "market-price" => 5684.47,
        "@version" => "1",
        "datetime" => "2019-05-07 00:00:00",
            "path" => "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
         "message" => "2019-05-07 00:00:00,5684.47",
      "@timestamp" => 2019-05-07T03:00:00.000Z,
            "host" => "elasticsearch-01.local"
}

في مثالنا ، قمنا باستيراد ملف CSV يحتوي على حقلين إلى ElasticSearch باستخدام Logstash.

في مثالنا، قمنا بتحويل الحقل الذي يحتوي على سعر البيتكوين إلى نوع التعويم الرقمي.

في مثالنا، قمنا بتعيين الحقل المسمى DATETIME كطابع زمني افتراضي.

تحقق مما إذا كان الفهرس قد تم إنشاؤه على خادم ElasticSearch.

Copy to Clipboard

هنا هو إخراج الأمر.

Copy to Clipboard

تحقق مما إذا كان سعر البيتكوين قد تم تعيينه كقيمة رقمية.

Copy to Clipboard

هنا هو إخراج الأمر.

Copy to Clipboard

{
  "bitcoin" : {
    "mappings" : {
      "properties" : {
        "@timestamp" : {
          "type" : "date"
        },
        "@version" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "datetime" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "host" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "market-price" : {
          "type" : "float"
        },
        "message" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "path" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "tags" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        }
      }
    }
  }
}

في مثالنا، تم تعيين الحقل المسمى MARKET-PRICE كرقم تعويم.

قم بسرد محتوى المؤشر المسمى بيتكوين.

Copy to Clipboard

هنا هو إخراج الأمر.

Copy to Clipboard

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 11,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "18eP1nEBeI5DkG2uuA6v",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "market-price",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "Timestamp,market-price",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "Timestamp",
          "@timestamp" : "2020-05-02T18:04:33.224Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "2MeP1nEBeI5DkG2uuA6v",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5657.14",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-04 00:00:00,5657.14",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-04 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.290Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "2ceP1nEBeI5DkG2uuA6v",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5771.08",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-05 00:00:00,5771.08",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-05 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.292Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "2seP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5717.66",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-06 00:00:00,5717.66",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-06 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.298Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "28eP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5684.47",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-07 00:00:00,5684.47",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-07 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.298Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "3MeP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5755.72",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-08 00:00:00,5755.72",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-08 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.299Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "3ceP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "5936.72",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-09 00:00:00,5936.72",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-09 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.301Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "3seP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "6146.91",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-10 00:00:00,6146.91",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-10 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.301Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "38eP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "6348.02",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-11 00:00:00,6348.02",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-11 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.302Z"
        }
      },
      {
        "_index" : "bitcoin",
        "_type" : "_doc",
        "_id" : "4MeP1nEBeI5DkG2uuA6w",
        "_score" : 1.0,
        "_source" : {
          "market-price" : "7248.31",
          "host" : "elasticsearch-01.local",
          "@version" : "1",
          "message" : "2019-05-12 00:00:00,7248.31",
          "path" : "https://d1ny9casiyy5u5.cloudfront.net/downloads/bitcoin.csv",
          "Timestamp" : "2019-05-12 00:00:00",
          "@timestamp" : "2020-05-02T18:04:33.302Z"
        }
      }
    ]
  }
}

تهانينا! لقد قمت باستيراد ملف CSV إلى ElasticSearch.

ElasticSearch – استيراد ملف CSV

ElasticSearch – استيراد ملف CSV

ElasticSearch البرنامج التعليمي ذات الصلة:

البرنامج التعليمي Logstash – التثبيت

البرنامج التعليمي ElasticSearch – استيراد ملف CSV

Related Posts