Dalam tutorial ini, kami akan menunjukkan kepada Anda cara menginstal Apache Spark di CentOS 8. Bagi Anda yang belum tahu, Apache Spark adalah Cluster-Computing-System.Es yang cepat dan universal yang menawarkan API tingkat tinggi di Java, Scala, dan Python, serta mesin yang dioptimalkan yang mendukung diagram eksekusi umum. Ini juga mendukung berbagai alat tingkat tinggi, termasuk Spark SQL untuk SQL dan pemrosesan informasi terstruktur, MLlib untuk pembelajaran mesin, GraphX untuk pemrosesan grafik, dan Spark Streaming.
Artikel ini mengasumsikan bahwa Anda memiliki setidaknya pengetahuan dasar tentang Linux, tahu cara menggunakan shell, dan yang paling penting, bahwa Anda menghosting situs Anda di VPS Anda sendiri. Instalasinya cukup sederhana dan mengharuskan Anda menggunakan akun root. Jika tidak, Anda mungkin perlu 'sudo' ke perintah untuk mendapatkan hak istimewa root. Saya akan menunjukkan kepada Anda langkah demi langkah cara menginstal Apache Spark di CentOS 8.Install Apache Spark di CentOS 8
Langkah 1.Pertama, mari kita pastikan sistem Anda up to date dan menginstal semua dependensi yang diperlukan.sudo dnf install epel-releasesudo dnf update
Instalasi Java dalam artikel ini tercakup dalam artikel sebelumnya. Kami merujuk ke artikel di Instalasi Java.Kemudian kami memeriksa versi Java melalui baris perintah berikut:java -version
ApacheSpark diimplementasikan dalam bahasa pemrograman Scala, jadi kita perlu menginstal Scala untuk menjalankan Apache Spark, jadi kita hanya perlu memastikan bahwa Java dan Python ada:wget https://www.scala-lang.org/files/archive/scala-2.13.4.tgztar xvf scala-2.13.4.tgzsudo mv scala-2.13.4 /usr/libsudo ln -s /usr/lib/scala-2.13.4 /usr/lib/scalaexport PATH=$PATH:/usr/lib/scala/bin
Setelah instalasi, periksa versi scala:scala -version
Langkah 4.Instal Apache Spark di CentOS 8.
Sekarang kami memuat versi terbaru dari . Unduh Apache Spark dari sumber resminya:wget https://downloads.apache.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgztar -xzf spark-3.0.1-bin-hadoop2.7.tgzexport SPARK_HOME=$HOME/spark-3.0.1-bin-hadoop2.7export PATH=$PATH:$SPARK_HOME/bin
Siapkan beberapa variabel lingkungan sebelum Memulai Spark:echo 'export PATH=$PATH:/usr/lib/scala/bin' >> .bash_profileecho 'export SPARK_HOME=$HOME/spark-3.0.1-bin-hadoop2.7' >> .bash_profileecho 'export PATH=$PATH:$SPARK_HOME/bin' >> .bash_profile
Kluster Spark mandiri dapat dimulai secara manual, yaitu menjalankan skrip startup pada setiap node, atau cukup mulai dengan skrip yang tersedia. Untuk pengujian, kita dapat menjalankan daemon master dan slave pada mesin yang sama:./sbin/start-master.sh
Langkah 5.Konfigurasikan Firewall untuk Apache Spark.
Jalankan perintah berikut untuk membuka port pada firewall:sudo firewall-cmd --permanent --zone=public --add-port=7077/tcpsudo firewall-cmd --reload
Langkah 6. Akses antarmuka web Apache Spark.
ApacheSpark tersedia secara default di port HTTP 7077. Buka browser pilihan Anda dan navigasikan ke https://your-domain.com:7077 atau https://server-ip-address:7077 dan ikuti langkah-langkah yang diperlukan untuk menyelesaikan instalasi.
Selamat! Anda telah berhasil menginstal Apache Funke.Terima kasih telah menggunakan tutorial ini untuk menginstal kerangka kerja open source Apache Spark pada sistem CentOS 8 Anda.Untuk bantuan tambahan atau informasi yang berguna, kami sarankan Anda memeriksa situs web resmi Apache Spark.
