Konfiguracija HIVE metastore s MYSQL-om

Anonim

Zašto koristiti MySQL u košnici kao metastore:

  • Prema zadanim postavkama, Hive dolazi s derbi bazom podataka kao metastore.
  • Baza podataka Derby može istodobno podržavati samo jednog aktivnog korisnika
  • Derby se ne preporučuje u proizvodnom okruženju

Dakle, rješenje je ovdje

  • Koristite MYSQL kao Meta pohranu na pozadini da biste istovremeno povezali više korisnika s Hive-om
  • MYSQL je najbolji izbor za samostalnu metastaru

Koraci za instaliranje i konfiguriranje MySQL baze podataka u Hive na Hadoopu

Korak 1) U ovom ćemo koraku izvršiti dva zadatka

  1. Instalacija mysql-poslužitelja
  2. Provjera mysql-poslužitelja i njegovog postupka
  1. Pomoću naredbe sudo apt-get install mysql-server možemo preuzeti mysql poslužitelj

Instalirajte MySQL kako je prikazano na snimci zaslona

  1. Nakon uspješne instalacije na kraju, MySQL će se pokrenuti kako je prikazano na donjem snimku zaslona

Korak 2) Instaliranje MySQL Java Connector. Ovo je za java ovisnosti i svrhu povezivanja

Korak 3) Stvaranje meke veze za konektor u direktoriju Hive lib . Ovo je za meku vezu između Jave i MySqla.

Korak 4) Konfiguriranje MySql pohrane u košnici

  • Upišite MySql -u root -p, a zatim lozinku
  • Ovdje -u predstavlja root korisničko ime, p označava lozinku
  • Nakon unosa gornje naredbe, korisnik mora unijeti valjanu lozinku, a zatim kliknuti enter
  • Tada će ući u način rada ljuske MySql

Korak 5) Stvaranje korisničkog imena i lozinke za MySql, dodjeljivanje privilegija.

Moramo izvršiti naredbe kao što je prikazano dolje,

mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword';mysql> GRANT all on *.* to 'hiveuser'@localhost identified by 'hivepassword';mysql> flush privileges;

Korak 6) Konfiguriranje hive-site.xml

  • Nakon 5. koraka dodijelite korisničko ime i lozinku MySQL bazi podataka i dajte im privilegije.
  • Ovdje ćemo konfigurirati neka svojstva u Hiveu kako bismo dobili vezu s MySQL bazom podataka .

Iz gornjeg snimka zaslona uočavamo sljedeće. Ovdje definiramo 4 svojstva koja bi mogla biti potrebna za uspostavljanje MYSQL-a kao Meta-trgovine u košnici

To su kako slijedi:

  1. Ovo je svojstvo za svrhu URL-a veze. Ovdje definiramo ConnectionURL u ovom svojstvu. Djeluje kao JDBC veza i predstavlja mjesto pohrane
  2. Ovo je svojstvo za naziv upravljačkog programa Connection. Ovdje je mysql.jdbc.Driver poštovana vrijednost koju moramo spomenuti u oznaci vrijednosti
  3. Ovo svojstvo koristi se za definiranje imena korisnika veze. U ovome smo definirali "hiveguru" kao korisničko ime
  4. Ovo se svojstvo koristi za spominjanje lozinke za vezu. U ovom smo definirali lozinku kao korisničku lozinku.

Jednom kada se svojstva postave u hive -site.xml, moramo ručno spremiti (Ctrl + S) i zatvoriti datoteku. Nakon zatvaranja ove datoteke, moramo stvoriti tablicu Hive i provjeriti pojedinosti tablice u MySQL pohrani.

Postavite ovaj kod u hive-site.xml

hive-site.xml


javax.jdo.option.ConnectionURLjdbc:mysql://localhost/metastore?createDatabaseIfNotExist=truemetadata is stored in a MySQL server
javax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.DriverMySQL JDBC driver class
javax.jdo.option.ConnectionUserNamehiveuseruser name for connecting to mysql server
javax.jdo.option.ConnectionPasswordhivepasswordpassword for connecting to mysql server

Korak 7) Stvorite tablicu "guru99" u Košnici.

Iz gornjeg snimka zaslona možemo uočiti sljedeće

  • Izrada naziva tablice "guru99" s dva imena stupaca
  • Imena stupaca spomenuta s njezinim tipom podataka kao jedan je cijeli broj, a drugi je vrsta niza

U sljedećem koraku provjerit ćemo je li pohranjen u MySql ili nije

Korak 8) Ulazak u način ljuske MySql

Iz gornjeg snimka zaslona možemo uočiti sljedeće

  • Prvo moramo koristiti bazu podataka kao "koristi metastore"
  • Jednom kada odabere meta pohranu možemo provjeriti prisutne tablice pomoću naredbe "show" tables kao što je prikazano na snimci zaslona
  • Bez obzira na tablice stvorene u Hiveu, metapodaci odgovaraju tim tablicama koje su pohranjene pod TBLS u MySQL bazi podataka.
  • "Tablica Guur99" kreira se u Hiveu, pa se odgovarajući metapodaci pohranjuju u MySQL pod TBLS.

Korak 9) Provjera predstavlja li stvorena tablica MySQL ili ne

Unosom select * iz TBLS-a prikazat će tablice koje smo stvorili u načinu školjke Hive

Iz gornjeg snimka zaslona možemo uočiti sljedeće stvari:

  • Naziv tablice "guru99" koji je stvoren je košnica može se prikazati u načinu ljuske MySQL
  • Osim toga, pružit će i informacije poput vremena izrade tablice, vremena pristupa i drugih svojstava kao što je prikazano na gornjoj snimci zaslona.