Instalacija HBase na Ubuntuu

Sadržaj:

Anonim

U ovom vodiču naučit ćete,

  • Načini instalacije Apache HBase
  • Kako preuzeti stabilnu verziju datoteke Hbase tar
  • Hbase - Instalacija samostalnog načina rada
  • Hbase - Pseudo distribuirani način instalacije
  • Hbase - potpuno distribuirana instalacija
  • Rješavanje problema s instalacijom HBase

Načini instalacije Apache HBase

Apache HBase može se instalirati u tri načina. Značajke ovih načina rada navedene su u nastavku.

1) Instalacija samostalnog načina rada (bez ovisnosti o sustavu Hadoop)

  • Ovo je zadani način rada HBase
  • Pokreće se protiv lokalnog datotečnog sustava
  • Ne koristi Hadoop HDFS
  • Samo HMaster demon može raditi
  • Ne preporučuje se za proizvodno okruženje
  • Radi u jednom JVM-u

2) Instalacija u pseudo-distribuiranom načinu (Hadoop sustav s jednim čvorom + instalacija HBase)

  • Radi na Hadoop HDFS-u
  • Svi demoni rade u jednom čvoru
  • Preporučiti za proizvodno okruženje

3) Instalacija u potpuno distribuiranom načinu (okruženje MultinodeHadoop + instalacija HBase)

  • Radi na Hadoop HDFS-u
  • Svi demoni će se pokretati preko svih čvorova prisutnih u klasteru
  • Preporučuje se za proizvodno okruženje

Za instalaciju Hadoop-a, pogledajte ovaj URL ovdje

Kako preuzeti stabilnu verziju datoteke Hbase tar

Korak 1) Idite na vezu ovdje da biste preuzeli HBase. Otvorit će web stranicu kao što je prikazano u nastavku.

Korak 2) Odaberite stabilnu verziju kao što je prikazano ispod verzije 1.1.2

Korak 3) Kliknite hbase-1.1.2-bin.tar.gz. Preuzet će tar datoteku. Kopirajte tar datoteku na mjesto instalacije.

Hbase - Instalacija u samostalnom načinu rada:

Instalacija se izvodi na Ubuntuu s već instaliranim Hadoopom.

Korak 1) Postavite hbase-1.1.2-bin.tar.gz u / home / hduser

Korak 2) Raspakirajte ga izvršavanjem naredbe $ tar -xvf hbase-1.1.2-bin.tar.gz . Raspakirat će sadržaj i stvorit će hbase-1.1.2 na lokaciji / home / hduser

Korak 3) Otvorite hbase-env.sh kao dolje i spomenite stazu JAVA_HOME na mjestu.

Korak 4) Otvorite datoteku ~ / .bashrc i spomenite put HBASE_HOME kako je prikazano u nastavku

izvoz HBASE_HOME = / home / hduser / hbase-1.1.1 izvoz PUT = $ PATH: $ HBASE_HOME / bin

Korak 5) Otvorite hbase-site.xml i smjestite sljedeća svojstva u datoteku

hduser @ ubuntu $ gedit hbase-site.xml (kod kao dolje)

hbase.rootdirfile:///home/hduser/HBASE/hbase
hbase.zookeeper.property.dataDir/home/hduser/HBASE/zookeeper

Ovdje stavljamo dva svojstva

  • Jedan za HBase root direktorij i
  • Drugi za direktorij podataka odgovara ZooKeeper-u.

Sve aktivnosti HMastera i ZooKeepera ukazuju na ovaj hbase-site.xml.

Korak 6) Otvorite datoteku domaćina prisutnu u / etc. mjesto i spomenite IP adrese kako je prikazano u nastavku.

Korak 7) Sada pokrenite Start-hbase.sh na mjestu hbase-1.1.1 / bin kao što je prikazano u nastavku.

A pomoću jps naredbe možemo provjeriti radi li HMaster ili ne.

Korak 8) HBase ljuska može započeti korištenjem "hbase shell" i ona će ući u interaktivni način ljuske kako je prikazano na donjoj snimci zaslona. Jednom kada uđe u način rada ljuske, možemo izvršavati sve vrste naredbi.

Samostalni način rada ne zahtijeva pokretanje Hadoop demona. HBase može raditi samostalno.

Hbase - Pseudo distribuirani način instalacije:

Ovo je još jedna metoda za instalaciju Apache Hbase, poznata kao pseudo distribuirani način instalacije. Ispod su koraci za instaliranje HBase putem ove metode.

Korak 1) Postavite hbase-1.1.2-bin.tar.gz u / home / hduser

Korak 2) Raspakirajte ga izvršavanjem naredbe $ tar -xvf hbase-1.1.2-bin.tar.gz . Raspakirat će sadržaj i stvorit će hbase-1.1.2 na lokaciji / home / hduser

Korak 3) Otvorite hbase-env.sh kako slijedi dolje i spomenite stazu JAVA_HOME i stazu regija poslužitelja na mjestu i izvezite naredbu kao što je prikazano

Korak 4) U ovom ćemo koraku otvoriti datoteku ~ / .bashrc i spomenuti put HBASE_HOME kako je prikazano na snimci zaslona.

Korak 5) Otvorite HBase-site.xml i u datoteci spomenite donja svojstva. (Kodirajte kao dolje) 

hbase.rootdirhdfs://localhost:9000/hbase
hbase.cluster.distributedtrue
hbase.zookeeper.quorumlocalhost
dfs.replication1
hbase.zookeeper.property.clientPort2181
hbase.zookeeper.property.dataDir/home/hduser/hbase/zookeeper
  1. Postavljanje korijenskog direktorija Hbase u ovom svojstvu
  2. Za distribuirano postavljanje moramo postaviti ovo svojstvo
  3. Ovdje bi trebalo postaviti svojstvo kvoruma ZooKeeper
  4. Postavljena replikacija izvršena u ovom svojstvu. Prema zadanim postavkama replikaciju stavljamo kao 1.

    U potpuno distribuiranom načinu prisutno je više čvorova podataka, tako da možemo povećati replikaciju stavljanjem više od 1 vrijednosti u svojstvo dfs.replication

  5. U ovom svojstvu treba spomenuti klijentski port
  6. U ovom se svojstvu može spomenuti ZooKeeper direktorij podataka

Korak 6) Prvo pokrenite Hadoop demone, a nakon toga pokrenite HBase demone kao što je prikazano dolje

Ovdje prvo morate pokrenuti Hadoop demone pomoću naredbe "./start-all.sh" kao što je prikazano dolje.

Nakon pokretanja Hbase demona pomoću hbase-start.sh

Sada provjerite jps

Hbase - Potpuno distribuirana instalacija načina rada: -

  • Ova će postavka raditi u načinu klastera Hadoop gdje se više čvorova mrijesti preko klastera i radi.
  • Instalacija je ista kao pseudo distribuirani način; jedina je razlika što će se mrijestiti na više čvorova.
  • Datoteke s konfiguracijama spomenute u HBase-site.xml i hbase-env.sh jednake su onima spomenutim u pseudo načinu.

Rješavanje problema s instalacijom HBase

1) Izjava o problemu: Glavni poslužitelj se inicijalizira, ali regionalni poslužitelj ne inicijalizira

Komunikacija između glavnog i regionalnog poslužitelja putem njihovih IP adresa. Kao i način na koji će Master slušati da regionalni poslužitelji rade ili imaju IP adresu 127.0.0.1. IP adresa 127.0.0.1 koja je lokalni domaćin i razlučuje na vlastiti lokalni host glavnog poslužitelja.

Uzrok:

U dvostrukoj komunikaciji između regionalnih poslužitelja i matičnog poslužitelja, regionalni poslužitelj kontinuirano informira glavni poslužitelj o njihovim IP adresama 127.0.0.1.

Riješenje:

  • Morate ukloniti čvor imena glavnog poslužitelja s lokalnog hosta koji je prisutan u datoteci domaćina
  • Lokacija datoteke hosta / etc / hosts

Što promijeniti:

Otvorite /etc./hosts i idite na ovo mjesto

127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost: : 1 localhost3.localdomain3 localdomain3

Izmijenite gornju konfiguraciju kao u nastavku (uklonite naziv poslužitelja regije kako je gore istaknuto)

127.0.0.1 localhost.localdomainlocalhost: : 1 localhost3.localdomain3 localdomain3

2) Izjava o problemu: Nisam mogao pronaći moju adresu: XYZ na popisu kvorumskih poslužitelja Zookeeper

Uzrok:

  • ZooKeeper poslužitelj nije se mogao pokrenuti i u ime poslužitelja pojavit će se pogreška poput .xyz.
  • HBase pokušava pokrenuti ZooKeeper poslužitelj na nekom stroju, ali istodobno stroj ne može pronaći konfiguraciju kvoruma, tj. Prisutnu u konfiguracijskoj datoteci HBase.zookeeper.quorum .

Riješenje:-

  • Morate zamijeniti ime hosta imenom hosta koje je prikazano u poruci o pogrešci
  • Pretpostavimo da imamo DNS poslužitelj, a zatim možemo postaviti donje konfiguracije u HBase-site.xml.
    • HBase.zookeeper.dns.interface
    • HBase.zookeeper.dns.nameserver

3) Izjava o problemu: Stvoren osnovni direktorij za HBase putem Hadoop DFS-a

  • Master kaže da morate pokrenuti skriptu migracije HBase.
  • Nakon pokretanja , skripta za migraciju HBase reagira kao da nema datoteka u korijenskom direktoriju .

Uzrok:

  • Izrada novog direktorija za HBase pomoću distribuiranog sustava datoteka Hadoop
  • Ovdje HBase očekuje dvije mogućnosti

1) Korijenski direktorij ne postoji

2) HBase prethodna pokrenuta instanca pokrenuta prije

Riješenje:

  • Učinite sukladnim korijenski direktorij HBase trenutno ne postoji ili je inicijaliziran prethodnim izvršavanjem instance HBase.
  • Kao dio rješenja moramo slijediti korake

Korak 1) Korištenje Hadoop dfs za brisanje korijenskog direktorija HBase

Korak 2) HBase sam kreira i inicijalizira direktorij

4) Izjava o problemu: događaji s istekom sesije čuvara zoološkog vrta

Uzrok:

  • HMaster ili HRegion poslužitelji se isključuju izbacivanjem iznimaka
  • Ako promatramo zapisnike, možemo saznati stvarne izuzeće koje su izbačene

Sljedeće prikazuje izuzetak izbačen zbog događaja koji je istekao Zookeeper. Istaknuti događaji su neke od iznimki koje su se dogodile u datoteci dnevnika

Zabilježite kod datoteka kao što je prikazano ispod:

WARN org.apache.zookeeper.ClientCnxn: Exceptionclosing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ecjava.io.IOException: TIMED OUT at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORTINFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]INFO org.apache.zookeeper.ClientCnxn: Server connection successfulWARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65ejava.io.IOException: Session Expired at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired

Riješenje:

  • Zadana veličina RAM-a je 1 GB. Za dugotrajni uvoz održavali smo RAM kapacitet veći od 1 GB.
  • Morate povećati vremensko ograničenje sesije za čuvara zoološkog vrta.
  • Da bismo povećali vrijeme sesije izvan Zookeeper-a, moramo izmijeniti sljedeće svojstvo u "hbase-site.xml" koje se nalazi u stazi mape hbase / conf.
  • Zadani interval čekanja za sesiju je 60 sekundi. Možemo ga promijeniti na 120 sekundi kako je spomenuto u nastavku
 zookeeper.session.timeout 1200000
 hbase.zookeeper.property.tickTime 6000