16. HBase. Установка и настройка

Использованные материалы

1. Manually Configuring TLS/SSL Encryption for CDH Services

1. Добавление сервиса HBase

1. В консоли Cloudera Manager в меню выбираем «Add Service»:
2. Выбираем HBase.
3. Распределяем роли. Хосты с именем hbr под HBase Region Servers…
4. На следующем шаге оставляем настройки без изменений:
5. Ждём добавления сервиса в кластер.
6. После успешного завершения процесса заканчиваем мастер нажатием на ‘Finish’.
7. Перезапускаем все зависимые сервисы по приглашению Cloudera Manager Console.

2. Перенастройка размещения log’ов

1. В настройках HBase, используя фильтр ‘/var/’, изменяем следующие параметры, добавляя ‘/data’ вместо ‘/var’:

2. Нажимаем Save Change.

3. Настройка TLS для HBase

3.1. Прежде чем вы начнете

• Перед включением TLS убедитесь, что хранилища ключей, содержащие сертификаты, привязанные к соответствующим доменным именам, должны быть доступны на всех хостах, на которых работает хотя бы одна роль демона HBase. Хранилища ключей для HBase должны принадлежать группе hbase и иметь разрешения 0440 (то есть быть доступными для чтения владельцем и группой).
• Вы должны указать абсолютные пути к файлам хранилища ключей и доверенных сертификатов. Эти настройки применяются ко всем хостам, на которых выполняются роли демонов службы HBase. Следовательно, выбранные вами пути должны быть действительны на всех хостах.
• Cloudera Manager поддерживает конфигурацию TLS для HBase на уровне сервиса. Убедитесь, что вы указали абсолютные пути к файлам хранилища ключей и доверенных сертификатов. Эти настройки применяются ко всем хостам, на которых выполняются роли демонов рассматриваемой службы. Следовательно, выбранные вами пути должны быть действительны на всех хостах.
• Следствием этого является то, что имена файлов хранилища ключей для данной службы должны быть одинаковыми на всех хостах. Если, например, вы получили отдельные сертификаты для демонов HBase на хостах node1.example.com и node2.example.com, вы могли выбрать для хранения этих сертификатов файлы с именами hbase-node1.keystore и hbase-node2.keystore ( соответственно). При развертывании этих хранилищ ключей вы должны дать им одинаковое имя на целевом хосте, например, hbase.keystore.

3.2. Настройка TLS для HBase

В настройках службы HBase, используя фильтр «TLS», изменяем следующие параметры:

2. Настройка TLS для HBase REST Server.

3. Настройка TLS для HBase Thrift Server.

4. Нажимаем Save Changes.

4. Configuring Encrypted Transport for HBase

1. В настройках службы HBase, используя категорию ‘Security’, изменяем следующие параметры:

2. Нажимаем Save Changes.

7. Настройка аутентификации

Дополнительно разобраться с этой темой.

https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cdh_sg_hbase_authorization.html

1. В настройках службы HBase изменяем следующие параметры:

2. Нажимаем Save Changes.

5. Настройка доступа к HBase-таблицам из Hue

По умолчанию, HBase Thrift Server Compact Protocol включён, что мешает доступу к HBase-таблицам из браузера Hue. При попытке увидеть таблицы HBase из Hue, выводится транспарант ‘Api Error: TSocket read 0 bytes’. Решение нашёл здесь: How to create a HBase table on Kerberized Hadoop clusters.

1.В настройках службы HBase изменяем/добавляем следующие параметры:

2. Нажимаем Save Changes.

После применения этих настроек становится возможным управлять таблицами HBase из интерфейса Hue.

6. Создание группы для доступа в HBase с правами superuser

1. Добавление группы во FreeIPA. Так как установка кластера производится с машины, домен которой отличен от домена настраиваемых машин, то вновь используем ansible:

$ ADM_USER='ken' \
ADM_PASS='JL9d]qtw$p=2=M2K=~z?|EU,' \
CL_NAME="TEST1"          # UPPERCASE \
CL_NAME_L=${CL_NAME,,}   # lowercase

$ ansible mgm -i cluster.inv -m shell -a "echo '${ADM_PASS}' | kinit ${ADM_USER} && \
  ipa group-add --desc='HBase superusers for cluster ${CL_NAME}' ${CL_NAME_L}_hbase_su"

2. В настройках службы HBase изменяем следующие параметры, указывая пользователей и/или группы (группы указываются с префиксом @):

$ echo "grant '@test1_hbase_su', 'RWXCA'" | hbase shell
$ echo "grant 'ken', 'RWXCA'" | hbase shell

3. Нажимаем Save Changes.
4. Перезапускаем все зависимые сервисы по приглашению Cloudera Manager Console.

7. Добавление jaas.conf для HBase Thrift Server для связи с ZooKeeper’ом

В логах HBase Thrift Server’а, например, при добавлении базы, обнаруживаются ошибки:

ClientCnxn
SASL configuration failed: javax.security.auth.login.LoginException: Zookeeper client cannot authenticate using the 'Client' section of the supplied JAAS configuration: '/var/run/cloudera-scm-agent/process/4323-hbase-HBASETHRIFTSERVER/jaas.conf' because of a RuntimeException: java.lang.SecurityException: java.io.IOException: /var/run/cloudera-scm-agent/process/4323-hbase-HBASETHRIFTSERVER/jaas.conf (No such file or directory) Will continue connection to Zookeeper server without SASL authentication, if Zookeeper server allows it.

Действительно, файл jaas.conf для этой роли не создаётся автоматически. Я не смог найти настройки, которые помогли бы решить эту проблему, поэтому пошёл обходным путём.

1. На узле с ролью ‘HBase Thrift Server’ cоздаём необходимые файлы:

USERNAME="dmr"
DIR="/opt/hbase"
PRINCIPAL="hbase"
REALMNAME="TEST.LAN"

mkdir -p $DIR
cd $DIR

ipa service-allow-retrieve-keytab $PRINCIPAL/$(hostname) --users=${USERNAME}
ipa-getkeytab -r -p $PRINCIPAL/$(hostname) -k $DIR/$PRINCIPAL.keytab
ipa service-disallow-retrieve-keytab $PRINCIPAL/$(hostname) --users=${USERNAME}

cat << EOF > jaas.conf
Client {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  useTicketCache=false
  keyTab="$DIR/$PRINCIPAL.keytab"
  principal="$PRINCIPAL/$(hostname)@${REALMNAME}";
};
EOF

chmod 640 $DIR/jaas.conf
chown hbase.hbase $DIR/*

kdestroy

2. В настройках службы HBase изменяем следующих параметры:

3. Нажимаем Save Changes.
4. Перезапускаем все зависимые сервисы по приглашению Cloudera Manager Console.