20. Hue. Установка и настройка

Использованные материалы

1. Manually Configuring TLS/SSL Encryption for CDH Services

Добавление сервиса Hue

1. В консоли Cloudera Manager в меню выбираем ‘Add Service’:

Перенастройка размещения log’ов

1. В настройках Hue, используя категорию ‘Logs’, изменяем следующие параметры, добавляя ‘/data’ вместо ‘/var’:

2. Нажимаем Save Changes.

4. Настройка TLS для Hue

Hue как клиент TLS

Hue действует как клиент TLS при взаимодействии с другими сервисами, такими как Hadoop, HBase, Oozie и Amazon S3. Это означает, что Hue должен аутентифицировать демонов HDFS, MapReduce, YARN, сервер HBase Thrift и т. Д. Для этого Hue нужны цепочки сертификатов их хостов в своем хранилище доверенных сертификатов. Хранилище доверенных сертификатов Hue - это один файл PEM, содержащий корень CA и все промежуточные сертификаты для аутентификации сертификата, установленного на каждом сервере с поддержкой TLS. На этих серверах размещаются различные службы, с которыми общается Hue. Примечание. Сертификат зависит от хоста. Он подписан центром сертификации (CA) и сообщает запрашивающему клиенту (Hue), что «этот хост» является тем же, что представлен открытым ключом хоста. Hue использует цепочку подписывающих центров в своем хранилище доверенных сертификатов для проверки ЦС, подписавшего сертификат хоста.

4.1. Создание Hue Truststore File в PEM формате

Сертификаты сервера хранятся в формате JKS и должны быть преобразованы в PEM. Чтобы создать хранилище доверенных сертификатов Hue, извлеките каждый сертификат из хранилища ключей с помощью keytool, преобразуйте его в формат PEM с помощью openssl и добавьте в хранилище доверенных сертификатов.

Этот шаг уже выполнен при раскидывании ключей и сертификатов с помощью ансибль-плэйбука cloudera_setup_tls.

4.2. Enabling TLS/SSL for the Hue Server with Cloudera Manager

1. В настройках службы Hue, используя фильтр ‘TLS’, изменяем следующие параметры:

You can also store ssl_password more securely in a script and set this parameter instead:

ssl_password_script=<your_hue_passwords_script.sh>

For more, see Storing Hue Passwords in a Script.

To apply this configuration property to other role groups as needed, edit the value for the appropriate role group. See Modifying Configuration Properties Using Cloudera Manager.

2. Нажимаем Save Changes.

4.3. Настройка Hue, как TLS клиент

1. В настройках службы Hue изменяем следующий параметр:

2. Нажимаем Save Changes.

4.4. Включение TLS для Hue Load Balancer

Чтобы настроить балансировщик нагрузки Hue для использования HTTPS или для работы в качестве сервера TLS, вам потребуется самозаверяющий сертификат SSL и файл закрытого ключа. Если файл закрытого ключа защищен паролем, вам необходимо настроить Hue Load Balancer на использование соответствующего ключевого пароля.

1. В настройках службы Hue изменяем следующие параметры:

2. Нажимаем Save Changes.

4.5. Включение TLS связи Hue с HiveServer2

В CDH 5.5.x и более поздних версиях HiveServer2 по умолчанию включен для связи TLS.

Чтобы обеспечить связь между Hue и HiveServer2 с использованием TLS, Hue требуется сертификат Hive и цепочка сертификатов.

1. В настройках службы Hue ищем “Hue Service Advanced Configuration Snippet (Safety Valve) for hue_safety_valve.ini” и добавляем сюда:

   [beeswax]
     [[ssl]]
       #enabled=true # Эта опция отсутствует в исходниках
       # https://github.com/cloudera/hue/blob/master/apps/beeswax/src/beeswax/conf.py#L251
       cacerts=/etc/ipa/ca.crt
       validate=true
   

2. Нажимаем Save Changes.
3. Перезапускаем все зависимые сервисы по приглашению Cloudera Manager Console.

4.7. Securing Database Connections using TLS/SSL

Hue использует разных клиентов для внутренней связи с каждой базой данных. Параметры для конкретного клиента, такие как безопасное соединение, можно настроить с помощью Cloudera Manager.

Не понял этот шаг. Позже разберёмся.

Настройка LDAP-аутентификации в Cloudera Hue

1. В настройках службы Hue изменяем следующие параметры:

[desktop]
[[ldap]]
sync_groups_on_login=true
[useradmin]
home_dir_permissions=0750

2. В настройках службы Hue, используя категорию ‘Security’, изменяем следующие параметры:

3. Нажимаем Save Changes.
4. Перезапускаем все зависимые сервисы по приглашению Cloudera Manager Console.
5. Во FreeIPA создаём необходимые группы для аутентификации в Hue. Авторизация к таблицам будет обеспечиваться с помощью Sentry, через WEB UI сервиса Hue.

   $ ADM_USER='dmr' \
   ADM_PASS='JL9d]qtw$p=2=M2K=~z?|EU,1' \
   CL_NAME="CLUSTER1"          # UPPERCASE \
   CL_NAME_L=${CL_NAME,,}   # lowercase
   
   $ ansible mgm -i cluster.inv -m shell -a "echo '${ADM_PASS}' | kinit ${ADM_USER} && \
     ipa group-add --desc='Hue admins for cluster ${CL_NAME}' ${CL_NAME_L}_hue_admins"
   
   $ ansible mgm -i cluster.inv -m shell -a "echo '${ADM_PASS}' | kinit ${ADM_USER} && \
     ipa group-add --desc='Hue users for cluster ${CL_NAME}' ${CL_NAME_L}_hue_users"
   

6. Создаём администраторскую роль:

Enabling SPNEGO as an Authentication Backend for Hue (обычно не требуется)

1. In Cloudera Manager, set the authentication backend to SpnegoDjangoBackend.
   • Go to the Cloudera Manager Admin Console. From the Clusters tab, select the Hue service.
   • Click the Configuration tab.
   • Select Scope > Service-Wide.
   • Select Category > Security.
   • Locate the Authentication Backend property and select desktop.auth.backend.SpnegoDjangoBackend.
   • Click Save Changes.
2. Restart the Hue service.

Так как Hue был переключён на SPNEGO, то я зашёл в его WEB UI без пароля через Firefox и Chromium, настроенными на kerberos. В HDFS появилась папка /home/dmr.

Прочие настройки

1. В настройках службы Hue изменяем следующие параметры: