From 9f50789ec2eef35dcce855502140fa0328d6bfd1 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=D0=9A=D0=BE=D1=80=D0=B5=D0=BD=D0=B1=D0=B5=D1=80=D0=B3=20?= =?UTF-8?q?=D0=9C=D0=B0=D1=80=D0=BA?= Date: Thu, 17 May 2018 18:15:28 +0500 Subject: [PATCH] Luminous upgrade fix --- main.rst | 34 +----------------------- upgrade-to-luminous.rst | 58 +++++++++++++++++++++++++++++++++++++++++ 2 files changed, 59 insertions(+), 33 deletions(-) create mode 100644 upgrade-to-luminous.rst diff --git a/main.rst b/main.rst index 6523a46..a7308cf 100644 --- a/main.rst +++ b/main.rst @@ -27,40 +27,8 @@ #. Перед извлечением диска физически на лету выполнить: ``echo 1 > /sys/block/{data-disk}/device/delete``. -Переход на Luminous -------------------- - -#. Делаем всё по инструкции: http://docs.ceph.com/docs/master/release-notes/#upgrade-from-jewel-or-kraken -#. Укажите какие пулы для чего будут использоваться - (``rbd``, ``cephfs`` или ``cephfs_metadata``. Про остальные ничего не знаю.) - ``ceph osd pool application enable POOLNAME POOLTYPE`` - -#. Надо как-то там подправить пермишшены (osd blacklist). Там ошибка в документации - -- слетают пермишшены. Ещё кому-то там надо дать больше прав (писать в мгр?) - без этого ceph osd df перестает работать. После смены прав что перезапускать? - Обнаруживается через передеплой MGR/Monitor/OSD. ceph-deploy выставляет другие - права -- не как было при Кракене. - -#. Проблемы с удалением старых снапшотов RBD (known bug). Лечится удалением - снапшота клиентом от джевел или кракен. TODO: пруф и копия в блоке про RBD. - -#. По-моему нужно учтановить классы ОСД. Но они вроде при перезапуске сами - себя проставят. TODO: команда. - -#. Включаем дашборд - - ``ceph mgr module enable dashboard``. - Возможно, нужно добавить ещё и во тэто в ceph.conf: - - .. code:: - - [mgr] - mgr_modules = dashboard - - А потом ещё и ``ceph config-key put mgr/dashboard/server_addr ::``. Без этого - дашборд не заработает. - Смотрим по ``ceph -s`` какой менеджер активен и подключаемся туда на порт ???? (вписать). +.. include:: upgrade-to-luminous.rst CephFS diff --git a/upgrade-to-luminous.rst b/upgrade-to-luminous.rst new file mode 100644 index 0000000..285314f --- /dev/null +++ b/upgrade-to-luminous.rst @@ -0,0 +1,58 @@ +Переход на Luminous +------------------- + +#. Делаем всё по инструкции: http://docs.ceph.com/docs/master/release-notes/#upgrade-from-jewel-or-kraken + +#. Укажите какие пулы для чего будут использоваться + (``rbd``, ``cephfs`` или ``cephfs_metadata``. Про остальные ничего не знаю.) + ``ceph osd pool application enable POOLNAME POOLTYPE`` + +#. Надо как-то там подправить пермишшены (osd blacklist). Там ошибка в документации + -- слетают пермишшены. Ещё кому-то там надо дать больше прав (писать в мгр?) + без этого ceph osd df перестает работать. После смены прав что перезапускать? + Обнаруживается через передеплой MGR/Monitor/OSD. ceph-deploy выставляет другие + права -- не как было при Кракене. + +#. Проблемы с удалением старых снапшотов RBD (known bug). Лечится удалением + снапшота клиентом от джевел или кракен. TODO: пруф и копия в блоке про RBD. + +#. По-моему нужно уcтановить классы OSD. Но они вроде при перезапуске сами + себя проставят. TODO: команда. + +#. Включаем дашборд + + ``ceph mgr module enable dashboard``. + Возможно, нужно добавить ещё и во тэто в ceph.conf: + + .. code:: + + [mgr] + mgr_modules = dashboard + + А потом ещё и ``ceph config-key put mgr/dashboard/server_addr ::``. Без этого + дашборд не заработает. + + Смотрим по ``ceph -s`` какой менеджер активен и подключаемся туда на порт ???? (вписать). + +#. Оптимизируем CRUSH-map: + + В новых версиях меняются алгоритмы консистентного хеша. Как итог -- меньше + ребаланса при добавлении/удалении OSD, например, или более равномерное + распределение по OSD. + + .. warning:: + + Это требует повышения минимальной версии до Jewel. Более старые клиенты + не смогут подключаться к такому кластеры потому что не могут в такое + хеширование. Возможны промежуточные варианты (чуть получше хеширование, + но не самое лучшее) -- см. ссылку выше. + + .. warning:: + + Не смотря на заявление документации о том что будет перемещение не более + чем 10% данных, в моём кластере было около 50% данных не на своих местах. + + .. code-block:: sh + + ceph osd set-require-min-compat-client jewel + ceph osd crush tunables optimal