Ceph + iscsi #8
Ceph + iscsi #8
Conversation
cephiscsi.rst
Outdated
| ========== | ||
|
|
||
| Первый и основной способ это использование ceph-iscsi. Продукт этот на данный момент зрелый, поддерживается компанией | ||
| redhat и, с недавних пор, suse. |
There was a problem hiding this comment.
О - орфография. Проставь где нужно большие буквы в названиях компаний.
cephiscsi.rst
Outdated
| Первый и основной способ это использование ceph-iscsi. Продукт этот на данный момент зрелый, поддерживается компанией | ||
| redhat и, с недавних пор, suse. | ||
|
|
||
| Пакеты можно взять на `официальном репозитории <https://download.ceph.com/ceph-iscsi/>`_. |
There was a problem hiding this comment.
RST это клёво, но при печати в PDF ссылки не видно. Поэтому предпочитаю по-старинке (вообще не выделять ссылки спецтегами -- на реадзедокс они сами собой станут ссылками. тоесть:
Пакеты можно взять ИЗ официального репохитория http://xxxxxx .
И да, проебл после точки чтобы к урлу не приобщило.
Ну или приедложи другой способ чтобы пофиксить проблему с пдф.
There was a problem hiding this comment.
Не печатал никогда такого рода доки, да и кто будет ссылку с распечатки набирать?
There was a problem hiding this comment.
ну хз, тут вопрос спорный. тут ещё важно видеть, что это за сайт по ссылке (домен тоесть) .... В общем, не критично для мерджа, но желательно поправить.
| ************ | ||
| Ceph + iscsi | ||
| ************ | ||
|
|
There was a problem hiding this comment.
Не плохо бы очень кратко написать нахрена это вообще надо. А именно - кормить варю и маздай айсказями. Ибо другие опенстеки (KVM) умеют в рбд напрямую.
+ желательно как это со стороны линуксов мапить (быть клиентом) инициатором? всёвремя путаю.
There was a problem hiding this comment.
Таргет - сервер, инициатор - клиент. Распишу
cephiscsi.rst
Outdated
| redhat и, с недавних пор, suse. | ||
|
|
||
| Пакеты можно взять на `официальном репозитории <https://download.ceph.com/ceph-iscsi/>`_. | ||
| Установка тривиальна и хорошо описана в `официальной документации ceph <http://docs.ceph.com/docs/mimic/rbd/iscsi-overview/>`_, |
cephiscsi.rst
Outdated
| Установка тривиальна и хорошо описана в `официальной документации ceph <http://docs.ceph.com/docs/mimic/rbd/iscsi-overview/>`_, | ||
| так и в документации `Red Hat Ceph Storage 3+ <https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/3/html/block_device_guide/using_an_iscsi_gateway>`_. | ||
| В документации так же описано как настраивать инициаторы, и этих правил следует придерживаться, | ||
| т.к. у текущей реализации `есть свои ограничения <https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/3.0/pdf/release_notes/Red_Hat_Ceph_Storage-3.0-Release_Notes-en-US.pdf>`_. |
There was a problem hiding this comment.
может приложим пдфку прямо в эту репу ? полюбому шляпы выпилият.
There was a problem hiding this comment.
Приложить можно, идея хорошая. Не выпялит, как мне кажется, до выпуска новой версии rhceph, а там уже и ограничения будут другие.
cephiscsi.rst
Outdated
| В документации так же описано как настраивать инициаторы, и этих правил следует придерживаться, | ||
| т.к. у текущей реализации `есть свои ограничения <https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/3.0/pdf/release_notes/Red_Hat_Ceph_Storage-3.0-Release_Notes-en-US.pdf>`_. | ||
|
|
||
| Из приятных бонусов этого решения: |
There was a problem hiding this comment.
Хз, по сравнению с классическими хранилками, или классической реализации через LIO.
В этой же пдфке:
Having more than one path from an initiator to an iSCSI gateway is not supported
In the iSCSI gateway, tcmu-runner might return the same inquiry and Asymmetric logical unit access (ALUA) info for all iSCSI sessions to a target port group. This can cause the initiator or multipath layer to use the incorrect port info to reference the internal structures for paths and devices, which can result in failures, failover and failback failing, or incorrect multipath and SCSI log or tool output. Therefore, having more than one iSCSI session from an initiator to an iSCSI gateway is not supported. (BZ#1502740)
Из чего делаем вывод, что ограничения связаны с tcmu-runner. Но это не очень важно, т.к. в документации по настройке инициаторов вполне четко указано какие режимы поддерживаются (собственно только failover).
There was a problem hiding this comment.
По этому и последующим комментариям... лично мне можно не отвечать :) важно ответить потенциальному читателя, который это будет читать.
Например, достаточно написать "Из приятных бонусов по сравнению с реализацией через LIO". может быть подробнее написать где-то про вариант с лио ещё долонительно.
Мои вопросы -- это вопросы -- это я спрогнозировал вопросы других читателей.
cephiscsi.rst
Outdated
|
|
||
| * Централизованое управление через утилиту gwcli | ||
| * Простой деплой самого приложения | ||
| * Интегрированность в ceph (в частности в выводе `ceph -s` можно увидеть `tcmu-runner: 3 daemons active` ) |
There was a problem hiding this comment.
цеф с большой буквы, после частности запятая
cephiscsi.rst
Outdated
| * Централизованое управление через утилиту gwcli | ||
| * Простой деплой самого приложения | ||
| * Интегрированность в ceph (в частности в выводе `ceph -s` можно увидеть `tcmu-runner: 3 daemons active` ) | ||
| * Поддержка `SCSI-3 PR <http://www.gonzoleeman.net/scsi-3-pgr-tutorial-v1.0>`_, которая может понадобится, |
There was a problem hiding this comment.
понадобитЬся ( http://tsya.ru )
cephiscsi.rst
Outdated
| * Централизованое управление через утилиту gwcli | ||
| * Простой деплой самого приложения | ||
| * Интегрированность в ceph (в частности в выводе `ceph -s` можно увидеть `tcmu-runner: 3 daemons active` ) | ||
| * Поддержка `SCSI-3 PR <http://www.gonzoleeman.net/scsi-3-pgr-tutorial-v1.0>`_, которая может понадобится, |
There was a problem hiding this comment.
Вообще я имел в виду PR, но дока действительно по PGR, а я не обратил сразу внимание. Хотя сейчас читаю доку, и пока не вижу фундаментальных различий, завтра сформулирую более точный ответ.
cephiscsi.rst
Outdated
| * Простой деплой самого приложения | ||
| * Интегрированность в ceph (в частности в выводе `ceph -s` можно увидеть `tcmu-runner: 3 daemons active` ) | ||
| * Поддержка `SCSI-3 PR <http://www.gonzoleeman.net/scsi-3-pgr-tutorial-v1.0>`_, которая может понадобится, | ||
| например, для серверов на базе ОС Windows для кворумных дисков или общих ресурсов для БД или кластеризиции. |
There was a problem hiding this comment.
ничо не понял, как связано всё это? Очень кратко в одно предложение напиши что это за резервация ? что резервируется? и зачем это нужно. А где оно применяется.... ну твой вариант всеравно ни о чём не говорит. Слишком общо. Короче говоря, читатель доки должен что-то прочитать и понять надо ли ему это.
Ненавижу доку в стиле "Если вам надо alqwerzx568 то это включается командой system.alqwerzx568=on"
Сидишь такой и думаешь... а оно мне надо? чо это вобще.
There was a problem hiding this comment.
Кратко - без луна с поддержкой PR не запустить win cluster и не запустить mssql в кластерном режиме. Но мысль понял, дополню
cephiscsi.rst
Outdated
| * Интегрированность в ceph (в частности в выводе `ceph -s` можно увидеть `tcmu-runner: 3 daemons active` ) | ||
| * Поддержка `SCSI-3 PR <http://www.gonzoleeman.net/scsi-3-pgr-tutorial-v1.0>`_, которая может понадобится, | ||
| например, для серверов на базе ОС Windows для кворумных дисков или общих ресурсов для БД или кластеризиции. | ||
| * Отказоустойчивость из коробки, т.к. вы анонсируете портальную группу, и ваш клиент может переключиться |
There was a problem hiding this comment.
Я конечно не в теме, но разве multipath это не оно ? если есть несколько айдресов по которым достижи этот лун, что ещё надо ? тоесть наличие нескольких айскайзи гейтвеев этого же достаточно.. нет?
There was a problem hiding this comment.
Да, multipath это оно (хотя я и не вижу причин настраивать iscsi на linux'е, можно же нативно пользоваться rbd), и в доке по настройке инициатора описано как его настроить. В случае с win и vmware, другие настройки.
И тут есть нюанс, если я портальную группу анонсирую, инициатор сразу подхватывает все портальные IP, автоматом, tpg (target portal group) alua optimized. Можно сымитировать подобное поведение, если через lio создать три портала, и этот конфиг закинуть на все узлы с iscsi таргетами (чтобы wwn lun'ов был одинаковым), но работает плохо, начиная от того что все порталы приходится добавлять вручную и отсутствия поддержки pr если инициатор подключается к разным порталам, кончая тем что Win автоматически, никого не спрашивая дискаверит порталы и пути до ним, и в окне конфигурации вполне можно получить 9 разных таргетов в конфигурации, и все они будут отличаться путями.
cephiscsi.rst
Outdated
|
|
||
| Минусы этого решения: | ||
|
|
||
| * Не будет бонусов в виде отказоустойчивости, если инициатор не умеет с этим работать |
There was a problem hiding this comment.
а какие умеют? какие не умеют ? (конкретные названия)
There was a problem hiding this comment.
Linux без multipath'а, например. Или какой нибудь древний centos 5 (возможно). А может какое энтерпрайз оборудование.
Возможно проще указать без поддержки чего оно не будет работать?
There was a problem hiding this comment.
ну как-бы да, укажи более подробно про что известно что точно работает как надо и что точно не работает как надо.
| Минусы этого решения: | ||
|
|
||
| * Не будет бонусов в виде отказоустойчивости, если инициатор не умеет с этим работать | ||
| * В основе продукта лежит tcmu-runner, который **значительно** медленнее работает чем вариант |
There was a problem hiding this comment.
но чтобы замаппить рбд надо отключить фастдифф например. тут тоже надо?
There was a problem hiding this comment.
В случае с tcmu-runner не нужно маппить рбд, с версии tcmu-runner 1.3 (актуальная 1.4), если мне не изменяет память.
There was a problem hiding this comment.
в доку. мне рассказывать нет смысла.
cephiscsi.rst
Outdated
| Приведу здесь несколько графиков, снятых с помощью fio на кластере среднего пошиба из ВМ. | ||
| Диски подключались к ВМ нативно через qemu, через iscsi (в двух вариациях), через nfs | ||
|
|
||
| Профиль |
There was a problem hiding this comment.
лучше в варианте комманд-лайна (так проще использовать имхо) но это не точно.
cephiscsi.rst
Outdated
| * Разница между tcmu-runner версий 1.3.0 и версии 1.3.X с одним из последних патчей который повышает производительность, | ||
| который бэкпортировали себе в продукт RHCEPH компания RedHat | ||
|
|
||
| .. image:: _static/compare-old-new-tcmu-runner-rw_bs64k_d32_bw.-2Dtrend.png |
There was a problem hiding this comment.
на 2 пробела вправо смести чтобы картинка была внутри элемента списка а не на равне.
cephiscsi.rst
Outdated
|
|
||
| Из этих графиков видно что: | ||
|
|
||
| #. TCMU-runner значительно медленее варианта с raw iscsi |
There was a problem hiding this comment.
чиво ? что такое рав-айскайзи ? может рбд имелось в виду ?
There was a problem hiding this comment.
Мне надо будет расшифровку дать. Raw iscsi в контексте графиков и наших тестов, это замапленный рбд, выкинутый как lun через LIO. Т.е. самый простой и очевидный вариант.
cephiscsi.rst
Outdated
| скорость будет выше | ||
|
|
||
|
|
||
| Raw rbd + iscsi |
There was a problem hiding this comment.
а где тут айскайзи ? если есть блокдевайс то зачем вообще айскайзи ?
Я понял. видимо схема такая -- берём эн хостов, там маппим рбд через крбд и экспортируем данные девайсы через (какое решение?) по протоколу айскайзи.
There was a problem hiding this comment.
а где тут айскайзи ? если есть блокдевайс то зачем вообще айскайзи ?
Блокдевайс есть на linux server'е, а на vmware и win - нет
Я понял. видимо схема такая -- берём эн хостов, там маппим рбд через крбд и экспортируем данные девайсы через (какое решение?) по протоколу айскайзи.
Да, именно так. Мейнстрим решение через что делать iscsi таргеты - LIO.
Дополню.
А по поводу названия этой секции подумаю, т.к. какого либо официального называния у данного метода нет.
|
|
||
| :: | ||
|
|
||
| /* Feature bits */ |
There was a problem hiding this comment.
в доке уже есть соотв. описание рбд фичъ, лучше сослаться на него.
There was a problem hiding this comment.
Поищу. Там есть информация о том какие фичи реализованы именно в ядре?
There was a problem hiding this comment.
Нашел описание фич, но там они указаны все, и нет информации что есть именно в ядре.
There was a problem hiding this comment.
В разных версиях набор фич разный. можешь там расширить таблицу, указав какие фичи появились в ядре начиная с какой версии.
cephiscsi.rst
Outdated
| #define RBD_FEATURE_OPERATIONS (1ULL<<8) | ||
|
|
||
| * Т.к. используется krbd, существует вполне реальная опасность, что некорректно работающий инициатор может `положить` | ||
| не только iscsi, но и кластер ceph. У автора этой заметки были случаи когда windows initiator мешал модуль lio, а |
There was a problem hiding this comment.
про автора лучше убрать, ибо солянка сборная, и авторов много. да и звучит как-то по-Лебедевски.
There was a problem hiding this comment.
Ок, а как тогда написать эту информацию? Просто "Были случаи"?
Я тут еще и опечатку нашел.
There was a problem hiding this comment.
Как вариант -- вобще не писать. Иначе -- "одна бака сказала", без пруфов и конкретики, британские учёные и ведущие собаководы.
There was a problem hiding this comment.
Случай реальный, личный. Упомянуть важно, т.к. нужно подумать о таких опасностях на этапе планирования
cephiscsi.rst
Outdated
| не только iscsi, но и кластер ceph. У автора этой заметки были случаи когда windows initiator мешал модуль lio, а | ||
| вместе с ним падал и ceph, т.к. появлялось много blocked requests, связанных с sub ops'ами. | ||
|
|
||
| * Если нужна отказоустойчивость, придётся делать её самому. |
There was a problem hiding this comment.
от какого отказа устойчивость? крбд вполне себе её даёт. Либо я не понял где т ут айскайзи вобще. в заголовке напиши предлагаемую схему.
There was a problem hiding this comment.
Отказоустойчивость на случай если твой iscsi таргет на этом сервере ляжет.
Я понял о чем речь, напишу понятнее.
cephiscsi.rst
Outdated
|
|
||
| Особенности этого решения: | ||
|
|
||
| Приведу здесь несколько графиков, снятых с помощью fio на кластере среднего пошиба из ВМ. |
There was a problem hiding this comment.
фио в виртуалке было запущено? а что в качестве клиента ? фио само по протоколу айскайзи долбилось? или примапплено в блокдевайс было?
There was a problem hiding this comment.
Да, fio в виртуалке, мы тестировали производительность разных решений в связке ovirt + ceph, с тех времен графики и остались. Целью исследования было узнать, насколько мы проиграем, при выборе того или иного решения, т.к. с овиртом не получается всё сделать просто.
Если мне память не изменяет, виртуалки (клоны одной виртуалки с centos 7) сами находились на разных стораджах. Одна лежала на nfs'ной шаре (nfs-ganesha поверх cephfs), одна на iscsi через tcmu-runner (ceph-iscsi), одна на iscsi с луном из примапленного rbd, и часть нативно лежали в цефе (qemu + rbd).
| У автора данной заметки windows initiator с определенным набором апдейтов с mtu 9000 на сетевом адаптере выводил из строя | ||
| кластер ceph, и при этом же с mtu 1500 такой проблемы не наблюдалось. | ||
|
|
||
| Если нужен SCSI-3 PR, то оптимальным вариантом будет сделать "плавающий" |
cephiscsi.rst
Outdated
|
|
||
| Выводы: | ||
|
|
||
| #. Самый простой отказоустойчивый спобоб использовать iscsi и ceph - использовать ceph-iscsi. Все остальные способы |
cephiscsi.rst
Outdated
|
|
||
| #. Всегда предварительно нужно тестировать работу на конкретном оборудовании | ||
|
|
||
| #. Даже, казалось бы, такая мелочь, как MTU на стороне инициатора может вызвать отказ в обслуживании в нашем СХД |
There was a problem hiding this comment.
"Необходимо выставить такие-то MTU (одинаковые?) там-то и там то иначе произойдёт то-то"
лучше в доке без эмоциональных вставок и "нашем схд"
There was a problem hiding this comment.
Насчёт эмоциональности принято. Насчёт MTU тут нет советов, на другом оборудовании мне уже не получилось спровоцировать подобное поведение. Тут то ли в версии Win была проблема (хотя на другом стенде, с такими же версиями всё было ок), то ли в железе и его firmware, то ли всё разом. Тут скорее важен сам факт, что такое возможно.
There was a problem hiding this comment.
тогда выпиливай про мту. дока в стиле "одна бабка сказала". Либо хотябы напиши приблизительное описание ситуации при которой произошла пепяка, а не просто "что-то с мту"
cephiscsi.rst
Outdated
| возможности и стабильность кластера. В официальной документации рекомендованы lts ядра версий 4.9 или 4.14. Если | ||
| используется ceph-iscsi, то ядра 4.16+/ядра из rhel 7.5+, т.к. для его работы нужны специфичные патчи в ядро. | ||
|
|
||
| #. Если бы мы использовали tcmu-runner, который не использует krbd, а использует librbd, скорее всего проблемы с |
There was a problem hiding this comment.
а есть такой ? он медленнее? и я всеравно не понял как проблемы с инициатором влияют на кластер. и почему при переносе в юзерспейс они перестанут влиять.
There was a problem hiding this comment.
Кто есть такой?
По поводу как это может влиять:
В случае с tcmu-runner у нас есть связка ceph -> librbd -> lio
В случае с маппингом rbd - ceph -> krbd -> block layer -> lio
В трейсах ядра мы видели эксепшн в модуле LIO, на строчке с TX (увы, я не знаю где сейчас отыскать этот трейс, может в почте найду), и в это же время появлялись block requests в цефе. С учетом как ведет себя linux, когда ты пишешь в некое устройство или фс, и с ним что то происходит, и ты получаешь неубиваемый pid, то разгадка где то рядом. Возможно операция чтения\записи в block layer'е стакается.
И сюда же можно добавить, что librbd у тебя обновляется вместе с ceph'ом, а модуль rbd и lio только со сменой ядра (да и block подсистема, если уж на то пошло), и это напрямую влияет на стабильность . Например со стоковым ядром из rhel 7.3, система с работающим iscsi таргетом, при этом эксепшене падала так, что и прихватывала за собой ceph, и на сервере каскадно падали процессы, а la росло в потолок, то с ядром 4.14 такого поведения уже не было.
В любом случае, проблема была зафиксирована, и свежее ядро и обновы минимализируют риск глобальных проблем, так что каковы бы ни были истоки проблем, решение известно.
|
И в авторы себя впиши (!) |
А в каком виде и где? |
about.rst |
|
Оцени пожалуйста текущую версию |
Добавил главу по ceph-iscsi. Основное внимание на подводные камни и на что обращать внимание при проектировании.
И пара графиков для наглядности.