How to setup preferred path with multipath

Environment

Red Hat Enterprise Linux 7
device-mapper-multipath
LUNs with ALUA enabled

Issue

All paths for a LUN are grouped all together even though they come with different priority from the external storage.

The output of "multipath -ll" shows something like the following:

mpatha (360021868018107e0c000000000000098) dm-16 IBM     ,2145
size=100G features='1 queue_if_no_path' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=30 status=active
  |- 8:0:1:18 sdv                 65:80      active ready  running
  |- 9:0:2:18 sded                128:80     active ready  running
  |- 8:0:3:18 sdby                68:192     active ready  running
  `- 9:0:3:18 sdgf                131:176    active ready  running

But something similar to the following is expected:

mpatha (360021868018107e0c000000000000098) dm-16 IBM     ,2145
size=100G features='1 queue_if_no_path' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=10 status=active
  |- 8:0:1:18 sdv                 65:80      active ready  running
  |- 9:0:2:18 sded                128:80     active ready  running
`-+- policy='round-robin 0' prio=50 status=active
  |- 8:0:3:18 sdby                68:192     active ready  running
  `- 9:0:3:18 sdgf                131:176    active ready  running

Resolution

  • Edit the multipath.conf file
  • Remove the path_grouping_policy from the configuration of the affected LUN in the multipath.conf file, so that it will look like the following:
multipaths {
     multipath {
          wwid                    360021868018107e0c000000000000098
          alias                   mpatha
          path_selector           "round-robin 0"
          failback                immediate
          rr_weight               priorities
          no_path_retry           5
     }
}
  • Restart the multipath service

Root Cause

This is because the option "path_grouping_policy" is configured as "multibus":

multipaths {
     multipath {
          wwid                    360021868018107e0c000000000000098
          alias                   mpatha
          path_grouping_policy    multibus
          path_selector           "round-robin 0"
          failback                immediate
          rr_weight               priorities
          no_path_retry           5
     }
}

From the documentation, the value "multibus" means that all paths will be grouped in one priority group:

path_grouping_policy    
          Specifies the default path grouping policy to apply to unspecified multipaths. Possible values include:
                    failover: 1 path per priority group.
                    multibus: all valid paths in 1 priority group.
                    group_by_serial: 1 priority group per detected serial number.
                    group_by_prio: 1 priority group per path priority value. Priorities are determined by callout programs specified as global, per-controller, or per-multipath options.
                    group_by_node_name: 1 priority group per target node name. Target node names are fetched in /sys/class/fc_transport/target*/node_name.
                    The default value is failover. 

Diagnostic Steps

Check the returned ports/priority for each device in order to confirm that they need to be grouped differently. The output of multipath -ll is showing the following:

Jan 12 11:54:50 | reported target port group is 1
Jan 12 11:54:50 | aas = 01 [active/non-optimized]
Jan 12 11:54:50 | sdv: alua prio = 10      <===== ALUA priority of this path

Jan 12 11:54:50 | reported target port group is 1
Jan 12 11:54:50 | aas = 01 [active/non-optimized]
Jan 12 11:54:50 | sded: alua prio = 10      <===== ALUA priority of this path

Jan 12 11:54:50 | reported target port group is 0
Jan 12 11:54:50 | aas = 00 [active/optimized]
Jan 12 11:54:50 | sdby: alua prio = 50      <===== ALUA priority of this path

Jan 12 11:54:50 | reported target port group is 0
Jan 12 11:54:50 | aas = 00 [active/optimized]
Jan 12 11:54:50 | sdgf: alua prio = 50      <===== ALUA priority of this path

Read more

How to document Home Lab and Network

運維機房和跨域的網路,會遇到各式需求與問題,用對工具才能分析問題,個人覺得最重要的是使用能處理問題的工具。 推薦目前想學和正在使用的平台與軟體,協助將公司/家用機房文件化 佈告欄任務管理 Focalboard 白板可管理任務指派 網路架構文件編寫 netbox 精細管理網路設備與連接線路 IP 資源管理 phpipam 專注網路IP分配 邏輯塊文件編寫 draw.io 視覺化概念圖 機房設備管理 ITDB 管理設備生命週期與使用者

By Phillips Hsieh

如何在Raspberry Pi4上安裝Proxmox for ARM64

第一步 準備好Raspberry Pi 4 / CM4 4GB RAM,這裡要留意CM4如果是買有內建eMMC storage會限制不能使用SD卡開機而限制本地空間容量,如果沒有NAS外接空間或使用USB開機的話,建議買CM4 Lite插上大容量SD卡 第二步 去Armbian官網下載最小化Debian bookworm image https://www.armbian.com/rpi4b/ Armbian 25.2.2 Bookworm Minimal / IOT 然後寫入SD/USB開機碟,寫入方法參考官方文件 https://github.com/raspberrypi/usbboot/blob/master/Readme.md Note: 官方提供的預先設定系統方法,可以在Armbian初次啟動自動化完成系統設定。連結在此 https://docs.armbian.com/User-Guide_Autoconfig/

By Phillips Hsieh

世界越快心越慢

在晚飯後的休息時間,我特別享受在客廳瀏灠youtube上各樣各式創作者的影音作品。很大不同於傳統媒體,節目多是針對大多數族群喜好挑選的,在youtube上我會依心情看無腦的動畫、一些旅拍記錄、新聞時事談論。 尤其在看了大量的Youtube的分享後,我真的感受到會限制我的是我的無知,特別是那些我想都沒想過的實際應用,在學習後大大幫助到我的生活和工作層面。 休息在家時,我喜歡想一些沒做過的菜,動手去設計生活和工作上的解決方案,自己是真的很難閒著沒事做。 如創作文章,陪養新的習慣都能感覺到成長的喜悅,是不同於吃喝玩樂的快樂的。 創作不去限制固定的形式,文字是創作、影像聲音也是創作,記錄生活也是創作,我想留下的就是創造—》實現—》回憶,這樣子的循環過程,在留下的足跡面看到自己一路上的成長、失敗、絕望、重新再來。 雖然大部份的時候去做這些創作也不明白有什麼特別的意義,但不去做也不會留下什麼,所以呀不如反事都去試試看,也許能有不一樣的水花也許有意想不到的結果,投資自己永遠不會是失敗的決定,不是嗎?先問問自己再開始計畫下一步,未來沒人說得準。 像最近看youtube仍大一群人在為DOS開

By Phillips Hsieh

知識管理的三個步驟:一小時學會把知識運用到生活上

摘錄瓦基「閱讀前哨站」文章作為自己學習知識管理的內容 Part1「篩選資訊」 如何從海量資訊中篩選出啟發性、實用性和相關性的精華,讓你在學習過程中不再迷失方向。 1. 實用性 2. 啟發性 Part2「提高理解」 如何通過譬喻法和應用法,將抽象的知識與日常生活和工作緊密結合,建立更深刻的理解。 1. 應用法 2. 譬喻法 Part3「運用知識」 如何連結既有知識,跟自己感興趣的領域和專案產生關聯,讓你在運用知識的路途上游刃有餘。 1. 跟日常工作專案、人際活動產生連結 # 為什麼要寫日記? * 寫日記是為了忘記,忘卻瑣碎事情,保持專注力 * 寫日記就像在翻譯這個世界,訓練自己的解讀能力 * 不只是透過日記來記錄生活,而是透過日記來發展生活 #如何寫日記? * 不要寫流水帳式的日記,而是寫覆盤式的日記 當我們試著記錄活動和感受之間的關聯,有助於辦認出真正快樂的事 日記的記錄方式要以過程為主,而非結果 * 感恩日記的科學建議,每日感恩的案例

By Phillips Hsieh