<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style>
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt">I have a cisco UCS S3260 with 52 6TB spinning disks and 4 SSDs as DB disks.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">I have no profile-* configs in the proposals directory.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">I’ve obscured FQDNs<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Stages 0-2 run fine with no failures. I see the following in stage 3:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">When I run salt-run state.orch ceph.stage.3 my salt-master return this:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">firewall                 : disabled<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">apparmor                 : disabled<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">subvolume                : skipping<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">DEV_ENV                  : True<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">fsid                     : valid<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">public_network           : valid<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">public_interface         : valid<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">cluster_network          : valid<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">cluster_interface        : valid<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">ip_version               : valid<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">monitors                 : valid<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">mgrs                     : valid<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">storage                  : valid<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">storage_role             : valid<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">rgw                      : valid<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">ganesha                  : valid<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">master_role              : valid<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">time_server              : valid<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">fqdn                     : valid<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Found DriveGroup <drive_group_default><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Calling dg.deploy on compound target I@roles:storage<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[ERROR   ] {'out': 'highstate', 'ret': {'s1103': {'module_|-wait for osd processes_|-cephprocesses.wait_|-run': {'name': 'cephprocesses.wait', 'changes': {'ret': False}, 'comment': 'Module function cephprocesses.wait
 executed', 'result': False, '__sls__': 'ceph.processes.osd.default', '__run_num__': 0, 'start_time': '21:11:52.567915', 'duration': 933229.3, '__id__': 'wait for osd processes'}}}}<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">admin_master:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: populate scrape configs - Function: salt.state - Result: Changed Started: - 21:03:44.756802 Duration: 6245.346 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: populate alertmanager peers - Function: salt.state - Result: Changed Started: - 21:03:51.002480 Duration: 2236.262 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: fileserver.clear_file_list_cache - Function: salt.runner - Result: Changed Started: - 21:03:53.239063 Duration: 795.163 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: install prometheus - Function: salt.state - Result: Clean Started: - 21:03:54.034548 Duration: 62470.849 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: push scrape configs - Function: salt.state - Result: Changed Started: - 21:04:56.505708 Duration: 1903.123 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: install alertmanager - Function: salt.state - Result: Clean Started: - 21:04:58.409127 Duration: 38233.69 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: populate grafana config fragments - Function: salt.state - Result: Clean Started: - 21:05:36.643118 Duration: 2777.631 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: install grafana - Function: salt.state - Result: Clean Started: - 21:05:39.420958 Duration: 109235.045 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: time - Function: salt.state - Result: Changed Started: - 21:07:28.656309 Duration: 46245.898 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: configuration check - Function: salt.state - Result: Clean Started: - 21:08:14.902504 Duration: 920.39 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: create ceph.conf - Function: salt.state - Result: Changed Started: - 21:08:15.823194 Duration: 5960.673 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: configuration - Function: salt.state - Result: Changed Started: - 21:08:21.784167 Duration: 2212.586 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: admin - Function: salt.state - Result: Clean Started: - 21:08:23.996960 Duration: 962.78 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: mgr keyrings - Function: salt.state - Result: Clean Started: - 21:08:24.960033 Duration: 1011.557 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: monitors - Function: salt.state - Result: Changed Started: - 21:08:25.971888 Duration: 17081.809 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: mgr auth - Function: salt.state - Result: Changed Started: - 21:08:43.054000 Duration: 5225.853 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: mgrs - Function: salt.state - Result: Changed Started: - 21:08:48.280055 Duration: 44721.595 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: install ca cert in mgr minions - Function: salt.state - Result: Changed Started: - 21:09:33.001952 Duration: 2575.651 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: retry.cmd - Function: salt.function - Result: Changed Started: - 21:09:35.577911 Duration: 1095.445 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: dashboard - Function: salt.state - Result: Changed Started: - 21:09:36.673648 Duration: 7548.494 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: osd auth - Function: salt.state - Result: Changed Started: - 21:09:44.222446 Duration: 2545.84 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: sysctl - Function: salt.state - Result: Changed Started: - 21:09:46.768599 Duration: 758.771 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: set osd keyrings - Function: salt.state - Result: Clean Started: - 21:09:47.527655 Duration: 749.077 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: disks.deploy - Function: salt.runner - Result: Changed Started: - 21:09:48.277007 Duration: 30133.606 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: mgr tuned - Function: salt.state - Result: Changed Started: - 21:10:18.410965 Duration: 19570.008 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: mon tuned - Function: salt.state - Result: Changed Started: - 21:10:37.981281 Duration: 18494.201 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: osd tuned - Function: salt.state - Result: Changed Started: - 21:10:56.475786 Duration: 13570.12 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: pools - Function: salt.state - Result: Changed Started: - 21:11:10.046234 Duration: 6984.189 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: wait until mon2 with role mon can be restarted - Function: salt.state - Result: Changed Started: - 21:11:17.030734 Duration: 7574.266 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: check if mon processes are still running on mon2 after restarting mons - Function: salt.state - Result: Changed Started: - 21:11:24.605309 Duration: 992.112 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: restarting mons on mon2 - Function: salt.state - Result: Clean Started: - 21:11:25.597732 Duration: 1626.034 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: wait until mon3 with role mon can be restarted - Function: salt.state - Result: Changed Started: - 21:11:27.224053 Duration: 6971.541 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: check if mon processes are still running on mon3 after restarting mons - Function: salt.state - Result: Changed Started: - 21:11:34.195896 Duration: 994.762 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: restarting mons on mon3 - Function: salt.state - Result: Clean Started: - 21:11:35.190958 Duration: 1620.595 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: wait until mon1 with role mon can be restarted - Function: salt.state - Result: Changed Started: - 21:11:36.811852 Duration: 7322.913 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: check if mon processes are still running on mon1 after restarting mons - Function: salt.state - Result: Changed Started: - 21:11:44.135071 Duration: 988.726 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: restarting mons on mon1 - Function: salt.state - Result: Clean Started: - 21:11:45.124101 Duration: 1625.383 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: wait until mon2 with role mgr can be restarted - Function: salt.state - Result: Changed Started: - 21:11:46.749778 Duration: 6997.631 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: check if mgr processes are still running on mon2 after restarting mgrs - Function: salt.state - Result: Changed Started: - 21:11:53.747726 Duration: 990.767 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: restarting mgr on mon2 - Function: salt.state - Result: Clean Started: - 21:11:54.738787 Duration: 1666.851 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: wait until mon3 with role mgr can be restarted - Function: salt.state - Result: Changed Started: - 21:11:56.405937 Duration: 6978.253 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: check if mgr processes are still running on mon3 after restarting mgrs - Function: salt.state - Result: Changed Started: - 21:12:03.384521 Duration: 2233.584 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: restarting mgr on mon3 - Function: salt.state - Result: Clean Started: - 21:12:05.618424 Duration: 1572.339 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: wait until mon1 with role mgr can be restarted - Function: salt.state - Result: Changed Started: - 21:12:07.191059 Duration: 6980.657 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: check if mgr processes are still running on mon1 after restarting mgrs - Function: salt.state - Result: Changed Started: - 21:12:14.172025 Duration: 992.372 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: restarting mgr on mon1 - Function: salt.state - Result: Clean Started: - 21:12:15.164731 Duration: 1618.461 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  Name: wait until s1103 with role osd can be restarted - Function: salt.state - Result: Changed Started: - 21:12:16.783490 Duration: 6973.487 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">----------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ID: check if osd processes are still running on s1103 after restarting osds<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">    Function: salt.state<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">      Result: False<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">     Comment: Run failed on minions: s1103<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">     Started: 21:12:23.757280<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">    Duration: 934163.423 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">     Changes:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">              s1103:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">              ----------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">                        ID: wait for osd processes<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">                  Function: module.run<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">                      Name: cephprocesses.wait<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">                    Result: False<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">                   Comment: Module function cephprocesses.wait executed<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">                   Started: 21:11:52.567915<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">                  Duration: 933229.3 ms<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">                   Changes:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">                            ----------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">                            ret:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">                                False<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">              Summary for s1103<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">              ------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">              Succeeded: 0 (changed=1)<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">              Failed:    1<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">              ------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">              Total states run:     1<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">              Total run time: 933.229 s<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Summary for admin_master<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">-------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Succeeded: 47 (changed=33)<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Failed:     1<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">When running salt-run disks.report I get this:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">salt-run disks.report<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Found DriveGroup <drive_group_default><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Calling dg.report on compound target I@roles:storage<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">|_<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  ----------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  s1103:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">      |_<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">        - 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">        -<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          Total OSDs: 13<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          Solid State VG:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Targets:   block.db                  Total size: 185.00 GB<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Total LVs: 13                        Size per LV: 14.23 GB<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Devices:   /dev/sdbc<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Type            Path                                                    LV Size         % of device<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdaa                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               14.23 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdae                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               14.23 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdai                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               14.23 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdam                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               14.23 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdaq                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               14.23 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdau                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               14.23 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sday                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               14.23 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdc                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               14.23 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdg                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               14.23 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdk                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               14.23 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdo                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               14.23 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sds                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               14.23 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdw                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               14.23 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">      |_<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">        - 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">        -<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          Total OSDs: 13<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          Solid State VG:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Targets:   block.db                  Total size: 371.00 GB<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Total LVs: 13                        Size per LV: 28.54 GB<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Devices:   /dev/sdbd<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Type            Path                                                    LV Size         % of device<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdab                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdaf                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdaj                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdan                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdar                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdav                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdaz                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdd                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdh                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdl                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdp                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdt                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdx                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">      |_<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">        - 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">        -<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          Total OSDs: 13<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          Solid State VG:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Targets:   block.db                  Total size: 371.00 GB<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Total LVs: 13                        Size per LV: 28.54 GB<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Devices:   /dev/sdbe<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Type            Path                                                    LV Size         % of device<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdac                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdag                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdak                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdao                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdas                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdaw                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdba                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sde                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdi                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdm                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdq                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdu                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdy                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">      |_<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">        - 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">        -<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          Total OSDs: 13<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          Solid State VG:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Targets:   block.db                  Total size: 371.00 GB<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Total LVs: 13                        Size per LV: 28.54 GB<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Devices:   /dev/sdbf<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            Type            Path                                                    LV Size         % of device<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdad                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdah                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdal                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdap                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdat                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdax                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdbb                                               5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdf                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdj                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdn                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdr                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdv                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">          ----------------------------------------------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [data]          /dev/sdz                                                5.46 TB         100.0%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">            [block.db]      vg: vg/lv                                               28.54 GB        7%<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Here’s my drive_groups.yml:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">drive_group_default:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  target: 'I@roles:storage'<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  data_devices:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">    size: '2TB:'<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">    rotational: 1<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">  db_devices:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">    rotational: 0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">    size: '180GB:'<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Here’s what I see on the minion itself:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 20:52:27,750 [salt.utils.decorators:613 ][WARNING ][65394] The function "module.run" is using its deprecated version and will expire in version "Sodium".<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:07:26,314 [salt.utils.decorators:613 ][WARNING ][66129] The function "module.run" is using its deprecated version and will expire in version "Sodium".<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:11:52,568 [salt.utils.decorators:613 ][WARNING ][70185] The function "module.run" is using its deprecated version and will expire in version "Sodium".<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:11:52,692 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:11:55,801 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:12:01,899 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:12:11,001 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:12:23,104 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:12:38,210 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:12:56,321 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:13:17,437 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:13:41,557 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:14:08,676 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:14:38,801 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:15:11,930 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:15:48,031 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:16:27,128 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:17:09,232 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:17:54,371 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:18:42,510 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:19:33,653 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:20:27,799 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:21:24,951 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:22:25,107 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:23:25,270 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:24:25,425 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:25:25,582 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:26:25,737 [salt.loaded.ext.module.cephprocesses:252 ][ERROR   ][70185] ERROR: process ceph-osd for role storage is not running<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:27:25,796 [salt.loaded.ext.module.cephprocesses:389 ][ERROR   ][70185] Timeout expired<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2019-07-05 21:27:25,797 [salt.state       :323 ][ERROR   ][70185] {'ret': False}<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">What am I missing here? The OSDs were deploying with deepsea and ceph 13 mimic and the storage profiles in profile-*. I seem to be missing something with the new drive_group setup<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><i><span style="font-size:11.0pt;color:black">Allen</span></i><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</body>
</html>